Generative KI

Einführung in Maschinelles Lernen & Generative KI

• Wie funktioniert maschinelles Lernen?
• Algorithmen für überwachtes, semi-überwachtes und unüberwachtes Lernen (Beispiele Naive Bayes, Neuronale Netze)
• Trainieren und Evaluieren von Machine Learning-Modellen
• Generative KI am Beispiel von Sprachmodellen (LLM)

• Aufbau eines LLM (Transformer und Decoder/Encoder)
• LLM-Trainingsphasen
• Prompting
• Benchmarking

Machine-Learning-Engineering und Technologien

• Infrastruktur BFH nutzen
• Technology Stack, Tools,
• Google Colab, OLLAMA
• Einblick in andere Entwicklungs-Frameworks
• PyTorch, TensorFlow, Transformers
• Python Environment aufbauen/aufsetzen
• High-Performance-Computing:
  • On-Premise
  • Cloud
  • Experimentell (bspw. Colab)

• Huggingface als ModelHub
• Evaluierung, Deployment (TensorBoard, TFX, Weights & Biases, MLFlow)

Orchestrierungsframeworks für Chatbots und Agenten

Methoden

• Orchestrierungsframeworks am Beispiel von LangChain und LlamaIndex
• Einsatz lokal gehosteter Open-Source-Modelle sowie cloudbasierter Modelle
• Wichtigste Prompt-Patterns
• Grundlagen der Systemqualitätsevaluierung
• Retrieval Augmented Generation (RAG)
• Agenten und Model Context Protocol (MCP)

Anwendungen

• Chatbots zur automatisierten Kommunikation mit Nutzerinnen und Nutzern
• Intelligente Such- und Frage-Antwort-Systeme
• Erweiterung des inhaltlichen Scopes grosser Sprachmodelle durch proprietäre Inhalte
• Komplexes agentisches Verhalten

Large Language Models verstehen und nutzen: Architektur, Methoden und Praxis

Methoden

• Foundation LLMs: Vortrainierte Sprachmodelle, die ein breites Spektrum an textbasierten Aufgaben lösen können. Sie können sowohl manuell durch menschliche Interaktion als auch programmatisch angesprochen werden (Beispiele: GPT, LLaMA).
• Prompt Engineering: Die Kunst, gezielte Eingaben für Sprachmodelle zu entwickeln, um möglichst präzise und relevante Ausgaben zu erzielen (Techniken: Zero-shot, One-shot, Few-shot Learning, In-Context Learning).
• Transformer-Architektur als Basis moderner LLMs.Das Verständnis ihrer Funktionsweise ermöglicht es, gezielt aufgabenspezifische Modelle zu bewerten und anzupassen (Encoder-Decoder, Encoder-only, Decoder-only; Konzepte: Embeddings).
• Topic Modelling: Verfahren zur Gruppierung ähnlicher Dokumente oder Klassifikation und Clustering von Texten.
• Semantische Suche und RAG (Retrieval-Augmented Generation): Ergänzt ein LLM um externes Wissen, beispielsweise um unternehmensspezifische zu Fragen zu beantworten, ohne dass das Modell explizit dafür trainiert wurde (Werkzeuge: LangChain).
• Feinabstimmung (Finetuning): Weiterführendes Training eines Foundation-Modells auf spezifische Daten oder Aufgaben, um dessen Leistung zu optimieren (Methoden: Effizientes Lernen, Supervised Learning, Instruction Tuning, Reinforcement Learning mit menschlichem Feedback).
• Herausforderungen und Grenzen von LLM: Qualität der Trainingsdaten, Bias, Halluzinationen, Schutz der Privatsphäre.

Anwendungen

• Programmatische Anbindung von Sprachmodellen und deren taskbezogene Konfiguration
• Optimierung von Aufgabenstellungen für LLMs
• Textklassifikation
• Anwendungen von RAG für spezifische Wissensabfragen
• Feinabstimmung von Sprachmodellen für spezifische Aufgaben

Bildanalyse und Generative KI für Bilder

Teil Bildverarbeitung und Bildanalyse (1 Tag)

Mustererkennung in der Bildverarbeitung bildet das Fundament für moderne KI-Architekturen im Umfeld von Bild, Video, Audio. Die klassische Bildverarbeitung nutzt

• Punkt-Operatoren (Kontrast)
• lokale Filter (Convolutions) zur Extraktion von Merkmalen wie Kanten oder Strukturen
• Convolutional Neural Nets (CNNs) für das autonome Lernen dieser Merkmale
   

Teil Generative KI für Bilder (2 Tage)

Aktuelle generative Netze nutzen den umgekehrten Weg der Bildanalyse:

• Sie stellen Daten aus einem Merkmalsraum wieder her, indem sie Encoder-Decoder-Modelle und Autoencoder-Bilder in einen latenten Raum überführen und wieder hochskalieren
• Generative Adversarial Networks (GANs) erzeugen durch den Wettkampf zwischen einem Generator und Diskriminator realistische Texturen.
• Diffusionsmodelle entfernen iterativ Rauschen (Denoising) und verwenden einen Textencoder, der Worte (Word-Embeddings) mit visuellen Konzepten verknüpft. Inpainting und Style Transfer bis hin zu hochmodernen Video-Modellen, wie ehemals OpenAI SORA mit zeitlicher Aufmerksamkeit, sind nur einige Anwendungen.

• Diffusions-basierte Audio-KIs (Lyria) generieren hochfrequente Wellenformen oder Spektrogramme aus Textprompts.
• Weltmodelle: Systeme (z. B. in der Robotik) lernen eine interne Simulation der Realität. Sie nutzen Vision (V), Memory (M) und Controller (C), um zukünftige Zustände zu «träumen» und Handlungen ohne reales Risiko zu planen.

AI Security

Bedrohungsszenarien

• Generative KI-Systeme bringen neuartige Angriffsflächen mit sich. Zentrale Vektoren sind Prompt Injection (direkt via Nutzereingabe oder indirekt über verarbeitete Daten) sowie das Confused-Deputy-Problem, bei dem ein KI-Agent mit weitreichenden Berechtigungen durch manipulierte Eingaben unerwünschte Aktionen ausführt.
   

Sichere KI-Architektur

• Aufbau einer gesicherten, unternehmensinternen KI-Architekturschicht mit KI Gateways, Identity- und Secret-Management (Least Privilege), Guardrails sowie Defense-in-Depth als Grundprinzip.
   

MCP-Security und Vector-DB-Hardening

• MCP-Server sind privilegierte Komponenten und benötigen Authentifizierung, Autorisierung und Sandboxing. Vector Databases sind anfällig für Data Poisoning. Zugriffskontrollen und Dokumenten-Integritätsprüfungen sind zentrale Gegenmassnahmen.
   

Monitoring, Logging und Incident Response

• Protokollierung von Prompts und Modellantworten, Anomalieerkennung sowie definierte Incident-Response-Prozesse (Isolation, Forensik, Eskalation) für KI-spezifische Vorfälle.
   

KI als Security-Werkzeug

• Einsatz generativer Modelle für automatisierte Code-Reviews, Penetrationstest-Szenarien und Log-Analyse inklusive Auseinandersetzung mit den Grenzen und Risiken dieses Ansatzes.

Ethics, Regulations & Sovereignity

EU AI Act

• Weltweit erstes verbindliches Regulierungswerk für KI, relevant auch für Schweizer Unternehmen mit EU-Marktbezug
• Klassifizierung von KI-Systemen nach Risikoklassen (minimal, begrenzt, hoch, inakzeptabel) mit entsprechenden Pflichten für Entwicklung, Dokumentation und Betrieb
   

Managementrahmen und Normen

• NIST AI RMF: praxisorientierter Rahmen für das Risikomanagement von KI-Systemen (Govern, Map, Measure, Manage)
• ISO/IEC 42001: internationale Norm für KI-Managementsysteme, vergleichbar mit ISO 27001 für Informationssicherheit
   

Ethik und Mensch-KI-Interaktion

• Automation Bias: Tendenz, KI-Empfehlungen unkritisch zu übernehmen – mit potenziell schwerwiegenden Folgen in risikoreichen Anwendungsfeldern
• Trust Calibration: Vertrauen von Nutzenden an die tatsächliche Zuverlässigkeit des Systems anpassen
   

Deepfakes und synthetische Medien

• Generative KI ermöglicht täuschend echte Bild-, Audio- und Videofälschungen mit wachsendem Missbrauchspotenzial
• Erkennungsmethoden (Detection) und organisatorische Massnahmen als Teil des verantwortungsvollen KI-Einsatzes
   

Datensouveränität und Auftragsverarbeitung

• Provider-Rechte: Nutzungsbedingungen regeln, ob Prompts für Modelltraining verwendet werden dürfen
• Auftragsverarbeitungsverträge (AVV) als datenschutzrechtliche Anforderung, inkl. Modellherkunft und Datenstandorte
   

Technologische Souveränität

• Strategische Abhängigkeit von US-amerikanischen Grossanbietern: Risiken bei Verfügbarkeit, Preisgestaltung und Datenschutz
• Alternativen: Open-Weight-Modelle (z. B. Llama, Mistral), europäische Cloud-Anbieter, Eigenbetrieb auf unternehmenseigener Infrastruktur

Prof. Dr. Jürgen Vogel
Leiter Studiengang Data Engineering, Dozent BFH

Prof. Marcus Hudritsch
Dozent BFH

Ilja Rasin
Lead AI Architect
Lehrbeauftragter BFH

Peter von Niederhäusern
Dozent BFH

Ursula Deriu
Autorin und Trainerin für AI Engineering und Data Engineering, Tirsus online
Lehrbeauftragte BFH

Marius Bleif
Consultant, Eraneos
Lehrbeauftragter BFH