Generative KI – Large Language Models in Aktion

• ML-Engineering und Technologien (1 Tag)    
• Vorbereitung Lab-Infrastruktur (Optional, 1 Tag)    
• Large Language Models verstehen und nutzen: Architektur, Methoden und Praxis (5 Tage

1. ML-Engineering und Technologien (1 Tag)

• Technology Stack, Tools, 
• Google Colab
• Einblick in andere Entwicklungs-Frameworks
• PyTorch, TensorFlow, Transformers
• High-Performance-Computing: 
  • On-Premise 
  • Cloud 
  • Experimentell (bspw. Colab)
• Huggingface als ModelHub
  • Evaluierung, Deployment (TensorBoard, TFX, Weights & Biases, MLFlow)

Lernziele: Die Teilnehmenden verstehen die grundlegenden Werkzeuge, Tools und die gängigen Frameworks für die Entwicklung und das Training neuronaler Netze. Sie können entscheiden, ob Modelle in der Cloud oder lokal gehostet werden sollen und kennen die relevanten Kriterien für diese Auswahl.

2. Vorbereitung Lab-Infrastruktur (Optional, 1 Tag)

• Editoren, IDEs
• Zugang zu KI-Plattformen
• Tipps und Tricks

Lernziele: Die Teilnehmenden haben eine funktionierende Entwicklungsumgebung, mit welcher im Anschluss die Übungen durchgeführt werden. Sie kennen zudem die Vor- und Nachteile der Anbieter von KI-Plattformen.

3. Large Language Models verstehen und nutzen: Architektur, Methoden und Praxis (5 Tage)

• Methoden 
  • Foundation LLMs: Vortrainierte Sprachmodelle, die ein breites Spektrum an textbasierten Aufgaben lösen können. Sie können sowohl manuell durch menschliche Interaktion als auch programmatisch angesprochen werden Beispiele: GPT, LLaMA).
  • Prompt Engineering: Die Kunst, gezielte Eingaben für Sprachmodelle zu entwickeln, um möglichst präzise und relevante Ausgaben zu erzielen (Techniken: Zero-shot, One-shot, Few-shot Learning, In-Context Learning).
  • Transformer-Architektur als Basis moderner LLMs.Das Verständnis ihrer Funktionsweise ermöglicht es, gezielt aufgabenspezifische Modelle zu bewerten und anzupassen (Encoder-Decoder, Encoder-only, Decoder-only; Konzepte: Embeddings).
  • Topic Modelling: Verfahren zur Gruppierung ähnlicher Dokumente oder Klassifikation und Clustering von Texten. 
  • Semantische Suche und RAG (Retrieval-Augmented Generation): Ergänzt ein LLM um externes Wissen,  beispielsweise um unternehmensspezifische zu Fragen zu beantworten, ohne dass das Modell explizit dafür trainiert wurde (Werkzeuge: LangChain).
  • Feinabstimmung (Finetuning): Weiterführendes Training eines Foundation-Modells auf spezifische Daten oder Aufgaben, um dessen Leistung zu optimieren (Methoden: Effizientes Lernen, Supervised Learning, Instruction Tuning, Reinforcement Learning mit menschlichem Feedback).
  • Herausforderungen und Grenzen von LLM: Qualität der Trainingsdaten, Bias, Halluzinationen, Schutz der Privatsphäre.
• Anwendungen
  • Programmatische Anbindung von Sprachmodellen und deren taskbezogene Konfiguration
  • Optimierung von Aufgabenstellungen für LLMs
  • Textklassifikation
  • Anwendungen von RAG für spezifische Wissensabfragen
  • Feinabstimmung von Sprachmodellen für spezifische Aufgaben

Lernziele:

Die Teilnehmenden

• lernen die wichtigsten Konzepte moderner Sprachmodelle und deren praktische Anwendungen kennen. 
• Sie sind in der Lage, die Funktionsweise und Architektur von LLMs zu verstehen und deren Nutzen für verschiedene Aufgaben wie Textklassifikation, semantische Suche oder die Feinabstimmung auf spezifische Bedürfnisse einzuschätzen. 
• werden befähigt, Anwendungsfälle praktisch umzusetzen.

• Bewertete Übungsaufgaben während des Kurses
• Kursattest
• 6 ECTS-Credits

CHF 4’100