Generative KI - Bildverarbeitung in Aktion

• ML-Engineering und Technologien (1 Tag)    
• Vorbereitung Lab-Infrastruktur (Optional, 1 Tag)    
• Generative KI für Bilder (5 Tage)

1. ML-Engineering und Technologien (1 Tag)

• Technology Stack, Tools, 
• Google Colab
• Einblick in andere Entwicklungs-Frameworks
• PyTorch, TensorFlow, Transformers
• High-Performance-Computing: 
  • On-Premise 
  • Cloud 
  • Experimentell (bspw. Colab)
• Huggingface als ModelHub
  • Evaluierung, Deployment (TensorBoard, TFX, Weights & Biases, MLFlow)

Lernziele: Die Teilnehmenden verstehen die grundlegenden Werkzeuge, Tools und die gängigen Frameworks für die Entwicklung und das Training neuronaler Netze. Sie können entscheiden, ob Modelle in der Cloud oder lokal gehostet werden sollen und kennen die relevanten Kriterien für diese Auswahl.

2. Vorbereitung Lab-Infrastruktur (Optional, 1 Tag)

• Editoren, IDEs
• Zugang zu KI-Plattformen
• Tipps und Tricks

Lernziele: Die Teilnehmenden haben eine funktionierende Entwicklungsumgebung, mit welcher im Anschluss die Übungen durchgeführt werden. Sie kennen zudem die Vor- und Nachteile der Anbieter von KI-Plattformen.

3. Generative KI für Bilder (5 Tage)

Generative neuronale Netze für Bilder nutzen Verfahren, um komprimierte Bilddaten aus einem Merkmalsraum wiederherzustellen. Die Idee von generativen neuronalen Netzen für Bilder entstand, als man ein Verfahren gefunden hatte, um Bilder, die man in einen kondensierten Raum komprimiert hatte, wieder zu einem Bild hochzuskalieren. Damit können wir Bilder segmentieren, Stiländerungen vornehmen, hochskalieren oder entrauschen. Um komplett neue Bilder aus einer Texteingabe zu generieren, wird zusätzlich ein sogenanntes Word-Embedding verwendet. Das ist ein Verfahren, bei welchem Worte mit Bildern verknüpft werden. Dies wird danach verwendet, um Bilder aus komplettem Rauschen zu einem Bild mit einem ähnlichen Word-Embedding zu entwickeln.

Methoden

• Encoder-Decoder-Modelle sind die Basis fast aller nachfolgenden Technologien. In einem Decoder-Teil kann der komprimierte Endblock des Encoder-Teils wieder zu einem Bild hochgeneriert werden.
• Semantische Segmentierung ist eine Klassifizierung auf Pixelebene und erlaubt die Detektion von Objekten. Sie wird in vielen Bereichen angewendet, u.a. in der Medizin und bei autonomen Fahrsystemen.
• Auto-Encoder (Variational Autoencoder) erlauben es, Bilder zu komprimieren und wieder zu einem ähnlichen Bild zu dekomprimieren. 
• Generative Adversarial Networks (GANs) sind generative Netzwerke, worin sich ein Generator und ein Diskriminator bekämpfen und damit ein Netzwerk trainieren können.
• Stable Diffusion: Stable Diffusion generiert Bilder, indem es iterativ Rauschen entschärft. Dabei wird es von dem Textencoder, der vorab auf Konzepte trainiert wurde, sowie dem Aufmerksamkeitsmechanismus angeleitet.
• CLIP ist der Textencoder in Stable Diffusion, der Text und Bilder verbindet und so Bilder erkennen und kategorisieren kann, ohne dass für jede Kategorie ein spezielles Training erforderlich ist.
• Anwendungen:
• Denoising for Ray Tracing
• Super Resolution (Nvidia DLSS)
• Inpainting & Outpainting
• Style Transfer
• OpenAI: DALL-E
• SORA: Video-Generierungsmodell von OpenAI, das in der Lage ist, realistische und detaillierte Videos aus einfachen Texteingaben zu erstellen.

Lernziele

Die Teilnehmenden

• lernen die Prinzipien und typischen Arten generativer Netze kennen und können deren Einsatz grob einschätzen.
• kennen die wichtigsten Prinzipien und einige typische Arten von generativen neuronalen Netzen für Bilder. Sie können grob abschätzen, welche Netze für welche Anwendungen in Frage kommen.

• Bewertete Übungsaufgaben während des Kurses
• Kursattest
• 6 ECTS-Credits

CHF 4’100