Lernziele
- Du kannst Beispielsysteme und Einsatzzwecke der Generativen KI aufzählen:
- GAN (Einsatz eher für Bild, Ton, Video)
- Transformer, LLM (Einsatz für Texte)
- Du kannst die Funktionsweise eines GANs in deinen Worten und mit einem Schema erklären.
- Du kennst das prinzipielle Zusammenspiel von Transformer und LLM
Voraussetzungen
- Du verstehst, wie ein künstliches neuronales Netz (KNN) aufgebaut ist und wie das Lernen in einem KNN funktioniert.
- Du kennst folgende Begriffe:
- Neuron, Gewichte, Bias, input-, hidden-, outputlayer, Aktivierungsfunktion
- Backpropagation, Gradientenabstieg, Lernrate, Kostenfunktion («loss-function»)
- supervised-, unsupervised- und reinforced-learning
Vor dem Aufkommen der generativen KI waren Systeme mit künstlichen neuronalen Netzen (KNNs) vor allem für verschiedene Arten von Mustererkennung gedacht, ein typisches Beispiel dafür ist die medizinische Bildanalyse von Röntgenbildern auf Krebsverdacht.
Generative KI-Modelle gehen einen Schritt weiter und produzieren auf der Grundlage ihrer Trainingsdaten als Reaktion auf Benutzeranfragen neue Inhalte wie Texte, Videos, Programmcode und Bilder.
Geschichte
Generative KI wurde bereits in den 1960er Jahren in Chatbots eingeführt (noch ohne künstliche neuronale Netze).
Aber erst 2014, mit der Einführung von GANs («Generative Adversarial Networks» = «generative gegensätzliche Netzwerke», Erklärung folgt) konnte generative KI überzeugend authentische Bilder, Videos und Audiodateien von echten Menschen erstellen.
Aufgabe
Lies aus der folgenden Abbildung heraus:
- Wann wurde ELIZA geschaffen?
- Wann wurde Siri veröffentlicht?
- Wie heisst der Wissenschaftler, dem die Erfindung der GANs zugesprochen wird?
- Wann wurde GPT entwickelt?
- Wann wurde ChatGPT veröffentlicht?
Lösung
- 1966
- 2011
- Ian Goodfellow
- 2018
- November 2022
weitere Fortschritte
Zwei weitere Fortschritte haben entscheidend dazu beigetragen, dass sich generative KI durchgesetzt hat: Transformers und die «grossen Sprachmodelle» («Large Language Models», LLMs). 2017 entwickelte Google das Konzept der Transformers, um Text in Large Language Models einzubringen. (mehr dazu im nächsten Kapitel)
Ein Problem ist, dass diese Techniken auch die in den Trainingsdaten enthaltenen Vorurteile, Rassismus, Täuschungen und Prahlerei (Übertreibungen) übernehmen können.
weitere Entwicklungen
Die geschilderten Technologien sind heute in vielen Anwendungen implementiert, sie werden aber bereits durch weitere Ansätze verbessert oder gar überholt.
Hier ein paar dieser Ansätze (ohne weiter darauf einzugehen):
- diffusion models (stable diffusion)
- variational autoencoders (VAE)
- Bidirectional Encoder Representations from Transformers (BERT, «das GPT von Google»)
GANs
Aufgabe
Lies zuerst die ganze Aufgabe!
- Lies die Einführung und den Abschnitt «Was ist ein Generatives Netzwerk?» der folgenden Seite:
https://www.codecentric.de/wissens-hub/blog/eine-kurze-einfuehrung-in-generative-adversarial-networks - Erstelle ein Schema des Lernzyklus. Dabei sollten mindestens vorkommen:
- Gabi (als Generator)
- Diana (als Diskriminator)
- Fälschungen
- echte Bilder
- Olivia (als Supervisor)
- Schaue dir das folgende Video ab der Stelle 03:13 bis 06:08 an:
- Erkläre in deinen Worten: weshalb darf der Diskriminator am Anfang nicht zu gut sein?
Lösung
Teilaufgabe 2
Teilaufgabe 4
Was sind mögliche Anwendungen von GANs?
Aufgabe
Lies zuerst die ganze Aufgabe!
- Lies den Abschnitt «Was sind mögliche Anwendungen von GANs?» der folgenden Seite:
https://www.codecentric.de/wissens-hub/blog/eine-kurze-einfuehrung-in-generative-adversarial-networks - Recherchiere mindestens zwei weitere Anwendungen von GANs und fasse sie schriftlich in maximal drei Sätzen zusammen.
Anwendungen zur Bilderzeugung
- Dall-E: https://openai.com/dall-e-2 und https://openai.com/dall-e-3
- Midjourney: https://www.midjourney.com/
- Stable diffusion: https://stablediffusionweb.com/
Aufgabe
Teste einige Bildgeneratoren aus oder schaue dir Beispiele an. Notiere deine Meinung zu den Ergebnissen und besprecht diese in Zweiergruppen.
Stable Diffusion
Oberhalb ganz kurz angesprochen, liefert Stable Diffusion einen anderen sehr interessanten Ansatz einer Generativen KI.
Aufgabe
Lies den verlinkten Artikel «How does Stable Diffusion work?» bis und mit Kapitel «How training is done». Er erklärt schön die Idee und dann auch die Details von Stable Diffusion:
https://stable-diffusion-art.com/how-stable-diffusion-work/
Falls noch nicht gemacht: Teste Stable Diffusion aus oder sieh dir zumindest einige Ergebnisse an:
https://stablediffusionweb.com/
Zusatzaufgabe
Ab Kapitel «Stable Diffusion model» optional weiterlesen.