Die menschliche Sprache ist nicht immer präzise. Sie ist häufig mehrdeutig und die linguistische Struktur kann von vielen komplexen Variablen abhängen, einschliesslich Slang, regionalen Dialekten und sozialem Kontext.
Die Technik des Natural Language Processing (NLP) kann verwendet werden, um freien Text zu interpretieren und ihn analysierbar zu machen. Es gibt eine enorme Menge an Informationen, die in Freitext-Dateien gespeichert sind. Bevor es moderne, auf Deep Learning basierende NLP-Modelle gab, waren diese Informationen für eine computergestützte Analyse nicht zugänglich und konnten nicht systematisch ausgewertet werden.
Aufgabe: LLMs
Schau dir das Video an und beantworte die folgenden Fragen:
- Wie lange würde ein Mensch brauchen, um alle Texte mit welchen GPT-3 trainiert wurde, zu lesen
- Was ist die Spezialität von GPUs welche beim Trainieren von LLMs als wichtiger Vorteil darstellt wird
- Was steckt hinter der Idee des Transformers?
Transformer
Transformer sind eine Art von KNNs für Texte, die es den Forschern erlaubt, immer grössere Modelle zu trainieren, ohne alle Texte im Voraus kennzeichnen zu müssen. Das geschieht dadurch, dass der Transformer versucht, die wichtigen Textstellen zu identifizieren – dieser Vorgang wird attention (Aufmerksamkeit) genannt. So wird es den Modellen ermöglicht, die Verbindungen zwischen Wörtern über sehr viele Seiten, Kapitel und Bücher hinweg zu verfolgen und nicht nur in einzelnen Sätzen. Neue Modelle konnten so mit Milliarden von Textseiten trainiert werden, was zu Antworten mit grösserer Tiefe führte. Transformer basieren auf LLMs.
Aufgabe: Transformers (Basic)
Auf Teams findest du den übersetzten Text (LLMs von Grund auf verstehen mit Mathematik der Mittelstufe_de.pdf), der LLMs und Transformers möglichst einfach erklärt. Lies den Text und beantworte die Fragen.
Aufgabe: Transformers (Advanced)
Die untenstehende Videos erläutern detailliert, wie Transformers arbeiten und wie Information in LLMs gespeichert wird.
Aufgabe: Soekia
Soekia ist ein Demonstrationsbeispiel eines vereinfachten Textgenerators
- Schau dir folgendes Erklärvideo zur Bedienung des Beispiel-Textgenerators «SoekiaGPT» an.
https://www.soekia.ch/GPT/SoekiaGPT-Video.mp4 - Starte SoekiaGPT und erkunde das System mit verschiedenen Dokumentenkollektionen.
https://www.soekia.ch/GPT/ - SoekiaGPT hat gewisse Übereinstimmungen, aber auch gewichtige Unterschiede zu einem System wie z.B. ChatGPT. Erstelle eine Liste mit Gemeinsamkeiten und Unterschieden von SoekiaGPT und ChatGPT!
Anwendungen zur Textzeugung
- https://chat.openai.com/
- 12 ChatGPT-Alternativen, mit Beschreibung: https://elevatex.de/de/blog/it/chatgpt-alternative-die-12-besten-kis-2023/