Teil I · Verstehen
Kapitel 1: Das Fundament
Bevor es darum geht, wie ein Sprachmodell funktioniert, lohnt ein Blick auf das Fundament: was mit künstlicher Intelligenz eigentlich gemeint ist, wie sich das Feld entwickelt hat und wie eine Maschine überhaupt lernt.
Was ist künstliche Intelligenz?
Künstliche Intelligenz (KI)Sammelbegriff für Computersysteme, die Aufgaben lösen, für die man bei Menschen Intelligenz voraussetzen würde – etwa Sprache verstehen, Bilder erkennen oder Entscheidungen treffen.Im Glossar ansehen (KI) ist kein einzelnes Verfahren, sondern ein Sammelbegriff. Gemeint sind Computersysteme, die Aufgaben lösen, für die wir bei Menschen Intelligenz voraussetzen würden: Sprache verstehen, Bilder erkennen, Entscheidungen treffen, Probleme lösen. Wie das gelingt, hat sich in den vergangenen siebzig Jahren grundlegend gewandelt.
Die frühe KI war vor allem Symbolische KIFrühe Form der KI: Menschen schreiben ihr Wissen als Regeln auf, der Computer zieht daraus Schlüsse. Beispiel: Expertensysteme.Im Glossar ansehen: Fachleute schrieben ihr Wissen als Regeln auf – etwa „Wenn Fieber und Husten, dann prüfe Grippe“ –, und der Computer zog daraus Schlüsse. Solche Expertensysteme funktionieren gut in klar abgegrenzten Bereichen. Sie stoßen aber an Grenzen, sobald die Welt unübersichtlich wird: Niemand kann alle Regeln aufschreiben, nach denen wir ein Gesicht wiedererkennen oder einen ironischen Satz verstehen.
Machine Learning (maschinelles Lernen)Statt Regeln vorzugeben, zeigt man dem System viele Beispiele; es leitet die Muster selbst ab.Im Glossar ansehen (maschinelles Lernen) dreht das Prinzip um. Statt Regeln vorzugeben, zeigt man dem System viele Beispiele – etwa E-Mails mit dem Vermerk „Spam“ oder „kein Spam“ –, und es leitet die Muster selbst ab. Deep LearningMaschinelles Lernen mit neuronalen Netzen aus vielen hintereinandergeschalteten Schichten, die selbst aus Rohdaten lernen, worauf es ankommt.Im Glossar ansehen ist eine besonders leistungsfähige Spielart davon: Es nutzt künstliche neuronale Netze mit vielen hintereinandergeschalteten Schichten, die selbst aus Rohdaten wie Pixeln oder Textbausteinen lernen, worauf es ankommt. Large Language Model (LLM)Großes Sprachmodell: ein neuronales Netz, das mit riesigen Textmengen trainiert wurde und Texte fortsetzen, beantworten und umformulieren kann – etwa ChatGPT, Claude oder Gemini.Im Glossar ansehen (LLMs), also große Sprachmodelle wie ChatGPT, Claude oder Gemini, sind Deep-Learning-Systeme, die mit riesigen Textmengen trainiert wurden.
Quer zu diesen Begriffen verläuft eine zweite Unterscheidung. Fast alle bisherigen KI-Systeme gelten als Enge KIKI, die für eine bestimmte Aufgabe gebaut ist – etwa Schach spielen oder Röntgenbilder auswerten – und außerhalb davon scheitert. Fast alle bisherigen KI-Systeme gehören dazu.Im Glossar ansehen: Sie sind für eine bestimmte Aufgabe gebaut – Schach spielen, Tumore auf Röntgenbildern markieren, Texte übersetzen – und scheitern außerhalb davon. Das Gegenstück wäre eine Allgemeine KI (AGI)Artificial General Intelligence: eine bislang hypothetische KI, die sich wie ein Mensch flexibel in beliebige neue Aufgaben einarbeiten könnte. Ob und wann es sie geben wird, ist umstritten.Im Glossar ansehen (Artificial General Intelligence, AGI), die sich wie ein Mensch flexibel in beliebige neue Aufgaben einarbeiten kann. Große Sprachmodelle verwischen diese Grenze, weil ein einziges Modell schreiben, programmieren, übersetzen und zusammenfassen kann. Ob sie damit auf dem Weg zu allgemeiner Intelligenz sind, ist eine der großen offenen Fragen des Feldes – Kapitel 10 greift sie wieder auf.
Meilensteine der KI-Geschichte
Die Geschichte der KI verläuft nicht geradlinig, sondern in Wellen aus Euphorie und Ernüchterung. Auf große Versprechen in den 1950er- und 60er-Jahren folgten Phasen mit gekürzten Fördergeldern und enttäuschten Erwartungen, die als KI-WinterPhasen, in denen nach übertriebenen Erwartungen Fördergelder und Interesse an KI-Forschung stark zurückgingen – vor allem in den 1970er- und späten 1980er-Jahren.Im Glossar ansehen in die Geschichte eingingen. Der heutige Aufschwung begann um 2012, als drei Entwicklungen zusammenkamen: riesige digitale Datenmengen, leistungsfähige Grafikprozessoren (GPU (Grafikprozessor)Ursprünglich für Computergrafik entwickelter Chip, der sehr viele einfache Rechnungen gleichzeitig ausführt. Genau das braucht das Training neuronaler Netze.Im Glossar ansehen), die viele Rechnungen gleichzeitig ausführen, und verbesserte Trainingsverfahren für neuronale Netze.
Zwei dieser Ereignisse zeigen besonders deutlich, wie sich das Feld gewandelt hat. Der Schachcomputer Deep Blue gewann 1997 vor allem durch enorme Rechenkraft und von Menschen entworfene Bewertungsregeln – ein Triumph der klassischen KI. AlphaGo dagegen lernte sein Spiel 2016 zu großen Teilen aus Daten und aus Partien gegen sich selbst. Im Brettspiel Go gibt es so viele mögliche Stellungen, dass reines Durchrechnen aussichtslos ist; gefragt war eine Art gelernte Intuition.
Der Zeitstrahl ist bewusst knapp gehalten. Kapitel 2 erzählt diese Geschichte ausführlich – zusammen mit der Entwicklung der Computer, auf der sie aufbaut.
Der Deep-Learning-Durchbruch in Zahlen
Fehlerquote von AlexNet im Bilderkennungs-Wettbewerb ImageNet 2012 – der Zweitplatzierte lag bei 26,2 %.
gewann AlphaGo 2016 gegen Lee Sedol, einen der stärksten Go-Spieler der Welt.
Parameter hatte AlexNet. Heutige große Sprachmodelle arbeiten mit Milliarden.
Neuronale Netze verstehen
Künstliche Neuronales NetzRechenmodell aus vielen einfachen, in Schichten verbundenen „Neuronen“. Lose vom Gehirn inspiriert, aber viel einfacher.Im Glossar ansehen sind lose vom Gehirn inspiriert, funktionieren aber deutlich einfacher. Sie bestehen aus künstlichen „Neuronen“, die in Schichten angeordnet sind: Die Eingabeschicht nimmt die Daten auf, eine oder viele verborgene Schichten (Hidden Layers) verarbeiten sie, und die Ausgabeschicht liefert das Ergebnis.
Jede Verbindung zwischen zwei Neuronen hat ein GewichtZahl an einer Verbindung zwischen zwei Neuronen. Sie legt fest, wie stark ein Signal weitergegeben wird. Das „Wissen“ eines Netzes steckt in seinen Gewichten.Im Glossar ansehen – eine Zahl, die festlegt, wie stark ein Signal weitergegeben wird. Ein hohes Gewicht verstärkt, ein negatives schwächt ab. Jedes Neuron addiert seine gewichteten Eingänge und entscheidet dann über eine sogenannte AktivierungsfunktionRegel, nach der ein künstliches Neuron aus der Summe seiner gewichteten Eingänge sein Ausgangssignal bildet – etwa „kaum Signal“ bei kleiner und „starkes Signal“ bei großer Summe.Im Glossar ansehen, wie stark es selbst ein Signal weitergibt. Das gesamte „Wissen“ eines Netzes steckt in diesen Gewichten; man nennt sie auch ParameterAlle beim Training einstellbaren Zahlen eines Modells, vor allem die Gewichte. Große Sprachmodelle haben Milliarden davon.Im Glossar ansehen.
Wie ein einzelnes Neuron zu seinem Urteil kommt, lässt sich selbst ausprobieren. Das folgende Neuron hat drei Eingänge, die jeweils nur „an“ oder „aus“ sein können, dazu eine Bias (Grundneigung)Zusätzliche Zahl in einem Neuron, die unabhängig von den Eingängen hinzukommt. Sie verschiebt die Schwelle, ab der das Neuron „anspringt“. Nicht zu verwechseln mit Bias im Sinne von Verzerrung oder Vorurteil.Im Glossar ansehen (Fachbegriff: Bias), die unabhängig von den Eingängen immer mitzählt. Die Aktivierungsfunktion übersetzt die Summe schließlich in eine Wahrscheinlichkeit: Eine stark negative Summe ergibt fast 0 %, eine stark positive fast 100 %, eine Summe von null genau 50 %.
Ein Neuron als Spamfilter
Schalten Sie Merkmale einer E-Mail ein und aus und verändern Sie die Gewichte. Ein eingeschaltetes Merkmal gibt sein Gewicht an die Summe weiter, ein ausgeschaltetes nichts. Ab einer Spam-Wahrscheinlichkeit von 50 % wird aussortiert.
Ausprobieren: Schalten Sie zusätzlich „Absender ist bekannt“ ein – die Mail bleibt nun im Posteingang. Wie hoch muss das Gewicht für „Gewinn“ steigen, damit sie trotzdem aussortiert wird?
Das Neuron hat dabei nichts „verstanden“: Es addiert und vergleicht. Bemerkenswert sind zwei andere Dinge. Erstens entsteht aus vielen solcher einfachen Bausteine, hintereinandergeschaltet, erstaunlich vielseitiges Verhalten. Zweitens muss niemand die Gewichte von Hand einstellen – das Netz findet sie selbst.
Lernen durch Fehlerkorrektur
Zu Beginn sind die Gewichte zufällig – das Netz rät. Gelernt wird durch Wiederholung: Das Netz macht eine Vorhersage, vergleicht sie mit der richtigen Antwort und passt seine Gewichte ein klein wenig an, sodass der Fehler beim nächsten Mal geringer ausfällt. Nach Millionen solcher Durchgänge sind die Gewichte so eingestellt, dass das Netz auch bei Beispielen gute Antworten gibt, die es nie zuvor gesehen hat. Diese Fähigkeit zur Verallgemeinerung (Generalisierung)Fähigkeit eines trainierten Modells, auch bei Beispielen gute Antworten zu geben, die es im Training nie gesehen hat. Das eigentliche Ziel des Lernens.Im Glossar ansehen ist das eigentliche Ziel des Trainings.
Wie das in der Praxis aussieht, zeigt der nächste Spielplatz. Hier rechnet ein echtes, wenn auch winziges neuronales Netz: zwei Eingänge (die Position eines Punktes auf der Fläche), eine verborgene Schicht mit wenigen Neuronen und ein Ausgang, der angibt, zu welcher Gruppe ein Punkt an dieser Stelle wohl gehört. Jeder „Durchgang“ ist eine Runde des Lernzyklus über alle Punkte.
Ein Netz lernt, Gruppen zu trennen
Starten Sie das Training und sehen Sie zu, wie das Netz seine Gewichte Schritt für Schritt nachjustiert. Die Farbtöne zeigen seine aktuelle Einschätzung für jeden Ort der Fläche, die dunkle Linie seine Grenze zwischen den Gruppen. Alles wird live in Ihrem Browser berechnet.
- Durchgänge
- 0
- Richtig eingeordnet
- –
- Fehler im Verlauf
Ausprobieren: Stellen Sie die verborgene Schicht auf 1 Neuron und trainieren Sie den Ring erneut. Warum gelingt es nun nicht mehr? Setzen Sie danach eigene Punkte – auch einzelne Ausreißer mitten in die andere Gruppe.
Mit nur einem verborgenen Neuron kann das Netz ausschließlich eine gerade Grenze ziehen – einen Ring trennt keine Gerade. Erst mehrere Neuronen zusammen können Grenzen biegen und schließen: Jedes trägt eine einfache Teilentscheidung bei, und die Ausgabeschicht setzt sie zusammen. Genau darin liegt die Stärke tiefer Netze: Aus vielen einfachen Bausteinen entstehen komplexe Muster. Bei den Ausreißern lässt sich zudem beobachten, wie ein Netz versucht, auch einzelne Sonderfälle unterzubringen – und dafür manchmal merkwürdige Ausbuchtungen in Kauf nimmt.
Vom kleinen Netz zum Sprachmodell
Das Spam-Beispiel hat drei Eingänge und eine Handvoll Neuronen. Das Grundprinzip – gewichtete Verbindungen, die durch Fehlerkorrektur eingestellt werden – trägt aber bis zu den größten Sprachmodellen. Der Unterschied liegt in der Größenordnung und im Aufbau: Moderne Sprachmodelle haben Milliarden von Gewichten, verarbeiten statt drei Merkmalen ganze Texte und sind auf eine besondere Weise verschaltet, die Kapitel 3 vorstellt – den Transformer. Auch ihr Lernziel ist erstaunlich schlicht: Sie lernen, das jeweils nächste Wort vorherzusagen (Kapitel 4).
Die Wanderin im Nebel
Die Landschaft zeigt, wie groß der Fehler wäre, je nachdem, wie ein einzelnes Gewicht eingestellt ist. Die Wanderin kennt nur das Gefälle unter ihren Füßen (Pfeil) und geht jeweils ein Stück bergab; wie groß dieses Stück ist, bestimmt die Schrittweite. Die Landschaft ist ausgedacht – echte Netze haben Millionen solcher Gewichte zugleich. Startpunkt per Regler oder durch Klick auf die Landschaft.
Schritt 0
Ausprobieren: Lassen Sie die Wanderin mit der voreingestellten Schrittweite loslaufen und lichten Sie danach den Nebel. Versuchen Sie es dann mit großen Schritten (über 0,6) und mit sehr kleinen (0,02).
Die Schrittweite heißt in der Fachsprache Lernrate (Schrittweite)Legt fest, wie stark die Gewichte bei jedem Lernschritt verändert werden. Zu klein: Das Training dauert ewig. Zu groß: Es schießt über das Ziel hinaus.Im Glossar ansehen. Ist sie zu klein, dauert das Training sehr lange; ist sie zu groß, springt das Netz über die guten Einstellungen hinweg und kommt nicht zur Ruhe. Und wie die Wanderin kann auch ein Netz in einer Mulde landen, die nicht der tiefste Punkt ist – es merkt das selbst nicht. Die passende Lernrate und ein guter Startpunkt gehören deshalb zum Handwerk des Trainings.
Quellen zu diesem Kapitel
- Krizhevsky, A., Sutskever, I. & Hinton, G. E. (2012): ImageNet Classification with Deep Convolutional Neural Networks. Advances in Neural Information Processing Systems 25 (NIPS 2012).Link
- Google DeepMind (2016): AlphaGo – Match gegen Lee Sedol, Seoul, März 2016.Link
- Rumelhart, D. E., Hinton, G. E. & Williams, R. J. (1986): Learning representations by back-propagating errors. Nature 323, 533–536.Link
- Lapuschkin, S. et al. (2019): Unmasking Clever Hans predictors and assessing what machines really learn. Nature Communications 10, 1096.Link
- Azevedo, F. A. C. et al. (2009): Equal numbers of neuronal and nonneuronal cells make the human brain an isometrically scaled-up primate brain. Journal of Comparative Neurology 513 (5), 532–541.Link
- Balasubramanian, V. (2021): Brain power. Proceedings of the National Academy of Sciences 118 (32), e2107022118.Link