Transformer
Definition
Der Transformer ist die neuronale Netzarchitektur hinter fast allen modernen Sprachmodellen. Sein Kernmechanismus - „Attention“ - gewichtet, welche Wörter im Text füreinander wichtig sind.
Vor dem Transformer verarbeiteten Modelle Text Wort für Wort und verloren dabei leicht den Zusammenhang über längere Passagen. Der 2017 vorgestellte Transformer betrachtet stattdessen alle Wörter zugleich und lernt, welche Bezüge zählen - etwa dass sich „sie“ am Satzende auf ein Substantiv am Anfang bezieht.
Für Entscheider ist der Begriff vor allem als Herkunfts-Erklärung relevant: Das „GPT“ in vielen Produktnamen steht für „Generative Pretrained Transformer“. Die Architektur ist der Grund, warum Modelle mit mehr Daten und Rechenleistung verlässlich besser werden - und warum das Kontextfenster, also wie viel Text ein Modell auf einmal überblickt, eine so zentrale Kenngröße ist.
In der Praxis
Eine Steuerkanzlei lässt Mandantenschreiben zusammenfassen
Eine Steuerberatungskanzlei mit 30 Beschäftigten bekommt von Mandanten lange, sprunghaft geschriebene E-Mails: eine Frage zur Umsatzsteuer, dann drei Absätze Kontext zu einem Bauvorhaben, am Ende ein Verweis auf „die Sache von letztem Jahr“. Wer antwortet, muss die Bezüge über den ganzen Text hinweg auflösen, bevor er überhaupt weiß, worum es geht.
Genau diese Fähigkeit liefert die Transformer-Architektur: Sie betrachtet nicht ein Wort nach dem anderen, sondern gewichtet, welche Stellen im Text aufeinander zeigen. Dass sich „die Sache von letztem Jahr“ auf das im zweiten Absatz erwähnte Bauvorhaben bezieht, ist kein Sonderfall, sondern der Normalbetrieb dieses Mechanismus. Eine ältere Textanalyse hätte an dieser Distanz den Faden verloren.
Für die Kanzlei ist der Begriff darum vor allem eine Erwartungshilfe. Sie erklärt, warum ein Modell mit langen, unsortierten Zuschriften gut zurechtkommt - und zugleich, warum die Länge nicht beliebig wächst: Was das Modell gleichzeitig betrachten kann, ist durch das Kontextfenster begrenzt, und genau dort liegt bei sehr umfangreichen Akten die praktische Grenze.
Abgrenzung
Nicht zu verwechseln mit
- GPT und andere Modellnamen
- Der Transformer ist die Bauweise, ein Modell wie GPT oder Claude ist ein konkretes Produkt auf ihrer Grundlage. „Ist auch ein Transformer“ sagt über die Leistungsfähigkeit eines Modells so wenig aus wie „hat einen Verbrennungsmotor“ über die eines Fahrzeugs.
- Neuronales Netz allgemein
- Neuronale Netze gibt es seit Jahrzehnten und in vielen Bauformen. Der Transformer ist eine bestimmte davon - diejenige, die sich für Sprache als besonders skalierbar erwiesen hat, weil sie alle Textteile parallel statt nacheinander verarbeitet.
Fehlerbilder
Worauf es ankommt
Architektur mit Fähigkeit verwechseln
Im Anbietervergleich taucht die Architektur oft als Qualitätsmerkmal auf. Sie ist keines: Zwei Modelle derselben Bauart unterscheiden sich um Größenordnungen, je nach Trainingsdaten, Modellgröße und Nachbearbeitung. Vergleichen Sie Modelle an Ihren eigenen Aufgaben, nicht an ihrem Datenblatt.
Ein eigenes Modell trainieren wollen
Ein Transformer-Modell von Grund auf zu trainieren erfordert Rechenkapazität und Datenmengen, die für mittelständische Budgets nicht darstellbar sind - und die Ergebnisse bleiben hinter frei verfügbaren Modellen zurück. Der wirtschaftliche Hebel liegt in der Anbindung an die eigenen Daten, nicht im eigenen Training.
Das Kontextfenster für den Datenzugang halten
Weil der Transformer sehr große Fenster erlaubt, wirkt es naheliegend, einfach alle Unterlagen beizulegen. Das treibt Kosten und Antwortzeiten und verschlechtert bei langen Texten messbar die Trefferquote. Ein gezielter Suchschritt davor ist fast immer die bessere und günstigere Lösung.
Häufige Fragen
Was zu Transformer oft gefragt wird
Was ist der Unterschied zwischen Transformer und GPT?
Transformer bezeichnet die Netzarchitektur, GPT ein damit gebautes Modell - die Abkürzung steht für „Generative Pretrained Transformer“. Alle gängigen Sprachmodelle großer Anbieter basieren heute auf der Transformer-Architektur; unterschiedlich sind Trainingsdaten, Größe, Nachbearbeitung und Preis. Für eine Kaufentscheidung ist die Architektur damit kein Unterscheidungsmerkmal.
Müssen wir die Transformer-Architektur verstehen, um KI einzusetzen?
Nein. Für den Einsatz reicht ein Verständnis der Konsequenzen: Das Modell arbeitet mit einem begrenzten Textfenster, es verarbeitet Text in Tokens, und es erkennt Bezüge statistisch statt durch Regeln. Wer diese drei Punkte kennt, kann Anwendungsfälle realistisch bewerten, ohne die Mathematik dahinter zu kennen.
Warum können neuere Modelle so viel längere Texte verarbeiten?
Der Attention-Mechanismus vergleicht im Grundsatz jeden Textteil mit jedem anderen, wodurch der Aufwand mit der Textlänge überproportional wächst. Neuere Modelle nutzen Varianten dieses Mechanismus und effizientere Hardware, um dieselbe Arbeit für sehr lange Texte bezahlbar zu machen. Dass ein Modell lange Texte verarbeiten kann, heißt allerdings nicht, dass es sie gleich gut auswertet.
Verwandte Begriffe
Weiter im Glossar
Von der Definition zur Umsetzung?
Lassen Sie uns besprechen, wie sich das konkret in Ihrem Unternehmen anwenden lässt.
Projekt anfragen