Transformer
Definition
Der Transformer ist die neuronale Netzarchitektur hinter fast allen modernen Sprachmodellen. Sein Kernmechanismus — „Attention" — gewichtet, welche Wörter im Text füreinander wichtig sind.
Vor dem Transformer verarbeiteten Modelle Text Wort für Wort und verloren dabei leicht den Zusammenhang über längere Passagen. Der 2017 vorgestellte Transformer betrachtet stattdessen alle Wörter zugleich und lernt, welche Bezüge zählen — etwa dass sich „sie" am Satzende auf ein Substantiv am Anfang bezieht.
Für Entscheider ist der Begriff vor allem als Herkunfts-Erklärung relevant: Das „GPT" in vielen Produktnamen steht für „Generative Pretrained Transformer". Die Architektur ist der Grund, warum Modelle mit mehr Daten und Rechenleistung verlässlich besser werden — und warum das Kontextfenster, also wie viel Text ein Modell auf einmal überblickt, eine so zentrale Kenngröße ist.
Verwandte Begriffe
Weiter im Glossar
Von der Definition zur Umsetzung?
Lassen Sie uns besprechen, wie sich das konkret in Ihrem Unternehmen anwenden lässt.
Projekt anfragen