Grundlagen

Token

Definition

Ein Token ist die kleinste Texteinheit, in die ein Sprachmodell Eingaben zerlegt - meist ein Wortteil. Modelle rechnen, denken und berechnen Kosten in Tokens, nicht in Wörtern.

Ein Wort wie „Auftragsbestätigung“ kann in mehrere Tokens zerfallen, ein häufiges Wort wie „und“ ist genau eines. Als grobe Faustregel entsprechen im Deutschen rund 100 Tokens etwa 50 bis 60 Wörtern - deutlich weniger als die oft zitierten 75, weil Komposita und Flexionsformen in mehrere Teile zerfallen. Diese Einheit ist keine akademische Feinheit: Die Preise der Anbieter, die Größe des Kontextfensters und die Antwortlänge werden allesamt in Tokens gemessen.

Praktisch heißt das: Wer Kosten und Geschwindigkeit einer KI-Anwendung steuern will, steuert die Token-Zahl. Kürzere Prompts, gezieltes statt wahlloses Beifügen von Kontext und Prompt-Caching für wiederkehrende Textbausteine senken die laufenden Kosten unmittelbar. Ein Verständnis von Tokens ist damit die Grundlage jeder belastbaren Wirtschaftlichkeitsrechnung.

In der Praxis

Ein Handelsunternehmen rechnet seinen Support-Assistenten durch

Ein Handelsunternehmen mit 120 Mitarbeitenden möchte Kundenanfragen per E-Mail vorbeantworten lassen, rund 900 Vorgänge im Monat. Die Kalkulation vor dem Start zerlegt eine einzelne Anfrage in ihre Bestandteile: die Grundanweisung mit etwa 600 Tokens, drei Auszüge aus der Wissensdatenbank mit zusammen rund 2.500 Tokens, die eigentliche Kundenmail mit 400 und der Antwortentwurf mit etwa 350 Tokens.

Die Überraschung steckt im Verhältnis: Die Kundenfrage, um die es eigentlich geht, macht weniger als ein Achtel der Eingabe aus. Der weitaus größte Teil sind wiederkehrende Textbausteine, die bei jeder einzelnen Anfrage erneut übertragen und bezahlt werden. Prompt-Caching, das den konstanten Teil zwischenspeichert, wurde damit vom technischen Detail zum größten Kostenhebel des Projekts.

Ein zweiter Punkt betrifft die Sprache. Deutsche Fachtexte mit Komposita wie „Auftragsbestätigung“ oder „Gewährleistungsfrist“ zerfallen in mehr Tokens als vergleichbarer englischer Text. Kalkulationen, die auf englischsprachigen Beispielrechnungen beruhen, fallen deshalb regelmäßig zu niedrig aus - für eine belastbare Planung zählen Sie an eigenen, echten Dokumenten nach.

Abgrenzung

Nicht zu verwechseln mit

Wort: Ein Token ist meist kürzer als ein Wort. Für deutschen Fließtext gilt als grobe Faustregel, dass rund 100 Tokens etwa 50 bis 60 Wörtern entsprechen - bei Fachsprache mit vielen zusammengesetzten Begriffen eher weniger. Die verbreitete Angabe von 75 Wörtern stammt aus englischsprachigen Beispielen und führt im Deutschen zu einer systematisch zu niedrigen Schätzung.
Zeichen: Übersetzungs- und Textdienste rechnen häufig pro Zeichen, Sprachmodelle nie. Ein Token umfasst je nach Häufigkeit des Wortteils ein einzelnes Zeichen oder ein ganzes Wort, weshalb sich Zeichenpreise nicht direkt in Tokenpreise umrechnen lassen.

Fehlerbilder

Worauf es ankommt

Nur die Eingabe rechnen
Ausgabe-Tokens kosten bei den meisten Anbietern ein Mehrfaches der Eingabe. Bei Modellen mit ausformulierten Denkschritten kommen zusätzlich Tokens hinzu, die der Nutzer nie zu sehen bekommt, die aber abgerechnet werden. Eine Kostenschätzung, die nur die Eingabelänge betrachtet, liegt regelmäßig um ein Vielfaches daneben.
Den Gesprächsverlauf unbegrenzt mitschleppen
In einem Chat wird bei jeder neuen Frage der gesamte bisherige Verlauf erneut übertragen. Ein langes Gespräch kostet damit nicht linear, sondern zunehmend mehr. Wer lange Dialoge erlaubt, braucht eine Strategie zum Verdichten oder Zurücksetzen - sonst steigen Kosten und Antwortzeit im Tagesverlauf unbemerkt an.
Ganze Dokumente statt Auszüge beilegen
Ein 40-seitiges Handbuch anzuhängen ist bequem und teuer. Es kostet bei jeder Anfrage die volle Tokenzahl, obwohl in aller Regel zwei Absätze die Antwort enthalten. Ein vorgeschalteter Suchschritt senkt hier Kosten und verbessert die Antwortqualität gleichzeitig.

Häufige Fragen

Was zu Token oft gefragt wird

Wie viele Tokens hat eine DIN-A4-Seite?

Als Größenordnung für deutschen Fließtext gelten grob 800 bis 1.000 Tokens pro voll beschriebener A4-Seite; Tabellen, Stücklisten und Quelltext liegen deutlich darüber. Für eine Planung lohnt sich die Gegenprobe an drei bis fünf echten Dokumenten aus dem eigenen Bestand statt einer allgemeinen Faustregel.

Warum verbraucht Deutsch mehr Tokens als Englisch?

Die Zerlegung in Tokens wird aus den Trainingsdaten gelernt, in denen englischer Text weit überwiegt. Häufige englische Wörter bekommen dadurch ein eigenes Token, während deutsche Komposita und Flexionsformen in mehrere Teile zerfallen. Derselbe Inhalt kostet auf Deutsch daher spürbar mehr Tokens - ein Grund, warum englische Beispielrechnungen von Anbietern nicht übertragbar sind.

Was kostet eine Million Tokens?

Die Preise unterscheiden sich zwischen Anbietern und Modellklassen um mehr als eine Größenordnung und ändern sich mehrmals im Jahr, meist nach unten. Belastbar planen lässt sich deshalb nicht mit einem Preis, sondern mit einer Mengenschätzung: Tokens pro Vorgang mal Vorgänge pro Monat, getrennt nach Ein- und Ausgabe. Diese Rechnung bleibt gültig, wenn sich die Preise ändern.

Wie senken wir den Tokenverbrauch, ohne Qualität zu verlieren?

Drei Hebel wirken in dieser Reihenfolge: gezielte Auszüge statt ganzer Dokumente, Zwischenspeichern wiederkehrender Textbausteine und ein kleineres Modell für Routinefälle. Kürzere Anweisungen bringen dagegen meist wenig, weil sie selten den Hauptteil des Verbrauchs ausmachen - und eine zu knappe Anweisung kostet an anderer Stelle Qualität.

Verwandte Begriffe