Token
Der kleine Textbaustein, in den ein Modell Sprache zerlegt – meist ein Wortstück oder ein Satzzeichen.
Einfach erklärt
Ein Token ist eine Einheit, in die ein Sprachmodell Text zerlegt. Je nach Modell kann ein Token ein Wort, ein Wortteil oder ein Satzzeichen sein. Die Zuordnung ist vom verwendeten Verfahren abhängig; es gibt keinen festen Umrechnungswert von Wörtern zu Tokens.
Tokens werden unter anderem für die Größe des Kontextfensters und die Abrechnung von API-Aufrufen gezählt. Die Kosten hängen zusätzlich vom gewählten Modell und Tarif ab. Kurze Texte lassen mehr Platz für andere Informationen im Kontextfenster.
Beispiel aus dem Alltag
Das Wort „Donaudampfschifffahrt" wird intern in mehrere Tokens zerlegt. Deshalb zählt ein solcher Text mehr, als die Wortzahl vermuten lässt.
Häufige Fragen
Was bedeutet das für die Kosten?
Viele Anbieter rechnen nach Tokens ab, für Eingabe und Ausgabe getrennt. Kürzere Prompts und knappe Antworten senken die Kosten und lassen mehr Platz im Gespräch.
Warum verrechnet sich eine KI beim Zählen von Buchstaben?
Das Modell verarbeitet Text in Einheiten, die nicht immer einzelnen Zeichen entsprechen. Bei einer Zählaufgabe können dadurch und durch die Berechnung der Antwort Fehler entstehen. Für exaktes Zählen ist eine passende Programmfunktion verlässlicher.