Transformer
Die Bauweise hinter modernen Sprachmodellen; sie gewichtet, welche Teile einer Eingabe zusammengehören.
Einfach erklärt
Transformer ist der Name der technischen Konstruktion, mit der die meisten heutigen Sprachmodelle gebaut sind. Ihr Kern ist ein Mechanismus, der beim Verarbeiten eines Wortes darauf achtet, welche anderen Wörter im Text dazu wichtig sind. So wird „Bank“ in einem Satz über Sitzgelegenheiten anders eingeordnet als in einem Satz über Geld.
Der Begriff taucht in Produktbeschreibungen und Fachartikeln auf. Aus „basiert auf einem Transformer" folgt nichts über die Zuverlässigkeit einer konkreten Anwendung. Das zeigt nur der Test an echten Fällen.
Beispiel aus dem Alltag
In „Die Bank am Weg lädt zum Sitzen ein“ geben „Weg“ und „Sitzen“ Hinweise auf die Sitzbank. In „Die Bank überweist das Geld“ sprechen die übrigen Wörter für ein Geldinstitut.
Häufige Fragen
Muss ich als Nutzer wissen, was ein Transformer ist?
Für die Praxis nicht. Der Begriff hilft nur, Produktbeschreibungen einzuordnen. Wichtiger ist, wie zuverlässig eine konkrete Anwendung bei deiner Aufgabe arbeitet.
Sind alle heutigen KI-Modelle Transformer?
Die meisten großen Sprach- und Bildmodelle ja. Es gibt auch andere Bauweisen, und die Forschung arbeitet an Alternativen, doch der Transformer ist seit 2017 die verbreitetste Grundlage.
Was ist der Attention-Mechanismus?
Ein Rechenschritt, der beim Verarbeiten eines Wortes gewichtet, welche anderen Wörter im Text dazu wichtig sind. So wird Kontext berücksichtigt, etwa die Bedeutung von „Bank" je nach Satz.