Tokenizer

Tokenizer

Definition

Ein Tokenizer ist eine Komponente in Sprachmodellen und anderen Systemen der natürlichen Sprachverarbeitung, die Text in kleinere Einheiten zerlegt und diese in numerische Repräsentationen überführt. Diese Einheiten heißen Tokens. Ein Token kann einem vollständigen Wort, einem Wortbestandteil, einem Satzzeichen, einer Zahl, einem Leerzeichenmuster oder einem einzelnen Zeichen entsprechen.

Sprachmodelle verarbeiten nicht direkt die sichtbaren Buchstaben eines Textes. Der Tokenizer wandelt eine Eingabe deshalb zunächst in eine Folge von Token-IDs um, die das Modell mathematisch verarbeiten kann. Nach der Generierung übernimmt ein Decoder den umgekehrten Schritt und setzt die erzeugten IDs wieder zu lesbarem Text zusammen.

Funktionsweise

Eine typische Tokenizer-Pipeline umfasst Normalisierung, Vorzerlegung, Subword-Tokenisierung, Zuordnung zu einem Vokabular und Nachverarbeitung. Bei der Normalisierung können beispielsweise Unicode-Varianten vereinheitlicht oder Groß- und Kleinschreibung angepasst werden. Die Vorzerlegung erkennt erste Grenzen zwischen Wörtern, Satzzeichen oder anderen Textbestandteilen.

Anschließend entscheidet der eigentliche Tokenisierungsalgorithmus, welche Einheiten aus dem vorhandenen Vokabular verwendet werden. Verbreitete Verfahren sind Byte Pair Encoding (BPE), WordPiece und Unigram. Moderne Tokenizer arbeiten häufig mit Teilwörtern. Ein häufiges Wort kann als einzelnes Token vorkommen, während ein seltenes oder zusammengesetztes Wort in mehrere Bestandteile zerlegt wird.

Das Ergebnis der Kodierung ist eine Liste numerischer IDs. Zusätzlich können spezielle Tokens eingefügt werden, etwa für Beginn und Ende einer Sequenz, Rollen in einem Chat, Trennzeichen, unbekannte Einheiten oder Padding. Welche Spezialtokens und Formate benötigt werden, hängt vom jeweiligen Modell ab.

Tokens sind nicht gleich Wörter

Die Zahl der Tokens entspricht nicht zuverlässig der Zahl der Wörter. Kurze und häufige englische Begriffe werden oft kompakt kodiert, während lange Zusammensetzungen, seltene Eigennamen, Quellcode oder bestimmte Sprachen mehr Tokens benötigen können. Auch Satzzeichen, Zahlenfolgen und Leerzeichen beeinflussen die Tokenzahl.

Deshalb kann derselbe Inhalt je nach Sprache, Schreibweise und Tokenizer unterschiedlich lang sein. Zwei Modelle mit verschiedenen Vokabularen können denselben Satz in deutlich unterschiedliche Tokenfolgen zerlegen. Tokenangaben sind daher immer modell- beziehungsweise tokenizerabhängig.

Bedeutung für Kontextfenster und Kosten

Tokenizer bestimmen, wie viel Inhalt in ein Kontextfenster passt. Wenn ein Modell eine maximale Sequenzlänge besitzt, wird diese üblicherweise in Tokens und nicht in Zeichen oder Wörtern gemessen. Lange Eingaben können gekürzt, auf mehrere Abschnitte verteilt oder zusammengefasst werden müssen.

Bei vielen KI-Diensten bilden Eingabe- und Ausgabetokens außerdem die Grundlage für Nutzungsabrechnung und Kapazitätsplanung. Ein effizienter Tokenizer kann mehr Bedeutung in derselben Tokenanzahl abbilden. Die reine Minimierung der Tokenzahl ist jedoch nicht automatisch sinnvoll, wenn dadurch notwendiger Kontext verloren geht. Verwandte Konzepte sind Token Minimization, Tokenmaxxing und Valuemaxxing.

Einfluss auf Modellqualität

Das Vokabular eines Tokenizers beeinflusst, wie effizient ein Modell unterschiedliche Sprachen, Fachbegriffe, Zahlen und Programmiersprachen verarbeitet. Eine ungünstige Zerlegung kann Sequenzen verlängern und das Lernen bestimmter Muster erschweren. Ein gut abgestimmter Tokenizer reduziert dagegen unnötige Fragmentierung und unterstützt eine konsistente Repräsentation wichtiger Begriffe.

Tokenizer und Modell müssen zusammenpassen. Werden Token-IDs oder Spezialtokens anders interpretiert als beim Training, entstehen fehlerhafte Eingaben und unverständliche Ausgaben. Deshalb wird ein vortrainiertes Modell normalerweise mit dem zugehörigen Tokenizer und dessen Vokabular verwendet.

Abgrenzung

Ein Tokenizer ist kein Sprachmodell. Er versteht nicht eigenständig die Bedeutung eines Textes und formuliert keine Antworten. Seine Aufgabe ist die deterministische oder regelbasierte Übersetzung zwischen Text und Tokenfolgen. Das Modell verarbeitet anschließend diese Tokenfolgen und berechnet Wahrscheinlichkeiten für mögliche Fortsetzungen.

Tokenisierung ist außerdem nicht identisch mit Embedding. Der Tokenizer erzeugt zunächst diskrete IDs. Erst das Modell ordnet diesen IDs gelernte Vektoren zu, die semantische und syntaktische Eigenschaften im Modellraum repräsentieren.