Token

Definition

Ein Token ist ein Textbaustein, in den ein Zerlegungsprogramm (der sogenannte Tokenizer) Eingaben für ein Sprachmodell zerlegt. Häufige Wörter sind oft ein einziges Token, seltene oder lange Wörter zerfallen in mehrere Teile. Auch Leerzeichen und Satzzeichen können eigene Tokens sein.

Das Sprachmodell rechnet nicht mit Buchstaben oder Wörtern, sondern mit diesen Bausteinen. Jeder Baustein hat intern eine Nummer, und mit diesen Nummern arbeitet das Modell.

Einfach erklärt

Stellen Sie sich Legosteine vor. Aus einem festen Vorrat an Steinen lässt sich jedes Wort zusammensetzen, auch ein Name oder ein Tippfehler, den die KI noch nie gesehen hat. Ein kurzes, häufiges Wort wie «und» ist ein einzelner Stein. Ein langes Wort wie «Mehrwertsteuerabrechnung» besteht aus mehreren Steinen.

Wie genau ein Wort zerlegt wird, ist bei jedem Modell etwas anders. Sie müssen die Tokens deshalb nicht selbst zählen. Wichtig ist nur die Grundidee: Eine KI «liest» in Bausteinen, und nach diesen Bausteinen richten sich Grenzen und Preise.

Beispiel

Ein Beispiel: Eine Sachbearbeiterin in einer Gemeinde lädt ein langes Reglement in einen KI-Chat und erhält die Meldung, der Text sei zu lang. Die Seitenzahl ist dabei nicht entscheidend, sondern die Zahl der Tokens. Sie teilt das Reglement in Kapitel auf und lässt jedes einzeln zusammenfassen.

Das englische Wort «data» ist meist ein einzelnes Token. Die «Datenschutzgrundverordnung» zerfällt dagegen in mehrere Teile.

Nicht verwechseln

Im Bereich Sicherheit bedeutet «Token» etwas ganz anderes, nämlich einen Zugangsschlüssel oder ein Einmalpasswort. Bei KI-Sprachmodellen ist immer der Textbaustein gemeint.

Mehr zum Zerlegen erfahren Sie unter Tokenisierung, zur Begrenzung unter Kontextfenster. Wie Tokens und Wortzahl zusammenhängen, zeigt Tokenlimit und Wortzahl.

So hilft Ihnen Alpasana

Wer lernen möchte, KI so zu beauftragen, dass Länge und Inhalt der Antworten passen, findet im Kurs Prompt Engineering die nötigen Grundlagen. Dort legen Sie Aufgabe, Kontext und Ausgabeformat fest und überarbeiten Ihre Prompts Schritt für Schritt. Der Kurs läuft online, setzt keine Programmierkenntnisse voraus und schliesst mit einem Zertifikat ab.