Was sind Tokens bei KI?

Einfach erklärt

Eine KI liest nicht Buchstabe für Buchstabe und auch nicht Wort für Wort. Sie zerlegt Text in Tokens, also kleine Bausteine, ähnlich wie Legosteine. Häufige kurze Wörter wie «und» oder «die» sind oft ein einziger Baustein. Lange oder seltene Wörter werden in mehrere Teile gespalten.

Ein Beispiel: Das Wort «Haus» ist vermutlich ein Token. «Mehrwertsteuerabrechnung» dagegen wird in mehrere Stücke zerlegt, etwa «Mehr», «wert», «steuer», «ab», «rechnung». Wie genau zerlegt wird, ist bei jedem Modell etwas anders.

Warum dieser Umweg? Mit einem festen Vorrat an Bausteinen kann die KI jedes beliebige Wort zusammensetzen, auch Namen, Fachbegriffe oder Tippfehler, die sie noch nie gesehen hat. Innerlich rechnet sie nur mit Zahlen: Jeder Baustein hat eine Nummer.

Wie viele Tokens in eine Unterhaltung passen, erklärt Das Kontextfenster einfach erklärt.

Ein Beispiel aus der Praxis

Ein Beispiel: Herr Steiner, Treuhänder in Schaffhausen, lädt einen langen Jahresbericht in einen KI-Chat und erhält die Meldung, der Text sei zu lang. Er versteht nun: Nicht die Seitenzahl ist entscheidend, sondern die Zahl der Tokens. Er teilt den Bericht in Kapitel auf und lässt jedes einzeln zusammenfassen. Was die Wortzahl mit dem Tokenlimit zu tun hat, vertieft Tokenlimit und Wortzahl.

Vorlage zum Kopieren

Ich habe einen Text mit ungefähr [Anzahl] Wörtern auf Deutsch.
Schätze grob, wie viele Tokens das ungefähr sind, und erkläre, warum es mehr Tokens als Wörter sind.
Schlage vor, wie ich den Text sinnvoll in Teile aufteile, falls er für einen Chat zu lang ist.

Setzen Sie die Wortzahl ein, die Word unten links in der Statusleiste anzeigt; die Schätzung der KI ist nur ein Richtwert.

Worauf Sie achten müssen

• Die genaue Zählweise unterscheidet sich je nach Modell. Einige Anbieter bieten dafür eigene Zählwerkzeuge an.
• Lange Texte, die das Limit überschreiten, werden manchmal still gekürzt. Prüfen Sie bei Zusammenfassungen, ob auch der Schluss berücksichtigt wurde.

So hilft Ihnen Alpasana

Grundbegriffe wie Token, Modell und Kontext erklärt die KI-Weiterbildung mit verifizierbarem Lernnachweis auf absofort ohne Vorkenntnisse. Praxisaufgaben und Modul-Quizze helfen beim Verstehen, das Zertifikat lässt sich öffentlich prüfen.

Häufige Fragen

Muss ich als normale Nutzerin Tokens zählen?

Meist nicht. In einem gewöhnlichen KI-Chat bemerken Sie Tokens nur, wenn ein Text zu lang ist oder die KI frühere Angaben vergisst. Wichtig werden sie vor allem bei der Abrechnung über Programmierschnittstellen.

Zählen Leerzeichen und Satzzeichen auch als Tokens?

Satzzeichen sind oft eigene Tokens, Leerzeichen werden meist mit dem folgenden Wort zusammengefasst. Auch Bilder und Dateien werden intern in Tokens umgerechnet.