Kontextfenster im Chatbot einfach erklärt

Einfach erklärt

Stellen Sie sich einen Schreibtisch vor. Auf diesem Tisch hat nur eine bestimmte Menge Papier Platz. Alles, was darauf liegt, kann die Sachbearbeiterin gleichzeitig ansehen. Was nicht auf den Tisch passt, bleibt im Archiv und wird nicht berücksichtigt.

Genau so funktioniert das Kontextfenster eines Sprachmodells, also der KI hinter dem Chatbot. Es ist die Obergrenze für den Text, den das Modell bei einer einzigen Antwort «vor sich hat».

Gemessen wird diese Menge in Tokens. Ein Token ist ein Textbaustein, oft ein Wortstück. Ein deutsches Wort besteht meist aus mehreren Tokens, lange Fachwörter aus noch mehr. Wie gross das Fenster ist, hängt vom Modell ab und ändert sich mit neuen Modellversionen. Prüfen Sie die aktuelle Angabe beim Anbieter.

Im Fenster liegt nicht nur Ihr Dokument. Es teilt sich auf mehrere Dinge auf:

• die Anweisungen an den Chatbot (Rolle, Regeln, Ton),
• der bisherige Gesprächsverlauf,
• die aktuelle Frage,
• die gefundenen Dokumentausschnitte,
• und der Platz für die Antwort selbst.

Ist der Tisch voll, fällt etwas herunter: entweder ältere Gesprächsteile oder Ausschnitte. Auch bei grossem Fenster gilt: Wer sehr viel Text hineinlegt, erhält nicht zwingend bessere Antworten, weil wichtige Stellen untergehen können und die Kosten steigen.

Deshalb arbeiten Dokumenten-Chatbots mit Suche. Zuerst wählt das System die zur Frage passenden Abschnitte aus, danach beantwortet das Modell die Frage nur anhand dieser Auswahl. Dieses Verfahren heisst RAG und ist unter Was bedeutet RAG bei einem Chatbot? beschrieben. Warum Dokumente dafür in kleine Stücke zerlegt werden, zeigt Dokumente in Abschnitte teilen.

Ein Beispiel: Ein Treuhandbüro in Baden hat 400 Seiten Merkblätter. Frau Müller fragt nach der Abgabefrist für ein bestimmtes Formular. Der Chatbot sucht drei passende Abschnitte, legt sie zusammen mit der Frage ins Kontextfenster und antwortet mit Quelle. Die übrigen 390 Seiten blieben dafür unberührt, und das ist gewollt.

Wichtig für Ihre Planung:

So hilft Ihnen Alpasana

Wer versteht, wie viel Text eine KI auf einmal verarbeiten kann, formuliert bessere Aufträge und wählt passendere Dokumente aus. Die Kurse von absofort für KI und IT für konkrete Arbeitsaufgaben üben den verantwortungsvollen Einsatz von KI an Arbeitsaufgaben wie Bürokommunikation, Kundenservice und der Vorbereitung von Chatbot-Wissen.

Sie wählen einen Kurs, der zu Ihrer Aufgabe passt, und lernen im eigenen Tempo.