Kontextfenster testen: Findet die KI alle wichtigen Angaben?

Das Problem

Ein Anbieter schreibt, sein Modell könne «hunderte Seiten auf einmal verarbeiten». Sie möchten wissen, ob das auch für Ihre Dokumente gilt: Verträge, Handbücher, Berichte. Finden Sie darin zuverlässig alles, was Sie brauchen? Oder gehen Angaben verloren, besonders in der Mitte?

Verlassen Sie sich nicht auf Werbeaussagen. Mit einem einfachen Test, den Sie in einer Stunde selbst durchführen können, erhalten Sie ein ehrliches Bild.

Der Test funktioniert wie eine Kontrolle mit Nadeln im Heuhaufen: Sie legen bekannte Angaben an verschiedene Stellen und prüfen, ob die KI sie findet.

So lösen Sie es mit KI – Schritt für Schritt

1. Testdokument wählen: Nehmen Sie ein langes, unverfängliches Dokument, das Sie verwenden dürfen, oder fügen Sie mehrere Beispieltexte zu einem langen Text zusammen. Verwenden Sie keine vertraulichen Unterlagen.
2. Prüfangaben festlegen: Denken Sie sich zehn kurze, eindeutige Angaben aus, etwa «Der Hausmeister heisst Herr Brunner» oder «Die Lieferfrist beträgt 17 Tage». Sie dürfen sonst im Text nirgends vorkommen.
3. An verschiedenen Stellen einfügen: Verteilen Sie die Angaben über das Dokument: zwei am Anfang, sechs in der Mitte an unterschiedlichen Stellen, zwei am Ende. Notieren Sie, wo welche steht.
4. Dokument hochladen und gezielt fragen: Laden Sie den Text in das Programm und fragen Sie für jede Angabe einzeln: «Wie heisst der Hausmeister?» Stellen Sie die Fragen in zufälliger Reihenfolge.
5. Antworten bewerten: Notieren Sie pro Frage: richtig, falsch, nicht gefunden. Achten Sie darauf, ob die KI Antworten erfindet.
6. Gesamtfragen testen: Fragen Sie auch: «Nenne alle Lieferfristen im Dokument.» Prüfen Sie, ob sie alle nennt.
7. Auswertung machen: Wie viele Angaben wurden gefunden? Gibt es ein Muster, etwa Schwächen in der Mitte? Wiederholen Sie den Test mit längerem Text, um die Grenze zu finden.
8. Entscheiden: Legen Sie fest, bis zu welcher Länge Sie dem Programm vertrauen und ab wann Sie Dokumente teilen oder eine Suche nutzen.

Auswertungstabelle

Zählen Sie am Schluss, wie viele richtig waren, und notieren Sie Datum, Programm und Textlänge.

Vorlage zum Kopieren

Mit diesem Auftrag lassen Sie sich Prüfangaben für den Test erzeugen. Verwenden Sie erfundene Inhalte:

Ich möchte ein KI-Programm auf die Fähigkeit testen, Angaben in langen Dokumenten zu finden.
Erstelle 10 kurze, eindeutige, frei erfundene Angaben im Stil eines [Dokumenttyp, z. B. Handbuchs eines Handwerksbetriebs], zum Beispiel Namen, Fristen, Beträge, Telefonnummern von erfundenen Personen.
Gib zu jeder Angabe einen vollständigen Satz zum Einfügen und die passende Testfrage, deren Antwort eindeutig und nur in diesem Satz zu finden ist.
Verwende nur erfundene Namen und Zahlen. Ordne die Angaben in einer Tabelle.

Fügen Sie die Sätze selbst in Ihr Testdokument ein. Starten Sie den Test in einem neuen Chat, damit nichts vom Verlauf beeinflusst wird.

Worauf Sie achten müssen

• Nur ein Ausschnitt: Der Test zeigt, wie das Programm mit Ihrem Beispiel umgeht, nicht in jedem Fall. Wiederholen Sie ihn mit verschiedenen Dokumenten.
• Schwierige Fälle: Echte Dokumente sind unordentlicher als Testtexte. Testen Sie auch mit Tabellen, Scans und Fussnoten, wenn Sie solche haben.
• Vertrauliche Daten: Verwenden Sie für Tests keine echten Verträge oder Personendaten, solange nicht geklärt ist, ob das Programm freigegeben ist.
• Modelle ändern sich: Nach einem Update können Ergebnisse abweichen. Wiederholen Sie den Test gelegentlich, siehe Wie prüfe ich die Qualität nach einem Modell-Update?.
• Erfundene Antworten: Achten Sie besonders auf selbstsichere falsche Antworten, wenn eine Angabe nicht gefunden wurde.

Test regelmässig wiederholen

Programme werden aktualisiert, und Anbieter erweitern Kontextfenster. Heben Sie Ihr Testdokument und die Prüfangaben deshalb auf und wiederholen Sie den Test, wenn sich etwas ändert, zum Beispiel nach einem grösseren Update oder beim Wechsel auf einen anderen Tarif. Notieren Sie jedes Mal Datum, Programm und Ergebnis. Aus diesen Notizen entsteht ein Verlauf, der Ihnen zeigt, ob sich Zuverlässigkeit verbessert hat, und der Entscheide im Betrieb nachvollziehbar macht.

Ein Beispiel aus der Praxis

Ein Beispiel: Die Leiterin Administration einer Spedition in Rothrist will ein KI-Programm einsetzen, das Transportverträge durchsucht. Vorher hat ihr der Anbieter versichert, es verarbeite «mehr als 200 Seiten problemlos».

Nachher baut sie einen Testtext aus drei Beispielverträgen mit 120 Seiten und fügt zehn erfundene Angaben ein. Das Programm findet acht, übersieht zwei in der Mitte. Bei einem zweiten Test mit in Abschnitte geteiltem Text findet es alle zehn. Die Spedition teilt künftig lange Verträge in Abschnitte und prüft kritische Klauseln selbst.

So hilft Ihnen Alpasana

Wer lernen möchte, KI-Ergebnisse mit Qualitätsprüfung und Einsatzregeln zu nutzen, findet bei absofort die Kurse KI und IT für konkrete Arbeitsaufgaben. Beschrieben sind unter anderem Claude mit Projektstruktur, Prompt-Bibliothek, Qualitätsprüfung und Einsatzregeln sowie Praxisaufgaben, KI-Lerncoach und verifizierbarer Abschluss.

Häufige Fragen

Wie lang soll das Testdokument sein?

So lang wie Ihre typischen Dokumente, besser noch etwas länger. Testen Sie in Stufen, etwa mit 20, 50 und 100 Seiten, um die Grenze zu sehen.

Reichen zehn Prüfangaben?

Für einen ersten Eindruck ja. Für mehr Sicherheit sollten Sie den Test mit weiteren Angaben und anderen Dokumenten wiederholen.

Was, wenn das Programm Angaben nicht findet?

Dann nutzen Sie kürzere Abschnitte, gezielte Fragen oder eine Dokumentensuche. Mehr dazu in Warum übersieht KI Angaben mitten im Dokument?.

Kann ich den Test auch für mehrere Programme nutzen?

Ja, das ist ein guter Weg zum Vergleich. Verwenden Sie denselben Text und dieselben Fragen und bewerten Sie die Ergebnisse nebeneinander.