Wie bringe ich der KI meine Kategorien mit Beispielen bei?

Das Problem

Im Sekretariat treffen täglich Anfragen ein: Rechnungsfragen, Terminwünsche, Beschwerden, Bewerbungen, Werbung. Sie möchten, dass die KI sie vorsortiert und jeweils eine Kategorie nennt. Nach einigen Versuchen zeigt sich das Problem: Zwei fast gleiche Anfragen landen in verschiedenen Kategorien, und manche Mails werden einer Kategorie zugeordnet, die Sie gar nicht vorgesehen haben.

Das liegt selten an der KI allein, sondern an unklaren Kategorien. Was für Sie selbstverständlich ist («Das ist natürlich eine Reklamation»), ist für die KI Interpretation. Was ist ein Terminwunsch mit Beschwerde? Eine Rechnungsfrage zu einer Lieferung?

Fachleute nennen diese Zuordnung Klassifikation, siehe Klassifikation. Sie gelingt am besten, wenn Sie die Kategorien klar definieren und mit Beispielen zeigen. Das braucht keine Technik, sondern sorgfältiges Nachdenken.

So lösen Sie es mit KI – Schritt für Schritt

1. Kategorien festlegen: Schreiben Sie die gewünschten Kategorien auf. Weniger ist besser, fünf bis acht sind meist gut zu handhaben.
2. Jede Kategorie definieren: Beschreiben Sie in ein bis zwei Sätzen, was dazugehört und was nicht. Beispiel: «Reklamation: Die Kundin beschwert sich über Ware oder Leistung und fordert Abhilfe.»
3. Abgrenzung klären: Notieren Sie die typischen Verwechslungen: «Eine Frage zur Rechnung ohne Beschwerde ist keine Reklamation, sondern Rechnungsfrage.»
4. Beispiele sammeln: Wählen Sie zu jeder Kategorie zwei bis drei echte, anonymisierte Fälle. Wählen Sie typische, nicht Sonderfälle.
5. Auffangkategorie vorsehen: Legen Sie «Sonstiges» oder «Unklar» fest, und was dann geschieht: «Bei Unsicherheit Kategorie ‹Unklar› wählen und kurz begründen.»
6. Ausgabeformat bestimmen: Gewünscht ist zum Beispiel nur das Kategorie-Etikett, damit Sie die Ergebnisse leicht weiterverarbeiten können.
7. Prompt zusammensetzen: Definitionen, Beispiele und Regeln in einer festen Reihenfolge, siehe Vorlage.
8. Mit neuen Fällen testen: Nehmen Sie 10 bis 20 Anfragen, die Sie selbst schon sortiert haben, und vergleichen Sie. Abweichungen zeigen, wo Definition oder Beispiel nachgeschärft werden müssen.
9. Dauerhaft kontrollieren: Prüfen Sie regelmässig Stichproben, besonders wenn sich Ihr Angebot ändert.

Vorlage zum Kopieren

Ordne die folgende Nachricht genau einer Kategorie zu.

Kategorien und Definitionen:
- RECHNUNG: Fragen zu Rechnungen, Zahlungen, Mahnungen, ohne Beschwerde über Ware oder Leistung.
- REKLAMATION: Beschwerde über Ware oder Leistung mit Wunsch nach Abhilfe.
- TERMIN: Wunsch nach Terminvereinbarung, -änderung oder -absage.
- BEWERBUNG: Stellenbewerbungen oder Anfragen zu Stellen.
- UNKLAR: passt nicht eindeutig oder enthält mehrere Anliegen; kurze Begründung angeben.

Beispiele:
«[Beispieltext 1]» → [KATEGORIE]
«[Beispieltext 2]» → [KATEGORIE]
«[Beispieltext 3]» → [KATEGORIE]

Regeln:
- Wähle nur eine der oben genannten Kategorien, erfinde keine neuen.
- Wenn zwei Kategorien passen, wähle UNKLAR und nenne beide.
- Gib das Ergebnis im Format: KATEGORIE | Begründung in höchstens 10 Wörtern.

Nachricht: «[neue Nachricht]»

Ersetzen Sie die Kategorien und Beispiele durch Ihre eigenen. Verwenden Sie nur anonymisierte Texte.

Worauf Sie achten müssen

• Überlappende Kategorien: Je mehr sich Kategorien überschneiden, desto unsicherer die Zuordnung. Schärfen Sie die Abgrenzung oder fassen Sie zusammen.
• Grenzfälle: Zeigen Sie auch schwierige Fälle, siehe Grenzfälle in Beispielen erklären.
• Verzerrung: Wenn eine Kategorie viel häufiger vorkommt, neigt die KI dazu, sie zu bevorzugen. Verwenden Sie gleich viele Beispiele pro Kategorie.
• Heikle Zuordnung: Wenn die Zuordnung Folgen für Menschen hat, etwa bei Bewerbungen, entscheidet eine Person. Eine rein automatische Einordnung ist dort nicht angebracht, siehe Bias.
• Datenschutz: Nachrichten enthalten Personendaten. Verwenden Sie nur geprüfte Werkzeuge, und anonymisieren Sie Beispiele.
• Änderungen: Neue Produkte oder Abläufe erfordern neue Definitionen. Überprüfen Sie diese regelmässig.

Ein Beispiel aus der Praxis

Ein Beispiel: Die Büroleiterin eines Reisebüros in Baden möchte Anfragen für die Weiterleitung an die richtigen Mitarbeitenden vorsortieren.

Vorher: Sie schreibt «Ordne die Mails nach Thema». Die KI erfindet Themen wie «Ferien» oder «Wichtig», und eine Mail zur Umbuchung mit Beschwerde landet einmal bei «Umbuchung», einmal bei «Reklamation».

Nachher: Sie legt fünf Kategorien mit Definitionen und je drei anonymisierten Beispielen fest, dazu «UNKLAR» für Mischfälle. Die Zuordnung wird einheitlicher. Mails in «UNKLAR» liest sie selbst. Bei Beschwerden prüft immer eine Person, bevor jemand antwortet.

Wie Sie mit Mehrfachanliegen umgehen

Viele Nachrichten enthalten zwei Anliegen: Eine Kundin fragt nach einer Rechnung und möchte gleichzeitig einen Termin verschieben. Legen Sie vorab fest, was dann gilt: Entweder wählt die KI die dringendere Kategorie, oder sie nennt beide und markiert die Nachricht als unklar. Wichtig ist, dass diese Regel im Prompt steht und mit einem Beispiel gezeigt wird. Sonst entscheidet jedes Mal der Zufall.

So hilft Ihnen Alpasana

Der Kurs Prompt Engineering von absofort behandelt laut Angebotsbeschreibung unter anderem, wie man Beispiele zur Steuerung von Inhalt und Format einsetzt, Prompts überarbeitet und Ergebnisse prüft, und erarbeitet ein getestetes Prompt-Set für einen wiederkehrenden beruflichen Prozess. Der Online-Kurs hat ein Zertifikat und verlangt keine Programmierkenntnisse.

Häufige Fragen

Wie viele Kategorien sind sinnvoll?

So wenige wie möglich. Fünf bis acht lassen sich gut unterscheiden. Mehr Kategorien erfordern genauere Definitionen und mehr Beispiele.

Wie viele Beispiele pro Kategorie?

Zwei bis drei genügen meist. Wichtiger ist Vielfalt innerhalb der Kategorie. Hinweise bietet Wie viele Beispiele gehören in einen Prompt?.

Kann ich die Kategorien später ändern?

Ja. Passen Sie die Definitionen an, aktualisieren Sie die Beispiele und testen Sie die Änderung mit Ihren Testfällen.

Wie erkenne ich, ob die Zuordnung zuverlässig ist?

Lassen Sie Testfälle laufen, deren Kategorie Sie kennen, und zählen Sie die Abweichungen. Die Methode steht unter Prompt mit Testfällen prüfen.