LLM Monitoring Dashboard sinnvoll aufbauen

Das Problem

Die KI läuft seit zwei Monaten im Betrieb. Eines Morgens meldet eine Mitarbeiterin: «Der Assistent antwortet nicht.» Die IT erfährt es also von Nutzenden, nicht vom System. Frau Müller fragt: «Gibt es nicht eine Übersicht, die uns vorher zeigt, dass etwas nicht stimmt?»

Eine solche Übersicht nennt man Dashboard, wörtlich «Armaturenbrett». Es zeigt auf einen Blick, ob alles in Ordnung ist. Die Kunst liegt darin, wenige, aussagekräftige Werte zu wählen. Ein Dashboard mit 40 Zahlen liest niemand.

Für eine KI im Betrieb sind andere Werte wichtig als für einen normalen Webdienst, denn auch die Qualität der Antworten und die Auslastung des Rechners zählen. Die Vorlage unten hilft beim Start.

So lösen Sie es mit KI – Schritt für Schritt

1. Stellen Sie die Grundfragen. Läuft die KI? Wie schnell antwortet sie? Sind die Antworten brauchbar? Reichen Speicher und Rechenleistung? Alles auf dem Dashboard muss eine dieser Fragen beantworten.
2. Wählen Sie die Messgrössen. Verfügbarkeit (Dienst erreichbar, ja/nein), Antwortzeit (Zeit bis zum ersten Wort und Gesamtdauer), Fehlerquote, Zahl der Anfragen, Auslastung von Rechner und Grafikkarte, Speicherbelegung, Temperatur. Siehe Antwortzeit messen und Auslastung überwachen.
3. Ergänzen Sie Qualitätszeichen. Daumen hoch/runter, Zahl unbeantworteter Fragen, Rückmeldungen der Nutzenden. Siehe Nutzerfeedback auswerten.
4. Legen Sie Schwellen fest. Pro Wert: grün (normal), gelb (beobachten), rot (handeln). Die Schwellen setzen Sie anhand Ihrer Tests, nicht aus dem Bauch.
5. Bestimmen Sie Zuständigkeiten. Wer schaut täglich hin? Wer handelt bei Rot? Wer ist Stellvertretung?
6. Verbinden Sie es mit Alarmen. Bei kritischen Werten soll jemand benachrichtigt werden, siehe Fehleralarm einrichten.
7. Wählen Sie das Werkzeug. Das kann eine einfache Tabelle sein, ein Statusprogramm oder ein grafisches Werkzeug, das Ihre IT betreibt. Wichtig ist, dass es zuverlässig aktualisiert wird.
8. Prüfen Sie nach vier Wochen. Welche Werte haben geholfen, welche nie? Streichen Sie, was niemand nutzt.

Vorlage zum Kopieren

Mit diesem Auftrag lassen Sie sich einen Entwurf für Ihr Dashboard zusammenstellen. Setzen Sie Ihre Angaben ein.

Ich möchte ein einfaches Monitoring-Dashboard für unsere lokale KI planen.

System: [Modell, Programm, Rechner, Nutzerzahl]
Einsatz: [z. B. interner Wissens-Chatbot, Textentwürfe]
Verfügbare Messwerte: [z. B. Programmprotokoll, Messwerte des Rechners, Rückmeldungen der Nutzenden]
Zuständige Person: [Rolle]

Aufgabe:
1. Erstelle eine Tabelle mit höchstens 10 Werten: Wert | Frage, die er beantwortet (läuft/schnell/brauchbar/Ressourcen) | Messung | Schwelle grün | gelb | rot | Massnahme bei Rot | Zuständig.
2. Lass die Schwellenwerte bewusst leer oder setze «[aus Test ableiten]», denn sie sollen aus unseren Tests entstehen. Erfinde keine Zahlen.
3. Schlage eine Reihenfolge vor, in der die Werte auf der Seite erscheinen sollen.
4. Nenne drei Werte, die ich bewusst weglassen kann.

Die Schwellen tragen Sie anhand Ihrer Testergebnisse ein. Dann prüft die IT-Verantwortliche, welche Werte sich technisch messen lassen.

Worauf Sie achten müssen

• Zu viele Werte: Jede Zahl braucht eine Frage, die sie beantwortet. Sonst wird das Dashboard zum Zahlenfriedhof.
• Schwellen ohne Basis: Grenzen müssen aus Tests und Erfahrung stammen, nicht aus Beispielen im Internet.
• Datenschutz: Messwerte dürfen keine Chattexte oder Personendaten enthalten. Siehe Datensparsame Protokolle.
• Zugriff: Wer darf das Dashboard sehen? Betriebsdaten können sensibel sein. Beschränken Sie den Zugang.
• Eigene Ausfälle: Das Dashboard kann selbst ausfallen. Prüfen Sie, ob es merkt, wenn Messwerte ausbleiben.
• Qualität schwer messbar: Ob Antworten gut sind, zeigen Zahlen nur indirekt. Ergänzen Sie sie mit Stichproben.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Treuhandfirma in Zürich betreibt einen lokalen Wissens-Chatbot für etwa 15 Personen. Die IT-Verantwortliche möchte rechtzeitig erfahren, wenn etwas nicht stimmt.

Vorher meldet sich niemand, bis ein Mitarbeiter anruft. Nachher entsteht eine Seite mit sieben Werten: Erreichbarkeit, Zeit bis zum ersten Wort, Fehler pro Tag, Speicherbelegung, Temperatur der Grafikkarte, Zahl unbeantworteter Fragen und Anteil negativer Rückmeldungen. Die Schwellen leitet sie aus einem Lasttest ab. Bei Rot erhält sie eine Nachricht, und ihre Stellvertreterin ist im Betriebshandbuch genannt. Nach einem Monat streicht sie zwei Werte, die nie etwas gezeigt haben.

So hilft Ihnen Alpasana

Ein Monitoring ist ein kleines Werkzeug, das sich gut als Umsetzungsaufgabe vergeben lässt. Bei ready4future ICT setzen begleitete Informatiklernende unter anderem interne Web-Tools und Dashboards, Skripte, Automatisierungen, Schnittstellen und Datenaufbereitung für Ihren Betrieb um. Fachliche Begleitung, Vier-Augen-Prüfung, Dokumentation und Kundenabnahme gehören zum beschriebenen Vorgehen.

Testdaten sowie anonymisierte oder synthetische Daten sind dabei der Standard.

Häufige Fragen

Brauche ich ein spezielles Programm?

Nicht zwingend. Für den Start genügt eine Tabelle, die täglich ausgefüllt wird. Später lohnt sich ein Werkzeug, das Werte automatisch sammelt, was Ihre IT auswählt.

Wie viele Werte sind genug?

Fünf bis zehn. Beginnen Sie klein und ergänzen Sie nur, wenn eine Frage offenbleibt.

Wer schaut aufs Dashboard?

Eine feste Person, mit Stellvertretung, am besten täglich zu einer festen Zeit. Alarme ergänzen das, ersetzen es aber nicht.

Soll das Dashboard Chatinhalte zeigen?

Nein. Zeigen Sie Zahlen und Zustände, keine Gesprächstexte.