Was tun, wenn zu viele KI-Anfragen gleichzeitig eingehen?

Das Problem

Am Montagmorgen fragen zehn Personen gleichzeitig die interne KI. Die erste Antwort kommt rasch, die letzte erst nach mehreren Minuten. Niemand sieht, ob die Anfrage noch läuft, und manche schicken sie ein zweites Mal ab, was alles noch verschlimmert.

Bei hoher Nutzung wartet Ihr Team lange und weiss nicht, ob seine Anfrage noch bearbeitet wird. Das ist ein klassisches Kapazitätsproblem: Der KI-Server kann nur begrenzt viel gleichzeitig tun, und der Rest muss warten.

Die Technik dahinter heisst Warteschlange. Sie funktioniert wie am Postschalter: Wer zuerst kommt, wird zuerst bedient, die anderen stehen an. Eine Warteschlange ist nicht schlimm, solange man sieht, dass man dran ist, und die Wartezeit erträglich bleibt.

Einfach erklärt

Ein KI-Modell auf dem Server braucht für jede Antwort Rechenleistung und Speicher, vor allem auf der Grafikkarte. Je nach Einrichtung kann der Server mehrere Anfragen gleichzeitig bearbeiten oder nur eine nach der anderen. Was darüber hinausgeht, kommt in die Warteschlange.

Ein Vergleich: Ein Café mit einer Kaffeemaschine. Zwei Gäste gleichzeitig sind kein Problem, zehn Gäste dauern. Man kann die Maschine verbessern (mehr Leistung), bessere Abläufe einführen (kürzere Bestellungen) oder den Gästen sagen, wie lange es dauert (Anzeige).

Drei Stellschrauben gibt es:

• Kapazität: Mehr oder bessere Hardware, ein kleineres Modell oder Einstellungen für gleichzeitige Verarbeitung. Siehe Hardware für gleichzeitige Nutzer und Batching.
• Steuerung: Obergrenzen pro Person, Prioritäten, maximale Länge der Warteschlange. Siehe API-Nutzung begrenzen.
• Anzeige: Eine klare Meldung wie «Ihre Anfrage wird bearbeitet, Wartezeit etwa X Minuten» statt eines leeren Fensters.

So lösen Sie es mit KI – Schritt für Schritt

1. Messen Sie die Lage. Wann treten Spitzen auf, wie viele Personen fragen gleichzeitig, wie lange dauert eine Antwort? Siehe Lasttest vorbereiten.

1. Befragen Sie das Team. Wann stört die Wartezeit, was wird erwartet? Eine Minute ist für lange Berichte anders als für kurze Fragen.

1. Verbessern Sie die Anzeige. Bitten Sie die IT um eine Meldung bei Wartezeit und um die schrittweise Anzeige der Antwort.

1. Begrenzen Sie Länge und Menge. Kürzere Antworten und Obergrenzen pro Person entlasten das System.

1. Prüfen Sie die Einstellungen. Ob der Server mehrere Anfragen gleichzeitig verarbeitet und wie gross die Warteschlange sein darf, hängt von Programm und Version ab. Die IT liest die Dokumentation.

1. Prüfen Sie ein kleineres Modell für einfache Aufgaben. Siehe Modellgrösse.

1. Planen Sie mehr Kapazität, wenn nötig. Eine stärkere Grafikkarte oder ein zweiter Server. Dazu gehört ein Kostenvergleich.

1. Informieren Sie das Team. Teilen Sie Spitzenzeiten und Tipps mit, zum Beispiel «Lange Aufträge vor 9 Uhr oder nach 11 Uhr».

Vorlage zum Kopieren

Mit dieser Vorlage entwerfen Sie die Wartemeldung und eine Information für das Team:

Du bist Texter für interne Kommunikation in einem Schweizer KMU. Erstelle Texte für den Fall, dass die interne KI wegen vieler gleichzeitiger Anfragen warten lässt.

Betrieb: [Branche, Anzahl Nutzende]
KI-Anwendung: [z. B. Chatfenster im Browser]
Spitzenzeiten: [z. B. Montag 8–10 Uhr]
Ansprechperson bei Problemen: [Rolle]

Erstelle:
1. Drei Varianten einer kurzen Wartemeldung im Chatfenster (höchstens 25 Wörter, freundlich, Sie-Form), ohne feste Zeitversprechen.
2. Eine Meldung bei einer sehr langen Warteschlange mit Hinweis, was Nutzende tun können.
3. Eine E-Mail an das Team (höchstens 120 Wörter) mit Erklärung der Wartezeiten und fünf praktischen Tipps.
4. Fragen, die wir der IT zu Kapazität und Einstellungen stellen sollten.

Passen Sie die Platzhalter an. Die Meldungen sollten nur versprechen, was die IT messen kann.

Worauf Sie achten müssen

• Keine festen Zeitversprechen: Wartezeiten schwanken. Nennen Sie nur Zeiten, die gemessen wurden.
• Doppelte Anfragen vermeiden: Wer nichts sieht, sendet erneut. Das verdoppelt die Last. Eine klare Anzeige hilft.
• Fairness: Einzelne Vielnutzer sollen andere nicht ausbremsen. Grenzen pro Person sind sinnvoll.
• Datenschutz: Auch Wartemeldungen und Protokolle zu Anfragen enthalten Angaben zu Personen. Beschränken Sie Zugriff und Dauer.
• Qualität nicht opfern: Ein kleineres Modell ist schneller, aber nicht für jede Aufgabe geeignet.
• Messen statt vermuten: Prüfen Sie nach jeder Massnahme, ob sich Wartezeiten verbessert haben.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Ingenieurbüro in Olten mit 25 Mitarbeitenden betreibt eine interne KI für Berichte. Täglich zwischen 8 und 9 Uhr stauen sich die Anfragen.

Vorher: Die Mitarbeitenden sehen nur ein drehendes Symbol und schicken Anfragen mehrfach ab. Nachher: Die IT zeigt eine Wartemeldung an, begrenzt die Anzahl laufender Anfragen pro Person und kürzt die maximale Antwortlänge. Für einfache Fragen steht ein kleineres Modell bereit, für lange Berichte das grössere. Die Geschäftsleitung bittet, grosse Aufträge ausserhalb der Stosszeit zu starten. Die Wartezeiten sinken spürbar, und nach drei Monaten prüft das Büro, ob stärkere Hardware nötig ist.

So hilft Ihnen Alpasana

Bei der Analyse von Last, Kapazität und Betriebsregeln für interne KI-Dienste unterstützt die KI-Beratung und digitale Transformation der Alpasana GmbH. Nach Leistungsbeschreibung gehören dazu das Aufnehmen von Prozessen, die Integration von KI-Agenten mit Anwendungsfall, Pilot, Einsatzregeln und Skalierung sowie das Dokumentieren der Umsetzung. Projekte werden individuell offeriert.

Häufige Fragen

Ist eine Warteschlange ein Zeichen für schlechte Technik?

Nein. Jedes System hat Grenzen. Problematisch wird es erst, wenn man nicht sieht, was passiert, oder wenn die Wartezeit nicht zum Bedarf passt. Dann lohnt sich Anpassung.

Soll ich einfach einen stärkeren Server kaufen?

Prüfen Sie zuerst, wo es klemmt: zu lange Antworten, zu grosses Modell, ungünstige Einstellungen oder wirklich zu wenig Hardware. Oft helfen Einstellungen und Regeln, bevor Investitionen nötig sind.

Können wichtige Anfragen Vorrang erhalten?

Technisch ist das manchmal möglich, je nach Software. Fragen Sie Ihre IT. Prioritäten brauchen aber klare, faire Regeln, sonst gibt es Streit im Team.