Rate Limit

Definition

Ein Rate Limit (englisch für Ratenbegrenzung) legt fest, wie viel Sie einem Dienst in einem bestimmten Zeitraum zumuten dürfen. Gezählt werden meist die Anzahl der Anfragen pro Minute, die verarbeitete Textmenge (Tokens, die Bausteine, in die ein Text zerlegt wird) oder beides.

Die Grenzen gelten oft pro Konto oder pro Zugangsschlüssel. Sie können je nach Anbieter, Tarif und Modell unterschiedlich hoch sein. Die genauen Werte stehen in der Dokumentation des Dienstes.

Einfach erklärt

Stellen Sie sich eine Poststelle mit einem Schalter vor. Würde jeder beliebig viele Pakete auf einmal bringen, entstünde ein Stau. Deshalb gibt es eine Regel: Pro Kunde höchstens zehn Pakete pro Viertelstunde. Wer mehr bringt, wartet kurz.

Bei einem KI-Dienst ist es ähnlich. Programme können sehr viele Anfragen in kurzer Zeit senden. Ohne Begrenzung würden einzelne Nutzer die Kapazität belegen. Das Rate Limit sorgt dafür, dass alle bedient werden können, und schützt vor Fehlern oder Missbrauch.

Beispiel

Ein Beispiel: Ein Büro in Lenzburg lässt über eine Schnittstelle 500 gescannte Rechnungen auf einmal von einer KI auswerten. Nach kurzer Zeit kommt der Fehler «Rate Limit erreicht». Die Entwicklerin passt das Programm an: Es sendet die Rechnungen in kleinen Portionen und wartet nach einer Fehlermeldung kurz, bevor es erneut versucht. So läuft die Verarbeitung etwas langsamer, aber ohne Abbruch.

Nicht verwechseln

Ein Rate Limit ist nicht dasselbe wie das Kostenlimit, das Ihr Budget schützt, oder das Kontextfenster, das beschreibt, wie viel Text ein Modell auf einmal berücksichtigen kann. Es ist auch keine Strafe, sondern eine technische Grenze. Höhere Limits gibt es teilweise bei bezahlten Tarifen oder auf Anfrage, die Bedingungen legt der Anbieter fest. Wenn Sie häufig an Grenzen stossen, hilft oft das Bündeln von Aufgaben, siehe Batch-Verarbeitung.

So hilft Ihnen Alpasana

Wer Software mit KI-Schnittstellen entwickelt, findet bei absofort den Kurs KI für Developer mit Claude und Codex. Beschrieben sind unter anderem Claude API als Kursgegenstand, LLM-Grundlagen mit Tokens und Kontext, Codegenerierung, Debugging und Review sowie ein Entwickler-Playbook mit Prompts, Review-Regeln und Tests.