Welche Chat-KI kann Bilder und Scans verstehen?

Das Problem

Sie haben ein Foto von einer Rechnung, einen eingescannten Brief oder eine Skizze von der Baustelle. Statt alles abzutippen, möchten Sie das Bild einem KI-Assistenten zeigen und fragen: Was steht da? Welche Summe ist es? Was fehlt?

Nicht jede KI kann das. Manche Chatbots verstehen nur Text. Andere nehmen Bilder an, lesen aber Kleingedrucktes oder Tabellen mit Fehlern. Wieder andere sind gut bei Fotos, aber schwach bei Handschrift.

Hier lernen Sie, worauf es ankommt, und erhalten einen einfachen Test, damit Sie den Assistenten wählen, der zu Ihren Unterlagen passt.

So lösen Sie es mit KI – Schritt für Schritt

1. Aufgabe festlegen: Was soll die KI mit dem Bild tun: Text auslesen, beschreiben, Daten in eine Tabelle übertragen, Fehler erkennen?
2. Bildarten sammeln: Fotos von Papier, Scans (PDF), Screenshots, Handschrift, Tabellen, Skizzen. Jede Art verhält sich anders.
3. Multimodale Kandidaten wählen: Als multimodal bezeichnet man Modelle, die mehrere Eingabearten verarbeiten, etwa Text und Bild. Prüfen Sie in der Hilfe der Anbieter, ob und in welchem Tarif Bildeingabe möglich ist. Siehe Textmodell oder multimodale KI.
4. Bildqualität verbessern: Fotografieren Sie bei gutem Licht, gerade von oben, ohne Schatten, und mit sichtbaren Rändern. Das verbessert jedes Ergebnis.
5. Testbilder wählen: Nehmen Sie unvertrauliche Beispiele mit bekanntem Inhalt, etwa eine Mustertabelle und einen Brief ohne Personendaten.
6. Denselben Auftrag allen geben: Siehe Vorlage. Vergleichen Sie, was gelesen wurde, was fehlt oder erfunden ist.
7. Stichproben prüfen: Kontrollieren Sie Zahlen, Namen und Daten im Original.
8. Einsatz festlegen: Entscheiden Sie, wofür der Assistent geeignet ist, und halten Sie fest, was immer von Hand geprüft wird.

Vorlage zum Kopieren

Ich zeige dir ein Bild: [Beschreibung, z. B. Foto einer Lieferantenrechnung].
Aufgabe:
1. Gib den gesamten lesbaren Text wieder. Schreibe [unleserlich] an Stellen, die du nicht sicher lesen kannst.
2. Übertrage Datum, Betrag und Rechnungsnummer in eine Tabelle.
3. Nenne alle Stellen, bei denen du unsicher bist.
Rate nicht und ergänze nichts, was nicht auf dem Bild steht.

Ersetzen Sie die Beschreibung und Felder durch Ihre eigene Aufgabe. Der Zusatz «unleserlich» zwingt die KI zur Ehrlichkeit.

Ein Wort zur Erwartung: Bildverständnis ist keine Texterkennung im klassischen Sinn. Die KI «sieht» das Bild als Ganzes und beschreibt, was sie darin erkennt. Das ist flexibel, denn sie versteht auch Zusammenhänge, etwa dass eine Zahl unten rechts der Totalbetrag ist. Es ist aber weniger streng als eine reine Texterkennung, die Zeichen für Zeichen liest. Für wichtige Zahlen lohnt sich deshalb immer der Blick ins Original, und bei grossen Mengen gleichartiger Belege kann ein spezialisiertes Programm besser sein als ein Chatbot.

Planen Sie ausserdem Zeit für den Test ein. Eine halbe Stunde mit zehn echten, unverfänglichen Beispielen zeigt mehr als jede Werbeaussage. Notieren Sie Datum und Tarif, denn nach einem Modellwechsel können sich die Ergebnisse ändern.

Worauf Sie achten müssen

• Erfundene Inhalte: Bei schlechter Bildqualität füllt die KI Lücken manchmal mit Plausiblem. Prüfen Sie Zahlen und Namen im Original.
• Datenschutz: Fotos von Unterlagen enthalten oft Personen- und Firmendaten. Klären Sie, ob Sie diese hochladen dürfen und in welchem Konto.
• Hintergründe und Gesichter: Auf Fotos sind oft unbeteiligte Personen oder Daten zu sehen. Beschneiden Sie das Bild.
• Tabellen: Spalten werden manchmal falsch zugeordnet. Kontrollieren Sie Summen.
• Handschrift: Erkennung hängt stark vom Schriftbild ab, siehe Handschrift erkennen.
• Versteckte Anweisungen: Bilder können Text enthalten, der die KI manipulieren soll. Siehe Prompt Injection in Bildern.

Ein Beispiel aus der Praxis

Ein Beispiel: Die Büroleiterin eines Bauunternehmens in Wil erhält täglich Lieferscheine per Foto aus dem Aussendienst. Sie möchte die Angaben nicht abtippen.

Vorher: Sie lädt ein verwackeltes Foto hoch. Die KI nennt eine Menge, die auf dem Lieferschein anders steht. Sie bemerkt es nur zufällig.

Nachher: Sie bittet den Aussendienst, bei Tageslicht gerade von oben zu fotografieren, und testet zwei Assistenten mit zehn Beispielen. Einer liefert deutlich weniger Fehler. Mit diesem arbeitet sie weiter und lässt sich Unsicherheiten markieren. Menge und Artikelnummer prüft sie jeweils anhand des Fotos.

So hilft Ihnen Alpasana

Wer lernen möchte, Fotos und Dokumente mit KI im Büro sicher zu verarbeiten, findet bei absofort KI und IT für konkrete Arbeitsaufgaben praxisnahe Kurse. Laut Beschreibung gehören unter anderem Bürokommunikation, Vorbereitung von Buchhaltungsunterlagen sowie Qualitätsprüfung und Einsatzregeln dazu, mit Praxisaufgaben und verifizierbarem Abschluss.

Häufige Fragen

Kann jede Chat-KI Bilder verstehen?

Nein. Das hängt vom Modell, vom Anbieter und vom Tarif ab. Prüfen Sie in der Hilfe, ob Bild- oder Dateiupload verfügbar ist.

Ist ein Scan besser als ein Foto?

Meist ja, wenn er gerade, scharf und hoch genug aufgelöst ist. Ein gutes Foto bei Tageslicht kann aber ebenfalls genügen.

Darf ich Fotos von Kundenunterlagen hochladen?

Nur, wenn Ihr Betrieb das erlaubt und Datenschutz und Vertrag geklärt sind. Im Zweifel anonymisieren oder abdecken Sie sensible Teile.

Wie weiss ich, ob die KI alles gelesen hat?

Verlangen Sie die vollständige Wiedergabe des Textes und markieren Sie Unsicheres. Vergleichen Sie dann mit dem Original.