Kann ein Chatbot Bilder und Skizzen in Dokumenten verstehen?

Das Problem

In Ihren Handbüchern stecken viele Bilder: Skizzen zur Montage, Schaltpläne, Fotos von Schadenbildern, Diagramme mit Kennzahlen, Grundrisse. Oft steht die entscheidende Information nur dort. Der Text daneben sagt «wie in Abbildung 4 gezeigt».

Nun stellen Sie sich einen Chatbot vor, der aus diesen Dokumenten antworten soll. Frage: «Wo wird die Dichtung eingesetzt?» Die Antwort steht in Abbildung 4. Doch der Chatbot sieht Abbildung 4 vielleicht gar nicht. Viele Systeme lesen aus einem Dokument nur den Text und überspringen Bilder. Dann antwortet er ungenau oder rät.

Es gibt KI-Modelle, die Bilder verstehen, sogenannte multimodale Modelle («mehrere Arten von Eingaben»). Doch auch sie haben Grenzen. Diese Seite erklärt, was möglich ist, was nicht und wie Sie wichtige Bildinformationen für einen Chatbot sichern.

Einfach erklärt

Ein multimodales Modell kann neben Text auch Bilder verarbeiten. Es kann zum Beispiel auf einem Foto erkennen, dass eine Treppe mit Geländer abgebildet ist, oder ein Diagramm grob beschreiben. Das gelingt oft gut bei einfachen, klaren Bildern.

Schwieriger wird es bei technischen Zeichnungen, handgezeichneten Skizzen, kleinen Beschriftungen, Schaltplänen oder Diagrammen mit vielen Linien. Dort verwechseln Modelle Bauteile, lesen Zahlen falsch oder übersehen Details. Hinzu kommt: Viele Chatbot-Systeme verarbeiten Bilder in Dokumenten gar nicht, auch wenn das Modell dahinter es könnte. Ob und wie, hängt vom Produkt ab. Mehr zu den Fehlern: Fehler bei der KI-Bilderkennung.

So lösen Sie es mit KI – Schritt für Schritt

1. Wichtige Bilder identifizieren. Gehen Sie Ihre Dokumente durch und markieren Sie Abbildungen, die Informationen enthalten, die der Chatbot kennen muss: Montagereihenfolge, Masse, Warnhinweise, Zuordnungen.

1. Prüfen, was Ihr System liest. Fragen Sie den Anbieter oder testen Sie selbst: Wird ein Bild im Dokument überhaupt verarbeitet, oder nur der Text daneben?

1. Aussage in Worte fassen. Schreiben Sie unter jedes wichtige Bild einen Satz oder Absatz: «Abbildung 4: Die Dichtung wird zwischen Flansch und Gehäuse eingelegt, mit der geschlossenen Seite nach oben.»

1. Bildunterschriften verbessern. Aus «Abb. 4» wird eine aussagekräftige Unterschrift, die das Wesentliche nennt. Verweise wie «siehe Abbildung» ergänzen Sie durch die Information selbst.

1. Zahlen aus Diagrammen als Tabelle nachliefern. Die wichtigsten Werte stehen dann auch als Text. Das hilft Menschen und Systemen.

1. Beschreibungen prüfen lassen. Eine Fachperson liest jede Beschreibung gegen das Bild. Bei Sicherheits- und Technikthemen ist das Pflicht.

1. Testen. Stellen Sie Fragen, deren Antwort nur im Bild steht, und prüfen Sie, ob der Chatbot sie jetzt kennt und die richtige Quelle nennt.

1. Pflegen. Wenn Sie ein Bild ändern, aktualisieren Sie auch die Beschreibung. Legen Sie das als feste Regel fest.

Vorlage zum Kopieren

Mit diesem Auftrag lassen Sie sich einen Entwurf für eine Bildbeschreibung erstellen. Sie können nur Bilder verwenden, die nicht vertraulich sind, oder beschreiben das Bild selbst in Stichworten.

Ich bereite eine Abbildung für einen Wissens-Chatbot vor. Schreibe aus meinen Stichworten eine Beschreibung in ganzen Sätzen.

Abbildung: [Titel oder Nummer]
Was zeigt das Bild (meine Stichworte): [z. B. Querschnitt Heizkessel, Pfeile für Wasserfluss, Teile 1 bis 5 nummeriert]
Zugehörige Legende: [Teil 1: ..., Teil 2: ...]
Was der Leser daraus wissen soll: [z. B. wo das Ventil eingebaut wird]

Regeln: Nur meine Angaben verwenden, nichts ergänzen oder raten. 3 bis 6 Sätze, einfache Sprache. Wenn etwas unklar ist, schreibe «bitte bei der Fachperson klären».

Die Beschreibung prüft jemand, der das Bild kennt, bevor sie in das Dokument kommt.

Worauf Sie achten müssen

• Falsche Deutung: Ein Modell kann ein Bild falsch beschreiben und dabei sicher klingen. Prüfen Sie Beschreibungen von Fachleuten, wenn es um Sicherheit, Technik oder Normen geht.
• Vertrauliche Bilder: Pläne und Fotos können Geschäftsgeheimnisse oder Personen zeigen. Geben Sie sie nur in freigegebene Systeme. Siehe Chatbot und Datenschutz in der Schweiz.
• Aufwand: Hunderte Bilder zu beschreiben ist viel Arbeit. Beginnen Sie mit den wichtigsten.
• Keine Garantie: Auch nach der Beschreibung bleibt ein Restrisiko. Verbindliche Aussagen prüft eine Fachperson.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Hersteller von Gartengeräten in der Region Aargau hat Montageanleitungen mit vielen Skizzen. Beim Test fragt ein Mitarbeiter den Chatbot, in welcher Reihenfolge die Teile zusammengesetzt werden. Der Chatbot antwortet vage, weil die Reihenfolge nur auf der Skizze steht.

Die Produktverantwortliche ergänzt unter jeder Skizze eine nummerierte Beschreibung der Schritte. Beim zweiten Test nennt der Chatbot die Reihenfolge korrekt und verweist auf die Seite. Zwei Beschreibungen müssen noch verbessert werden, weil ein Teil verwechselt wurde. Sie lässt die Beschreibungen von einem Monteur gegenlesen.

So hilft Ihnen Alpasana

Wie Sie Dokumente für einen Chatbot aufbereiten, damit wichtige Inhalte nicht verloren gehen, gehört zur Kursauswahl KI und IT für konkrete Arbeitsaufgaben von absofort: Sie umfasst unter anderem Kundenservice, FAQ und die Vorbereitung von Chatbot-Wissen sowie KI-Bilder und weitere Themen rund um KI im Berufsalltag, mit Praxisaufgaben, KI-Lerncoach und verifizierbarem Abschluss. Eine Bilderkennungssoftware gehört nicht zum Angebot.

Häufige Fragen

Kann die KI meine Pläne automatisch beschreiben?

Sie kann einen Entwurf liefern, der bei einfachen Bildern brauchbar ist. Bei technischen Plänen ist er oft fehlerhaft. Lassen Sie jede Beschreibung von einer Fachperson prüfen.

Welche Systeme verstehen Bilder in Dokumenten?

Das ändert sich schnell und hängt vom Produkt ab. Fragen Sie Anbieter konkret, ob und wie Bilder verarbeitet werden, und testen Sie es mit Ihren eigenen Unterlagen.

Reicht es, die Bilder als Anhang beizulegen?

Nein. Ein Anhang ist für den Chatbot nicht automatisch Wissen. Die Aussage muss als Text vorliegen oder vom System verlässlich gelesen werden.