Können KI-Suchmaschinen unsere Website lesen?

Das Problem

Immer mehr Menschen stellen Fragen an KI-Assistenten und Suchdienste mit KI-Antworten, statt klassisch zu googeln. Sie fragen sich, ob Ihre Website in solchen Antworten überhaupt vorkommen kann. Technisch gesehen hängt das zuerst davon ab, ob die automatischen Leseprogramme (sogenannte Crawler) Ihre Seiten abrufen und verstehen dürfen.

Oft verhindert eine kleine Einstellung, dass Inhalte gelesen werden: eine Datei namens robots.txt, die Crawler ausschliesst, eine Seite, die erst nach Klick auf ein Banner sichtbar wird, oder Inhalte, die nur mit komplizierter Technik erscheinen. Das merken Sie als Betreiber selten, weil die Seite im Browser einwandfrei aussieht.

Diese Seite zeigt, wie Sie die wichtigsten technischen Hindernisse selbst erkennen. Sie brauchen keine Programmierkenntnisse, nur Ihre Website-Adresse und etwas Neugier.

So lösen Sie es mit KI – Schritt für Schritt

1. Rufen Sie Ihre robots.txt auf. Geben Sie im Browser Ihre Adresse ein, gefolgt von «/robots.txt». Die Datei sagt Crawlern, welche Bereiche sie lesen dürfen. Das Format ist als Standard (RFC 9309) beschrieben, eine Einführung bietet Google.
2. Achten Sie auf Sperren. Steht dort «Disallow: /» für alle Crawler oder für bestimmte Namen, sind diese ausgesperrt. Ob Sie das wollen, ist eine bewusste Entscheidung, aber sie sollte nicht zufällig entstehen.
3. Prüfen Sie die Sitemap. Eine Sitemap listet Ihre Seiten auf und hilft beim Finden. Meist steht ihr Verweis in der robots.txt. Fehlt sie, bitten Sie Ihre Webverantwortliche, eine zu erzeugen.
4. Prüfen Sie die Lesbarkeit. Rufen Sie eine wichtige Seite auf und markieren Sie den Text mit der Maus. Wenn Text sich markieren lässt und ohne Anmeldung sichtbar ist, ist das ein gutes Zeichen. Inhalte in Bildern oder hinter Anmeldeschranken sind schwer lesbar.
5. Prüfen Sie Titel und Beschreibung. Jede Seite sollte einen eindeutigen Titel und eine kurze Beschreibung haben. Das hilft Menschen wie Maschinen. Mehr: Titel und Meta-Beschreibung mit KI.
6. Nutzen Sie einen kostenlosen Live-Scan. Der öffentliche Scan der KI-Console prüft laut Beschreibung ohne Anmeldung Crawler-Zugriff, robots.txt, Sitemap, Metadaten, strukturierte Daten, Seitenlesbarkeit und llms.txt und gibt einen Score mit erkennbaren Hindernissen und Hinweisen.
7. Beheben Sie die wichtigsten Punkte. Priorisieren Sie: Sperren aufheben (falls nicht gewollt), Sitemap bereitstellen, Seitentitel ergänzen. Die technische Umsetzung übernimmt Ihre Webverantwortliche oder Ihr Anbieter.
8. Prüfen Sie nach einigen Wochen erneut. Wiederholen Sie den Scan nach Änderungen und halten Sie die Ergebnisse fest.

Vorlage zum Kopieren

Mit diesem Prompt bereiten Sie die Anfrage an Ihre Webverantwortliche vor. Sie brauchen dafür keine Zugangsdaten.

Betreff: Prüfung der Lesbarkeit unserer Website für Suchdienste und KI-Systeme

Guten Tag [Name]

ich habe die Datei robots.txt und die Sitemap unserer Website ([Adresse]) angesehen und bitte um Klärung folgender Punkte:

1. Sind KI-Crawler (z. B. solche, die Inhalte für KI-Antworten lesen) bewusst erlaubt oder ausgesperrt? Wenn ausgesperrt: Wer hat das entschieden und warum?
2. Gibt es eine aktuelle Sitemap, und ist sie in der robots.txt verlinkt?
3. Sind unsere wichtigsten Seiten ohne Anmeldung und ohne Skripte lesbar?
4. Haben alle Seiten eindeutige Titel und Beschreibungen?
5. Gibt es eine llms.txt oder ist sie geplant? (Eine Textdatei mit einer Übersicht für KI-Systeme.)

Bitte um kurze schriftliche Rückmeldung und, falls nötig, einen Vorschlag mit Aufwand.
Freundliche Grüsse
[Ihr Name]

Passen Sie die Fragen an Ihre Seite an. Die Entscheidung, welche Crawler Sie zulassen, treffen Sie bewusst.

Häufige Hindernisse und ihre Bedeutung

Worauf Sie achten müssen

• Lesbar heisst nicht genannt. Selbst wenn alles technisch stimmt, entscheiden KI-Dienste selbst, was sie zitieren. Es gibt keine Garantie für Erwähnungen.
• Sperren ist manchmal gewollt. Manche Betriebe möchten nicht, dass ihre Inhalte für KI-Systeme gelesen werden. Das ist eine legitime Entscheidung. Treffen Sie sie bewusst und dokumentieren Sie sie.
• Namen und Regeln ändern sich. Stand Oktober 2026 gibt es verschiedene Crawler mit eigenen Namen, und Anbieter ändern Verfahren. Prüfen Sie die aktuelle Dokumentation, bevor Sie Einträge setzen. Die robots.txt ist zudem eine Bitte, keine technische Sperre; Crawler können sich daran halten oder nicht.
• Keine sensiblen Bereiche in der robots.txt auflisten. Interne Seiten gehören hinter eine Anmeldung, nicht nur in eine Ausschlussregel.
• Zeigen Sie Ergebnisse nicht als Beweis. Ein Score ist eine Momentaufnahme technischer Merkmale, keine Aussage über Ihre Auffindbarkeit in KI-Antworten.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Physiotherapiepraxis in Wettingen hat eine neue Website. Frau Müller aus der Administration fragt sich, ob die Seite für KI-Suchdienste lesbar ist.

Vorher kannte sie weder robots.txt noch Sitemap. Der Aufruf der robots.txt zeigt «Disallow: /», ein Überbleibsel aus der Entwicklungsphase. Die Seite war für alle Crawler gesperrt, ohne dass es jemand wusste.

Nachher lässt sie die Sperre entfernen, eine Sitemap erstellen und Titel ergänzen. Ein Live-Scan nach den Änderungen zeigt weniger Hindernisse. Welche Antworten KI-Dienste künftig geben, bleibt offen, aber die technische Grundlage stimmt.

So hilft Ihnen Alpasana

Die KI-Console bietet einen kostenlosen öffentlichen Live-Scan ohne Anmeldung. Sie prüft Crawler-Zugriff, robots.txt, Sitemap, Metadaten, strukturierte Daten, Seitenlesbarkeit und llms.txt und liefert Score, erkennbare Hindernisse und Verbesserungshinweise.

Je nach Paket gibt es zusätzlich verifizierte Websites, gespeicherte Verläufe und Monitoring mit Warnungen. Welche Funktionen in welchem Paket stehen, entnehmen Sie dem aktuellen Angebot der KI-Console.

Häufige Fragen

Soll ich KI-Crawler zulassen oder sperren?

Das ist eine Geschäftsentscheidung. Zulassen kann Ihre Inhalte in KI-Antworten auffindbar machen, Sperren schützt vor Nutzung durch diese Systeme. Wägen Sie Ihre Ziele ab und prüfen Sie Rechtsfragen, etwa zum Urheberrecht, bei Bedarf mit einer Fachperson.

Was ist eine llms.txt?

Eine Textdatei im Hauptverzeichnis Ihrer Website, die KI-Systemen eine Übersicht über wichtige Inhalte geben soll. Ob und wie sie ausgewertet wird, hängt vom jeweiligen Dienst ab. Sie ersetzt keine saubere Seitenstruktur.

Kann ich das selbst beheben?

Das Prüfen schon. Änderungen an robots.txt und Sitemap nimmt meist Ihre Webverantwortliche oder Ihr Anbieter vor, weil Fehler die gesamte Sichtbarkeit beeinträchtigen können.