Kundenwebsite für KI-Suche prüfen: Technischer Einstieg

Das Problem

Immer mehr Menschen fragen nicht mehr Google, sondern einen KI-Assistenten: «Welcher Treuhänder in Aarau macht Steuererklärungen für Kleinbetriebe?» Der Assistent antwortet mit einer Zusammenfassung und nennt einzelne Quellen. Ihre Kunden möchten wissen, ob ihre Website dort überhaupt vorkommt.

Als Agentur bekommen Sie diese Frage immer öfter. Viele Websites haben aber technische Hindernisse, die niemand bemerkt hat: Eine alte Sperre in der Datei robots.txt (sie sagt Suchprogrammen, welche Bereiche sie besuchen dürfen) blockiert alle Crawler. Die Inhalte erscheinen erst nach dem Laden von Skripten. Titel und Beschreibungen fehlen oder sind bei allen Seiten gleich.

Ein Crawler ist ein Programm, das Websites automatisch abruft und liest, so wie früher nur Suchmaschinen es taten. Heute besuchen auch Anbieter von KI-Diensten Websites. Wenn sie Ihre Seiten nicht lesen können, werden die Inhalte nicht erfasst. Ob sie danach in einer Antwort erscheinen, bleibt offen, denn das entscheiden die Anbieter.

So lösen Sie es mit KI – Schritt für Schritt

Hier hilft eine Mischung aus Werkzeug und Verstand. Die KI unterstützt bei Auswertung und Texten, die technische Prüfung machen Sie mit einem Scan.

1. Ziel mit dem Kunden klären. Soll die Website in KI-Antworten genannt werden können, oder will der Kunde bestimmte Bereiche bewusst sperren? Beides ist legitim, es ist eine Entscheidung des Kunden.

1. Kostenlosen Scan durchführen. Mit der KI-Console prüfen Sie die Adresse auf Crawler-Zugriff, robots.txt, Sitemap, Metadaten, strukturierte Daten, Lesbarkeit und llms.txt. Dazu brauchen Sie keine Anmeldung.

1. robots.txt lesen. Öffnen Sie «kundendomain.ch/robots.txt» im Browser. Steht dort etwa «Disallow: /» für alle, ist die gesamte Website gesperrt. Prüfen Sie, ob das beabsichtigt ist.

1. Sitemap prüfen. Eine Sitemap ist eine Liste aller wichtigen Seiten. Sie sollte aktuell sein und in der robots.txt verlinkt werden.

1. Seitentitel und Beschreibungen kontrollieren. Jede Seite braucht einen eigenen, aussagekräftigen Titel und eine kurze Beschreibung. Die KI kann Entwürfe liefern, Sie prüfen sie auf Richtigkeit.

1. Lesbarkeit testen. Öffnen Sie die Seite ohne Skripte oder lesen Sie den Quelltext: Stehen die wichtigen Texte darin? Wenn nein, brauchen Entwickler eine Lösung.

1. Kennzeichnung prüfen. Ob Firmenname, Adresse, Öffnungszeiten und Leistungen als strukturierte Daten hinterlegt sind, zeigt der Scan. Das erleichtert Maschinen die Zuordnung.

1. Massnahmen priorisieren. Fassen Sie die Hindernisse in einer kurzen Liste zusammen: Was ist leicht behoben (Titel), was aufwendig (technischer Umbau)? Mit dem Kunden besprechen, Aufwand offerieren.

Vorlage zum Kopieren

Diese Vorlage hilft, die Ergebnisse des Scans für den Kunden verständlich aufzubereiten. Fügen Sie keine Zugangsdaten ein, nur die Scanergebnisse.

Du hilfst einer Schweizer Agentur, einem Kunden ohne technisches Vorwissen die Ergebnisse eines Website-Checks zu erklären.

Kunde: [Name/Branche]
Ziel: [z. B. Website soll von KI-Suchdiensten gelesen werden können]
Ergebnisse des Scans (Wortlaut aus dem Werkzeug):
[Befund 1]
[Befund 2]
[Befund 3]

Erstelle:
1. Eine Zusammenfassung in 3 Sätzen für die Geschäftsleitung.
2. Eine Tabelle: Befund | Was bedeutet das? | Wie dringend (hoch/mittel/niedrig) | Wer erledigt es (Agentur/Kunde/Entwickler).
3. Fachwörter jeweils einmal in einem Halbsatz erklärt.

Regeln: Nur die Befunde oben verwenden. Keine Versprechen, dass die Website dadurch in KI-Antworten erscheint. Schreibe in Schweizer Rechtschreibung, Anrede «Sie».

Ersetzen Sie die Befunde durch die tatsächlichen Meldungen des Scans. Streichen Sie, was nicht zum Ziel des Kunden gehört.

Worauf Sie achten müssen

• Keine Versprechen: Niemand kann garantieren, dass eine Website in KI-Antworten genannt wird. Versprechen Sie dem Kunden nur das, was Sie beeinflussen: technische Voraussetzungen und gute Inhalte.
• llms.txt ist eine Konvention: Die Datei soll KI-Diensten eine Übersicht liefern. Ob einzelne Anbieter sie nutzen, ist nicht für alle gesichert. Sie schadet nicht, ersetzt aber keine saubere Website.
• Sperren bewusst setzen: Wer Crawler ausschliesst, kann sich damit auch Reichweite nehmen. Es gibt Gründe dafür, etwa geschützte Inhalte. Besprechen Sie das mit dem Kunden. Die robots.txt ist eine Bitte nach einem Standard (RFC 9309), kein technischer Schutz.
• Vertrauliches nicht öffentlich: Interne Bereiche gehören hinter ein Login, nicht nur in die robots.txt.
• Eigene Änderungen testen: Nach Änderungen prüfen Sie erneut, damit keine Seiten ungewollt unsichtbar werden.
• Manipulation vermeiden: Versteckte Texte oder Tricks für KI-Dienste sind riskant und können das Vertrauen zerstören.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Agentur in Aarau betreut die Website einer Treuhandfirma. Die Inhaberin fragt: «Warum nennt mich ein KI-Assistent bei der Frage nach Treuhändern in der Region nicht?»

Die Mitarbeiterin der Agentur lässt die Adresse mit dem kostenlosen Scan prüfen. Befund: Die robots.txt sperrt seit einem früheren Relaunch alle Crawler, die Sitemap verweist auf eine alte Adresse, und mehrere Seiten haben denselben Titel. Die Sperre ist schnell entfernt, Sitemap und Titel sind bis Ende der Woche korrigiert. Die Agentur erklärt der Inhaberin mit der Vorlage, was geändert wurde, und sagt klar dazu: «Damit ist Ihre Website technisch lesbar. Ob und wann ein KI-Dienst sie nennt, können wir nicht zusagen.»

So hilft Ihnen Alpasana

Mit der KI-Console prüfen Sie öffentlich und ohne Anmeldung kostenlos, welche technischen Hindernisse KI-Systeme beim Lesen einer Website haben. Der Live-Scan untersucht nach Beschreibung Crawler-Zugriff, robots.txt, Sitemap, Metadaten, strukturierte Daten, Lesbarkeit und llms.txt und zeigt Score und Verbesserungshinweise. Für Agenturen gibt es zusätzlich Berichte und Teamfunktionen, je nach Paket.

Die KI-Console zeigt Hindernisse und Besuche erfasster Crawler. Sie stellt nicht sicher, dass KI-Dienste eine Website nennen.

Häufige Fragen

Muss ich für den Scan etwas installieren?

Nein, der öffentliche Live-Scan läuft im Browser und braucht keine Anmeldung. Für Verläufe oder Monitoring gibt es erweiterte Funktionen, je nach Paket.

Sollen wir KI-Crawler zulassen oder sperren?

Das entscheidet der Kunde. Wer Reichweite will, lässt sie in der Regel zu. Wer urheberrechtlich geschützte Inhalte hat oder keine Verwendung wünscht, kann sie sperren. Rechtliche Fragen dazu lassen Sie fachlich klären.

Wie oft sollte man prüfen?

Nach jedem Relaunch oder grösseren Umbau und sonst in regelmässigen Abständen, etwa vierteljährlich. Technische Änderungen schaffen oft ungewollt neue Sperren.