KI-Crawler in der robots.txt richtig einstellen

Die robots.txt ist eine kleine Textdatei im Hauptverzeichnis einer Website. Sie sagt Crawlern, also den Programmen, die Seiten automatisch abrufen, was sie dürfen und was nicht. Seit KI-Systeme ihre Antworten aus dem Web zusammenstellen, entscheidet diese Datei mit darüber, ob eine Website in solchen Antworten überhaupt als Quelle auftauchen kann.

Das Tückische daran: Eine Sperre fällt niemandem auf. Die Website sieht für Besucher genau gleich aus. Nur die Crawler bleiben draußen, und mit ihnen die Chance, in einer Antwort von ChatGPT oder Perplexity genannt zu werden.

Wie Sie Ihre robots.txt finden

Hängen Sie an die Adresse Ihrer Website /robots.txt an, also zum Beispiel ihr-betrieb.at/robots.txt, und öffnen Sie das im Browser. Erscheint eine Fehlerseite, gibt es keine Datei. Das ist kein Problem: Ohne robots.txt ist nichts gesperrt.

Steht dort Text, sehen Sie Blöcke, die mit User-agent: beginnen. Darunter folgen Zeilen mit Disallow: (gesperrt) und Allow: (erlaubt). User-agent: * gilt für alle Crawler, die keinen eigenen Block haben. Ein Block mit Disallow: / sperrt die ganze Website.

Ob die KI-Systeme Ihren Betrieb danach tatsächlich nennen, zeigt unser kostenloser GEO-Check mit echten Kundenfragen.

Suche und Training: zwei verschiedene Dinge

Die großen Anbieter betreiben inzwischen getrennte Crawler für getrennte Zwecke. Das ist die wichtigste Unterscheidung in diesem ganzen Thema.

Crawler für die Suche rufen Seiten ab, damit das System sie in Antworten verwenden und als Quelle verlinken kann. Wer sie sperrt, kann in Antworten mit Websuche nicht auftauchen.

Crawler für das Training sammeln Inhalte, mit denen künftige Modelle trainiert werden. Wer sie sperrt, entscheidet, dass seine Texte nicht in dieses Training eingehen sollen. Das ist eine legitime Entscheidung und hat nach den Angaben der Anbieter keinen Einfluss darauf, ob die Seite in der Websuche als Quelle dienen kann.

Ein Betrieb, der gefunden werden will, sollte also die Suchcrawler in jedem Fall zulassen. Bei den Trainingscrawlern kann er frei entscheiden.

Die Kennungen im Überblick

Stand dieses Artikels, nach den Dokumentationen der Anbieter. Die Namen ändern sich gelegentlich; maßgeblich ist immer, was der jeweilige Anbieter selbst veröffentlicht.

OpenAI (ChatGPT)

• OAI-SearchBot: Suche in ChatGPT. Zulassen, wenn Sie in ChatGPT-Antworten auftauchen wollen.
• ChatGPT-User: ruft eine Seite ab, wenn jemand in ChatGPT konkret danach fragt.
• GPTBot: Training der Modelle.

Anthropic (Claude)

• Claude-SearchBot: Suche in Claude.
• Claude-User: Abruf auf Anfrage einer Person.
• ClaudeBot: Training der Modelle.

Perplexity

• PerplexityBot: Suche und Quellenangaben in Perplexity.

Google

• Googlebot: die normale Google-Suche, zu der auch die KI-Übersichten gehören. Wer Googlebot sperrt, verschwindet aus Google insgesamt.
• Google-Extended: kein eigener Crawler, sondern ein Kennzeichen. Es steuert, ob Google Inhalte für Gemini verwenden darf. Auf die Google-Suche wirkt es laut Google nicht.

Microsoft

• Bingbot: Bing und damit auch Copilot, das sich auf den Bing-Index stützt.

Apple

• Applebot-Extended: steuert, ob Apple Inhalte für Apple Intelligence verwenden darf.

Die häufigsten Fehler

Die Sperre für alle. Manche Websites tragen User-agent: * und darunter Disallow: /. Oft stammt das aus der Bauzeit der Seite, als sie noch nicht öffentlich sein sollte, und wurde nach dem Start nie entfernt. Damit ist die Seite für alle Crawler gesperrt, auch für Google.

Die Sicherheitsvorlage. Einige Vorlagen und Erweiterungen sperren vorsorglich eine Liste von KI-Crawlern, ohne zwischen Suche und Training zu unterscheiden. Dann steht in der Datei zum Beispiel User-agent: OAI-SearchBot mit Disallow: /, obwohl der Betrieb in ChatGPT gefunden werden will.

Die Sperre, die nicht in der robots.txt steht. Manche Hosting- und Schutzdienste können KI-Crawler direkt am Server abweisen, bei einigen ist das sogar voreingestellt. In der robots.txt sehen Sie davon nichts. Wenn Ihre Website über einen solchen Dienst läuft, lohnt ein Blick in dessen Einstellungen zu Bots oder KI-Crawlern. Von außen ist diese Art von Sperre schwer zu erkennen, weil die Website für Besucher ganz normal erscheint.

Eine robots.txt für einen Betrieb

Für die meisten Betriebswebsites reicht eine sehr kurze Datei. Wenn Sie alles erlauben und nur die Sitemap angeben wollen:

User-agent: *
Allow: /

Sitemap: https://ihr-betrieb.at/sitemap.xml

Wenn Sie das Training ausschließen, die Suche aber zulassen wollen:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://ihr-betrieb.at/sitemap.xml

Die Suchcrawler (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot) fallen hier unter User-agent: * und dürfen alles.

In WordPress erzeugen viele SEO-Erweiterungen die robots.txt selbst und bieten dafür ein Eingabefeld. Bei Baukästen wie Wix oder Jimdo steht die Einstellung meist im Bereich für Suchmaschinen. Wo genau, hängt vom Anbieter ab.

Was die robots.txt nicht kann

Sie ist eine Bitte, kein Schloss. Seriöse Crawler halten sich daran, aber sie verhindert keinen Zugriff, und sie entfernt nichts, was schon einmal abgerufen wurde. Für vertrauliche Inhalte ist sie das falsche Mittel; die gehören hinter ein Passwort.

Und sie sorgt nicht dafür, dass eine KI Sie nennt. Sie räumt nur ein Hindernis aus dem Weg. Ob Sie in Antworten vorkommen, hängt danach davon ab, was auf Ihrer Website steht, wie eindeutig Ihre Angaben sind und was andere Seiten über Ihren Betrieb schreiben. Was ein vollständiger Blick darauf umfasst, steht im Ratgeber zum GEO-Audit.