Ratgeber
Soll ich die Crawler der KI-Anbieter auf meiner Website zulassen?
Wer in KI-Antworten vorkommen will, muss gelesen werden dürfen. Die Such-Crawler der Anbieter sind dafür der Weg, und sie lassen sich in der robots.txt einzeln zulassen oder aussperren.
Worum es hier geht.
Die Schritte weiter unten stehen in der Reihenfolge, in der sie gemacht werden. Wer sie umdreht, macht doppelte Arbeit.
Was hier nicht steht: eine Anleitung mit Klickwegen. Die Oberflächen der Anbieter ändern sich, und eine Anleitung, die einen Knopf nennt, den es nicht mehr gibt, ist schlechter als eine, die das Prinzip erklärt.
Schritt für Schritt.
-
robots.txt ansehen
Was steht derzeit drin, und wer ist ausgesperrt.
-
Such-Crawler zulassen
Die Crawler, die für die Suchfunktion der Dienste zuständig sind.
-
Trainingszugriff getrennt entscheiden
Suche und Training sind verschiedene Zwecke und verschiedene Crawler.
-
Kontrollieren
Nach der Änderung prüfen, ob die Datei wirklich ausgeliefert wird.
Was dabei schiefgeht.
-
Alle Crawler pauschal ausgesperrt und sich gewundert, dass nichts zitiert wird
-
robots.txt im Testsystem geändert, nicht im echten
-
Sperre für Suchmaschinen aus der Bauphase stehen gelassen
Häufige Fragen.
-
Muss ich Training erlauben, um in Antworten vorzukommen?
Nein. Für die Suchfunktion der Dienste ist der jeweilige Such-Crawler zuständig.
-
Wo finde ich die Namen der Crawler?
In der Dokumentation der Anbieter. Sie ändern sich gelegentlich.
Verwandte Themen.
Wie steht Ihr Betrieb da?
Der Gratis-Check stellt zehn Kundenfragen an mehrere KI-Systeme und zeigt auf einer Seite, wie oft Ihr Betrieb vorkommt und woran es liegt, wenn nicht.