Glossar
Crawler: was das ist
Ein Programm, das Webseiten abruft, um sie für eine Suche oder ein Sprachmodell verfügbar zu machen.
Ausführlicher.
Die KI-Anbieter betreiben mehrere davon, mit verschiedenen Zwecken: einer für die Suchfunktion, einer für das Training. Sie lassen sich in der robots.txt einzeln zulassen oder aussperren.
Wer alle aussperrt, kommt in keiner Antwort vor. Wer nur das Training aussperrt und die Suche zulässt, bleibt auffindbar, ohne Material fürs Training zu liefern.
Auch: Bot, Spider, GPTBot, ClaudeBot.
Hängt zusammen mit.
- robots.txt
- Eine Textdatei im Wurzelverzeichnis einer Website, die Crawlern sagt, was sie lesen dürfen.
- KI-Sichtbarkeit
- Ob ein Sprachmodell einen Betrieb nennt, wenn jemand nach einer Leistung in einer Gegend fragt.
Zurück zur Übersicht aller Begriffe.
Finden Sie heraus, was die KI über Sie sagt.
Wir stellen die Fragen Ihrer Kunden und schicken Ihnen das Ergebnis. Kostenlos und unverbindlich.