Glossar
robots.txt: was das ist
Eine Textdatei im Wurzelverzeichnis einer Website, die Crawlern sagt, was sie lesen dürfen.
Ausführlicher.
Sie ist eine Bitte und kein Schloss. Wer etwas wirklich schützen will, braucht eine Anmeldung; robots.txt hält nur höfliche Programme ab.
Der häufigste Fehler ist eine Pauschalsperre aus der Bauphase, die nie entfernt wurde. Sie kostet die gesamte Auffindbarkeit und fällt monatelang niemandem auf.
Nicht zu verwechseln mit noindex: robots.txt verbietet das Lesen, noindex das Aufnehmen in den Index.
Auch: Robots-Datei.
Hängt zusammen mit.
- Crawler
- Ein Programm, das Webseiten abruft, um sie für eine Suche oder ein Sprachmodell verfügbar zu machen.
- noindex
- Eine Angabe im Seitenkopf, die sagt: Diese Seite soll nicht in den Suchindex.
Zurück zur Übersicht aller Begriffe.
Finden Sie heraus, was die KI über Sie sagt.
Wir stellen die Fragen Ihrer Kunden und schicken Ihnen das Ergebnis. Kostenlos und unverbindlich.