Ratgeber
Was gehört in die robots.txt eines kleinen Betriebs?
Wenig. Gesperrt gehört, was privat ist, und sonst nichts. Jede zusätzliche Sperre kostet Sichtbarkeit, und die meisten Sperren stammen aus der Bauphase.
Worum es hier geht.
Die Schritte weiter unten stehen in der Reihenfolge, in der sie gemacht werden. Wer sie umdreht, macht doppelte Arbeit.
Was hier nicht steht: eine Anleitung mit Klickwegen. Die Oberflächen der Anbieter ändern sich, und eine Anleitung, die einen Knopf nennt, den es nicht mehr gibt, ist schlechter als eine, die das Prinzip erklärt.
Schritt für Schritt.
-
Datei aufrufen
Unter der eigenen Adresse mit angehängtem robots.txt.
-
Altlasten entfernen
Pauschale Sperren aus der Entwicklungszeit.
-
Private Bereiche sperren
Kundenbereiche, Verwaltung, Formularziele.
-
Sitemap eintragen
Ein Verweis auf die Sitemap gehört hinein.
Was dabei schiefgeht.
-
Pauschalsperre aus der Bauphase nie entfernt
-
Sitemap nicht eingetragen
-
Sperre verwendet, wo eine noindex-Angabe richtig gewesen wäre
Häufige Fragen.
-
Ist robots.txt ein Zugriffsschutz?
Nein. Sie ist eine Bitte, kein Schloss. Vertrauliches gehört hinter eine Anmeldung.
-
Was ist der Unterschied zu noindex?
robots.txt verbietet das Lesen, noindex das Aufnehmen in den Index.
Verwandte Themen.
Wie steht Ihr Betrieb da?
Der Gratis-Check stellt zehn Kundenfragen an mehrere KI-Systeme und zeigt auf einer Seite, wie oft Ihr Betrieb vorkommt und woran es liegt, wenn nicht.