robots.txt

robots.txt ist eine Datei einer Webseite, die zur Übermittlung von Anweisungen an die Crawler ist und wie diese mit der Webseite verfahren sollen. Diese Datei ist die erste Datei, welche die Bots (respektive die Webcrawler) ansteuern. Sie wird direkt im Root-Verzeichnis abgelegt.

In der Datei robots.txt kann man dann festlegen, welche Teile der Webseite am Ende auch in den Suchergebnissen landen sollen. So kann man bestimmte Bereiche für die Crawler sperren, beispielsweise wenn diese private Informationen enthalten, oder Inhalte bereitstellen, die auch auf anderen Webseiten zu finden sind. Auch eine Website, die noch im Aufbau befindlich ist, kann während  der Entwicklung für Suchmaschinen gesperrt werden. Der Inhalt einer Seite, oder bestimmter Verzeichnisse ist bei einer Sperrung nicht für Suchmaschinen analysierbar.

Zudem kann man auch bestimmte Crawler sperren, da es einige Bots gibt, die in Verdacht stehen, Duplicate Content zu erzeugen.

Um das Verhalten der Crawler zu bestimmen, gibt es als weitere Möglichkeit den Meta-Robots-Tag. Damit kann man seitenspezifische Anweisungen geben, um so bspw. Seiteninhalte aus dem Index auszuschließen.

Internetagentur internet-only.de

Online Marketing Schwerpunkt: Suchmaschinenoptimierung, Suchmaschinenwerbung, Conversion-Optimierung, Content-Marketing, Online-PR
Marienkirchplatz 7 Neuss, Nordrhein-Westfalen
Phone: 02131-6619950