Crawler

Als Crawler bezeichnet man Suchroboter, kurz Bots, die Inhalte von Webseiten durchsuchen, um sie dann einem Index hinzuzufügen.
Wenn die Webseite ausgelesen wird, wertet man die Daten, die sich im Quelltext befinden aus und sortiert sie (wenn sie nicht gegen die Kriterien der Suchmaschinenanbieter verstoßen) in den Index. Welchen Platz die Webseite im Index einnimmt, entscheidet dann der Algorithmus.

Bots lassen sich durch Anweisungen in der Datei robots.txt oder durch den Meta-Robots-Tag steuern (zumindest jene, welche sich daran halten).

Internetagentur internet-only.de

Online Marketing Schwerpunkt: Suchmaschinenoptimierung, Suchmaschinenwerbung, Conversion-Optimierung, Content-Marketing, Online-PR
Marienkirchplatz 7 Neuss, Nordrhein-Westfalen
Phone: 02131-6619950