Webcrawler (Suchroboter)

Die Aufgabe von Webcrawlern (Suchrobotern) ist, Websites in den Suchmaschinen-Index aufnehmen, damit sie für bestimmte Suchbegriffe auffindbar ist.

Besucht ein Crawler eine Website, dann liest er alle Inhalte der Website aus und speichert sie in einer Datenbank. Zusätzlich erfasst und indiziert er alle internen und externen Links der Website. Sämtliche Links verfolgt der Crawler und gelangt so im Internet von einer Website zur nächsten.

Das Erstellen und übermitteln einer Sitemap unterstützt die Arbeit des Crawlers um Ihre Website Inhalte schnell und vollständig zu indexieren.