Funktionsweise von Suchmaschinen

Suchmaschinen durchsuchen ständig das World Wide Web auf der Suche nach neuen Seiten für ihren Index. Dabei werden entweder bereits indexierte Seiten aufgesucht und darauf befindlichen Links gefolgt oder aber es werden manuell angemeldete Seiten besucht. Wenn ein Crawler eine neue Seite besucht wird diese gelesen, gespeichert und dem Index hinzugefügt.

Der Crawler (auch Robot oder Spider genannt) dient der Suchmaschinen dazu Seiten zu finden, zu analysieren und sie letztlich auch zu indexieren. Soweit nicht anders eingestellt verfolgen Crawler interne und externe Links auf bereits gespeicherten Seiten um den Index ständig zu aktualisieren. Dateitypen wie Bilder oder Styl-Sheets werden von einem Crawler nicht beachtet, er durchsucht Dokumente nach Text.

Ist eine Seite in den Index einer Suchmaschine aufgenommen worden wird sie in regelmäßigen Abständen besucht um Änderungen zu indexieren.

Suchmaschinen nutzen für die Indexierung ihrer Seiten verschiedene Kriterien wie Ranking-Algorithmen, On-Page-Faktoren und Off-Site-Faktoren. Diese Faktoren werden von allen Suchmaschinen unterschiedlich stark bewertet und somit erhält der User auch unterschiedliche Suchergebnisse.