Unter einem Spider, auch Webcrawler oder Robot genannt, versteht man ein spezielles Computerprogramm, das selbstständig sich wiederholenden Aufgaben nachgeht.
Welche Funktion hat ein Spider?
1. Informationen der Websiten für Suchmaschinen speichern
Die Spider gelangen von einer Website, der sogenannten Seed Page (Start-URL), über Hyperlinks auf andere URLs. Die Programme durchsuchen automatisch verschiedene Websites nach deren Inhalten und Schlagwörtern. Die Informationen werden in einer Datenbank gespeichert und können von Suchmaschinen für das spätere Anzeigen und Filtern von Suchergebnissen verwendet werden.
2. Interne & externe Links erfassen
Ein Spider erfasst alle internen und externen Links, die auf der Website vorhanden sind. Über diese gesammelten Informationen kann der Spider nach und nach alle Webseiten im Internet erfassen, wenn sie mindestens einmal von einer anderen Website verlinkt wurden.
Welches Ziel verfolgen Spider?
Die Programme werden als Spider bzw. Webcrawler bezeichnet, da sie auf der Suche nach wichtigen Websites – wie Spinnen auf der Suche nach ihrer Beute – durch das Internet „krabbeln“. Das Ziel der Spider ist, so viele relevante Schlüsselwörter wie möglich zu besetzen, damit die Konsumenten direkt zu ihren Produkten gelangen können.
Warum sind Spider für Unternehmen interessant?
Sobald ein Oberbegriff oder ein Geschäftsname in eine Suchmaschine eingegeben wird, sollen alle damit assoziierten Wörter erscheinen. Damit eine Verbindung zu ihrem Zielprodukt geschaffen wird, sind Unternehmen bereit, erhebliche Summen in die Verbesserung der natürlichen Suchergebnisse zu investieren und dies wissenschaftlich abzusichern.
Ein Faktor zur Optimierung der natürlichen Suche ist unter anderem, dass die Seite in viele spezialisierte Verzeichnisse eingestellt wird, um so möglichst zahlreiche relevante Links zu dieser Seite zu generieren, damit die Webcrawler- und Spider-Applikationen sie leichter finden.