SEO & Websites / Automatisierter Abruf von Webseiten
Crawling
Beim Crawling ruft ein automatisiertes Programm Webseiten und weitere Ressourcen ab. Suchmaschinen entdecken neue Adressen unter anderem über Links auf bereits bekannten Seiten. Der Abruf liefert Material für die weitere Verarbeitung und ist von der späteren Indexierung zu unterscheiden.
Ein neuer Glossareintrag sollte deshalb über echte Links erreichbar sein. Bei der technischen Prüfung werden etwa Antwortstatus, Weiterleitungen und für die Darstellung benötigte Ressourcen betrachtet. Eine erfolgreich ausgelieferte Seite belegt zunächst ihre Erreichbarkeit. Ob ein Suchsystem sie bereits besucht und verarbeitet hat, wird mit den dafür verfügbaren Nachweisen gesondert untersucht.
Diesen Begriff im Wissensraum öffnen ↗