Crawler

Der Crawler, auch ‚Webcrawler‘ oder ‚Google-Crawler‘ genannt, ist ein Bot, das im Internet Informationen sammelt und diese zur Suchmaschine zurückträgt. Dabei steuert der Crawler die Internetseiten über Hyperlinks an und klassifiziert deren Inhalt nach bestimmten Parametern. Er hinterlässt eine Spur wie eine Spinne. Crawler können aber nicht das gesamte Netz untersuchen, sondern bleiben beim Deep Web (Portale und Masken) außen vor. Crawler werden außerdem zum Data-Mining in der Webometrie eingesetzt.