Crawler

Crawler

Crawler sind Computerprogramme die automatisch das World Wide Web durchsuchen und Webseiten analysieren. Crawler werden vor allem von Suchmaschinen zur Indexierung von Webseiten eingesetzt.