Unter "Crawling" versteht man in der Informatik den Prozess des automatischen Durchsuchens und Indexierens von Webseiten durch Softwareprogramme, die als Webcrawler oder Spider bezeichnet werden. Diese Programme durchsuchen das Internet systematisch nach Inhalten, indem sie die Links auf einer Webseite verfolgen und deren Inhalte herunterladen, um sie zu analysieren und in einem Suchindex zu speichern. Das Crawling ist ein wesentlicher Bestandteil von Suchmaschinen wie Google, Bing und Yahoo, da es ihnen ermöglicht, das Internet zu durchsuchen und relevante Ergebnisse für Benutzeranfragen zu liefern.
Typische Funktionen einer Software im Bereich "Crawling" umfassen z.B.:
