Ein Crawler (auch Spider) ist ein Computerprogramm, welches automatisch das WWW durchsucht und Webseiten analysiert. Crawler werden vor allem von Suchmaschinen eingesetzt. Weitere Anwendungen sind beispielsweise das Sammeln von EMailadressen. Ein Crawler gelangt über Hyperlinks von einer Webseite zu weiteren URLs. Dabei werden alle bisher bekannten Adressen gespeichert und der Reihe nach besucht. Die neu gefundenen Hyperlinks werden zur Liste aller URLs hinzugefügt. So können theoretisch alle erreichbaren Seiten des WWW gefunden werden.
Je nach Aufgabe des Crawlers wird der Inhalt der gefundenen Webseiten bspw. mittels Indexierung ausgewertet und gespeichert, um ein späteres Suchen in den gesammelten Daten zu ermöglichen.