Ein Crawler oder Web-Crawler ist eine Online-Anwendung, die die Webseiten im Internet nach vorgegebenen Kriterien aufruft, die Inhalte durchsucht und die Informationen sammelt und in eine eigene Datenbank stellt.

Die Verwendung der Crawler geschieht hauptsächlich durch Suchmaschinen. So können dann auch die bestehenden Inhalte, die z.B. auf den Webseiten geändert oder gelöscht wurden, aktualisiert werden.

Insofern ist die Aufgabe der Crawler eine durchaus sinnvolle Aufgabe.

Allerdings gibt es auch Crawler, die eher unerwünschte Aufgabenstellungen erfüllen, die da  z. B. sein können:

 

Newsletteranmeldung

Melde Dich jetzt zum kostenfreien Newsletter an und erhalte regelmässig Infos für Deinen Business-Erfolg.

  • Geld sparen
  • Neue Tools
  • Tipps & Tricks

Du kannst Dich jederzeit mit nur 1 Klick vom Bezug des Newsletters abmelden!