Was ist Web Scraping?

Web Scraping sammelt Seiteninhalte automatisch in einem Umfang und Tempo, das eine Person beim normalen Lesen der Site nicht erreicht.

Manches Sammeln ist erlaubte Recherche, manches kopiert einen Katalog so schnell, dass es der Site schadet oder ihre Regeln bricht.

So funktioniert es

Ein Programm fordert Seiten an und zieht Inhalte wiederholt heraus.
Es kann sich hinter einer wohnlichen Adresse oder einem gewöhnlich wirkenden Client verbergen, deshalb zählen Menge und Verhalten mehr als eine einzelne Adresse.

Mengengrenzen, Konten für wertvolle Daten und ein Rechenaufwand je Anfrage machen Massensammeln teurer.
Messen Sie Leistung getrennt, damit Sammler nicht verfälschen, was menschliche Besuche erleben.

Konkrete Beispiele

  • Ein Skript kopiert einen ganzen Katalog über Nacht.
  • Ein Wettbewerber zieht Preise alle paar Minuten durch automatische Anfragen.
  • Eine forschende Person lädt öffentliche Seiten langsam mit Erlaubnis und klarer Identität.

Schutzmaßnahmen

  • Sagen Sie, welches Sammeln erlaubt ist und welche Menge nicht.
  • Begrenzen Sie wertvolle Daten in der Menge und verlangen Sie ein Konto, wo das zum Produkt passt.
  • Erkennen Sie plötzliche Gänge durch einen ganzen Katalog statt normalen Lesens.
  • Legen Sie einen Rechenaufwand auf, damit Massensammeln teurer zu automatisieren ist.

Wie CDPCaptcha hilft

Wenn Sie Proof of Work vor das Auslesen setzen, steigt der Aufwand für automatische Seitenerfassung, weil jeder Abruf zuerst Rechenzeit leisten muss.

CDPCaptcha ist eine selbst gehostete Proof-of-Work-Prüfung im Browser, ohne Cookies, ohne Tracking und ohne Bilderrätsel.
Entwickelt und gehostet in der EU, in Deutschland, wird der Dienst unter https://cdpcaptcha.com/ beschrieben.

Verwandte Artikel

Was ist Spam? beschreibt Massenautomatisierung von Nachrichten, einen anderen Kanal als automatisches Seitensammeln.

Was ist ein statischer Residential Proxy? erklärt die feste Wohnadresse, mit der Sammelnde einem Haushalt ähneln wollen.

Was ist die Zeit bis zum ersten Byte? zeigt die Leistungskennzahl, die schweres automatisches Sammeln verfälschen kann.