Was ist Scraping?

Scraping kopiert Seiteninhalte mit einem Programm, das Seiten abruft und Text, Bilder oder anderes veröffentlichtes Material entnimmt.

Hier geht es um dieses allgemeine Kopieren, während ein eigener Begriff nur das Sammeln von Preisen meint.

So funktioniert es

Das Programm geht Adressen durch, lädt Antworten und zieht die gewünschten Teile in eine Datei oder eine Datenbank.
Ein Mensch könnte dieselben Seiten lesen, doch das Programm wiederholt die Arbeit in Menge und Takt, die keine lesende Person erreicht.

Verlage und Shops tragen dann Last, kopierte Kataloge und eine Weiternutzung, der sie nicht zugestimmt haben.
Ob eine bestimmte Kopie rechtmäßig ist, hängt von Fakten und Rechten ab, die dieser Artikel nicht entscheidet, und die technische Last bleibt real.

Konkrete Beispiele

  • Ein Programm speichert über Nacht jeden Artikel einer Nachrichtenseite und veröffentlicht den Text anderswo erneut.
  • Ein Skript geht ein Ladenverzeichnis durch und speichert Beschreibungen und Bilder, nicht nur die Beträge.
  • Ein Suchhelfer holt öffentliche Seiten mit Zurückhaltung, während ein zweiter Client dieselben Seiten ohne Pause kopiert.

Schutzmaßnahmen

  • Veröffentlichen Sie Bedingungen, ob automatisches Kopieren erlaubt ist, und setzen Sie sie mit sichtbaren technischen Kontrollen durch.
  • Decken Sie, wie schnell ein Client lesen darf, und fügen Sie eine Rechenaufgabe hinzu, wenn das Muster nicht menschlich ist.
  • Bieten Sie große Archive über Kanäle an, die Sie wählen, damit Clients nicht jede öffentliche Seite ablaufen müssen.
  • Achten Sie auf geordnete Durchläufe von Kennungen und auf Clients, die das umgebende Angebot nie wie eine lesende Person laden.

Wie CDPCaptcha hilft

Proof of Work macht massenhaftes Kopieren von Seiteninhalt teurer, weil jeder Seitenabruf eine kleine Rechenaufgabe beenden muss.

CDPCaptcha ist eine selbst gehostete Proof-of-Work-Prüfung im Browser, ohne Cookies, ohne Tracking und ohne Bilderrätsel.
Entwickelt und gehostet in der EU, in Deutschland, wird der Dienst unter https://cdpcaptcha.com/ beschrieben.

Verwandte Artikel

Was ist das Auslesen von Preisen? erklärt das automatische Sammeln angezeigter Preise, ein engeres Ziel als das Kopieren ganzer Seiteninhalte.

Was ist Selenium? erklärt ein Werkzeug zur Browsersteuerung, das Skripte oft nutzen, wenn sie dargestellte Seiten kopieren.

Was ist PhantomJS? erklärt einen eingestellten kopflosen Browser, der früher Seiten für automatisches Kopieren darstellte.