PetalBot ist ein veröffentlichter Crawlername, den fremde Programme manchmal fälschen, während sie öffentliche Seiten kopieren.
Wer allein dem Namen vertraut, lässt maschinelles Kopieren zu, das mit dem ursprünglichen Crawler nichts zu tun hat.
So funktioniert es
Betreiber veröffentlichen den Namen, damit Seiten einen Suchcrawler erkennen und einordnen können.
Sobald der Name öffentlich ist, können andere Programme ihn zeigen, und die Bezeichnung beweist keine Identität mehr.
Gefälschte Besuche verbrauchen Leitung, füllen Protokolle und sammeln Preise oder Katalogtext schneller, als ein Mensch blättert.
Wer jede Anfrage mit diesem Namen durchlässt, behandelt Nachahmer und den echten Crawler gleich.
Konkrete Beispiele
- Ein Shop Protokoll zeigt den Crawlernamen bei tausenden Produktabrufen, die nicht zum bekannten Muster passen.
- Ein Forum sieht den Namen auf Kontoseiten, obwohl der echte Crawler diese Seiten nicht braucht.
- Eine Inhaltsseite bemerkt den Namen auf vielen Haushaltsadressen innerhalb einer einzigen Stunde.
Schutzmaßnahmen
- Behandeln Sie den Crawlernamen als Hinweis und prüfen Sie das Verhalten gegen das erwartete Crawl Muster.
- Wenden Sie dieselben Anfragengrenzen und Proof of Work Prüfungen auf diesen Namen an wie auf andere Automaten.
- Alarmieren Sie, wenn der Name auf Kasse, Anmeldung oder Kontoseiten erscheint, die ein Suchcrawler nicht braucht.
- Heben Sie Proben verdächtiger Besuche auf, um Takt, Pfade und Adressen mit einem normalen Crawl zu vergleichen.
Wie CDPCaptcha hilft
Eine Proof of Work Prüfung im Browser lässt Besuche, die nur einen Crawlernamen borgen, vor der Auslieferung rechnen.
CDPCaptcha ist eine selbst gehostete Proof-of-Work-Prüfung im Browser, ohne Cookies, ohne Tracking und ohne Bilderrätsel.
Entwickelt und gehostet in der EU, in Deutschland, wird der Dienst unter https://cdpcaptcha.com/ beschrieben.