Ein vorgetäuschter Googlebot ist ein Abrufprogramm, das sich als Suchroboter ausgibt, um Zugriffe zu bekommen, die diesem Roboter vorbehalten sind.
Die Behauptung steckt in der Vorstellung des Clients, während der Verkehr nicht aus der echten Infrastruktur des Suchunternehmens kommt.
So funktioniert es
Eine Nachrichtenseite erlaubt dem echten Suchroboter, Seiten zu lesen, die aufwendiger zu zeichnen sind, und ein vorgetäuschter Client nutzt diese Erlaubnis, um über Nacht das ganze Archiv zu kopieren.
Die Betreiberin sieht den vertrauten Roboternamen im Protokoll und bemerkt die Kopie vielleicht erst, wenn Artikel auf einer anderen Domäne stehen.
Der Verlag verliert die Herrschaft über Text und Bilder, und die zusätzliche Last kann die Seite für die Morgenleser verlangsamen.
Wer jedem Client vertraut, der den Roboternamen nennt, macht die Verkleidung nützlich.
Konkrete Beispiele
- Ein Magazinprotokoll zeigt den Roboternamen, der in einer Nacht jeden Artikel aus einem einzigen Hostingnetz zieht.
- Ein Shop, der Großhandelspreise nur dem Suchroboter zeigt, findet diese Preise am nächsten Tag bei einem Wettbewerber wieder.
- Eine Dokumentationsseite wird von einem Client gespiegelt, der den Roboternamen behauptete, sich aber nie an die Abrufregeln der Seite hielt.
Schutzmaßnahmen
- Prüfen Sie die Netzidentität eines Clients, der sich als Suchroboter ausgibt, gegen die Bereiche, die das Suchunternehmen veröffentlicht.
- Bieten Sie keinen schwächeren Sicherheitspfad an, nur weil in der Protokollzeile der Name des Roboters steht.
- Begrenzen Sie teure Seiten auch für Clients, die Sie begrüßen wollen, damit eine nächtliche Kopie nicht das ganze Archiv nimmt.
- Prüfen Sie Protokolle auf einen Roboternamen zusammen mit einem unerwarteten Netz und sperren Sie dieses Paar, wenn die Behauptung nicht stimmt.
Wie CDPCaptcha hilft
Eine Proof-of-Work-Prüfung im Browser lässt einen Client, der sich als Suchroboter ausgibt, zuerst Rechenzeit aufwenden und verteuert damit große geskriptete Täuschung.
CDPCaptcha ist eine selbst gehostete Proof-of-Work-Prüfung im Browser, ohne Cookies, ohne Tracking und ohne Bilderrätsel.
Entwickelt und gehostet in der EU, in Deutschland, wird der Dienst unter https://cdpcaptcha.com/ beschrieben.
Verwandte Artikel
Lesende mit Fragen zu einem Nachrichtenabruf öffnen danach Was ist eine gefälschte Bewertung?.
Im Arbeitsalltag zu einem Nachrichtenabruf gehört auch ein Blick in Was ist Kontenbetrug?.
Wer Unterlagen zu einem Nachrichtenabruf pflegt, vergleicht sie mit Was ist Kontoübernahmebetrug?.