Der Crawler WebMeterBot
WebMeterBot ist der Crawler von WebMeter, einer kostenlosen Website-Prüfung. Hier erfahren Sie, was er auf Websites tut, wie Sie ihn erkennen und wie Sie ihn von Prüfungen ausschließen.
Was der Crawler tut
Er besucht eine Website nur, wenn ihre Prüfung gestartet wird, in der Regel, wenn jemand sie auf webmeter.eu anfordert. Er führt nur passive Prüfungen öffentlich zugänglicher Informationen durch: Er meldet sich nicht an, probiert keine Passwörter oder Schwachstellen aus und füllt keine Formulare aus.
Bei einer Prüfung einer Website:
- Zuerst lädt er die robots.txt herunter und richtet sich nach RFC 9309 danach. Er prüft sie vor den PageSpeed-Tests und vor dem Laden der Seite im Browser. Verbietet die robots.txt dem Crawler die Startseite, wird die Prüfung nicht durchgeführt und an die Website geht keine weitere Anfrage; gesperrte Pfade liest der Crawler nicht. Lässt sich die robots.txt nicht laden (Serverfehler, Überlastung oder Netzausfall), wird die Prüfung nicht durchgeführt.
- Er lädt die Startseite einmal im Browser (Chromium) wie ein einzelner Besucher, einschließlich der Bilder, Stylesheets und Skripte, die die Seite selbst lädt; diese lädt er unabhängig von der robots.txt. Dabei erstellt er einen Screenshot der Startseite als internen Nachweis für die Cookie-Befunde.
- Er lässt die Website 3-mal von Google PageSpeed Insights messen. Diese Tests führt Google von seiner eigenen Infrastruktur aus durch, mit einem User-Agent, der
Chrome-Lighthouseenthält, nicht WebMeterBot. - Weitere Anfragen an die Website (HTTP-Header, höchstens fünf weitere öffentliche Seiten und Dateien wie sitemap.xml oder security.txt, TLS-Verbindungsaufbau für Zertifikat und TLS-Versionen) sendet er in der Regel mit höchstens 2 pro Sekunde.
- Von webmeter.eu gestartete Prüfungen probieren keine Administrationsadressen aus (zum Beispiel
/wp-login.phpoder/admin/).
So erkennen Sie den Crawler
Der Crawler meldet sich mit diesem User-Agent:
WebMeterBot/1.0 (+https://webmeter.eu/bot; kontakt: kontakt@webmeter.eu)
In der robots.txt sprechen Sie ihn mit dem Token WebMeterBot an. Der Crawler beachtet auch Sperren für das ältere Token WebAnalyzerBot aus der Zeit, als das Tool Web Analyzer hieß.
Die Prüfungen gehen von diesen IP-Adressen aus:
57.131.157.1732001:41d0:701:1100::e11c
Eine maschinenlesbare Liste der Adressen finden Sie unter /bot/ips.json.
So schließen Sie den Crawler aus
Fügen Sie der Datei robots.txt im Stammverzeichnis Ihrer Website Folgendes hinzu:
User-agent: WebMeterBot Disallow: /
Der Crawler führt die Prüfung dann nicht durch und sendet außer der Anfrage nach der robots.txt keine Anfrage an die Website. Eine Sperre nur eines Teils der Website (zum Beispiel Disallow: /admin) stoppt die Prüfung nicht; die gesperrten Pfade werden lediglich nicht gelesen.
Oder schreiben Sie an kontakt@webmeter.eu und nennen Sie die Domain. Der Betreiber setzt sie auf die Ausschlussliste, und der Crawler sendet dann gar nichts mehr an die Website, nicht einmal eine Anfrage nach der robots.txt.
Einzelheiten finden Sie auf der Seite So schließen Sie eine Website von der Analyse aus.
Kontakt
Der Crawler wird von WebMeter betrieben. Angaben zum Betreiber finden Sie in den Datenschutzhinweisen. Fragen und Beschwerden zu seinem Verhalten senden Sie bitte an kontakt@webmeter.eu.