Robot WebMeterBot

WebMeterBot je robot bezplatné kontroly webů WebMeter. Tady najdete, co na webu dělá, jak ho poznáte a jak ho z kontrol vyřadíte.

Co robot dělá

Na web přichází, jen když se spustí jeho kontrola, typicky když si ji někdo vyžádá na webmeter.eu. Dělá jen pasivní kontroly veřejně dostupných informací: nepřihlašuje se, nezkouší hesla ani zranitelnosti a nevyplňuje žádné formuláře.

Při jedné kontrole webu:

Nejdřív stáhne robots.txt a řídí se jím podle RFC 9309. Kontroluje ho před testy PageSpeed i před načtením stránky v prohlížeči. Když robots.txt robotovi zakazuje úvodní stránku, kontrola se neprovede a na web už nejde žádný další požadavek; zakázané cesty robot nečte. Když robots.txt nejde načíst (chyba serveru, přetížení nebo výpadek sítě), kontrola se neprovede.
Jednou načte úvodní stránku v prohlížeči (Chromium) jako jeden návštěvník, včetně obrázků, stylů a skriptů, které si stránka sama načte; ty načte bez ohledu na robots.txt. Pořídí přitom snímek obrazovky úvodní stránky jako interní doklad k nálezům o cookies.
3× nechá web změřit službou Google PageSpeed Insights. Tyto testy provádí Google ze své infrastruktury, s User-Agentem, který obsahuje Chrome-Lighthouse, ne WebMeterBot.
Ostatní dotazy na web (HTTP hlavičky, nejvýše pět dalších veřejných stránek a soubory jako sitemap.xml nebo security.txt, navázání TLS spojení kvůli certifikátu a verzím TLS) posílá zpravidla nejvýš 2 za sekundu.
Kontroly spuštěné z webmeter.eu nezkoušejí adresy administrace (například /wp-login.php nebo /admin/).

Jak robota poznáte

Robot se představuje tímto User-Agentem:

WebMeterBot/1.0 (+https://webmeter.eu/bot; kontakt: kontakt@webmeter.eu)

V robots.txt ho oslovíte tokenem WebMeterBot. Robot dodržuje i zákazy pro starší token WebAnalyzerBot z doby, kdy se nástroj jmenoval Web Analyzer.

Kontroly odcházejí z těchto IP adres:

57.131.157.173
2001:41d0:701:1100::e11c

Strojově čitelný seznam adres je na /bot/ips.json.

Jak robota vyřadit

Do souboru robots.txt v kořeni webu přidejte:

User-agent: WebMeterBot
Disallow: /

Robot pak kontrolu neprovede a kromě robots.txt na web nepošle žádný požadavek. Zákaz jen části webu (například Disallow: /admin) kontrolu nezastaví, zakázané cesty se jen nečtou.

Nebo napište na kontakt@webmeter.eu a uveďte doménu. Provozovatel ji zařadí na seznam vyřazených a robot pak na web nepošle vůbec nic, ani dotaz na robots.txt.

Podrobnosti najdete na stránce Jak vyřadit web z analýzy.

Kontakt

Robota provozuje WebMeter. Údaje o provozovateli najdete v zásadách. Dotazy a stížnosti na jeho chování posílejte na kontakt@webmeter.eu.