El rastreador WebMeterBot

Qué hace el rastreador

Solo visita un sitio web cuando se inicia su comprobación, normalmente cuando alguien la solicita en webmeter.eu. Solo realiza comprobaciones pasivas de información públicamente accesible: no inicia sesión, no prueba contraseñas ni vulnerabilidades y no rellena ningún formulario.

Durante una comprobación de un sitio web:

• Primero descarga robots.txt y lo respeta según RFC 9309. Lo comprueba antes de las pruebas de PageSpeed y antes de cargar la página en el navegador. Si robots.txt prohíbe al rastreador la página de inicio, la comprobación no se realiza y no se envía ninguna otra solicitud al sitio; el rastreador no lee las rutas prohibidas. Si no se puede cargar robots.txt (error del servidor, sobrecarga o fallo de red), la comprobación no se realiza.
• Carga una vez la página de inicio en un navegador (Chromium) como un único visitante, incluidas las imágenes, los estilos y los scripts que la propia página carga; estos los carga independientemente de robots.txt. Al hacerlo, toma una captura de pantalla de la página de inicio como prueba interna de los hallazgos sobre cookies.
• Hace que Google PageSpeed Insights mida el sitio web 3 veces. Estas pruebas las realiza Google desde su propia infraestructura, con un User-Agent que contiene Chrome-Lighthouse, no WebMeterBot.
• Las demás solicitudes al sitio (cabeceras HTTP, como máximo otras cinco páginas públicas y archivos como sitemap.xml o security.txt, el establecimiento de la conexión TLS para el certificado y las versiones de TLS) las envía por lo general a un máximo de 2 por segundo.
• Las comprobaciones iniciadas desde webmeter.eu no prueban direcciones de administración (por ejemplo, /wp-login.php o /admin/).

Cómo reconocer el rastreador

El rastreador se identifica con este User-Agent:

WebMeterBot/1.0 (+https://webmeter.eu/bot; kontakt: kontakt@webmeter.eu)

En robots.txt puede dirigirse a él con el token WebMeterBot. El rastreador también respeta los bloqueos para el token anterior WebAnalyzerBot, de cuando la herramienta se llamaba Web Analyzer.

Las comprobaciones se envían desde estas direcciones IP:

• 57.131.157.173
• 2001:41d0:701:1100::e11c

Hay una lista de las direcciones legible por máquina en /bot/ips.json.

Cómo excluir el rastreador

Añada lo siguiente al archivo robots.txt en la raíz de su sitio web:

User-agent: WebMeterBot
Disallow: /

El rastreador no realizará entonces la comprobación y, aparte de robots.txt, no enviará ninguna petición al sitio web. Bloquear solo una parte del sitio web (por ejemplo, Disallow: /admin) no detiene la comprobación; simplemente no se leen las rutas bloqueadas.

O escriba a kontakt@webmeter.eu indicando el dominio. El operador lo añadirá a la lista de exclusión y el rastreador ya no enviará nada al sitio web, ni siquiera una petición de robots.txt.

Encontrará más detalles en la página Cómo excluir un sitio web del análisis.

Contacto

El rastreador lo gestiona WebMeter. Los datos del titular están en la política de privacidad. Envíe sus preguntas y quejas sobre su comportamiento a kontakt@webmeter.eu.