Revisor y Probador de Robots.txt
Comprueba al instante las reglas de rastreo de cualquier sitio web. Simula si una URL está Permitida o Bloqueada para Googlebot, Bingbot o rastreadores de IA.
/, /wp-admin/, /api/v1/, /privado/¿Cómo funciona el Revisor de Robots.txt?
Descarga el archivo robots.txt público y analiza cada grupo de directivas (User-agent, Allow, Disallow). Evalúa si rutas específicas coinciden con patrones de bloqueo o permiso según el estándar oficial de robots.
¿Cuándo usar esta herramienta?
- Evitar desindexaciones accidentales: Comprueba que tus páginas principales o recursos CSS/JS no estén bloqueados sin querer.
- Gestión de Bots de IA: Verifica si estás bloqueando correctamente a GPTBot, ClaudeBot o CCBot sin afectar a Google.
- Validación antes de lanzar cambios: Prueba tus directivas en el editor interactivo antes de subirlas al servidor.
Preguntas Frecuentes (FAQ)
¿Qué pasa si tengo Disallow: / ?
La directiva Disallow: / bajo User-agent: * le indica a todos los motores de búsqueda que tienen prohibido rastrear cualquier página de tu sitio web, lo que resultará en la pérdida total de visibilidad en Google.
¿Robots.txt evita que una URL aparezca en Google si tiene enlaces externos?
No siempre. Si otros sitios enlazan a esa página, Google puede indexar la URL mostrando el mensaje "No hay información disponible sobre esta página por el archivo robots.txt". Para desindexar totalmente, debes usar la meta etiqueta noindex en el HTML.