Probador Robots.txt
Valida tu archivo robots.txt y verifica reglas de rastreo
Acerca de Robots.txt
El archivo robots.txt indica a los rastreadores de motores de búsqueda qué páginas pueden y no pueden acceder en tu sitio.
Sintaxis básica
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
Sitemap: https://example.com/sitemap.xml
Directivas comunes
- User-agent: Especifica a qué bot se aplican las reglas (* = todos)
- Disallow: Bloquea el acceso a rutas especificadas
- Allow: Permite explícitamente el acceso (anula Disallow)
- Sitemap: Apunta a tu sitemap XML
Mejores prácticas
- Colocar en raíz: tusitio.com/robots.txt
- No bloquear archivos CSS/JS (perjudica el SEO)
- Usar para sitios de staging o áreas admin
- Incluir referencia a sitemap
- Probar antes de implementar
Nota de seguridad
Robots.txt NO es una medida de seguridad. Los bots maliciosos lo ignoran. Usa autenticación adecuada para contenido sensible.
Preguntas frecuentes
¿Es requerido robots.txt?
No, pero es recomendado. Sin él, todas las páginas son rastreables por defecto. Úsalo para bloquear áreas admin, sitios de staging o contenido duplicado.
¿Robots.txt detiene todos los bots?
No, es una guía que los bots éticos siguen. Los bots maliciosos lo ignoran. Nunca confíes en robots.txt para seguridad.
¿Puedo bloquear motores de búsqueda específicos?
Sí, usa directivas User-agent. Por ejemplo: "User-agent: Googlebot" para Google, "User-agent: Bingbot" para Bing.
¿Qué pasa si bloqueo demasiado?
Bloquear archivos CSS/JS puede perjudicar el SEO. Bloquear secciones enteras podría ocultar contenido valioso de los motores de búsqueda.
¿Es obligatorio el archivo robots.txt para el SEO?
No es obligatorio, pero sí recomendado. Sin él, todas las páginas son rastreables por defecto. Usa robots.txt para bloquear áreas de staging, paneles de administración o contenido duplicado para que no sean indexados. Bloquear las páginas incorrectas puede perjudicar significativamente tu SEO.
¿El archivo robots.txt detiene a todos los bots?
Solo los bots de buena conducta lo respetan — incluyendo todos los principales motores de búsqueda (Google, Bing, Yahoo). Los bots maliciosos y los scrapers generalmente ignoran robots.txt por completo. Es una directiva de rastreo, no una medida de seguridad.
¿Puedo bloquear motores de búsqueda específicos en robots.txt?
Sí. Usa directivas User-agent con nombre: 'User-agent: Googlebot' apunta a Google, 'User-agent: Bingbot' apunta a Bing. Usa 'User-agent: *' para aplicar reglas a todos los bots. Las reglas de User-agent más específicas tienen prioridad sobre la regla comodín.
¿Qué pasa si bloqueo demasiado en robots.txt?
Bloquear archivos CSS, JavaScript o imágenes impide que Google renderice correctamente tus páginas, lo que puede perjudicar el posicionamiento. Bloquear toda tu carpeta /static/ o /assets/ es un error común. Siempre prueba los cambios en robots.txt usando la herramienta de Inspección de URL de Google Search Console.
¿Monitoreo automatizado?
Monitoreo 24/7 con alertas instantáneas cuando se detectan problemas.
Comenzar prueba gratuita