SEO técnico
Robots.txt
Archivo situado en la raíz de un sitio que comunica a rastreadores compatibles qué rutas pueden o no solicitar.
También se conoce como: Protocolo de exclusión de robots, robots file
Qué controla
Las reglas se aplican por agente de usuario y ruta. Sirven para gestionar solicitudes en zonas que no conviene rastrear. Como el archivo es público, nunca debe contener secretos ni utilizarse como protección de información privada.
Rastreo no es indexación
Bloquear una URL impide solicitar su contenido, pero no garantiza que desaparezca del índice si existen referencias externas. Para comunicar noindex, el rastreador necesita poder acceder a la página o recibir la directiva por encabezado.
Cómo revisarlo
Confirma que recursos y páginas importantes no estén bloqueados, usa rutas específicas y declara la ubicación del sitemap cuando corresponda. Después de una migración, comprueba que las reglas temporales de desarrollo no lleguen a producción.
Cómo revisar un archivo robots.txt
El archivo controla qué rutas pueden solicitar ciertos rastreadores. No protege datos, no elimina por sí solo URLs del índice y una regla demasiado amplia puede impedir leer recursos o páginas importantes.
Qué revisar paso a paso
- Localiza el archivo en la raíz del host correspondiente.
- Revisa reglas por agente y patrones de rutas.
- Comprueba que CSS, JavaScript y páginas útiles sean accesibles.
- Declara el sitemap correcto y prueba cambios antes de publicar.
Ejemplo aplicado
Bloquear `/assets/` puede impedir que el buscador renderice correctamente el diseño, aunque el HTML principal siga disponible.
La decisión importante
Usa robots.txt para gestionar solicitudes de rastreo. Para excluir una página del índice, utiliza noindex o restringe el acceso según el caso.
Preguntas frecuentes sobre Robots.txt
¿Robots.txt impide la indexación?
No necesariamente. Una URL bloqueada todavía puede aparecer como referencia si se conoce por enlaces externos.
¿Cada subdominio necesita su archivo?
Sí. Las reglas se aplican al protocolo, host y puerto donde se publica el archivo.
¿Sirve para ocultar información privada?
No. El archivo es público y no sustituye autenticación ni controles de acceso.