El archivo robots.txt es un fichero que indica a los motores de búsqueda qué partes de una web pueden rastrear y cuáles no. Se utiliza para controlar el rastreo de Google y otros bots, pero no sirve para evitar que una página se indexe.
Respuesta rápida: el archivo robots.txt se encuentra en https://tudominio.com/robots.txt. En WordPress puede editarse mediante plugins como Rank Math o Yoast SEO, o crearse manualmente en la raíz del servidor.
Relacionado: si quieres entender la base, revisa qué es el rastreo y la indexación. Si necesitas diagnosticar una URL concreta, usa la Inspección de URL. Y si tu objetivo es quitar una página del índice, aquí tienes la guía para desindexar una URL. Si te aparecen avisos como “descubierta/rastreada actualmente no indexada”, mira por qué hay páginas no indexadas.
Diferencia entre robots.txt y la indexación
La mayoría de personas que comienzan a entender el SEO suelen confundir el robots.txt con la «indexación», a continuación desgranamos las funciones distintas que realizan.
Robots: Los «robots» o «bots» son programas automatizados que rastrean el contenido de las páginas web. Los motores de búsqueda, como Google, utilizan bots llamados «Googlebot» para explorar el contenido de un sitio web. El archivo robots.txt es el que indica a estos bots cuáles secciones de un sitio deben rastrear o ignorar. Es importante aclarar que el archivo robots.txt solo controla el rastreo, no la indexación.
Indexación: La indexación, por otro lado, se refiere al proceso por el cual los motores de búsqueda almacenan y organizan el contenido de tu sitio web en su base de datos. Este contenido indexado es lo que los usuarios pueden encontrar en los resultados de búsqueda. Aunque el archivo robots.txt puede restringir el rastreo de ciertas páginas, no garantiza que estas no se indexen. Para evitar la indexación de una página específica, se debe usar la metaetiqueta «noindex» en el código HTML de la página.
Muddle consejo: Bloquear una página en el archivo robots.txt no provoca que no aparezca en los resultados de búsqueda de Google. La etiqueta que buscas si deseas no aparecer en los resultados del SERP se llama «noindex».
Diferencia entre robots.txt y noindex (cuándo usar cada uno)
Si tu objetivo es reducir rastreo (por ejemplo, zonas técnicas, carpetas internas o URLs sin valor), robots.txt es útil. Pero si tu objetivo es que una URL no aparezca en Google, lo habitual es usar noindex (si la página debe existir) o devolver un 404/410 (si la página ya no debe existir).
Importante: si bloqueas una URL con robots.txt antes de que Google pueda ver el noindex, podrías dejar la URL “atascada” en el índice durante más tiempo.
Dónde está el archivo robots.txt en WordPress
El robots.txt suele estar disponible en https://tudominio.com/robots.txt. En WordPress puede generarse automáticamente, pero si quieres personalizarlo puedes:
- Editar robots.txt con plugins como Yoast SEO o Rank Math.
- Crear/editar el archivo manualmente en la raíz del servidor (FTP).
User agent
El User agent indica al rastreador lo que debe hacer con nuestras páginas. Este rastreador puede ser Googlebot, Googlebot-Video, Yandex, Baidu, Bing, etc.
Como no vas a marcar todos los tipos de rastreadores web del mundo, entonces lo mejor es que le des esta directiva: «*» (el asterisco de toda la vida). Esto provoca una orden en todos los rastreadores que aterricen en tu web.
Directivas
Las directivas de Robots.txt son las reglas que seguirá el user agent. De este modo quedaría así:
Primero el rastreador (googlebot por ejemplo) recibe la instrucción de leer un sitio web, a continuación entabla la relación con el archivo robots.txt y este le especifica qué páginas o secciones de tu sitio web deben o no rastrearse.
Entre las directivas más famosas que puedes ver dentro del archivo robots seguramente es el famoso «disallow»
Disallow: indica a los rastreadores que no accedan a esa ruta
Allow: indica que se den un paseo tranquilamente
Muddle – consejo: Es muy habitual indicar la ruta de tu mapa del sitio (sitemap). Nosotros te aconsejamos que lo subas para ayudar a los rastreadores a descubrir URLs importantes.
Ejemplo de robots.txt básico (recomendado)
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://tudominio.com/sitemap_index.xml
¿Cómo crear un archivo robots.txt?
En caso de utilizar WordPress seguramente ya has creado este archivo. Sin embargo en caso de que no estés seguro o quieras hacer cambios en el archivo robots.txt puedes ayudarte de: Yoast SEO o Rank Math. Estos plugins facilitan el control sin tener que escribir ninguna sintaxis complicada.
Otro modo, un pelín más técnico es editar el archivo robots.txt a través de FTP. Para poder hacer esto, simplemente abres un bloc de notas en tu pc y añades tus directivas, luego lo subes a tu hosting y ya quedaría listo.
Cómo comprobar / testear tu robots.txt en Google
Hay muchas formas de comprobar que tu archivo robots.txt está correctamente implementado.
El archivo por defecto se alojará en «https://tudominio.com/robots.txt«.
Para comprobar si Google puede hacer uso de tu archivo y de las «normas» tienes la opción de utilizar este test. Si además quieres confirmar si una URL concreta está bloqueada o indexada, la forma más fiable es usar la Inspección de URL.
Métodos para editar tu robots.txt en WordPress
En caso de tener un WordPress y querer hacer modificaciones en el robots.txt puedes utilizar plugins o hacerlo manualmente. Los plugins SEO de Yoast o RankMath te pueden facilitar esta tarea sin tener que tocar código.
Si usas WordPress, seguramente ya tengas un archivo robots.txt generado automáticamente. Pero si deseas personalizarlo, puedes hacerlo con plugins como Yoast SEO o Rank Math:
- Accede al panel de control de tu sitio web.
- Instala y activa el plugin Yoast SEO o Rank Math.
- Navega a la sección de «Herramientas» del plugin y selecciona la opción «Editor de archivos» (en Yoast) o «Editar robots.txt» (en Rank Math).
- Personaliza las directivas según tus necesidades y guarda los cambios.
¿Por qué es importante el archivo robots.txt para el SEO?
El archivo robots.txt juega un papel importante en la estrategia SEO al permitirte controlar qué partes de tu sitio son rastreadas por los motores de búsqueda. Esto es especialmente útil si quieres evitar que se rastreen páginas de bajo valor o si deseas ahorrar recursos en el rastreo.
Desde Muddlemetrics, creemos que muchos marketers piensan que esta es una tarea que debería hacer un informático, cuando en realidad podrían hacerlo ellos. Tener un buen control de este archivo es esencial para mejorar la eficiencia del rastreo.
Preguntas frecuentes
¿Dónde está el archivo robots.txt en WordPress?
Normalmente puedes verlo en https://tudominio.com/robots.txt. Para editarlo, lo más común es usar Yoast SEO o Rank Math, o modificarlo manualmente en la raíz del servidor (FTP).
¿robots.txt sirve para desindexar una URL?
No de forma fiable. robots.txt bloquea el rastreo, pero una URL puede seguir apareciendo en Google si ya estaba indexada. Si quieres quitarla del índice, usa noindex (si la página debe existir) o 404/410 (si la página desaparece), y apóyate en Search Console si necesitas una retirada temporal.
¿Cómo testeo robots.txt en Google?
Puedes usar el tester de robots.txt para comprobar si Googlebot puede acceder a una ruta. Para una URL concreta, revisa el estado con la Inspección de URL.
¿Puedo poner varias directivas y reglas?
Sí, pero lo ideal es mantenerlo simple. Define el User-agent una vez y agrupa debajo todas las reglas (Disallow/Allow) de forma ordenada para evitar errores.
Conclusión
Robots.txt es una herramienta para controlar el rastreo, no para desindexar. Si quieres que una URL no aparezca en Google, usa noindex o códigos de estado como 404/410 según el caso. Y antes de tocar nada, comprueba el estado real con la Inspección de URL.