Robots.txt vs noindex confunde a casi todo el mundo porque los dos controles parecen intercambiables, pero gobiernan etapas completamente diferentes de cómo Google maneja una página. Robots.txt controla el rastreo (si un bot puede acceder a la URL). Noindex controla la indexación (si la página puede aparecer en los resultados de búsqueda). Mezclarlos y obtienes el peor resultado: una página que querías oculta que permanece en Google para siempre.
Si alguna vez has bloqueado una URL en robots.txt y la has visto aparecer en los resultados de búsqueda, esa distinción explica por qué. Esta guía desglosa rastreo versus indexación en términos simples, muestra la combinación que silenciosamente falla, y te da una tabla de decisiones para que siempre elijas la herramienta correcta.
Robots.txt vs Noindex: La Diferencia Clave#
La forma más rápida de entender robots.txt vs noindex es separar dos preguntas que Google se hace sobre cada URL. Primero, "¿Tengo permiso para leer esta página?" Eso es el rastreo. Segundo, "¿Tengo permiso para mostrar esta página en los resultados de búsqueda?" Eso es la indexación. Robots.txt responde la primera pregunta. Noindex responde la segunda.
Una regla Disallow en robots.txt indica a los rastreadores que no deben obtener una URL. Una directiva noindex (en una metaetiqueta o cabecera HTTP) indica a los rastreadores que no deben mostrar la página en la búsqueda, aunque se les haya permitido leerla. No son dos versiones de lo mismo. Operan en puertas diferentes.
Modelo mental clave: robots.txt es un cartel en la puerta principal que dice "no entrar". Noindex es una nota dentro de la casa que dice "no me pongas en el directorio". Si el bot nunca entra, nunca lee la nota.
Esa frase es la razón por la que ambos se combinan incorrectamente y prepara el error más perjudicial en todo este tema.
Qué hace realmente robots.txt#
Robots.txt es un archivo de texto plano en la raíz de tu dominio (ejemplo.com/robots.txt). Enumera los agentes de usuario y las rutas que pueden o no rastrear. Su función es la gestión del rastreo, no la gestión de la indexación.
- Ahorra presupuesto de rastreo al mantener a los bots fuera de áreas de bajo valor (filtros por facetas, búsqueda interna, rutas de prueba).
- NO elimina una URL del índice de Google por sí solo.
- Es una directiva que la mayoría de los bots reputados respetan, pero es visible públicamente para cualquiera.
El matiz crítico: un Disallow solo detiene la obtención. Google aún puede indexar una URL a la que se le dijo que no rastreara si descubre esa URL a través de enlaces en otros sitios. Has visto el resultado: un fragmento de búsqueda que dice "No hay información disponible para esta página" con solo la URL y sin descripción. Google sabe que la página existe, simplemente no se le permitió leer su contenido.
Qué hace realmente noindex#
Noindex es una directiva que vive en la propia página, ya sea como una metaetiqueta en el encabezado HTML o como una cabecera de respuesta HTTP. Indica a los motores de búsqueda: puedes leer esto, pero no lo incluyas en tu índice.
<meta name="robots" content="noindex">
O, para archivos que no son HTML, como una cabecera HTTP:
X-Robots-Tag: noindex
Como la directiva está en la respuesta, Google tiene que rastrear la página para verla. Una vez que lo hace y procesa el noindex, la URL desaparece de los resultados de búsqueda, generalmente en unos pocos rastreos. Esta es la forma fiable de mantener una página fuera de Google. También es exactamente por qué la siguiente sección es tan importante.
El error que mantiene páginas indexadas para siempre#
Aquí está el detalle que la mayoría de los artículos esconden al final, y es el error más dañino al decidir entre robots.txt y noindex.
Si añades noindex a una página Y también Disallow a esa misma URL en robots.txt, el noindex deja de funcionar. Google obedece el bloqueo de robots.txt, nunca rastrea la página y, por lo tanto, nunca ve la etiqueta noindex. La página puede permanecer indexada indefinidamente, sin que Google pueda saber que querías eliminarla.
Es lo peor de ambos mundos. Hiciste el trabajo para ocultar la página, colocaste la directiva correcta y la regla de robots.txt la cancela silenciosamente. La propia documentación de Google lo señala directamente: una directiva noindex solo se respeta si la página es rastreable.
Advertencia: nunca bloquees una URL en robots.txt si esa URL también lleva una etiqueta noindex de la que dependas. El bloqueo impide que Google lea el noindex. Elimina el disallow, deja que Google rastree la página, vea el noindex y la elimine. Luego, una vez desindexada, puedes decidir si bloquear el rastreo.
La secuencia correcta para desindexar una página que está actualmente en Google:
- Asegúrate de que la página sea rastreable (sin
Disallowque la cubra). - Añade
noindex(metaetiqueta o cabeceraX-Robots-Tag). - Espera a que Google vuelva a rastrear y procese la directiva. Puedes solicitar la indexación en Search Console para acelerarlo.
- Confirma que ha desaparecido del índice (busca
site:tudominio.com/la-url). - Solo después de que haya desaparecido, considera añadir un bloqueo en robots.txt, y normalmente ni siquiera es necesario.
Este es el vacío en los resultados de búsqueda que la mayoría de las guías omiten, y es por eso que un archivo robots.txt limpio es importante. Cuando crees reglas con un generador de robots.txt gratuito, puedes verificar que no estás bloqueando accidentalmente una URL que intentas noindexar.
Rastreo vs Indexación: Una Tabla de Decisiones#
Una vez que interiorizas la diferencia entre rastreo e indexación, elegir el control correcto es mecánico. Usa esta tabla.
| Tu objetivo | Usar Disallow en robots.txt | Usar noindex | Por qué |
|---|---|---|---|
| Mantener una página fuera de los resultados de búsqueda | No (solo no funciona) | Sí | Solo noindex desindexa de forma confiable |
| Evitar que los bots desperdicien presupuesto de rastreo en URL basura | Sí | No | Control de rastreo, la página no necesita ocultarse |
| Ocultar una página ya indexada | No (bloquea el noindex) | Sí, mantenla rastreable | Google debe leer el noindex para actuar |
| Bloquear un archivo no HTML (PDF, imagen) de la búsqueda | No | Sí, mediante cabecera X-Robots-Tag | Los archivos no pueden contener una metaetiqueta |
| Mantener un área de pruebas o privada ilegible | Sí (más autenticación) | Opcional | Robots.txt no es seguridad; añade una contraseña |
| Evitar que una página pase o reciba rastreo | Sí | No | Eso es rastreo, no indexación |
La regla breve: si tu objetivo contiene las palabras "resultados de búsqueda", usa noindex. Si tu objetivo trata sobre acceso de bots o presupuesto de rastreo, usa robots.txt. Se superponen mucho menos de lo que la gente asume.
Cuándo es correcto usar robots.txt#
- Espacios de URL infinitos o casi infinitos: navegación por facetas, páginas de calendario, resultados de búsqueda interna del sitio que generan combinaciones interminables.
- Rutas con muchos recursos que nunca quieras rastrear, como endpoints de exportación grandes.
- Secciones que realmente no valen la pena indexar y donde no te importa si una URL suelta aparece alguna vez.
En estos casos quieres ahorrar presupuesto de rastreo y aceptas que una URL perdida pueda aparecer sin descripción. Ese intercambio está bien para contenido basura que nunca querrías posicionar.
Cuándo es correcto usar noindex#
- Páginas finas o duplicadas que quieras eliminar por completo de la búsqueda (archivos de etiquetas, páginas de búsqueda interna, versiones para imprimir).
- Páginas a las que los usuarios deben llegar mediante enlace directo o navegación pero que nunca deberían competir en los SERP (páginas de agradecimiento, ciertas páginas de cuenta).
- Cualquier cosa actualmente indexada que necesites retirar limpiamente.
Para contenido fino o duplicado, noindex combinado con una arquitectura de información limpia suele ser mejor que un bloqueo brusco con robots.txt. Si la duplicación es tu problema real, una etiqueta canónica puede servirte mejor que cualquiera de los dos, y un pase rápido con un generador de esquemas y marcado SEO ayuda a mantener tus señales consistentes en toda la página.
X-Robots-Tag: Noindex para archivos no HTML#
Una meta etiqueta robots solo funciona dentro del HTML. Entonces, ¿cómo se evita que un PDF, imagen u otro archivo no HTML aparezca en los resultados de búsqueda? No se puede agregar una meta etiqueta a un PDF, y deshabilitarlo en robots.txt trae la misma trampa (Google puede indexar la URL de todos modos y nunca verá ninguna directiva).
La respuesta es la cabecera HTTP X-Robots-Tag. Esta lleva las mismas directivas que la meta etiqueta robots, pero viaja en la respuesta del servidor, por lo que funciona para cualquier tipo de archivo.
Un ejemplo en Apache que aplica noindex a todos los PDFs:
<FilesMatch "\.pdf$">
Header set X-Robots-Tag "noindex"
</FilesMatch>
Un equivalente en Nginx:
location ~* \.pdf$ {
add_header X-Robots-Tag "noindex";
}
Como la cabecera se aplica antes de cualquier análisis HTML, es la forma más limpia de desindexar documentos, descargas y archivos multimedia. La misma regla de rastreabilidad sigue aplicando: no uses Disallow para el archivo en robots.txt, o Google nunca lo recuperará para leer la cabecera.
Consejo: la X-Robots-Tag también acepta las directivas
nofollow,noarchiveyunavailable_after, por lo que puedes, por ejemplo, configurar un PDF para que salga del índice después de una fecha específica. Ese nivel de granularidad es imposible con robots.txt.
Cómo verificar cuál está funcionando#
Adivinar es como las páginas se mantienen indexadas por accidente. Verifique mejor.
- Busque
site:sudominio.com/rutaen Google. Si la página aparece sin descripción, probablemente esté bloqueada en robots.txt pero aún indexada (el error clásico). - En Google Search Console, use la herramienta de Inspección de URL. Le indica si una página está "Indexada", si el rastreo está "Permitido" y si la indexación está "Permitida", separando los dos estados.
- Revise los informes de Cobertura e Indexación de páginas para estados como "Indexada, aunque bloqueada por robots.txt" (una señal de alerta) y "Excluida por etiqueta noindex" (funcionando según lo previsto).
- Obtenga la página o archivo e inspeccione la respuesta. Para HTML, busque en el head la etiqueta meta robots. Para archivos, mire los encabezados de respuesta para
X-Robots-Tag.
Si Search Console dice "Indexada, aunque bloqueada por robots.txt", esa es su señal: el bloqueo de robots.txt está en conflicto con su intención. Elimine la desautorización, permita que Google rastree y deje que el noindex (o una solicitud de eliminación) haga su trabajo.
Robots.txt vs Noindex: El resultado final#
La pregunta de robots.txt vs noindex tiene una respuesta que vale la pena memorizar: robots.txt controla si los bots pueden rastrear una página, y noindex controla si una página puede aparecer en los resultados de búsqueda. Resuelven problemas diferentes, y la única vez que realmente entran en conflicto es la combinación que debes evitar. Nunca bloquees una URL en robots.txt mientras confías en una etiqueta noindex en esa misma URL, porque el bloqueo impide que Google vea el noindex y la página permanece indexada.
Elige según tu intención. ¿Quieres que una página desaparezca de la búsqueda? Usa noindex y mantenla rastreable. ¿Quieres ahorrar presupuesto de rastreo en URLs basura? Bloquéalas en robots.txt y acepta que un enlace desnudo pueda aparecer. ¿Necesitas ocultar un PDF o imagen? Usa la cabecera X-Robots-Tag. Cuando estés listo para crear o auditar tus reglas, un generador de robots.txt gratuito te ayuda a evitar la trampa de bloquear con disallow que impide el noindex, y si también necesitas mantener fuera a rastreadores como GPTBot, nuestra guía sobre cómo bloquear rastreadores de IA en robots.txt cubre las directivas que funcionan en 2026. Para páginas que quieres indexar y posicionar, una verificación rápida con un generador de metaetiquetas mantiene tus títulos y descripciones limpios.
Preguntas Frecuentes#
¿Cuál es la diferencia entre robots.txt y noindex? Robots.txt controla el rastreo (si un bot puede acceder a una URL), mientras que noindex controla la indexación (si una página puede aparecer en los resultados de búsqueda). Robots.txt por sí solo no elimina de forma confiable una página de Google; noindex sí lo hace. Operan en dos etapas diferentes, por lo que no son intercambiables.
¿Por qué mi página sigue apareciendo en Google después de bloquearla en robots.txt? Porque robots.txt solo detiene el rastreo, no la indexación. Si Google descubre la URL a través de enlaces, puede indexarla sin leer la página, por lo que ves una URL desnuda con "No hay información disponible para esta página". Para eliminarla, permite el rastreo y agrega una etiqueta noindex, o usa la herramienta de eliminación de Search Console.
¿Puedo usar robots.txt y noindex juntos? No en la misma URL cuando dependes de noindex. Si deshabilitas una URL en robots.txt, Google no puede rastrearla, por lo que nunca ve la directiva noindex y la página puede permanecer indexada indefinidamente. Mantén la página rastreable hasta que se desindexe, luego decide si es necesario un bloqueo en robots.txt.
¿Cómo aplico noindex a un PDF o imagen?
No puedes poner una metaetiqueta en un archivo que no sea HTML, así que usa la cabecera HTTP X-Robots-Tag: noindex en la configuración de tu servidor (Apache, Nginx o tu CDN). Transmite la misma directiva que la metaetiqueta robots, pero funciona para cualquier tipo de archivo. Solo asegúrate de no bloquear el archivo en robots.txt, o Google nunca lo rastreará para leer la cabecera.
¿Cuál debo usar para mantener una página fuera de los resultados de búsqueda? Usa noindex y asegúrate de que la página siga siendo rastreable para que Google pueda leer la directiva. Robots.txt por sí solo es la herramienta incorrecta para esto porque puede dejar la URL indexada. Verifica con la herramienta de Inspección de URLs de Search Console, que informa el estado de rastreo e indexación por separado.
¿Noindex ahorra presupuesto de rastreo como robots.txt? No. Una página con noindex aún se rastrea (debe ser así para que Google pueda leer la directiva), por lo que consume presupuesto de rastreo. Si tu único objetivo es evitar que los bots pierdan tiempo en URLs basura, robots.txt es la herramienta adecuada. Usa noindex cuando el objetivo sea mantener la página fuera de los resultados de búsqueda.
