Este es uno de los estados que más comunes que podemos encontrar dentro del informe de cobertura de Google Search Console en el apartado de URLs válidas con advertencias.
Hoy veremos qué significa que algunas de tus URLs se encuentren en se ha indexado aunque un archivo robots.txt la ha bloqueado y cómo solucionarlo.
¿Qué significa este estado?
Se ha indexado aunque un archivo robots.txt la ha bloqueado significa que Google ha indexado esas URLs, a pesar de que el robots.txt estaba bloqueando su rastreo.
Esto se debe generalmente a que esa página ha sido enlaza de manera externa por lo que Google ha interpretado que debía estar indexada.
¿Debería preocuparme?
En muchos casos no es preocupante tener URLs en este estado.
Simplemente deberás revisar todas las URLs que aparecen en este estado para determinar si deberían estar bloqueadas o no.
En caso de que encuentres URLs importantes, deberás solucionarlo cuanto antes.
Por otro lado, si las URLs no son importantes, no suele ser un problema prioritario, pero aún así en el siguiente apartado podrás ver cómo solucionarlo.
¿Cómo lo soluciono?
Como hemos comentado antes, debemos saber si las URLs que se listan ahí son importantes o no. En función a eso plantearemos diferentes soluciones:
- En caso de que la URL sea importante, deberemos quitar la directiva que está bloqueando su rastreo en el robots.txt para que Google pueda verla sin problema. Para ello podrás usar una herramienta como la de TechnicalSEO que te mostrará que regla de tu robots.txt está bloqueando el rastreo:
Como puedes ver tan solo hay que pegar la URL, seleccionar el user agent (Googlebot) y darle al botón de "TEST".
Automáticamente nos dirá que regla (y en qué linea se encuentra) está bloqueando esa URL para que sea más facil poder modificarla.
- En caso de que la URL no sea importante, podríamos dejarlo así. Pero, si queremos arreglar la advertencia y/o que esa página no esté indexada, lo que tendremos que hacer es modificar el robots.txt para permitir su rastreo y añadir dentro de esa página una metaetiqueta noindex. De esta forma, Google podrá entrar dentro de la URL para ver la metaetiqueta noindex y desindexará esa URL con el tiempo.
Espero que este post haya sido de utilidad y recuerda que para cualquier duda, como siempre, te espero en los comentarios o en la página de contacto.