Este es uno de los estados que podemos encontrar dentro del informe de cobertura de Google Search Console en el apartado de URLs con errores.
Una URL con error para Google es una URL que está tratando de ser indexada pero que, debido a un inconveniente, no está pudiendo indexarla.
Google categoriza cada error en un estado diferente.
Hoy veremos qué significa que algunas de tus URLs se encuentren en el estado de "El archivo robots.txt ha bloqueado la URL enviada" y cómo solucionarlo.
¿Qué significa este estado?
La URL enviada contiene la etiqueta "noindex" significa que todas las URLs ahí listadas han sido enviadas a través del sitemap, pero que no es capaz de rastrearlas puesto que están siendo bloqueadas por el robots.txt.
Esto no tiene mucho sentido puesto que, realmente, las páginas que añadimos al sitemap son aquellas que queremos que Google rastree e indexe.
Por esa razón, no tiene sentido tener URLs con una etiqueta noindex en un sitemap.
¿Debería preocuparme?
Depende.
Si estás bloqueando URLs importantes para Google puede que éste no sea capaz de ver las últimas actualizaciones de tu contenido y que si se pueda ver afectado tu posicionamiento orgánico.
Sin embargo, en la mayoría de casos, se trata de URLs que no son importantes para el negocio y que no afectarán negativamente a tu rendimiento orgánico.
¿Cómo lo soluciono?
Existen dos posibles soluciones:
- En caso de que las URLs sean importantes deberás desbloquearlas del robots.txt para permitir su rastreo.
- Por el contrario, si son URLs no importantes, deberán ser eliminadas del sitemap.
Espero que este post haya sido de utilidad y recuerda que para cualquier duda, como siempre, te espero en los comentarios o en la página de contacto.