Guía Screaming Frog SEO Log File Analyser

¿Necesitas una herramienta sencilla y rápida para analizar tus logs desde un punto de vista SEO?

Pues entonces estás en el sitio adecuado porque hoy te traigo una guía del SEO Log File Analyser de Screaming Frog.

Vamos allá:

Qué es el SEO Log File Analyser

El Log Analyser de Screaming Frog es una herramienta que te permitirá procesar y analizar los logs de tu página web desde una perspectiva SEO.

¿Suena algo técnico no?

Pues es súper sencillo! Solo tendremos que arrastrar nuestro archivo de logs y esta herramienta lo hará casi todo por nosotros.

Una vez inyectemos los logs, el SEO Log File Analyser se encargará de procesar todos los datos y mostrarlos de forma visual en gráficos y tablas desde las que podrás sacar insights de valor.

OJO. Es importante destacar que en este post solo veremos la herramienta pero si quieres profundizar en el análisis de logs te recomiendo que le eches un vistazo a nuestro post sobre análisis de logs SEO.

Primer paso: Crear un proyecto

Lo primero que tendremos que hacer para empezar a analizar logs con SEO Log File Analyser será crear un nuevo proyecto. Para ello le daremos al botón de New en la esquina superior derecha:

En este momento nos saldrá una ventana emergente para configurar el nuevo proyecto:

En esta pestaña deberemos rellenar dos campos:

1. Name. Aquí deberemos añadir el nombre que queramos poner al proyecto
2. Timezone. Tendremos que indicar la zona horaria en la que nos encontramos para que la use como referencia.

En la siguiente pestaña, User Agents nos encontraremos algo así:

1. Filter User Agents. Este botón habilita el campo con el cual podremos seleccionar los bots que queremos que la herramienta analice. Con el selector que encontramos debajo vamos a poder configurar todos los bots que vamos a querer analizar. Esto dependerá de los países en los que opere nuestro cliente o negocio. Aunque Google es uno de los más usados, dependiendo del país de nuestro público objetivo puede que nos interese analizar el comportamiento de otro bot (como podría ser el caso de Yandex en caso de tener como público objetivo Rusia). Por defecto encontramos varios seleccionados (Googlebot, Yandex, Baidu, ...), aunque para ser lo más eficientes posibles y no sobrecargar la herramienta, deberemos tratar de seleccionar solo aquellos que nos interesen.
2. Configure User Agents. Con esta opción podremos configurar cada uno de los User Agents o bots que se encuentran en la lista anterior o, incluso, podemos crear uno en caso de que no se encontrase en la lista que nos proponen los chicos de Screaming Frog.
3. Verify Bots When Importing Logs. Esta opción es súper importante puesto que hará que la herramienta verifique que realmente cada hit es del bot que dice ser. Esto es súper importante puesto que son muchos los crawlers que se hacen pasar por Google u otros motores de búsqueda para tener más libertad a la hora de crawlear las webs (¿nadie cortaría el paso a alguien que dice ser Google no?). Tenemos que tener en cuenta que activar esta opción hará que la importación se demore un poco más de tiempo, aunque como ya he dicho, veo fundamental que esta opción este habilitada. (No te preocupes si te saltaste esta opción porque luego siempre podrás hacerlo desde Project > Verify Bots en el menú superior de la herramienta)

La siguiente pestaña que encontraremos será la de include:

En esta pestaña SEO Log File Analyser nos permite poder añadir expresiones regulares para poder importar solo en el proyecto aquellos hits que se realicen sobre determinadas partes de tu web. Esto puede ser realmente útil si tu web es grande y solo quieres analizar el rendimiento de una parte de ella. De esta forma no malgastas tiempo (y recursos de tu ordenador) en analizar hits que no te interesan.

Por ejemplo si solo quisieramos analizar los hits que realizan los bots en nuestros productos y sabemos que nuestras URLs de producto llevan el slug /producto/ en la URL pues deberíamos añadir en el recuadro el siguiente código:

.*/producto/.*

Por último encontraremos la pestaña de Remove Paramenters:

En esta pestaña podremos eliminar todos los parámetros que tengan las URLs de los hits de nuestro archivo de logs marcando la opción de Remove all o podemos escribir uno a uno los parámetros que queremos eliminar en el recuadro de abajo (uno por línea).

Por ejemplo si yo tengo URLs como esta:

dominio.com/producto/camiseta?size=s

Tan solo tendría que añadir el parámetro size en el recuadro para que en la importación la URL anterior se convirtiera en:

dominio.com/producto/camiseta

Una vez lo tengamos todo listo solo tendremos que hacer click en en botón verde de Aceptar y listo, nuestro proyecto estará creado. Lo siguiente será soltar nuestro arrastrar y soltar el nuestro archivo de logs en la aplicación dentro del recuadro punteado:

Una vez soltado el archivo, nos saltará una nueva ventana como esta para añadir la URL de nuestro dominio:

OJO que es importante incluir el domino junto con el protocolo, por ejemplo en mi caso sería https://jesuspaez.com.

Con esto último ya tendríamos nuestro proyecto totalmente configurado.

(En caso de tener la versión gratuita aquí os saldrá un aviso diciendo que solo se importaran 1000 hits, que es el límite de esta versión)

Interfaz de SEO Log File Analyser

Dentro de un proyecto de esta herramienta, la interfaz se encuentra dividida en dos partes fundamentales: el menú superior y el dashboard

Menú superior

El menú se encuentra en la parte superior de la interfaz de la herramienta:

En este menú encontramos las siguientes opciones:

1. Open. Este botón desplegará una ventana emergente donde podremos ver un listado con todos los proyectos que tengamos guardados en nuestro ordenador. De esta forma podrás seleccionar y abrir el proyecto en el que quieras trabajar
2. New. Haciendo click en este botón se nos abrirá la ventana para crear un nuevo proyecto (es decir, todo lo el proceso que hemos hecho en el apartado anterior de este post).
3. Import. Con este botón podremos importar nuevos datos a nuestro proyecto. En este caso tenemos dos opciones:
   1. Log file. Por si queremos importar más archivos de logs en el proyecto abierto.
   2. URL data. Por si nos gustaría poder añadir a los dashboards de SEO Log File Analyser los datos de URL de Screaming Frog SEO Spider.
4. Delete. Esta opción nos permite eliminar el proyecto en el que nos encontramos.
5. Settings. Este botón volverá a enseñarnos la opciones que seleccionamos al principio mientras configurábamos el proyecto. Esto te permite cambiar alguna de las configuraciones seleccionadas en caso de que lo necesites.
6. Esta opción nos permite filtrar los hits del dashboard en función de la verificación de los bots. Tenemos 5 opciones:
   1. Verification Status Show All. Enseñará todos los hits independientemente de que hayan sido verificados o no.
   2. Verified. Enseñará todos los hits de los bots que hayan sido verificados.
   3. Spoofed. Enseñará todos los hits de los bots que hayan intentado hacerse pasar por otro bot y la herramienta los ha pillado cuando ha hecho el proceso de verificación.
   4. Verification Not Performed. Enseñará todos los hits que todavía no han sido sometidos a un proceso de verificación.
   5. Verification Error. Enseñará todos los hits en los que haya fallado la verificación.
7. Esta opción nos permite filtrar por el bot que queramos analizar, por ejemplo si solo queremos ver los hits de GoogleBot, o de Baidu, ...
8. Esta opción nos permite seleccionar la fecha del periodo el cual queremos analizar los hits.

Dashboard

Ahora ha llegado el momento de echar un vistazo a cada una de las tabs que tiene la herramienta dentro del dashboard principal.

Overview

En esta pestaña podremos obtener un vistazo rápido general de todos los datos importados desde los ficheros logs que hemos inyectado a la herramienta:

En el punto número 1 encontramos una tabla con los siguientes datos:

1. Unique URLs. El número total de URLs únicas encontradas en los archivos de logs importados.
2. Unique URLs per day. La media de URLs únicas encontradas en los archivos de logs importados por día.
3. Total event. El número total de eventos (filas) encontradas en los archivos de logs importados.
4. Events per day. La media de número de eventos por día.
5. Average byte. La media de bytes de todos los eventos encontrados.
6. Average time taken (ms). El tiempo medio en milisegundos necesarios para realizar las peticiones.
7. Errors. El número total de errores (4XX y 5XX) encontrados en los logs.
8. Provisional (1xx). El número total de eventos encontrados con código de respuesta 1XX
9. Success (2xx). El número total de eventos encontrados con código de respuesta 2XX
10. Redirection (3xx). El número total de eventos encontrados con código de respuesta 3XX
11. Client Error (4xx). El número total de eventos encontrados con código de respuesta 4XX
12. Server Error (5xx). El número total de eventos encontrados con código de respuesta 5XX
13. Matched with URL Data. Número de URLs de los logs que ha sido vitaminadas con datos de Screaming Frog SEO Spider.
14. Not in URL Data. Número de páginas que tras importar los datos del crawleo de SEO Spider, no tienen datos de URL (esto seguramente sea porque se trate de páginas huérfanos, es decir, páginas que no se encuentran enlazadas y a las cuales los bots no pueden llegar desde tu web).
15. Not in Log File. Número de páginas que tras importar los datos del crawleo de SEO Spider, no tienen datos en los logs (esto puede deberse a que sean URLs que todavía no hayan sido visitadas por Google o cualquier otro motor de búsqueda que estemos analizando).

Luego por otro lado, encontramos distintas gráficas:

• Un gráfico que nos resumen todos los códigos de respuesta ordenados por día (en el número 2 de la captura que encontramos más arriba)
• Un gráfico que muestra el número de hits que ha realizado cada bot por día (en el número 3)
• Un gráfico que muestra el número de URLs únicas rastreadas por cada bot por día (en el número 4)

Recuerda que en la rueda dentada que encontramos en la esquina superior derecha de cada gráfico encontraremos distintas opciones para poder personalizar dichos gráficos.

Cabe destacar que todos los datos tendrán en cuenta los filtros que hayamos seleccionado en la parte superior del menú (verificación, bots y fecha).

URLs

En esta pestaña podremos ver un resumen de todos los datos que se encuentran en los archivos de log importados agregados por cada una de las URLs únicas encontradas.

Principalmente encontramos una tabla con las siguientes columnas:

1. URL. Listado de URLs únicas encontradas en los logs.
2. Last Response Code. El último código de respuesta que ha devuelto la URL.
3. Content Type. Tipo de archivo.
4. Average Bytes. Tamaño medio de la URL en bytes.
5. Average Response Time (ms). La media en milisegundos de lo que se ha tardado en descargar el contenido de la URL.
6. Num Events. Total de eventos por URL.
7. All Bots. Cantidad de eventos realizados por todos los bots que han visitado esa URL.
8. Googlebot. Cantidad de eventos realizados por Googlebot.
9. (Aquí seguirán apareciendo una lista con todos los bots que hayas seleccionado y el número de eventos realizados)

Además, si haces click en una URL en concreto, obtendrás en la parte inferior mucho más detalles de cada URL:

2. URL info. No es más que toda la información que encontramos arriba pero en formato vertical.
3. Events. Cada uno de los eventos recibidos ordenados por fecha
4. Referrers. Aquí te saldrán el top de referrers por eventos. Ten en cuenta, que si analizas bogs que ocultan el referrer (como GoogleBot, aquí no te saldrá nada).

Response codes

Esta pestaña nos dará información sobre los códigos de respuesta devueltos por cada una de las URLs anteriores durante el tiempo seleccionado y teniendo en cuenta todos y cada uno de los hits de los bots:

En estes caso solo comentaremos las columnas que sean nuevas:

• 1XX. El total de veces que la URL ha devuelto un código de respuesta 1XX.
• 2XX. El total de veces que la URL ha devuelto un código de respuesta 2XX.
• 3XX. El total de veces que la URL ha devuelto un código de respuesta 3XX.
• 4XX. El total de veces que la URL ha devuelto un código de respuesta 4XX.
• 5XX. El total de veces que la URL ha devuelto un código de respuesta 5XX.
• Inconsistent. Esta columna tiene dos posibles valores:
  • True. Significa que la URL ha tenido diferentes códigos de respuesta en todos los eventos analizados. Por ejemplo, la primera que Google la visitó recibió un código 200 y la siguiente un 404.
  • False. La URL ha tenido el mismo código de respuesta en todos los eventos analizados.

User Agents

Esta pestaña refleja un resumen de las dos anteriores pero, en lugar de tener como referencia las URLs lo hace con los distintos User Agents (o bots) que hayamos querido analizar:

Además, como en la pestaña anterior, si seleccionamos un User Agent podremos ver en la parte inferior toda la información de manera vertical (User Agents Info) y todos los eventos que ha realizado (Events).

Referers

En esta pestaña podremos ver toda la información de los logs pero ordenadas por referers. El referer es la URL de la página de la que provenía el enlace que llevo a este bot a tu web. Al tratarse de un campo no obligatorio, muchos de los bots lo ocultan.

Como puedes ver en la captura, en mi caso, no tengo ningún tipo de información en le referer.

Es totalmente normal, así que no te preocupes si tienes algo similar.

Directories

En este caso la pestaña nos proporciona información detallada de número de eventos y códigos de respuesta pero todo ello usando como referencia las carpetas de nuestra web:

Esta pestaña puede ser realmente útil para detectar carpetas que se estén "comiendo" todo nuestro Crawl Budget y realmente no sean importantes a nivel de negocio.

IPs

En este caso tendremos todos los datos agregados por IP: número de eventos, URLs únicas rastreadas, códigos de respuesta obtenidos.

Esta pestaña puede ser realmente útil especialmente para detectar problemas con diferentes IPs de los bots que podrían estar siendo bloqueadas por nuestro servidor o, incluso, para bloquear IPs de bots malignos que estén haciendo demasiadas peticiones.

Events

Esta pestaña nos mostrará todas las líneas de los logs importados con cada uno de sus atributos.

Al tratarse de una pestaña que muestra tanta información (puesto que no se encuentra agregada como en las anteriores por URL, User Agent, ...) puede tardar bastante en cargar y ralentizar tu ordenador.

Imported URL Data

Esta pestaña te permite poder importar datos de las URLs usando el crawler de Screaming Frog para poder contar con toda esa información en el resto de pestañas.

Si todavía no habéis importado esta información en el proyecto, esta pestaña os mostrará algo así:

Tan solo tendréis que crawlear toda vuestra web usando la herramienta SEO Spider de Screaming Frog y exportar todos los datos en CSV o Excel.

Una vez lo tengáis tan solo tendréis que arrastrar el archivo hasta el recuadro y automáticamente se importará al proyecto. De tal forma que os quedará algo como esto:

Conclusión

Espero que este repaso por la herramienta te haya servido de utilidad y te permita saber manejarla un poco mejor, ya que a priori puede asustar un poco.

En definitiva se trata de una herramienta con un precio muy competitivo y que te permitirá poder analizar archivos de logs de gran tamaño y con diversos formatos.

Por último recordarte que para cualquier duda, como siempre, te espero en los comentarios o en la página de contacto.