Cómo filtrar bots y spiders a través de google analytics

Si usas Google Analytics, sabrás que una parte del tráfico que aparece en tus informes pertenece a bots, pero…

¿Qué son los bots y los spiders?

Los bots son aplicaciones de software que ejecutan tareas automáticas en internet (Wikipedia). Hoy en día, se estima que la mitad del tráfico mundial de internet es producido por bots y el número va en aumento.

Por este motivo, es cada vez más importante saber qué proporción del tráfico de nuestra web que refleja Google Analytics está generado por bots.

Tradicionalmente (si esa palabra se puede usar referida a internet) se dice que el tráfico generado por bots no aparece en los resultados de Analytics. ¿La razón? Que hasta hace muy poco, los bots no podían renderizar código javascript.

Pero, por desgracia para los defensores de este argumento y para tus datos, los bots de hoy en día son mucho más listos que sus abuelos, y ya saben cómo hacerlo.

¿Qué tipos de bots existen?

Como en la vida real pasa con las personas, la mayoría de los bots son ‘buenos’ y cumplen un cometido legítimo, como los bots de los motores de búsqueda o crawlers, que registran el contenido de tu web para que aparezca en las búsquedas o serps como google, por ejemplo. Estos bots respetan los parámetros de tu archivo robots.txt, y sus visitas suelen excluirse automáticamente de los informes y no interfieren en los resultados.

Pero siempre hay villanos, y en internet existen los llamados bots maliciosos, se dedican a tareas como copiar contenido (scraping), recopilar información personal poco protegida, falsear datos de tráfico en web, o hacer clic en webs y anuncios para aumentar el gasto publicitario. De hecho, algunos imitan tan bien el comportamiento humano que son muy difíciles de detectar.

Los bots maliciosos alteran los datos de tráfico de nuestra web o redes sociales, y pueden llevarte a tomar decisiones equivocadas.

Identificando a los bots y spiders con Analytics

La pregunta es ¿cómo podemos excluir el tráfico de bots en nuestra página web?

La forma más fácil de detectar este tráfico es a través del análisis de comportamiento de los usuarios en los informes de Google Analytics.

Los bots se pueden detectar a través del análisis de comportamientos anómalos como visitas con muy poco tiempo de permanencia, tráfico proveniente de países no frecuentes, Tasas de rebote del 100%…

Este tipo de tráfico se puede detectar fácilmente cuando hay un incremento pronunciado injustificado (más del 100%) en uno o varios canales en un espacio de tiempo concrero y a través de un navegador o dominio determinado.

Algunas de las características más visibles de las visitas de bots serían:

• 100% de nuevos usuarios
• 100% o 0% de tasa de rebote
• Páginas por sesión =1

3 formas de filtrar los bots y spiders con Analytics

Para poder filtrar este tipo de tráfico existen procesos de todos los niveles de complejidad, pero como el nombre del post indica, sólo vamos a centrarnos en los métodos que Google Analytics pone a nuestro alcance desde su plataforma:

• Activar la opción de ‘Excluir robots’ automática de Google Analytics.

Sólo tienes que acceder a ‘Configuración de la vista’ y marcar la casilla ‘Filtrado de robots’ para que Analytics excluya de forma automática todos los bots que constan en la lista International Spiders & Bots List.

• Usar la ‘Lista de exclusión de referentes’ de la configuración de la propiedad.

Con esta técnica sólo conseguirás que los bots no consten en las listas de tráfico referido, pero si podrán contar como tráfico directo, lo que no soluciona del todo el problema ya que los datos seguirán distorsionando las métricas.

Para añadir un dominio a la lista de exclusión de referentes, entra en configuración de la propiedad, selecciona la opción ‘Lista de exclusión de referentes’ e incluye el nombre de dominio de la web que te esté enviando tráfico bot.

• Filtros de patrones personalizados
  

Una vez identificadas las fuentes sospechosas de tráfico, puedes crear un filtro desde la configuración de la vista a filtro personalizado

Dependiendo del patrón que hayamos detectado, añadiremos el filtro a un dominio determinado (ISP) o de una dirección IP determinada.

Hay soluciones mucho más técnicas y precisas para identificar y excluir bots, las veremos en otros posts.

¿Quieres saber más? En el Executive Master en Marketing Digital, Analítica y UX con el que aprenderás a diseñar estrategias de marketing digital, optimizar la atracción de tráfico, mejorar la conversión y la experiencia del usuario, desarrollando tu capacidad analítica para interpretar los datos y mejorar el proceso.

Otros artículos que te pueden interesar: 

• Cómo desindexar o eliminar urls de forma masiva en Search Console
• Optimización Crawl Budget para SEO