Insights automáticos, mucho más que el dashboard

Necesitas Insights sobre clientes, productos, finanzas, convertir los datos en conocimiento, repuestas de negocio, rápidas, entendibles, accionables… muchos lo prometen, muy pocos cumplen… Podemos ayudarte, lee y decide.

¿Insights? Ya tenemos Dashboards

Los que nos dedicamos a analizar datos lo tenemos muy presente: además de la estadística, las matemáticas y el aprendizaje automático necesitamos una técnica tan vieja como la humanidad: el story telling.

En último término, una sesión productiva de análisis de datos consiste en extraer un relato en términos de conocimiento de negocio que podamos transmitir a los decisores. Un relato, por supuesto, apoyado en los datos. No datos cualesquiera, sino aquellos que aportan un conocimiento relevante que lleva a la acción. Lo que suele llamarse Insights. Resumiendo: las organizaciones necesitan insights para articular un relato basado en datos que soporte sus decisiones.

Si googleas ‘insights’ te encontrarás definiciones interesantes, y muchos contenidos sobre cómo obtenerlos con Business Intelligence. Estas herramientas Business Intelligence están ya en todas las oficinas. Ofrecen análisis de datos auto-administrado por los que saben del negocio, y han evolucionado en flexibilidad, rendimiento, integración de datos, versatilidad de visualización… Todos los BI prometen eso, conocimiento relevante, Insights, pero ¿cumplen?

Para que un dato o descubrimiento sea considerado insight se entiende que:

• Debe ser singular, diferenciado de lo obvio o trivial en el negocio
• Debe ser útil para mejorar un problema de negocio o crear algo
• Debe conducir a tomar una decisión

En definitiva, un insight es resultado de la transformación de los datos en un tipo de conocimiento accionable que ayuda a las compañías a definir planes estratégicos y de acción.

¿Si los usamos? Bueno, hay uno en marketing y otro en finanzas que controlan

Los dashboards siguen siendo ‘reactivos’ en la exploración de los datos: el usuario debe seleccionar objetos, filtros, métricas, fechas para obtener un gráfico que podría llevar a descubrir conocimiento relevante. Y así, lanzando hipótesis, ir validando o refutando con los datos, buscando cual pepita de oro ese insight sobre el que construir el relato.

Pero la combinatoria posible de atributos, métricas, tiempos… es enorme, crece exponencialmente según vamos enriqueciendo el dashboard y ampliando los datos de que se alimenta. El usuario sufre entonces la sobreabundancia de datos, más cuando cada vez tiene menos tiempo para explorarlos de manera sistemática y la toma de decisiones debe ser más rápida. Un mal muy de nuestros días.

La realidad es que los cuadros de mando quedan en manos de empleados con más tiempo y solvencia técnica, que se dedican a explorarlos hasta donde el tiempo les da, a menudo de manera inconsistente y sin la visión estratégica del directivo. Un bucle: cada vez más y mejores datos, cuya exploración consume cada vez más tiempo, el cual es cada vez más escaso. ¿Y los insights prometidos? Por allá, enterrados en datos.

Eso es, necesito un asistente bueno con los números… y paciente

Y aquí es donde entramos nosotros, unica360, en el relato. Lo nuestro, más que diseñar y montar dashboards -que en ocasiones también- es eso, extraer conocimiento relevante a partir de técnicas analíticas avanzadas. Y nos preguntamos ¿por qué dejar que el usuario vaya ensayando configuraciones de atributos, métricas, tiempo siguiendo sus intuiciones o experiencia, cuando tenemos a las matemáticas para decirnos cuándo algo es singular? Dejemos que los algoritmos nos digan qué mirar.

Y esto es lo que hemos llamado extracción automática de insights. Es decir, usar algoritmos de Machine Learning para arrojar luz sobre los datos históricos o en tiempo cuasi-real para extraer ese conocimiento. Que la ‘máquina de IA’ separe las pepitas de oro y las presente a los usuarios. Fijaos en que es un enfoque sustancialmente diferente de otras aplicaciones en las que se crea una caja negra de la que salen predicciones -basadas en Machine Learning, Deep Learning- que a menudo no sabemos explicar -cosa que también hacemos, y tiene su valor, mucho-. Aquí es fundamental que las reglas resultantes son interpretables.

La extracción automática de insights solo propone al usuario, le presenta realidades que se apartan de lo obvio, como piezas que encajan entre sí, pero la conclusión final será resultado de una reflexión humana. El usuario, ahora sí, puede juntar estas piezas de datos, formarse una imagen mental de las correlaciones, tendencias o anomalías para montar su cuadro, convertirlas en riesgos, amenazas, oportunidades, que puede hilar como un relato. Su story telling.

La extracción automática de insights es, en este sentido, un asistente muy bueno con los números, y muy productivo. Como concepto se alinea con el rol del copilot, popularizado como aplicación de IA generativa, pero es más transparente y, por tanto, confiable. Es la máquina la hace el primer cribado de los datos, para que el humano acabe de separar aquellas pepitas de oro que en este momento le sirven para la tarea que tiene entre manos.

Me interesan estos insights, ¿cómo son?

En unica360 llevamos años trabajando en esta línea, al principio sin haberlo conceptualizado aún en la semántica del insight. En muchos años de consultoría de inteligencia de clientes, segmentación, analítica predictiva basada en Machine Learning nos hemos encontrado que:

• Muchos clientes nos solicitaban transparencia en sistemas predictivos que les hemos desarrollado –cajas negras basadas en aprendizaje automático-, hacerlos interpretables
• En otros casos han sido perfiles de alto nivel que no tienen tiempo para buscar lo relevante en el dashboard corporativo, como describíamos antes
• O técnicos, account managers, product managers que necesitan pistas de las causas subyacen a cambios que ven a nivel agregado en sus KPIs -vale, la tendencia ha cambiado, pero… qué, quiénes arrastran la media en el mix de clientes y productos-

Esta demanda nos llevó a desarrollar una metodología de análisis, nuestra extracción automática de insights que, esencialmente, se compone siempre de:

• Frase “sujeto, verbo, predicado”
• Modelización de la relevancia
• Navegación por resultados

Por supuesto esto es una generalización, el formato final, la presentación o el lenguaje de los insights propuestos varía entre los diferentes proyectos en función de los objetivos, perfil de usuario, variables explicativas y target disponibles…

Bien, y ¿cómo funciona esta extracción automática de insights?

Nuestra solución está basada en las series temporales de KPIs restringidas a segmentos de la muestra global. Por ejemplo, el KPI podría ser las visitas a una URL asociada a un producto, pongamos una bicicleta, y el segmento podría ser el de “mujeres de Barcelona menores de 25 años captadas en la campaña de Navidad”.

Diferenciamos entre insights estáticos y dinámicos:

• Insights estáticos: nos informan de la correlación/propensión media del segmento al KPI registrada durante un periodo largo de tiempo T -> no se basan en evolución temporal
• Insights dinámicos: nos informan de las fluctuaciones o cambios no esperados en una venta temporal reciente (W) -> la evolución temporal es base para la identificación de desviaciones sobre la serie esperada

Estructura del insight: sujeto, verbo, predicado

Clasificamos el comportamiento registrado, de forma que los 3 elementos “segmento, comportamiento y KPI” responden a la estructura de “sujeto, verbo y predicado”, dando lugar a lo que llamamos un insight, por ejemplo: las mujeres de Barcelona menores de 25 años captadas en la campaña de Navidad (2,376 registros) han aumentado bruscamente sus consultas sobre bicicletas (8.9% sobre un valor esperado del 2.4%).

Relevancia de los insights

Modelizamos la relevancia de cada insight integrando la amplitud de la alteración en la serie, el tamaño del segmento y un peso subjetivo asociado a cada KPI que se ajusta según feedback del usuario.

Lo interesante del indicador de relevancia es que permite ordenar y seleccionar los elementos de mayor importancia de un conjunto de muchos miles de resultados generados por los algoritmos que sería inabarcable por un humano de forma manual.

Navegación por los resultados, selección de insights por el usuario y feedback

Adicionalmente, podemos navegar por este conjunto inmenso de insights filtrando por el segmento o el KPI para casos en que es necesario focalizar la búsqueda. Como parte de este filtrado humano se puede integrar una interfaz para habilita al usuario a valorar e informar de la relevancia de cada uno de los insights. El motor analítico que asigna relevancia puede aprender del feedback del usuario, mejorando la asignación de relevancia en el futuro.

La imagen siguiente muestra una interfaz de reglas de insights, en contexto de comportamiento de clientes en sector asegurador:

Y esta es similar, analizando datos masivos de movilidad de turistas a nivel de municipio, como vemos los algoritmos ‘sacan a flote’ comportamientos inesperados y relevantes de estos turistas, que representan descubrimientos de alto valor para el analista.

Y aquí las series temporales de turistas de Suiza a Cádiz, donde apreciamos cómo la serie real supera en mucho la predicción en función del histórico, con su estacionalidad, dado que se dispara a partir de julio de 2023:

Y lo mismo para los turistas alemanes en Valladolid:

Me gusta estos insights, ¿cómo lo puedo usar?

Nuestro motor de extracción automática de insights funciona como API y se integra en el dashboard de prácticamente cualquier software de BI. Como siempre en la analítica de datos, la adaptación al contexto, las reglas de negocio es crítica, y cada implementación incluye una asistencia de consultores expertos en Data Science para garantizar esta adecuación.

De esta manera, cada mañana el usuario de negocio puede consultar los insights que el sistema ha generado para él a primera hora, mientras, con un café, cierra la agenda del día. Rápido, fácil, relevante, accionable, en lenguaje de negocio… estos sí son auténticos insights, generados automáticamente. Y así cumplimos lo prometido :-).

Si quieres empezar a obtener insights automáticos, cuéntanos tu caso y te ayudamos.