Aquí podéis escuchar la entrevista realizada por ONDA VASCA a Asier Barredo Barbero (CEO en LIS-Solutions) donde Asier explica el origen de LIS-Solutions, y el por qué de este nuevo y necesario concepto de "Consultoría de la Cadena Suministro 4.0" basado en herramientas y técnicas avanzadas de análisis de datos (Business Intelligence y Big Data)

 

Miércoles, 09 Noviembre 2016 09:40

Ponencia ICIL Jornada Logística 4.0

Escrito por

LIS-Solutions estuvo presente en la jornada Logística 4.0 de la fundación ICIL. 

“Como incorporar herramientas de Big Data y Business Intelligence para monitorizar y optimizar los procesos logísticos. Su aplicación a un caso real” 

Actualmente estamos generando más datos en un solo año que en toda la historia de la humanidad. Vivimos rodeados de datos, generados por nuestra actividad o por otras fuentes externas y dentro de las empresas, la logística es una de las mayores inductoras.

El reto es aprovechar esos datos para transformarlos en información y esta en conocimiento, que nos permita mejorar.

Las herramientas de Big Data o Business Intelligence nos permiten gestionar de manera inteligente millones de datos en tiempo real, que pueden tener múltiples formatos y provenir de diversas fuentes.

Estas herramientas se pueden utilizar para analizar cómo afectan distintas variables a nuestros procesos o generar cuadros de mando en tiempo real para monitorizarlos: (Compras, almacén, distribución, ventas, finanzas…).

Después de la introducción se muestra un caso real de aplicación de Business Intelligence, para la monitorización y análisis dinámico de los procesos logísticos de una empresa de e-commerce

P1020891

Lunes, 05 Septiembre 2016 11:13

El ying y el yang de los modelos analíticos

Escrito por

EQUILIBRIO SESGO-VARIANZA

Como ya dijimos en otros artículos del blog , uno de los pilares fundamentales en aprendizaje automático (o Machine Learning) es la comprensión del equilibrio sesgo-varianza, y ver cómo podemos gestionarlo en nuestro modelo predictivo.
Para entenderlo, tenemos que saber que los datos, por lo general, serán divididos en dos grandes grupos: un conjunto de entrenamiento, usado para entrenar a nuestro modelo para mejorar su rendimiento y un conjunto de test, destinado a probar cómo de bueno es el modelo a la hora de enfrentarse ante datos que no vio cuando fue entrenado (será nuestro proxy a datos del futuro que están por analizar).

¡¡No caigáis en la tentación de usar todos los datos para entrenar al modelo, pensando en el “cuantos más mejor” y extrapoléis el error en el entrenamiento al error que se tendrá en la realidad, pues es bastante probable que ese no sea el caso!!

ying

Centrémonos en el error del conjunto de test (no olvidemos el objetivo último del modelo: la aplicación en casos futuros) Para entenderlo mejor, usemos la siguiente gráfica, extraída del recomendable libro An Introduction to Statistical Learning.

graf

 Si nos fijamos en el error total (línea roja), mientras dotamos al modelo de más flexibilidad, va disminuyendo (el modelo es capaz de captar mejor la función que trata de replicar). Sin embargo, llega un momento en el que la flexibilidad es contraproducente en este conjunto de test, pues empieza a aumentar de nuevo, ¿qué quiere decir esto? Que el modelo tiene tanta flexibilidad que se adaptó muy bien a los datos de entrenamiento. Tan bien, que lo que obtuvimos fue una solución ad hoc para ese conjunto, generalizando muy mal ante casos futuros (como vemos en el error de test)

Podemos intuir que la línea roja es la suma del resto de líneas:

  • La línea azul indica el error de sesgo,  debido a que el modelo carece de la flexibilidad óptima para capturar la función de los datos (pensemos en tratar de explicar una nube de datos en forma circular mediante un modelo lineal).
  • La línea amarilla indica el error de varianza, achacable a cuánto varía el modelo en caso de cambiar el conjunto de entrenamiento (si el modelo se adapta perfectamente al conjunto de entrenamiento, al cambiar el conjunto, cambiará hasta ajustarse  al nuevo conjunto, siendo buena solución para el conjunto de entrenamiento, pero mala generalización para datos futuros).
  • La línea contínua permanece inalterable a medida que aumenta la flexibilidad. Se refiere al error irreducible,y nos recuerda el desgraciado hecho de que cualquier modelo va a tener un error al aplicarlo en datos futuros, es decir, en la realidad.

Como vemos, ser capaces de encontrar el punto donde el error total se minimice será la tarea primordial del analista, que tendrá que buscar en el equilibrio sesgo-varianza aquella solución que mejor le permita extrapolar su análisis al escenario real.

Viernes, 02 Septiembre 2016 12:09

QLIK SENSE VS TABLEAU (Parte II)

Escrito por

Continuando con la comparativa de estas dos herramientas: Qlik Sense VS Tableau, le llega el turno a las principales bondades y mejoras de Tableau.

Si aun no has visto la primera parte la tienes disponible en el siguiente enlace: Qlik Sense vs Tableau (Parte I)

TABLEAU

Tablau es un software muy potente que ha ido marcando el ritmo de la visualización de los datos de una forma fácil e intuitiva.
Los usuarios en este caso, tampoco necesitan de una asistencia por parte del departamento de IT, y crear gráficos, tablas y cuadros de mando de una forma autónoma.

Tableau Desktop y Tableau Server


Tableau Desktop, permite realizar el análisis de datos ya sea contra la base de datos de Tableau en memoria, o contra fuentes de datos externas. No contiene un “script” como el de Qlik Sense, por lo que las transformaciones de los datos deben hacerse aparte.

Los usuarios pueden elegir cargar datos en columna, en memoria, comprimidos, etc. El ajuste de los datos es muy rápido (aunque los datos también pueden ser guardados en memoria caché con una inevitable degradación del rendimiento), y los conectores ayudan a relacionar datos de cualquier origen.

tableau-1

Si utilizamos Tableau Server, este actúa como una instalación central para el acceso a los datos, a las visualizaciones y proporcionar seguridad en la gestión de usuarios. Utiliza un navegador web como Qlik Sense para poder acceder a los cuadros de mando desde casi cualquier dispositivo que soporte navegación web (ordenadores y dispositivos móviles).
Esta herramienta no tiene una capacidad asociativa, por lo que la relación de los datos que extraemos debe realizarse de una forma “más cuidada”. La arquitectura de Tableau Server es escalable.

Análisis predictivo con herramientas Business Intelligence

Una de las características más importantes de Tableau es su integración con el lenguaje analítico R. Esta opción no está disponible en Qlik Sense, y está enfocada para el uso de conjuntos y manipulación con el lenguaje R (estadística, predicción de la demanda, etc). Esta característica es muy explotada para usuarios avanzados y programadores que necesiten añadir nuevas capacidades a la herramienta, con Tableau es posible, por lo que contrasta con otras herramientas de la competencia que, además de utilizar recursos de visualización de forma sencilla, ofrece herramientas estadísticas y de análisis predictivo.

stadistic

En un principio, Tableau era la pionera en potencia de visualización, pero es cierto , que hoy en día Qlik Sense se ha desarrollado mucho en este ámbito, por lo que ambas respecto a esto, están muy igualadas. Al igual que la mayoría de plataformas de este tipo, Tableau presenta una interfaz de exploración drag-and-drop, pero además esta herramienta puede instalarse en Mac, y Qlik Sense no está desarrollado aún para este sistema operativo.

Características de Tableau 

Los usuarios de Tableau Server utilizan Workbooks que presentan cuadros de mando y reports o informes. Estos no son estáticos ya que ofrecen todas las facilidades para la manipulación de datos que el usuario necesite realizar.
En cuanto a las selecciones en los cuadros de mando, deben de ser jerárquicas, sin embargo Tableau está particularmente bien considerado por el tratamiento de los datos geográficos, ya que cuenta con potentes gráficos fáciles de utilizar para este caso.
Finalmente, Tableau destaca por:

  • Su facilidad de uso destacable, ya que fue pionera de la sencillez en herramientas de Business Intelligence.
  • Su plataforma escalable y soporta importantes implementaciones externas (como R).
  • Conexión a todo tipo de orígenes de bases de datos.
  • Utiliza herramientas de análisis predictivo y estadística.
  • Visualmente, en cuanto a datos geográficos es de las más potentes.

TABLEAU 2

EN RESUMEN

Cada vez que sale una nueva herramienta se enfrentan la “facilidad de uso” y la “sofisticación” de la misma.

Si queremos la más potente, debemos saber mínimamente programar para transformar nuestros datos, y esto es así, porque si no, estaremos sacando un 20% del jugo de la herramienta.
Siempre comienza ganando la facilidad de uso, pero cuando llevamos mucho tiempo con ella, echamos de menos esto , y lo otro y se nos ocurren muchas cosas nuevas que permiten desarrollar otras herramientas que desestimamos por ser “ un poco más difíciles”.


Tableau no es particularmente sofisticado, pero cualquier persona que busque en foros o en Google, puede encontrar que los usuarios a menudo se sienten frustrados por su falta de extensibilidad.


Qlik Sense es una respuesta al tema “facilidad de uso”, ya que inicialmente con Qlikview (la cual personalmente es mi favorita), se necesitaban conocimientos de programación. Ahora mismo la elección es simple, si las necesidades son sencillas cualquiera de los dos va a satisfacerlas, pero debemos tener un enfoque prudente y asumir que las necesidades futuras son desconocidas y para esto, con Qlik Sense, estamos totalmente cubiertos.

Viernes, 02 Septiembre 2016 09:57

QLIK SENSE VS TABLEAU (Parte I)

Escrito por

Comparativa de dos grandes herramientas de Business Intelligence para la Logística.

Una vez que nos adentramos en el mundo del Business Intelligence y queremos exprimir al máximo los datos de nuestro negocio, debemos plantearnos qué tecnología encaja mejor en nuestros requerimientos.

Si echamos un vistazo al Cuadrante Mágico de Gartner:

CuadranteMagicoBI

Vemos cómo las tecnologías líderes en Business Intelligence son Qlik y Tableau, por lo que este post se basa en una comparativa de las principales bondades de cada una.

En este primer post, hablaremos de la herramienta estrella de Qlik: Qlik Sense, y en la segunda parte, profundizaremos sobre Tableau.

 Espero que os sirva en vuestra decisión.

QLIK SENSE

Esta tecnología de business intelligence, tiene una plataforma de descubrimiento capaz de hacer frente a la mayoría de los requisitos de negocio, aportando además un apartado de “Storytelling” que nos permite elaborar reports de una forma muy sencilla y dinámica.

Su principal característica de usabilidad, se basa en crear visualizaciones bajo el conocido “drag-and-drop” (arrastrar y soltar), por lo que la interfaz está adaptada a usuarios que no necesitan un alto nivel de programación y que simplemente quieren crear sus propios indicadores sin ningún tipo de asistencia por parte de IT.

qlik-sense-drag-and-drop

Business Intelligence responsive: Visualización desde cualquier dispositivo.

Los usuarios pueden compartir sus visualizaciones a través de diversos mecanismos y desde cualquier tipo de dispositivo (ordenador, tablet, móvil, etc), ya que se desarrollan en HTML5.
Por otro lado, cabe destacar que QLik Sense es responsive (quiere decir que el mismo cuadro de mando no debe ser redimensionado para su visualización en diferentes dispositivos), por lo que al crear las aplicaciones no es necesario una programación enfocada a esto (hasta cierto punto).

responsive

 

Asociatividad en Business Intelligence

La potente característica que diferencia Qlik del resto de tecnologías BI, es su motor de datos asociativos. Mientras que para otras herramientas necesitamos realizar un proceso ETL (extracción, transformación y carga) previo a la carga de datos, en este caso, Qlik tiene habilitado un proceso de carga que te permite realizar todo tipo de transformaciones en nuestros datos. Además, podemos conectarnos a casi cualquier tipo de base de datos sin previa manipulación.
Gracias a esta característica asociativa, al realizar selecciones en nuestro cuadro de mando, todos los indicadores cambiaran instantáneamente en base a esta selección, no importa por qué selección comencemos, la asociatividad permite no tener que seguir ningún tipo de jerarquía para la visualización de nuestros datos. Actualmente en el mercado no existe otra herramienta de Business Intelligence con esta característica.

 analisisAsociativo


Qlik Sense se presenta en dos versiones: Qlik Sense Desktop, la cual es gratuita y se ejecuta en el escritorio de Windows, y Qlik Sense Enterprise, que se ejecuta en servidor y proporciona a los usuarios una interfaz basada en navegador.
Ambas tienen una funcionalidad similar, pero Qlik Sense Enterprise, ofrece otras posibilidades de colaboración: Aporta Streams, que son grupos de usuarios con permisos a unas u otras aplicaciones (cuadros de mando), una administración más personal, y opciones para que los usuarios finales no tengan acceso a la programación interna del cuadro de mando, por lo que el front-end se vuelve amigable y muy fácil de utilizar.

Con esta versión de QLik, lo que se pretende conseguir es un gobierno de datos seguro, sin ambigüedades y que las personas adecuadas puedan acceder siempre que lo necesiten a los datos preparados para ellas.

Nuevas visualizaciones: Otros tipos de gráficos diferentes y potentes.

Existe además, una plataforma especializada (Qlik Branch), donde los propios usuarios desarrollan una gran cantidad de APIs disponibles para crear nuevos tipos de visualizaciones: otros gráficos, indicadores, velocímetros, etc.

branch

 

Por otro lado, Qlik Sense no posee ninguna capacidad de análisis estadístico o de predicción avanzada, ya que no es su dominio. Se pueden incorporar análisis What If, pero aún no tiene implementado ningún tipo de alarma. Las empresas que buscan una plataforma de notificación de la producción de la empresa, deben buscar en otra parte, al igual que los usuarios que necesiten gráficos simples, ya que encontrarían en Qlik Sense una exageración.

Características de Qlik Sense:

  • Rápido y compatible con un nivel de detección de datos que probablemente no tiene otra plataforma.
  • Con un motor asociativo que nos permite comenzar a descubrir desde el punto que elijamos. Es extensible y modular, por lo que hace fácil para los usuarios saber a qué aplicaciones pueden acceder.
  • Para cualquier dispositivo y “responsive”, accedemos a través de interfaz web.
  • Soporta y cubre las necesidades de requerimientos de cualquier tipo de negocio.
  • De fácil uso y gobernación.
  • Posee características como:
    • Marcadores, donde guardamos las selecciones que debemos realizar a diario para que con un simple clic tengamos el cuadro de mando preparado.
    • Storytelling, para contar historias y generar informes.
    • Captura de imágenes, donde directamente exportamos la visualización que necesitemos, con el nivel de detalle apropiado.


En el post anterior aterrizamos el marco teórico de los árboles de decisión , pero como no es lo mismo contarlo que hacerlo, vamos a presentar un caso real de su aplicación.


En concreto, estamos hablando de un Operador Logístico Líder en el sector farmacéutico, y el origen del proyecto era analizar la cadena de frío. La justificación del mismo venía de la necesidad de conocer el origen de las roturas que se producían.

¿Para qué usar árboles de decisión?

El motivo fue conocer cuáles eran las características que más influían a la hora de las roturas de la cadena de frío.


El rango de temperatura óptimo para determinados productos (vacunas antibióticas) estaba garantizado por unas cubetas durante 24 horas. Es decir, en toda orden en la que el tiempo de expedición fuera superior a 24 horas, había habido una rotura en la cadena de frío.


Así pues, se analizó las diferentes muestras que de las que se disponía, cada una de ellas definida por una series de características como el cliente, tipo de almacenamiento, mes o día de la semana, y se categorizó a las mismas en función de si había habido una rotura de la cadena de frío o no.

algoritmo arbol de decision


Convenimos dividir el conjunto de datos en dos subconjuntos, unos de entrenamiento y otro de test, para poner a prueba a nuestro modelo y poder ver cómo de bueno era generalizando a la hora de clasificar datos nuevos.


Los resultados arrojaron información muy interesante.

arbol de decision



Tal como se puede observar en el árbol de decisión creado, la mayoría de los casos en los que había habido una rotura de la cadena de frío (141/143) se habían producido en viernes o sábado. Ello permitió focalizar el problema y dirigir el análisis de problema. Una mala gestión en el proceso burocrático producía una preparación de pedidos (picking) el viernes a última hora que no se expedían hasta el lunes, propiciando con ello las roturas de la cadena de frío. La solución guiada por la aplicación de modelos analíticos permitió solventar el problema, ejecutando el proceso burocrático dentro del almacén de frío y evitando la mayoría de las roturas previas.


Como vemos, los modelos analíticos, en este caso en concreto los árboles de decisión, pueden ser una herramienta muy poderosa para la toma de decisiones en multitud de ámbitos. Y la logística no iba a ser una excepción.

Martes, 09 Agosto 2016 07:41

ATERRIZANDO LA REVOLUCIÓN 4.0…(II parte)

Escrito por

... LOS ÁRBOLES DE DECISIÓN

Si hay unos modelos usados en analítica que son efectivos en el campo del aprendizaje supervisado, y a la vez intuitivos (especialmente en los escenarios de clasificación) son sin duda los árboles de decisión.

Todos pueden entender el enfoque teórico que hay detrás de un árbol de decisión, porque es el mismo esquema que seguimos para clasificar aquello que nos rodea: blanco y en botella, leche.

1

 

¿CÓMO FUNCIONAN?

Los árboles de decisión realizan la división de sus ramas ("esto es o puede ser una manzana"; "esto definitivamente no es una manzana") en función de la información que proporcionen los atributos disponibles.

Básicamente consiste en, a la hora de hacer una división, escoger aquel atributo menos homogéneo de todos: Si todos nuestros ejemplos son frutas, el atributo “fruta” no será escogido como método de discriminación (no habría ningún descarte). Para evitar lo contrario, es decir, que seleccionemos como atributo clasificatorio aquel que es distinto en todas las muestras (y obtener un árbol con una rama por cada muestra) realizamos el ratio de ganancia, donde también se tiene en cuenta el número de opciones que tiene el atributo.

Como en todo modelo, debemos buscar el equilibrio entre sesgo y varianza, para poder utilizarlo para muestras futuras aun no clasificadas (esto se consigue con una técnica denominada, acorde con todo lo anterior, poda de las ramas).

¿PRECISIÓN O INTERPRETABILIDAD?

Pero no todo iba a ser ventajas. Los árboles de decisión tienen, por el contrario, la limitación que su estructura otorga a la hora de clasificar (limitación que, por ejemplo, podríamos suplir con las redes neuronales). Así pues, estará en la decisión del analista lidiar con otro tipo de equilibrio: ¿precisión o interpretabilidad?
Aquí entrarán en juego otros factores, como el grado de conocimiento en analítica del usuario de la solución: si prefiere una herramienta capaz de otorgar una gran precisión en su desempeño (aunque su interpretabilidad sea parecida a una “caja negra mágica”) o quiere algo que pueda entender, aun a riesgo de perder precisión.

23

Clasificación realizada por un árbol de decisión

Para no quedar de agoreros, y contrario a lo que pueda parecer por su simpleza, los árboles de decisión se han resuelto como unas herramientas con mejor desempeño en la práctica, lo que unido a su fácil comprensión los convierten en una de las soluciones más frecuentemente usadas.

¿CÓMO APLICAR ESTO A MI EMPRESA?

Se han aplicado en multitud de campos, con lo que seguro puede amoldarse al caso de su empresa. Basta con plantear adecuadamente el problema. Sea por ejemplo:

  • Determinar si un cliente podrá o no hacer cargo de un préstamo en función de sus características y el histórico de clientes.
  • Evaluar el lanzamiento de una marca en un nuevo mercado en función de experiencias pasadas.
  • Optimizar el uso eficiente de habitaciones de hospital en función de los atributos de los pacientes.
  • Definir la estrategia de marketing en una zona geográfica concreta.


Los atributos no tienen por qué ser discretos, escogiéndose el punto medio de los atributos continuos como punto de división.
Muchas son las áreas en la toma de decisiones que se pueden beneficiar al usar estos árboles, los cuales ayudan en la resolución de problemas claves. Y las empresas, si necesitan algo, son soluciones.


4

  

The possible solutions to given problem emerge as the leaves of a tree, each node representing a point of deliberation and decision”. - Niklaus Wirth.

 

Martes, 26 Julio 2016 07:39

ATERRIZANDO LA REVOLUCIÓN 4.0…

Escrito por

... LAS REDES NEURONALES ARTIFICIALES

Continuando con nuestro esfuerzo por acercar a un plano más sencillo y práctico aquellos conceptos que son claves en el escenario de la Industria 4.0, hoy presentamos una de las principales herramientas analíticas, paradigma de Machine Learning: las redes neuronales artificiales (conocidas por sus siglas en inglés ANN).

1

 

Una ANN no es más que una réplica de lo que podría ser un cerebro humano: una serie de neuronas (centros de procesamiento y memoria) interconectadas entre sí, de tal forma que los datos fluyen desde la capa de entrada a la capa de salida (donde obtenemos el output que queremos conseguir), pasando al menos por una capa oculta.

La forma en que se relacionan estas entradas y salidas puede ser más o menos obvia (desde una regresión lineal a una relación no lineal como una función sigmoidal), pero la clave es la ponderación (siguiendo con el símil cerebral, los pesos sinápticos) que se le da a las distintas entradas.

PARADIGMA DE INTELIGENCIA ARTIFICIAL

Aquí se hace más patente que en ninguna otra herramienta aquello de que los sistemas “aprenden” con el tiempo y la experiencia ya que, observando el desempeño de la ANN mediante una función coste, evaluamos el error entre la salida obtenida y la salida que queríamos haber obtenido y, resumiendo, modificamos los pesos sinápticos para reducir tal error, gracias a un algoritmo automatizado llamado propagación hacia atrás (personalmente, lo más fascinante de las ANN).

Es verdad que perdemos comprensión a la hora de saber cómo las entradas influyen en la salida, pero la precisión que se obtiene en estas herramientas hace que se compense dicha pérdida.

¿CÓMO IMPLEMENTO LAS ANN DE MI EMPRESA?

A partir de aquí, las oportunidades de las ANN son inmensas, pudiéndose agrupar en :2

1) Aproximación de funciones: ya que, aunque se usen nombres vertiginosos para los no expertos (neuronas, pesos sinápticos) no es más que el campo de optimización de funciones, en este caso de una función coste. Algo idéntico a lo que una regresión lineal simple hace sobre la función error.


2) Predicción de series temporales: no deja de ser un tipo especial de aproximación de funciones, en el que el estado actual i es función del estado anterior i-1.

3) Clasificación: quizá el uso más extendido de las ANN, en donde son usadas para categorizar a una muestra en una de las serie de clases ya definidas que más se adecúan a sus variables, e.g categorizar a un tumor si es benigno o maligno, si un correo es spam o no, si la imagen analizada es un coche, un árbol, un gatito…

4) Agrupamiento: Un tipo de clasificación, en el cual no se conocen las categorías de antemano (entramos en el campo del aprendizaje no supervisado). Las muestras serán agrupadas en función de unas característica de entrada, ponderando de sobremanera aquellas que sean “geográficamente” más cercanas entre sí.

EN RESUMEN

Las ANN son una de las herramientas más poderosas dentro del Análisis predictivo y la Inteligencia Artificial, y los procesos industriales son escenario idóneos para “exprimir” al máximo estos cerebros artificiales. Si las máquinas son el músculo de la Industria 4.0, las ANN tienen que ser, sin duda, la cabeza.3

 

 

 

El cerebro es básicamente un ordenador y la conciencia un programa. En teoría, podría ser recreado en una red neuronal”. - Stephen Hawking.

 

Página 3 de 8