GARTNER 2018: ¿Qué herramientas son las punteras en Data Science y Machine learning?

gartner 2018 DS ML

 

Un año más, Gartner ha publicado el cuadrante mágico en el que realiza un meticuloso estudio sobre las plataformas Data Science y Machine Learning que se encuentran actualmente en el mercado. Como se puede ver en el cuadro anterior, el cuadrante de Gartner agrupa a los diferentes actores en: nichos, visionarios, retadores y líderes. Se observa, de manera sorprendente, que las tres empresas más grandes con plataformas desarrolladas para data science y machine learning como son SAP, IBM y Microsoft, no han sido capaces de entrar o seguir un año más en el segmento de líderes.

El año pasado, la única de estas empresas que tenía el orgullo de pertenecer al grupo de líderes era IBM, con su herramienta IBM SPSS. Además, IBM SPSS lideraba el cuadrante de Gartner y, sin embargo, este año ha caído desde el cuadrante de líderes, situándose en una discreta posición en la parte de los visionarios.

Knime a la cabeza de las herramientas para Data Science y Machine Learning

Es importante resaltar el gran trabajo que llevan realizado durante años las 5 plataformas que se sitúan en la zona de liderazgo. En ella, este año, se encuentran las plataformas de Alteryx, SAS, RapidMiner, H2O.ai y encabezando el cuadrante mágico de Gartner encontramos la plataforma de Knime.

Comparativa de los Cuadrantes Mágicos de Gartner para Plataformas Data Science and Machine Learning: 2018 vs 2017

gartner 2018 vs 2017 DS ML

Es importante resaltar que Knime, además de encabezar el cuadrante mágico de Gartner, junto con H2O.ai son las dos plataformas que más han avanzado en el último año.

Se antoja también importante destacar el imperioso ascenso de H2O.ai. Magnífica ha sido la mejoría sufrida en este último año, más habiendo aparecido en el cuadrante de Gartner por primera vez el año pasado.

Desde LIS-Solutions queremos finalizar este post felicitando a todas las plataformas que se encuentran en este diagrama, dado el esfuerzo necesario para conseguir ser nombradas en él. Por supuesto, felicitar de forma especial a las plataformas que han conseguido mantenerse como líderes de este cuadrante mágico y sobremanera a aquellas que, por primera vez, han conseguido hacerse un hueco entre las mejores. ¿Quieres saber más sobre herramientas Data Science y Machine Learning? Contacte con nosotros.

¿Qué es PAL en SAP Hana? -Librería de análisis predictivo de SAP Hana

Tras hablar anteriormente de SAP Hana en este post , al centrarnos en la parte de analítica de datos, nos encontramos ante la librería PAL (Predictive Analysis). Esta librería es propia de SAP Hana y es utilizada para el análisis predictivo.

sap hana

TIPOS DE ALGORITMOS

Gracias a esta librería se pueden aplicar técnicas tan diversas y potentes como algoritmos de clustering, algoritmos de clasificación, algoritmos de regresión, algoritmos de series temporales y algoritmos de estadística entre otros.

APLICACIÓN A LA CADENA DE SUMINISTRO

Actualmente, todos estos algoritmos de analítica avanzada son útiles en muchos campos cotidianos. Por ejemplo, gracias a los algoritmos estadísticos como T-Test se calcula la eficacia que tiene un tratamiento frente a cierta enfermedad. De este modo, se testea a nivel teórico si un tratamiento es eficaz antes de que su uso se expanda. Si nos centramos en la cadena de suministro se puede aplicar algoritmos como ARIMA para optimizar los trayectos que realizan los vehículos de una flota de camiones por el simple hecho de poder predecir el consumo que tendrán todos los clientes de dicha empresa. Si se aplica el algoritmo de K-Means en el entorno industrial, se pueden detectar, partiendo de los datos recogidos por los sensores de la línea de producción, las piezas que han sufrido una anomalía en dicha línea de producción y retirarlas antes de finalizar todo su procesado, ahorrando así tiempo y costes en la fabricación de la pieza.

sap hana pal

Además, gracias a que estos algoritmos están implementados dentro del entorno SAP Hana, el tiempo de procesamiento de los datos es 3.600 veces más rápido que cualquier otro tipo de tecnología de análisis. Este último punto aporta el punto extra de poder analizar los datos prácticamente en tiempo real, por lo que la estrategia a seguir se puede variar en cuestión de minutos.

sap hana operations analysis

Gracias a este tipo de tecnología que, aporta rapidez en el procesamiento de los datos y que, además, dota al entorno de unas librerías de análisis de datos avanzado se puede extraer información de los datos de los que se dispone para convertirlos en conocimiento y así sacar una mayor rentabilidad de nuestro modelo de negocio. Hoy más que nunca los datos de nuestras empresas son el petróleo del futuro.

En LIS-Solutions llevamos ya varios meses siguiendo la evolución de estas tecnologías ya que apostamos completamente nuestro futuro a que el análisis de datos va dirigido en la dirección en la que rema SAP Hana, ¿necesitas ayuda para implementar estos puntos en tu unidad de negocio? Contacte con nosotros .

Visualización de datos Real Madrid - PSG

Ayer, 14/02/2018 se jugó en el Santiago Bernabéu la ida de octavos de final de la Champions. El partido sobre el campo fue muy interesante, pero: ¿qué afición ganó en las redes sociales? ¿En qué minutos hubo más actividad?

qlik

Análisis de datos en Redes Sociales

¿Qué afición ganó en las redes sociales?

Gracias a la analítica avanzada de datos se puede extraer toda esta información. A lo largo del partido se han ido todos los tweets posteados en la red social Twitter.

Aplicando un análisis de texto, se puede extraer la siguiente nube de palabras, que representan las palabras más utilizadas en los tweets relacionados con el partido de la ida de octavos de final de la actual Champions:

twitter madrid psg

Se puede resaltar que las palabras que más veces se repiten han sido mayoritariamente francesas. Además, se puede extraer del texto que los jugadores con más impacto en las redes sociales han sido Cristiano Ronaldo, Neymar, Karim Benzema, Marcelo y Asensio. El hashtag más utilizado durante los 90 minutos de duración del partido fue #realmadridpsg.

Gracias al business intelligence (B.I.) se puede representar en tiempo real la actividad en las redes sociales.

Podemos ver la evolución gráfica del número de tweets, coincidiendo el momento de máxima actividad de las aficiones en Twitter con los minutos finales del encuentro. Momento en el cual el Real Madrid anotó los dos goles que cerrarían el marcador.

minuto resultado

Por otro lado, se puede ver que idiomas son los más utilizados en los tweets así como los tweets de media que se han generado por minuto.

idiomas

Como podemos observar el análisis de datos nos puede aportar una visión más completa de los temas estudiados, que combinado con unas potentes representaciones gráficas nos aporta una visión de 360º sobre el tema a tratar.

Este mismo estudio se puede realizar sobre la cadena de suministro, también podemos aplicar estas técnicas al entorno de producción o a entornos industriales, mejorando así la productividad y dotando a las personas de negocio una torre de control desde la cual verificar el estado y la evolución de todo el negocio.

 

Analizamos San Valentín (2) 

Ya hemos visualizado datos de San Valentín con la aplicación desarrollada en Qlik Sense® en este post.

Nos han pedido si podíamos realizar algo con otra herramienta de Business Intelligence, Tableau. A continuación podéis ver una aplicación realizada con ella.

Dashboard interactivo

Contacta

Visualizar los datos en cierto contexto, ayuda a la toma de decisiones. Si a estos se le suma analítica avanzada, se puede entre otros predecir eventos futuros.

Si está interesado en conocer sus posibilidades y como puede ayudar a su negocio, no dude en contactar con nosotros

Feliz día de San Valentín!

Analizamos San Valentín

San Valentín, ese día en que demostramos el amor a quién mas nos importa. Pero ¿es verdad aquello de que San Valentín es simplemente un negocio? ¿Quién regala más, hombres o mujeres? ¿Qué tipo de regalo se hace? La siguiente aplicación, desarrollada en Qlik Sense®, nos permite responder a esas preguntas y más, con datos acumulados de los últimos 10 años.

 san valentin analisis

¿Quién participa?

Quienés son más "románticos", ¿mujeres u hombres?

 

¿Qué se compra?

¿Cuáles son los regalos estrella?

 

Curva histórica del gasto

Y a lo largo de los años,¿nos hemos vueltos más "románticos" (consumidores)?

 

Contacta

Visualizar los datos en cierto contexto, ayuda a la toma de decisiones. Si a estos se le suma analítica avanzada, se puede entre otros predecir eventos futuros.

Si está interesado en conocer sus posibilidades y como puede ayudar a su negocio, no dude en contactar con nosotros

Representación de datos en tiempo real: comparando dos automóviles

Con este post llegamos al final de una serie de 4 posts, donde hemos tratado la importancia del estudio de los datos en tiempo real siguiendo un ejemplo práctico del análisis de 2 coches en movimiento. En el primer post  estudiamos los beneficios que puedes aportar las visualizaciones en tiempo real para una empresa, tras esto, en el segundo post  pasamos a describir el entorno ELK, herramienta que nos serviría para recibir, tratar y mostras los datos. Seguidamente, en el tercero de los posts  vimos el potencial de Kibana, herramienta incluida dentro del entorno ELK, como herramienta de business intelligence. Y finalmente llegamos a este último post donde vamos a ver los resultados obtenidos.

Generación de gráficas

En el anterior post generamos varias gráficas de los datos de interés a monitorizar, ahora, llega el momento de agruparlos en dashboards.

El primer paso está claro, una vez nos encontramos en la pantalla de inicio de Kibana, entramos en la pestaña Dashboard, donde encontraremos cuadros de mando creados y donde podremos crear nuevos.

kibana 1

Una vez hayamos creado nuestro dashboard, podremos incluir las gráficas creadas que creamos conveniente y ordenarlas a nuestro gusto. En nuestro caso hemos incluido 9 visualizaciones.

kibana 2

En el dashboard anterior estamos representando la velocidad media, las revoluciones medias de los motores, el rango medio del flujo del aire, la presión media de los colectores de admisión, el voltaje medio de los módulos de control, la presión barométrica media, la temperatura media del coolant, la temperatura media del catalizador y la temperatura media del ambiente recogido por los sensores de ambos coches entre las 11:40 y las 11:55 del día 01 de febrero del 2018. 

Cruce de datos

Cierto es que estos datos son meramente informativos, sin embargo si recordamos el uso de timelion, explicado durante el tercer post podremos incluir gráficas con datos cruzado podremos ver datos relacionados y estudiar si existen situaciones relevantes. En nuestro dashboard, podremos ver la comparativa entre los dos coches. 

kibana 3

 

En este dashboard hemos añadido 8 gráficas. En ellas podemos observar: las revoluciones por minuto de los motores de ambos coches, presión absoluta del colector de admisión de ambos coches, la presión barométrica de ambos coches, la temperatura ambiente capturada por ambos coches, la temperatura del catalizador de ambos coches, la temperatura del coolant de ambos coches, la comparación de las velocidades y las revoluciones máximas de cada coche en el periodo de tiempo estudiado.

Teniendo la anterior representación sobre un cuadro de mando, lox expertos en negocio podrán analizar en profundidad los datos mostrando, sacar conclusiones y mejorar en la toma de decisiones.

Finalmente desde LIS-Solutions agradecer a todos los que nos han seguido a lo largo de  esta serie de post. Si cree que podemos ayudarle en hacer que su empresa sea data-driven, no dude en contactarnos.

 

Kibana como herramienta de Business Intelligence

En los anteriores posts vimos los beneficios que tiene el análisis de datos en tiempo real dentro de las empresas [link primer post] y cuáles son las herramientas necesarias para alcanzar este objetivo [link segundo post]. En este post, haremos uso de la herramienta Kibana incorporada dentro del entorno ELK , que será la encargada de realizar las representaciones de B.I.

¿Qué es Kibana?

Kibana un plugin de visualización perteneciente al entorno ELK que sirve para generar visualizaciones y dashboards, es decir, es una herramienta de business intelligence.

¿Cómo accedemos a Kibana?

Para acceder a este plugin, si le instalamos por defecto, podremos acceder a través de nuestro navegador usando la dirección 127.0.0.1:5601 o localhost:5601. Es decir, es una aplicación web. Esto permite instalar Kibana en un servidor y acceder a él mediante la configuración adecuada desde cualquier ordenador conectado a nuestra red.

¿Qué nos aporta Kibana?

Kibana nos aporta una interfaz gráfica e intuitiva para realizar gráficas a medida. Nos permite elegir, de forma sencilla, entre 16 tipos de gráficas.

tipos visualizaciones

Dentro de estas opciones seleccionaremos, para nuestro ejemplo, las gráficas líneas y accedemos a un menú, donde podemos configurar qué variable queremos poner como eje X y qué variable como eje Y. En este caso y continuando con los datos recopilados de los coches, podemos generar un gráfico en el que representemos el tiempo en el que hemos capturado los datos frente a las revoluciones en cada uno de los instantes.

Si ejecutamos la gráfica, podemos ver la gráfica generada a la derecha del menú. En este caso, hemos cogido como intervalo de tiempo entre las 11:41 hasta las 11:54 del día de hoy y obtenemos:

grafica kibana 1

 

Obviamente, podemos realizar diferentes tipos de gráficas y coger diferentes medidas, por ejemplo, si seleccionásemos el formato de gráfica “Gauge”, podemos elegir las revoluciones máximas alcanzadas en el periodo de tiempo, quedando de la siguiente forma:

grafica kibana 2

Para finalizar, una vez realizadas todas las gráficas que nos interesan y debidamente guardadas, podemos generar un dashboard.

En el menú de la izquierda seleccionando la opción “Dashboard”, podremos crear nuestro propio panel de KPI’s personalizado añadiendo todas las gráficas que hallamos creado.

Otra de las posibilidades que posee Kibana para la representación gráfica es “Timelion”, situada en el menú de la izquierda. Esta herramienta es un editor de series temporales. Esto significa que podremos realizar comparaciones entre gráficas, por ejemplo, podemos comparar las revoluciones en el mismo momento de tiempo entre un vehículo de gasolina y uno diésel:

grafica kibana 3

Este tipo de gráficos también podemos añadirlos en el dashboard conjuntamente a los otros gráficos.

¿Cómo podemos visualizar datos en Kibana en Tiempo Real?

El principal objetivo de estos post, es alcanzar la representación gráfica en tiempo real de los datos generados y almacenados dentro del entorno ELK, gracias a Kibana esto resulta muy sencillo. En la esquina superior derecha de la aplicación, donde tenemos el intervalo de fechas que estamos visualizando, podemos configurar que los gráficos se actualicen cada cierto periodo de tiempo:

kibana 4

Haciendo esta sencilla acción y disponiendo de registros que se almacenen en nuestra base de datos de manera constante, podremos alcanzar el objetivo de leerlos y mostrarlos graficamente de una manera rápida, sencilla y personalizada.

Para concluir este cuarteto de posts, sólo nos falta enseñar los resultados finales obtenidos de los coches estudiados. Este último post se publicará a lo largo de esta semana, ¿estáis preparados?

Entorno ELK: Manejo de datos en Tiempo Real

 Después de nuestro primer post  en el que introducíamos nuestro proyecto de análisis de datos en tiempo real, pasamos a la descripción de las herramientas y recursos necesarios.

Como resulta obvio, lo principal en este proyecto son los datos, y para ello decidimos que estos fueran reales y que pudiéramos contrastar y comprender. Así fue como decimos realizar la monitorización de datos de dos automóviles en circulación. Por suerte la captura de datos en utilitarios resulta muy fácil usando el protocolo OBDII.

Protocolo para extraer datos: OBDII

OBDII es un sistema de diagnóstico a bordo de vehículos. Este sistema está disponible en una amplia gama de vehículos desde aproximadamente el año 1996 en Estados Unidos. En Europa este sistema se instaló en el año 2000 para los vehículos gasolina, en 2003 para los vehículos diésel y en 2005 para camiones. Gracias a este dispositivo hoy en día podemos acceder a los sensores y datos de cualquier vehículo cuya fecha de fabricación supere las anteriormente citadas. Este sistema es muy útil para IoT.

Análisis de datos en tiempo real: ELK

La otra parte más importante de este proyecto consiste en ser capaz de capturar los datos, analizarlos y finalmente mostrarlos. Para esto utilizamos el entorno ELK, presentado en el anterior post, Elasticsearch+Logstash+Kibana.

elk

Siguiendo el esquema superior tras la creación del log (registro) está la fase de la captura de los datos (recolección, procesamiento y almacenado). Para esto usaremos Logstash  una herramienta capaz de recolectar los logs, modificarlos de acuerdo a nuestras necesidades y, posteriormente, enviarlos hacia la base de datos. Gracias a esta herramienta, podemos enviar los logs creados por el coche a una base de datos en el formato que más nos interesa.

logstash

En una segunda etapa usaremos Elasticsearch. Este combina un motor de búsqueda y una base de datos que usaremos para almacenar los datos procesados por Logstash. Las dos características diferenciadoras de esta base de datos es el ser distribuida y la gran velocidad de procesamiento de búsquedas que puede alcanzar. Esta combinación hace que sea ideal para realizar proyectos de análisis en tiempo real. 

elastic

Como último paso para mostrar los datos decidimos usar Kibana. Kibana es un plugin de Elasticsearch que aporta la visualización gráfica de los datos almacenados en el clúster de Elasticsearch. De esta forma, se pueden crear gráficas individuales o dashboards completos. Además, gracias a la función de refresco, se pueden ver los datos actualizados a nivel de segundos. Es una interfaz gráfica e intuitiva, por lo que cualquier persona perteneciente al mundo del negocio tiene la completa autonomía para generarse sus propias representaciones gráficas, en función de sus necesidades y sin necesidad de contar con la parte de IT.

kibana

Así es como se crea el entorno ELK (Elastic Stack, nombre que recibe en inglés) que nos permite conseguir las representaciones gráficas de datos obtenidos en tiempo real.

Business Intelligence y el arte de las representaciones

En el siguiente post, se detallará como crear los gráficos usando Kibana, además de crear nuestros propio dashboard.

Te esperamos en el siguiente post, ¿te lo vas a perder?

Visualización de datos en tiempo real (1/4)

Actualmente la sociedad exige rapidez y puntualidad. Para cumplir con estos dos rasgos, se hace indispensable disponer de información en tiempo real.

Los datos están generándose continuamente por multitud de dispositivos. Además, comenzamos a saber la importancia del análisis de datos. Por eso cada vez más empresas, buscan la manera de analizar estos datos con la mayor brevedad posible.   

real time 1

 

¿Realmente se ahorran costes con una monitorización de datos en Tiempo Real?

¡SI! En forma de: reducción de gastos, optimización de recursos, predicciones a medida de la demanda...

Veamos diferentes casos de uso:

  • Caso de Uso #1: Proveedor
  • En el ámbito de la logística, si sabemos cómo y cuánto está consumiendo nuestro cliente, podemos optimizar stock para poder servirle en forma y tiempo. De esta forma nos ahorramos gastos en inmovilizado, reduciendo costes de almacén y asegurando un nivel de seguridad en el stock más reducido.
  • Caso de Uso #2: Cliente
    Si la empresa se dedica a la producción y depende de una materia prima que le sirve un proveedor externo, dicho proveedor puede saber en cada momento cuánta materia prima queda en el almacén y, por lo tanto, puede proveer a la empresa en consecuencia, evitando roturas de stock, con las ventajas que ello conlleva. Si la empresa se queda sin materia prima, tendría que parar la producción, elevándose los costes e incrementando el riesgo de tener que retrasar algún envío.
  • Caso de Uso #3: Línea de producción
    En el caso de que nuestra empresa se dedique a la producción en línea, podemos representar de forma gráfica todos los parámetros recogidos en la misma, de forma que seremos capaces de detectar errores en la cadena de producción en tiempo real, simplemente con una visualización y así retirar la pieza afectada en la mayor brevedad posible, sin tener que esperar a que recorra toda la cadena para ser retirada de forma manual.

¿Cómo puede una empresa conseguir visualizaciones de datos en tiempo real? y ¿cómo podemos disponer de esta información de forma automática?

elk

Para responder a estas dos preguntas, vamos a recurrir al entorno ELK: Elasticsearch, Logstash y Kibana. Con estos tres softwares conseguimos una completa suit que nos permite recoger los datos y enviarles (Logstash) a una base de datos (Elasticsearch) en la cual se realizarán las búsquedas necesarias para que desde una herramienta de visualización gráfica (Kibana) podamos ver los resultados en tiempo real.

 

Experimento: Monitorización de datos de dos automóviles en Tiempo Real.

coche graph

Actualmente contamos con la tecnología necesaria para almacenar y representar los datos en tiempo real, por ello durante las siguientes semanas, vamos a publicar una serie posts, en los que trataremos la manera de realizar representaciones gráficas de dos coches en movimiento. ¡Este será el resultado final!

 

kibana

¡Cada semana lanzaremos dos nuevos posts, no te los pierdas!

¿Qué es VSM - Value Stream Mapping?

Kaizen, 5Ss, Pokayoke, Hejunka, Muri, Mudas….. términos muy de moda. Lean, una metodología nada moderna (más de 70 años de antigüedad) pero de rabiosa actualidad y que está dando mucho juego a la hora de gestionar la mejora continua en las Operaciones.

Pero si bien, el objetivo de lean es reducir las 9 formas de muda o desperdicios que solemos tener en nuestros procesos:

 

vsm pro

  1. Inventario.
  2. Transporte.
  3. Movimiento de personas.
  4. Tiempos de espera.
  5. Sobre proceso.
  6. Sobreproducción.
  7. Errores.
  8. Desperdicio del talento de las personas.
  9. Despilfarro de energía.

En LIS Solutions nos hemos centrado en el proceso en sí, analizando y aportando valor a una herramienta básica dentro de la metodología Lean, como es el VSM (Value Stream Map o Mapa de flujo de valor ) de nuestras operaciones Logísticas.

VSM + B.I

Hemos conseguido combinar un mapa de flujo de valor, con los valores de los KPI y parámetros. Esta actualización la hacemos en batches customizables a nivel empresa (cada hora, franja de 5 minutos, semana, etc.) volcando la información del SGA-ERP en un cuadro de mandos.

Esta herramienta, así como los valores históricos de cada uno de los parámetros, inventarios entre procesos, tiempos de espera, etc. nos va a permitir analizar ‘online’ la influencia de las acciones puestas en marcha sobre nuestros KPI correspondientes, evidenciando la correlación entre la acción tomada y la mejora en el dato y permitiéndonos en tiempo real hacer correcciones y por tanto reducir el riesgo asociado a nuestros cambios.

esquema vsm

 

Una solución 100% adaptable al proceso de nuestros clientes y que sin duda es un elemento complementario e indispensable en toda implantación de cultura lean en la Supply Chain.

Contacta con nosotros.

Página 2 de 9