Gestión de Datos

Gestión de Datos (57)

Blog de análisis y gestión de datos, artículos, consejos, perfiles demandados, metodologías, herramientas...

Predicción automatizada de la demanda

¿Cuánto material necesitamos comprar las próximas semanas? ¿Cuándo vamos a necesitar producir un determinado producto? ¿Tenemos suficientes capacidades para cubrir la demanda? Estas son algunas de las preguntas que tratan de dar respuesta las empresas diariamente. La predicción de la demanda de sus productos es esencial para una planificación eficiente dentro de las empresas y puede dar la solución óptima a esas preguntas. Es común tener cientos de productos de los cuáles se necesita conocer la demanda al menos mensualmente. Incluso cuando se requiere un número menor de pronósticos, puede que no haya nadie lo suficientemente capacitado en el uso de modelos predictivos. En estas circunstancias, un algoritmo de pronóstico automático puede ser una herramienta muy valiosa.

001

Los algoritmos predictivos

En general existen dos tipos de métodos para hacer predicciones: los métodos cualitativos y los métodos cuantitativos. Mientras que los métodos cualitativos, como puede ser el método Delphi, están basados en el conocimiento y la opinión de expertos, los métodos cuantitativos utilizan datos del pasado dentro de modelos matemáticos para hacer las predicciones. En el caso de tener un producto nuevo sobre el que no existen datos o en proyectos estratégicos en los que muchos factores son de importancia, los métodos cualitativos pueden mostrar un mejor desempeño. No obstante, con la disponibilidad de más datos y el aumento de las capacidades computacionales los métodos cuantitativos son cada vez más habituales. Además, estos métodos pueden ser automatizados y no dependen del conocimiento de expertos. Por lo tanto, vamos a describir algunos métodos cuantitativos en detalle.

Las predicciones son un área de investigación con mucha tradición y se han desarrollado gran cantidad de modelos y algoritmos. Aun así, al haber muchas diferencias entre la demanda de un producto y la demanda de otro, no hay ningún modelo que sea perfecto para la predicción de todos los productos. Por eso en LIS-Solutions utilizamos diferentes algoritmos predictivos para asegurar así la calidad predictiva. Los métodos se pueden agrupar en las siguientes familias: 

  • Métodos Ingenuos.
  • Métodos de Exponential Smoothing.
  • Métodos de ARIMA.
  • Otros métodos.

Todos ellos se basan únicamente en el histórico de la demanda para calcular la predicción. Su ajuste para cada producto puede ser automatizado y por lo tanto son ideales para la automatización de las predicciones.

Los métodos Ingenuos son muy simples y utilizan valores del histórico para la predicción. Uno de estos métodos es el método Ingenuo básico, en el que, la predicción corresponde al último valor observado. Otro método, es el método Ingenuo estacional, éste utiliza el valor durante la misma época de año anterior como predicción. Aunque muchas veces estos métodos no son muy precisos hay situaciones en las que su uso puede ser adecuado. Por ejemplo, se usan frecuentemente en el sector financiero. 

002

Los métodos Exponential Smoothing están basados en el modelo de componentes de las series temporales. En este modelo, la serie temporal se divide en la tendencia, las estaciones y un componente de error, los cuales son extrapolados para crear la predicción. Mediante fórmulas de recursión en las que el último valor es combinado con una media móvil de los valores históricos se calculan los valores futuros. Estos métodos son muy frecuentes y se adecuan sobre todo para la predicción de la demanda regida por tendencias y estaciones claras. 

003

Prophet es un algoritmo basado en las mismas ideas. Fue desarrollado por ingenieros de Facebook. Igual que en los métodos de Exponential Smoothing la serie temporal es dividida en componentes permitiendo adicionalmente incluir la influencia de vacaciones y estaciones en múltiples niveles temporales. Las diferentes componentes son modelados mediante diferentes funciones (crecimiento logístico, series de Fourier, auto-regresiones). Este algoritmo consigue predecir demandas con patrones estacionales superpuestos, es decir, patrones que se integran entre sí y tendencias a nivel de horas (predicción de visitas a página web), de días o semanas. 

004

Igual que los métodos de Exponential Smoothing los modelos de ARIMA tienen una larga tradición en la predicción de series temporales y la demanda. Estos modelos combinan modelos de auto-regresiones (AR) y medias móviles (MA) con datos integrados (I). Los modelos de auto-regresiones representan una combinación lineal de los valores pasados a corto plazo. En los modelos de medias móviles se combinan factores aleatorios pasados. Para funcionar correctamente los datos deben ser estacionarios. Para eliminar posibles tendencias o estaciones los datos se integran. Estos factores son agregados de nuevo al final del cálculo. Los modelos de ARIMA se adecuan para series temporales en las que la influencia de valores pasados a corto plazo es significativa.

005

Con estos diferentes tipos de métodos es posible predecir todo tipo de demandas a nivel diario, mensual o anual. Automatizando los algoritmos estas predicciones pueden ser calculadas regularmente sin ninguna interacción manual.

Elección del método óptimo

Todos estos métodos tienen sus fortalezas y debilidades. Usar solo uno de estos algoritmos no llevaría a un resultado satisfactorio. Entonces: ¿Cuándo debemos usar que método? Esta pregunta a veces se puede responder observando la serie temporal de la demanda y sus características. No obstante, esto es imposible si se necesitan miles de predicciones. Para estos casos podemos generar un modelo de clasificación creado con algoritmos de Machine Learning. Los algoritmos de Machine Learning (ejemplo: Support Vector Machine o Árboles de Clasificación) son alimentados con metadatos del histórico que incluyen por un lado las características de la serie temporal (fuerza de la tendencia, estaciones, autocorrelación, entropía, etc.) y por otro lado el método óptimo para cada serie temporal. Los algoritmos de Machine Learning reconocen relaciones entre las características de la serie temporal y el método óptimo y así crean un modelo de clasificación. Este modelo de clasificación puede ser aplicado a cualquier serie temporal y sus características para obtener el método a aplicar para la predicción.

006

Evaluación de las predicciones

Usando múltiples métodos de predicción y eligiendo siempre el más adecuado conseguimos optimizar las predicciones y minimizar su error. No obstante, no es posible eliminar el error completamente. Por ese motivo, es esencial calcular el error de la predicción para que el usuario pueda evaluar la predicción y su fiabilidad. Con la ayuda de una validación cruzada del método de predicción elegido conseguimos estimar el error de la predicción en el futuro. Para calcular el error de la predicción se calculan predicciones de prueba dentro de los datos históricos. Estas predicciones de prueba son comparadas con los datos disponibles calculando el error estimado de la predicción real.

Validacin predicciones

Definiendo límites para el error de la predicción se puede evaluar si la predicción es fiable o no. Adicionalmente, los algoritmos predictivos calculan rangos de confianza que igualmente transmiten la fiabilidad de la predicción. 

En LIS-Solutions desarrollamos sistemas automatizados con diferentes métodos de predicción que pueden predecir la demanda de miles de productos regularmente reduciendo a un mínimo el error de predicción y comunicando transparentemente su fiabilidad. Con esta información podemos saber cuándo debemos de producir, qué producto o cuánto material deberemos comprar. Finalmente optimizamos la planificación aumentando su eficiencia y reduciendo los costes. 

Para más información contactenos en  Esta dirección de correo electrónico está protegida contra spambots. Usted necesita tener Javascript activado para poder verla.

espana marruecos

Ayer lunes, 25/06/2018 se jugó en Rusia, en el estadio de Kaliningrado, el tercero y último de los partidos de la primera fase de clasificación para este mundial. España se jugaba pasar a octavos, para ello, debía conseguir puntuar. El partido fue una locura hasta el final del encuentro, como podemos comprobar gracias a las redes sociales.

tweets

 

Análitica avanzada de datos en redes sociales

Gracias a la analítica avanzada de datos se puede extraer toda esta información. A lo largo del partido se ha ido recogiendo todos los tweets posteados en la red social Twitter.

Aplicando un análisis de texto, se puede extraer la siguiente nube de palabras, que representan las palabras más utilizadas en los tweets relacionados con este partido, que agónicamente acabó empatando España en los últimos momentos del partido gracias al VAR:

nube

 

Se puede observar qué, el partido de Portugal – Irán se estaba jugando al mismo tiempo, por ello, y por la importancia del resultado de este encuentro, se cuelan en esta nube las palabras de Cristiano, Pepe y Portugal.

 

Business intelligence (Qlik Sense):Análisis en tiempo real de las redes sociales.

 

Podemos ver la evolución gráfica del número de tweets, coincidiendo el momento de máxima actividad de las aficiones en Twitter con los primeros minutos del encuentro entre el gol de Marruecos y el gol de Isco. Además, podemos observar también que al final del encuentro, gracias al gol de España y el lio con el VAR, la actividad en las redes sociales vuelve a aumentar.

 

Gracias al B.I. podemos ver qué idioma ha sido más utilizado en las RR.SS

bloques

Como podemos observar el análisis de datos nos puede aportar una visión más completa de los temas estudiados, que combinado con unas potentes representaciones gráficas nos aporta una visión de 360º sobre el tema a tratar.

Técnicas aplicables a la cadena de suministro

Este mismo estudio se puede realizar sobre la cadena de suministro. También podemos aplicar estas técnicas al entorno de producción o a entornos industriales, mejorando así la productividad y dotando a las personas de negocio una torre de control desde la cual verificar el estado y la evolución de todo el negocio.

 

 

Knime y Qlik Sense analizando las RRSS

Este miércoles, 20/06/2018 se jugó en Rusia, en el estadio Azadí, el segundo partido de la primera fase de clasificación para este mundial. El partido sobre el campo fue muy interesante.

I01

¿Qué afición ganó en las redes sociales? Análisis de sentimiento con Knime 

Gracias a la analítica avanzada de datos se puede extraer toda esta información. A lo largo del partido se ha ido recogiendo todos los tweets posteados en la red social Twitter.

Aplicando un análisis de texto, se puede extraer la siguiente nube de palabras, que representa las palabras más utilizadas en los tweets relacionados con este partido, que agónicamente acabó ganando España para ilusión de los 4.000 espectadores españoles en las gradas del estadio Azadí:

I02

Como se puede observar, viendo las palabras de la imagen anterior el idioma más utilizado ha sido el español. Además, se puede extraer del texto que los jugadores con más impacto en las redes sociales han sido Iniesta, Lucas Vázquez, Ramos, Piqué, Carvajal, Isco, Nacho y Koke. El hastag más utilizado durante los 90 minutos de duración del partido fue #esp.

Gracias al business intelligence (B.I.) se puede representar en tiempo real la actividad en las redes sociales.

Se puede ver la evolución gráfica del número de tweets, coincidiendo el momento de máxima actividad de las aficiones en Twitter con los minutos quince últimos minutos de la primera parte, el descanso y los quince primeros de la segunda parte. Además, se observa que en los minutos iniciales de la segunda parte hay dos picos de actividad, coincidiendo con el gol de España a manos de Diego Costa y con el gol anulado a Irán por el VAR. Por lo tanto, los momentos de mayor actividad en las redes sociales han coincidido con los momentos más tensos del encuentro.

I03

Por otro lado, se observa qué idiomas son los más utilizados en los tweets:

I04

El análisis de datos en el fútbol  puede aportar una visión más completa de los temas estudiados, que combinado con unas potentes representaciones gráficas nos aporta una visión de 360º sobre el tema a tratar.

Este mismo estudio se puede realizar sobre la cadena de suministro, también se puede aplicar estas técnicas al entorno de producción o a entornos industriales, mejorando así la productividad y dotando a las personas de negocio una torre de control desde la cual verificar el estado y la evolución de todo el negocio.

 

Cada vez se generan más y más datos, la posibilidad de capturar, transformar y utilizarlos se vuelve una necesidad. Sobre todo, en entornos industriales donde podemos encontrar una fuerte inversión en sensórica usada en el control de procesos. Sin embargo, uno de los principales escollos que se encuentra a la hora de utilizar los datos generados son los diferentes protocolos y arquitecturas de las diferentes marcas de maquinaria. Es por esto que el IoT en industria está ganando tanto peso, ya que permite la interoperabilidad entre máquinas que de otra manera no podrían comunicarse sin desembolsar grandes cantidades de dinero.

¿Cuál es el protocolo común que utilizan las máquinas para comunicarse que hace que todo parezca tan fácil?

Para poder realizar el envío de información de manera rápida y segura se usan protocolos de comunicación M2M (machine to machine). El MQTT (Message Queue Telemetry transport) fue desarrollado en 1999 por el Dr. Andy Stanford-Clark y Arlen Nipper, con un objetivo claro, recolectar datos y enviarlos de manera rápida y segura a través de toda la infraestructura de IT.

 

Este protocolo se ha vuelto muy popular dentro del mundo IoT gracias a que hace un uso muy reducido del ancho de banda lo que impacta directamente en la velocidad de comunicación, así como en el uso de CPU, RAM y otros recursos involucrados en la transformación y envío de datos entre máquinas.

Una red MQTT se basa en un sistema jerárquico de temas o topics, clientes que están suscritos a estos y en un bróker que es el encargado de gestionar la información. Este bróker recibe las solicitudes de información sobre el topic al que están subscritos los clientes y si existe este se encarga de enviársela.

 mqtt600x48

¿Por qué resulta ideal MQTT dentro de la industria?

Dentro de las grandes plantas de producción, el envío de la información de manera rápida permite crear sistemas SCADA fiables y bidireccionales, lo que da la posibilidad ya no solo de ver los datos desde fuera de los HMI instaladas en las máquinas, si no que se puede interactuar. Esto significa que podemos realizar procesos de analítica avanzada con los datos arrojados, pudiendo incluso realizar acciones en función de los mismos, esto significa que podríamos crear máquinas adaptativas   a los problemas que pueden ocurrir durante los procesos. Además, posee la capacidad de cifrado de información.

MQTT ya está ampliamente aceptado, desde las grandes empresas de aceite y gas hasta las aplicaciones de para smart cities. Además, recientemente Amazon Web Services anunció que para su sistema IoT está basado en MQTT, lo que da una idea de la robustez de este protocolo.

En la noche de ayer, se jugó en el Juventus Stadium la ida de cuartos de final de la Champions League. Un partido realmente intenso desde el primer minuto, dejándonos además uno de los mejores goles que se han visto en el último año. ¿Se habrán notado el partido en las redes sociales? ¿En qué minuto se escribieron más Tweets? En LIS-Solutions analizamos la red social Twitter a lo largo de todo el partido para resolver estas dudas.

 

grafico interactivo

Análisis de datos en las Redes Sociales

 

Gracias a la analítica avanzada  de datos realizada durante el partido, hemos podido extraer la información generada para poder tratarla por nuestros expertos y así llegar a las mejores conclusiones.

Aplicando un análisis de texto, se ha podido realizar una nube de palabras, esta nos dará a vista de pájaro las palabras más usadas permitiéndonos hacernos una idea de los temas que más se comentaron a lo largo de la velada.

nube palabras

Resulta obvio que Cristiano Ronaldo, el jugador más mediático, así como el mayor goleador en el partido, aparezca como palabra significativa más usada en las redes sociales durante el partido. También podemos ver como el nombre de ambos equipos aparece rodeando el círculo central.

En el anillo más externo se ven palabras más relacionadas con el partido y con las impresiones del mismo como puede ser la palabra legendario, equipo, festival…

Gracias al Business Intelligence (B.I.) se puede representar en tiempo real, el impacto que tienen los lances del partido en de las redes sociales.

En la evolución gráfica del número de tweets, en el momento en el que cristiano marco un gol de chilena estos empezaron a crecer de manera casi exponencial alcanzando el pico más alto de tweets durante el partido.

tweets partido

Por otro lado, hemos podido analizar los idiomas más usados en el Tweets.

El análisis de datos nos aporta una visión más completa del objeto de estudio, que combinado con unas potentes representaciones gráficas nos aporta una visión de 360º antes inimaginada.

Este mismo estudio lo hemos realizado sobre la cadena de suministro, también podemos aplicar estas técnicas al entorno de producción o a entornos industriales, mejorando así la productividad y dotando a las personas de negocio una torre de control desde la cual verificar el estado y la evolución de todo el negocio.

 

 

GARTNER 2018: ¿Qué herramientas son las punteras en Data Science y Machine learning?

gartner 2018 DS ML

 

Un año más, Gartner ha publicado el cuadrante mágico en el que realiza un meticuloso estudio sobre las plataformas Data Science y Machine Learning que se encuentran actualmente en el mercado. Como se puede ver en el cuadro anterior, el cuadrante de Gartner agrupa a los diferentes actores en: nichos, visionarios, retadores y líderes. Se observa, de manera sorprendente, que las tres empresas más grandes con plataformas desarrolladas para data science y machine learning como son SAP, IBM y Microsoft, no han sido capaces de entrar o seguir un año más en el segmento de líderes.

El año pasado, la única de estas empresas que tenía el orgullo de pertenecer al grupo de líderes era IBM, con su herramienta IBM SPSS. Además, IBM SPSS lideraba el cuadrante de Gartner y, sin embargo, este año ha caído desde el cuadrante de líderes, situándose en una discreta posición en la parte de los visionarios.

Knime a la cabeza de las herramientas para Data Science y Machine Learning

Es importante resaltar el gran trabajo que llevan realizado durante años las 5 plataformas que se sitúan en la zona de liderazgo. En ella, este año, se encuentran las plataformas de Alteryx, SAS, RapidMiner, H2O.ai y encabezando el cuadrante mágico de Gartner encontramos la plataforma de Knime.

Comparativa de los Cuadrantes Mágicos de Gartner para Plataformas Data Science and Machine Learning: 2018 vs 2017

gartner 2018 vs 2017 DS ML

Es importante resaltar que Knime, además de encabezar el cuadrante mágico de Gartner, junto con H2O.ai son las dos plataformas que más han avanzado en el último año.

Se antoja también importante destacar el imperioso ascenso de H2O.ai. Magnífica ha sido la mejoría sufrida en este último año, más habiendo aparecido en el cuadrante de Gartner por primera vez el año pasado.

Desde LIS-Solutions queremos finalizar este post felicitando a todas las plataformas que se encuentran en este diagrama, dado el esfuerzo necesario para conseguir ser nombradas en él. Por supuesto, felicitar de forma especial a las plataformas que han conseguido mantenerse como líderes de este cuadrante mágico y sobremanera a aquellas que, por primera vez, han conseguido hacerse un hueco entre las mejores. ¿Quieres saber más sobre herramientas Data Science y Machine Learning? Contacte con nosotros.

¿Qué es PAL en SAP Hana? -Librería de análisis predictivo de SAP Hana

Tras hablar anteriormente de SAP Hana en este post , al centrarnos en la parte de analítica de datos, nos encontramos ante la librería PAL (Predictive Analysis). Esta librería es propia de SAP Hana y es utilizada para el análisis predictivo.

sap hana

TIPOS DE ALGORITMOS

Gracias a esta librería se pueden aplicar técnicas tan diversas y potentes como algoritmos de clustering, algoritmos de clasificación, algoritmos de regresión, algoritmos de series temporales y algoritmos de estadística entre otros.

APLICACIÓN A LA CADENA DE SUMINISTRO

Actualmente, todos estos algoritmos de analítica avanzada son útiles en muchos campos cotidianos. Por ejemplo, gracias a los algoritmos estadísticos como T-Test se calcula la eficacia que tiene un tratamiento frente a cierta enfermedad. De este modo, se testea a nivel teórico si un tratamiento es eficaz antes de que su uso se expanda. Si nos centramos en la cadena de suministro se puede aplicar algoritmos como ARIMA para optimizar los trayectos que realizan los vehículos de una flota de camiones por el simple hecho de poder predecir el consumo que tendrán todos los clientes de dicha empresa. Si se aplica el algoritmo de K-Means en el entorno industrial, se pueden detectar, partiendo de los datos recogidos por los sensores de la línea de producción, las piezas que han sufrido una anomalía en dicha línea de producción y retirarlas antes de finalizar todo su procesado, ahorrando así tiempo y costes en la fabricación de la pieza.

sap hana pal

Además, gracias a que estos algoritmos están implementados dentro del entorno SAP Hana, el tiempo de procesamiento de los datos es 3.600 veces más rápido que cualquier otro tipo de tecnología de análisis. Este último punto aporta el punto extra de poder analizar los datos prácticamente en tiempo real, por lo que la estrategia a seguir se puede variar en cuestión de minutos.

sap hana operations analysis

Gracias a este tipo de tecnología que, aporta rapidez en el procesamiento de los datos y que, además, dota al entorno de unas librerías de análisis de datos avanzado se puede extraer información de los datos de los que se dispone para convertirlos en conocimiento y así sacar una mayor rentabilidad de nuestro modelo de negocio. Hoy más que nunca los datos de nuestras empresas son el petróleo del futuro.

En LIS-Solutions llevamos ya varios meses siguiendo la evolución de estas tecnologías ya que apostamos completamente nuestro futuro a que el análisis de datos va dirigido en la dirección en la que rema SAP Hana, ¿necesitas ayuda para implementar estos puntos en tu unidad de negocio? Contacte con nosotros .

Visualización de datos Real Madrid - PSG

Ayer, 14/02/2018 se jugó en el Santiago Bernabéu la ida de octavos de final de la Champions. El partido sobre el campo fue muy interesante, pero: ¿qué afición ganó en las redes sociales? ¿En qué minutos hubo más actividad?

qlik

Análisis de datos en Redes Sociales

¿Qué afición ganó en las redes sociales?

Gracias a la analítica avanzada de datos se puede extraer toda esta información. A lo largo del partido se han ido todos los tweets posteados en la red social Twitter.

Aplicando un análisis de texto, se puede extraer la siguiente nube de palabras, que representan las palabras más utilizadas en los tweets relacionados con el partido de la ida de octavos de final de la actual Champions:

twitter madrid psg

Se puede resaltar que las palabras que más veces se repiten han sido mayoritariamente francesas. Además, se puede extraer del texto que los jugadores con más impacto en las redes sociales han sido Cristiano Ronaldo, Neymar, Karim Benzema, Marcelo y Asensio. El hashtag más utilizado durante los 90 minutos de duración del partido fue #realmadridpsg.

Gracias al business intelligence (B.I.) se puede representar en tiempo real la actividad en las redes sociales.

Podemos ver la evolución gráfica del número de tweets, coincidiendo el momento de máxima actividad de las aficiones en Twitter con los minutos finales del encuentro. Momento en el cual el Real Madrid anotó los dos goles que cerrarían el marcador.

minuto resultado

Por otro lado, se puede ver que idiomas son los más utilizados en los tweets así como los tweets de media que se han generado por minuto.

idiomas

Como podemos observar el análisis de datos nos puede aportar una visión más completa de los temas estudiados, que combinado con unas potentes representaciones gráficas nos aporta una visión de 360º sobre el tema a tratar.

Este mismo estudio se puede realizar sobre la cadena de suministro, también podemos aplicar estas técnicas al entorno de producción o a entornos industriales, mejorando así la productividad y dotando a las personas de negocio una torre de control desde la cual verificar el estado y la evolución de todo el negocio.

 

Analizamos San Valentín (2) 

Ya hemos visualizado datos de San Valentín con la aplicación desarrollada en Qlik Sense® en este post.

Nos han pedido si podíamos realizar algo con otra herramienta de Business Intelligence, Tableau. A continuación podéis ver una aplicación realizada con ella.

Dashboard interactivo

Contacta

Visualizar los datos en cierto contexto, ayuda a la toma de decisiones. Si a estos se le suma analítica avanzada, se puede entre otros predecir eventos futuros.

Si está interesado en conocer sus posibilidades y como puede ayudar a su negocio, no dude en contactar con nosotros

Feliz día de San Valentín!

Analizamos San Valentín

San Valentín, ese día en que demostramos el amor a quién mas nos importa. Pero ¿es verdad aquello de que San Valentín es simplemente un negocio? ¿Quién regala más, hombres o mujeres? ¿Qué tipo de regalo se hace? La siguiente aplicación, desarrollada en Qlik Sense®, nos permite responder a esas preguntas y más, con datos acumulados de los últimos 10 años.

 san valentin analisis

¿Quién participa?

Quienés son más "románticos", ¿mujeres u hombres?

 

¿Qué se compra?

¿Cuáles son los regalos estrella?

 

Curva histórica del gasto

Y a lo largo de los años,¿nos hemos vueltos más "románticos" (consumidores)?

 

Contacta

Visualizar los datos en cierto contexto, ayuda a la toma de decisiones. Si a estos se le suma analítica avanzada, se puede entre otros predecir eventos futuros.

Si está interesado en conocer sus posibilidades y como puede ayudar a su negocio, no dude en contactar con nosotros

Página 1 de 5