Elementos filtrados por fecha: Febrero 2017 - Consultoría Logística

Continuando con el post anterior, me gustaría presentaros esta magnífica herramienta: Easymorph, enfocada a la transformación de los datos (ETL).

easymorph

 

Tradicionalmente, se cree que esta tarea pertenece a los desarrolladores de IT, mientras que los usuarios empresariales, suelen quedarse con Excel, scripts de Visual Basic, etc. Al mismo tiempo, los sistemas ETL, aunque potentes (y muy caros), resultan complicados para la audiencia que no es programadora.

 

Es por esto, que al desarrollar una app de explotación de datos, Easymorph nos permite diseñar complejas transformaciones de datos, para poder disfrutar de un desarrollo más simple y rápido. 

PRINCIPALES CARACTERÍSTICAS

  • Transformar visualmente los datos sin utilizar macros VBA, scripts o SQL. 
  • Combinar, filtrar, agregar datos de múltiples fuentes (bases de datos, hojas de cálculo, texto, XML).
  • Preparación de datos para posterior explotación en herramienta BI. 
  • Conversor de archivos de texto en hojas de cálculo y viceversa. 
  • Exportar los datos a un nuevo fichero QVD.  
  • Almacenar los proyectos o procesos ETL para ejecutarlos posteriormente tantas veces como se desee.

tabladepaula

 

Toda la información acerca de esta herramienta (licencia gratuita, etc) se encuentra en easymorph.com, además tiene un apartado de Ejemplos & Tutoriales que puede resultaros muy útil.

 

 

 

 

Publicado en Gestión de Datos

… MÉTODOS METAHEURÍSTICOSbombilla

En la investigación de operaciones, analítica y ciencias de la computación, suele recurrirse con asiduidad a problemas arquetipos tales como el problema del llenado de la mochila, el problema del comerciante viajante o el del mejor vecino, los cuales pueden resultar confusos en un primer acercamiento a la materia ¿a qué se refieren?

Imaginemos que tenemos que realizar una ruta donde hay que visitar 20 puntos y no queremos pasar dos veces por el mismo lugar, o tenemos que realizar 20 acciones y no sabemos en qué orden ejecutarlas. Imaginemos también que quisiéramos conocer qué combinación (en base a los parámetros que indiquemos como distancia, tiempo, coste, …) es la más eficiente. Podríamos pensar que ahora, con la tecnología y la velocidad de computación que tienen los ordenadores, no hay nada imposible. Sin embargo, si dispusiéramos de un ordenador que cada segundo analiza un millón de combinaciones posibles, para conocer cuál es la mejor (esto es, observar todas las posibles y elegir, de ahí, la mejor) necesitaría… ¡77 mil años! (aunque para el supercomputador chino Tiahne-2, con 33.86 PetaFlop/segundo, esto no es algo insalvable)

Puede que este sea un ejemplo no muy corriente, pero ya nos da una idea de la envergadura que los problemas de combinatoria pueden llegar a tener. Es ahí donde entra en juego el campo de los métodos heurísticos.

HEURÍ... ¿QUÉ?eeuusalesmanproblem

Viendo los problemas de combinatoria, entendemos que necesitamos un tipo de modelos que nos permitan dar una respuesta satisfactoria (aunque quizá no sea la mejor) en un tiempo razonable para que sea útil (de nada servirá tener una solución que no se aplica). Este es precisamente el objetivo de los métodos heurísticos. Y dentro de estos algoritmos, aquellos que son procedimientos usados en planteamientos genéricos, son los denominados métodos metaheurísticos. Hay multitud de métodos metaheurísticos implementados, desde los más intuitivos como algoritmos voraces o implementaciones del mejor vecino, a métodos más sofisticados que intentan superar el problema de caer en mínimos locales, como el recocido simulado o los algoritmos genéticos.

¿CÓMO USAR HEURÍSTICA EN MI EMPRESA?

 

Como hemos repetido a lo largo de diversos post, el objetivo de estas entradas es dar una visión general de los servicio postventa-300x203conceptos, y poder indicar en qué facetas de las empresas se pueden implementar estas teorías. En definitiva: aterrizar la Revolución 4.0. Algunos de los problemas prácticos pueden ser:

  • Llenado de cajas: obtener de un modo ágil una forma eficiente de efectuar un llenado de cajas (en función del precio o el volumen, el coste asociado, …)
  • Diseño de rutas: tanto a nivel de reparto comercial como a nivel de movimientos internos de las fábricas.
  • Mejora de la operativa: encontrar cómo realizar de una forma rápida y eficiente una serie de tareas (el problema podría tener en cuenta tareas que obligatoriamente se tengan que dar antes que otras, por ejemplo, el lijado, antes que el pintado).

La clave para entender dónde usar los algoritmos de metaheurística es disponer, de modo general, de un proceso de combinatoria (diferentes formas de hacer una serie de tareas) y conocer el criterio (función coste) en base al cual decidimos si una combinación es mejor que otra (puede ser el coste, el tiempo, la distancia, …). 

LOS MÉTODOS METAHEURÍSTICOS EN LA GESTIÓN DE DATOS Y COMBINATORIA

 

Los métodos metaheurísticos surgen para dar respuesta a la necesidad de encontrar una solución rápida y eficaz a un problema de combinatoria, en donde las opciones son inmensas y robot futuroencontrar la aguja en el pajar se antoja una tarea ardua. Nuestros procesos empresariales pueden favorecerse de estas implementaciones y guiar, en base a datos, las acciones de nuestras compañías.

 

Publicado en Gestión de Datos

Existen multitud de herramientas para explotar nuestros datos, desde el famoso Excel, a las más específicas como Qlik o Tableau.

A continuación, os presento dos herramientas que nos ayudarán en muchas ocasiones para la organización y explotación correcta de nuestros datos en Qlik: Easyqlik Qviewer y Easy morph.

 

EASYQLIK QVIEWERqv3

Quienes estamos desarrollando continuamente con Qlikview, nos encontramos con multitud de archivos QVD que debemos concatenar, filtrar, perfilar, etc.  Esta herramienta, nos ahorra tiempo para desarrollar y depurar aplicaciones, especialmente cuando se trata de aplicaciones diseñadas por alguien más.

Para los que no estén muy familiarizados con el concepto QVD de QLik: Es un formato especial de archivos que genera Qlikview para almacenar datos de las tablas de nuestro sistema gestor de datos (un archivo QVD por cada tabla). Utilizamos estos archivos por la rapidez que nos aportan, por lo que es la forma preferida de acumular datos históricos en las apps e intercambiar información entre ellos.

QViewer nos permite buscar en cualquier QVD, filtrar y buscar datos, revisar los campos duplicados, detectar nulos y hacer cualquier tipo de inspección sin crear una aplicación Qlikview descartable cada vez porque, ¿Quién no se ha encontrado alguna vez con un montón de QVDs que desea explotar y utiliza mucho tiempo para explorarlos?

Esta herramienta, nos ayuda a inspeccionar cualquier tabla residente en cualquier punto de la secuencia de comandos de carga y conocer los detalles de la información que contiene.

PRINCIPALES CARACTERÍSTICAS

  • Ver datos a nivel de fila de un archivo QVD.
  • Todo tipo de recuentos (nulos, números, texto) para todos los campos y valores distintos.
  • Extracción de campos únicos con un solo clic (por columna).
  • Filtrado asociativo estilo Qlik (con nulos seleccionables).
  • Metadatos de tabla y columna obtenidos del encabezado XML de un archivo QVD.
  • Carga parcial (limitada) para ver archivos muy grandes (>2GB)  (Version Free limitada a 100.000 filas, la licenciada debe ser ilimitada)
  • Agregar, calcular nuevas columnas, exportar datos (requiere Easymorph, lo vemos a continuación).

qv1

Ejemplo de obtener metadatos de un QVD: Nos muestra todos los campos, el número de claves únicas, densidad, tipo de dato, etc… y todo esto sin ejecutarlo.

 

 

qv2

Espero que os resulte tan útil como a mí. Toda la información acerca de esta herramienta (licencia gratuita, etc) se encuentra en easyqlik.com.

 

Veremos la utilidad de Easymorph en el siguiente post!

 

 

Publicado en Gestión de Datos

... LAS REGLAS DE ASOCIACIÓN diamante

A menudo, solemos de explicar la minería de datos como “tratar de encontrar diamantes en el pajar” (cuando encontramos algo de valor entre tanto dato, la comparación con una aguja se nos queda corta para explicar su potencial). Encontrar patrones de comportamiento (bien sea de compras, bien sea en fallos o en cualquier proceso operativo) es con diferencia el principal objetivo de las empresas analíticas, pues es identificar estos insigths lo que valoran en gran medida los clientes.

Es por ello que no creo que haya herramienta más apreciada para el análisis de datos como las reglas de asociación (con su implementación más famosa, el algoritmo A Priori).

encajadosLa idea que subyace en las reglas de asociación es simple: analizando un conjunto de datos, descubrir relaciones entre variables. Por ejemplo, analizando transacciones, en donde tenemos muchos productos posibles, descubrir que, en transacciones en las que está el producto A, está también el producto B.

Estas relaciones serán más consistentes cuanto más grande sea el conjunto de datos.

Como imaginarán, estas relaciones no suelen ser tan obvias. Para medir cómo de fuerte es la relación entre variables, hay diferentes métricas (soporte, confianza o para mí una de las más útiles, el llamado lift). A su vez, esta búsqueda de relaciones quizá tenga que optimizarse (imagine las diferentes combinatorias que pueden darse, por ejemplo, en un almacén de 5.000 productos) echando mano de técnicas metaheurísticas, como los algoritmos genéticos.

Dado que el objetivo de estos post no es crear más vértigo e inundar la página de vocablos en inglés, demos un enfoque más práctico y “terrenal” a todo esto. 

 

como implementar¿PARA QUÉ IMPLEMENTAR LA CORRELACIÓN ENTRE PRODUCTOS EN MI EMPRESA?

Las oportunidades donde poder implementar estas herramientas son enormes y muy variadas, no solo en el entorno de ventas o marketing. Pensemos, por ejemplo, en un almacén. Es cierto que un análisis ABC nos puede ayudar a una gestión más eficiente del mismo, pero, ¿acaso no hay productos C que, de expedirse, se expiden con un producto A? ¿no podemos mejorar la eficiencia de la gestión de nuestro almacén estudiando las relaciones entre productos?

 El objetivo de estos procesos no es más que encontrar hechos, situaciones, que se repiten en un conjunto de datos en particular. Si, por ejemplo, disponemos de un conjunto de datos formado por cientos, miles de operaciones de compra de los productos de un supermercado, podemos investigar, analizar las compras efectuadas, y quizá lleguemos a la conclusión de que ciertos artículos se vender junto con ciertos artículos, como la leche con las galletas o el vino con las rosas. Quizá aparezcan relaciones entre productos menos obvias, como que en las compras que se adquieren pañales, se adquieran también cervezas (¿padres de familia mandados a la tienda “a por pañales”?)

 

LAS REGLAS DE ASOCIACIÓN, EN RESUMEN

 La clave de la analítica, englobando conceptos del entorno de Big Data, viene de cruzar multitud de fuentes, de diversos orígenes, para poder llevar a cabo planes de acción.

relacion de productos

 Ejemplo de ello es Walmart, quién cruzando información de las listas de la compra efectuadas, con datos meteorológicos (en este caso en concreto, con huracanes) y de la ubicación de sus tiendas, encontró un patrón curioso: en épocas de huracanes, la gente compra más Pop-Tarts.

 En definitiva, analizando grandes conjuntos de datos en base a reglas de asociación, somos capaces de encontrar relaciones entre productos, empoderando a la organización, y permitiendo la toma de decisiones inteligente en base a datos.

 

 

 ¿sabías que el día que más productos dietéticos se venden, es el viernes? https://www.youtube.com/watch?v=NW8MjxQbtfY

 

 

 

 

Analizar lo que ocurre en un carro de la compra de forma conjunta, nos dice mucho más que los productos por separado.”-Ms. Dillman

 

 

 

Publicado en Gestión de Datos