Del Dato al Conocimiento

Vamos a realizar un viaje que nos permitirá analizar cómo los datos se transforman en conocimiento, quiero avisaros que el rumbo no está escrito de antemano y en cada etapa del viaje trataremos un tema concreto, con la intención de hacerlo autocontenido e independiente para facilitar el debate.

Hoy comenzamos con un resumen del camino (aunque el relato es extenso) que seguimos para transformar los datos en conocimiento, partiendo siempre de la base de nuestra razón de trabajar, el dato, la materia prima de todo descubridor de conocimiento, es el equivalente al mármol para el escultor, la pintura para el pintor o las palabras para el escritor.

Precisamente el tratamiento que se realiza con los datos es más un arte que una ciencia exacta y el símil del escultor me va a servir para poner en evidencia ciertos aspectos del tratamiento de datos que siempre tenemos que tener presente.

Durante todo el relato, vamos a introducirnos en la piel de un escultor (de datos).

A los escultores (de datos) les gusta estar todo el día en su taller trabajando en bocetos, realizando pequeños proyectos, mejorando su destreza con las herramientas, etc… esto es fundamental, pues como nos enseñó Pablo Picasso: la inspiración existe, pero tiene que encontrarte trabajando.

• El encargo

Hoy hemos recibido un encargo, nuestro benefactor quiere una escultura que represente a sus clientes y para ello pone a nuestra disposición todas las materias primas y herramientas de las que dispone. ¿Qué hacemos? ¿aceptamos? ¡Por supuesto! Somos escultores profesionales. Pero, ¿qué pensarías de un escultor que ante todos los encargos acepta sin más?, siempre se ha dicho que la ignorancia es muy atrevida, aunque también podemos tener la fortuna de estar delante de Miguel Ángel capaz de realizar cualquier trabajo, mas la realidad es que no somos Miguel Ángel y no podemos ser expertos en todas las técnicas, coincidirán conmigo en que no es lo mismo crear una escultura en piedra que una escultura en arena, el conocimiento necesario es distinto, por lo que podemos concluir que no todos los escultores pueden realizar cualquier trabajo o lo que es lo mismo no todos los trabajos pueden resolverse exitosamente por cualquier escultor.

En nuestro taller podemos tener muchos tipos de escultores, por ejemplo, un escultor especializado en esculturas de arena es experto en la extracción rápida de análisis muy precisos a corto plazo, sus esculturas nos permitirán disfrutar hoy y tomar decisiones rápidas pero mañana esta escultura se la habrá llevado el viento o la lluvia, estos escultores son más nerviosos y suelen utilizar metodologías ágiles que permiten adaptar la escultura a los cambios que van surgiendo. Pero en el lado opuesto tenemos a los escultores especializados en esculturas de piedra, sus trabajos requieren de mayor meditación y más tiempo para realizarse pero sus resultados perduran en el tiempo, con estas esculturas hay que ser más cuidadoso puesto que los cambios a realizar suelen suponer tirar el bloque de piedra trabajado y comenzar de nuevo.

Es fundamental que a la hora de realizar el encargo definamos perfectamente el tipo de escultura que queremos y busquemos al escultor adecuado.

Por suerte para nosotros, el encargo realizado es sencillo, muy sencillo, nos piden un busto simple de mármol (vamos a considerar que el mármol está relacionado con información de clientes) que represente al cliente tipo de la compañía (un sólo dato que los agrupe). Como somos expertos en esculturas de mármol (Marketing de clientes) y el encargo es sencillo, decidimos aceptar.

Tenemos que tener presente que el objetivo final es realizar una escultura que transmita e ilumine (para que permita tomar decisiones acertadas con las que conseguir ventajas competitivas).

• Las materias primas (los datos)

Una vez aceptado el encargo, nos ponemos manos a la obra, para ello necesitamos nuestra materia prima, ese bloque de mármol (conjunto de datos sin mucha belleza) de la que queremos extraer esa bella escultura que contiene en su interior (informe, reporte, resultado o cualquier otro formato en el que se pueda trasladar el conocimiento).

Tras un tiempo esperando el mármol (debido a los procesos de petición de información, alta de permisos en bases de datos, configuración de herramientas, etc…) llega el gran momento de ponernos a trabajar, pero ¿cómo empezamos?, ¿cómo nos enfrentarse a ese bloque tridimensional? (normalmente con Big Data el espacio suele tener una dimensión muy superior pero es difícil visualizarlo).

La respuesta es fácil, vamos a hacer lo que se espera que hagamos, darle al teclado, perdón, al cincel y aplicar toda clase de técnicas para ir modelando la escultura.

Imagínense la situación, llega el mármol al taller y el escultor se pone a esculpirlo sin más, ¿cuál crees que será el resultado?, esto no parece muy profesional, esto es lo que podríamos hacer en casa ante un trabajo de colegio con plastilina, ponernos a amasar y hacer cosas hasta que salga algo. Pero pensemos, ¿qué haría un escultor profesional al momento de recibir el mármol?

Seguramente se pararía un segundo para analizar el mármol cuidadosamente, si tiene muchas impurezas e imperfecciones va a ser realmente difícil extraer una obra de arte, por desgracia todos no tenemos la capacidad de Miguel Ángel para poder trabajar sobre un mármol dañado y estropeado como le ocurrió al crear el David. Lo más habitual es que los datos con los que trabajamos pueden tener una gran cantidad de impurezas como pueden ser los valores nulos, los duplicados, los datos perdidos, las diferentes unidades, la falta de integridad, outliers, etc… por desgracia la cantidad de impurezas que nos encontramos en los datos es enorme y lamentablemente no hay un método sencillo para detectar las impurezas y mucho menos para limpiarlas, por lo que siempre trabajaremos con un mármol veteado y sucio.

Pero seamos ingenuos y supongamos que el mármol es perfecto y está limpio de impurezas (ya trataremos otro día la desagradable sensación de pelearse con datos llenos de impurezas y como afecta todo esto al resultado final de la obra). Así que nos encontramos delante de un mármol perfecto, con un color que nos pide a gritos que lo modelemos para poder encontrar la belleza del conocimiento que tiene oculto en su interior.

En nuestro caso el mármol está formado por las compras de los 12 clientes que tiene la empresa durante el último mes y vienen incluidas en la siguiente tabla:

Este bloque no puede considerarse Big pero nos ayudará a entender como perdemos la noción y el sentido de la escultura cuando pasamos de modelar un simple busto a modelar una Big Escultura como es el Buda del Templo de Primavera con sus 128 metros de altura.

Para nosotros que estamos comenzando, el busto del cliente tipo está bien para poner los cimientos que nos permitan enfrentarnos a encargos más complicados como los que comienzan a asomar en esta moda Big.

Sería bueno detenernos un momento en analizar el mármol y tratar de sacar conclusiones que nos ayuden a entender mejor cómo es ese cliente para poder visualizarlo y preparar el busto. Con 12 elementos resultará bastante sencillo, pero ahora tenemos que pensar cómo lo haríamos si tuviéramos 1000?, ¿y si fuesen 10.000?, y ya pasamos al nivel real, ¿cuántos clientes tiene mi empresa? ¿cómo hacemos esta primera visualización?, afortunadamente para nosotros sólo tenemos 12 elementos, por ahora.

• Las herramientas (hardware y software)

Tras analizar el precioso mármol del que disponemos y comprobar que de ese bloque podremos modelar un busto de cliente, tenemos que ponernos manos a la obra, aunque para esto necesitamos herramientas, pero ojo, las herramientas adecuadas, ya que por mucha ilusión que tengamos y tenacidad que pongamos no podremos modelar el busto sin un buen cincel, paciencia y tranquilidad.

Quiero pararme en este punto, para realizar una reflexión sobre las herramientas, si alguien ha estado en un taller de escultura, ¿cuántas herramientas tienen el escultor?, ¿una? ¿dos? ¿tres?, ¿nos hemos parado a pensar por qué tiene tantas herramientas?, la respuesta es sencilla, cada una se utiliza para una finalidad concreta y en cada fase del modelado es necesario una herramienta concreta. ¿Es posible realizar una escultura de arena con la misma herramienta con la que hacemos una escultura de piedra o viceversa? ¿es posible tener una herramienta que nos permita esculpir todas las esculturas que imaginemos?, sería maravilloso pero probablemente ingenuo, entonces, ¿por qué pensamos que una herramienta tecnológica (ahora llamadas Arquitecturas Big Data) va a resolver todos nuestros problemas de conocimiento?, tenemos que tener claro que cada herramienta tiene una finalidad y cada problema debe afrontarse utilizando herramientas distintas (Ya profundizaremos en estos temas otro día).

Por este motivo es fundamental elegir las herramientas adecuadas para construir la escultura adecuada y recordar otra frase de Picasso: “Los ordenadores son inútiles. Sólo pueden darte respuestas”. Frase que bien merece una profunda reflexión.

En nuestro caso, casi cualquier herramienta sencilla será suficiente, incluso con un papel y lápiz podríamos llegar a una escultura que nos ilumine y nos ayude a tomar mejores decisiones.

• La elaboración (la técnica)

En este punto, tras mirar el mármol desde todos los ángulos posibles y con las herramientas en la mano, nos preguntamos ¿qué queremos esculpir? ¿que forma debe de tener la escultura?, parece una tontería, pero si queremos que la escultura sea de un perro tendremos que esculpir un perro y si queremos que sea un barco tendremos que esculpir un barco, así que reformulando la pregunta ¿qué queremos esculpir?, normalmente lo que suele hacer el escultor es esculpir lo que le gusta, si al escultor le gustan los caballos y es experto esculpiendo caballos tratará de hacer el mejor caballo posible aunque el mármol no tenga las dimensiones adecuadas, pero esta no es la respuesta. La respuesta sería, ¿qué quiere ver nuestro benefactor?, recordemos que quería un busto del cliente tipo de la empresa.

Ahora es cuando entra en juego la experiencia y el conocimiento del escultor, mezclado con intuición e inspiración para poder cincelar el bloque de mármol modelando la forma del busto. Todos tenemos claro que el busto debería tener dos ojos, dos orejas, boca, mentón, etc… estos son resultados que tienen que estar claros y que están incluidos en el propio encargo, pero es probable que aunque utilicemos las mismas herramientas y el mismo bloque de mármol el tamaño de la nariz o la tipología de cabello dependerá mucho de la percepción del escultor y esto es lo que nos marcará los matices y la diferencia entre las distintas esculturas realizadas por los distintos escultores. También los escultores más experimentados serán capaces de utilizar ciertas imperfecciones del bloque de mármol para utilizarlas como recursos visuales, por ejemplo encontrar un trozo de color dentro del mármol y modificar la posición para hacer coincidir ese trozo de color con la posición de los ojos (esto es lo que se suele conocer como hacer descubrimientos en los datos o insigths y no es común ni sencillo).

Vamos a realizar un pequeño descanso para realizar un pequeño ejercicio, si tuvieses que realizar la escultura, ¿cual sería vuestro resultado? ¿qué busto entregaríais?, dado que el bloque de mármol sólo tiene 12 elementos es probable que con papel y lápiz, con una hoja de cálculo o simplemente con el olfato que ofrece la experiencia, podréis llegar a un escultura. Este sería un buen momento para demostrarse a cada uno el escultor que lleva dentro. Y como ejercicio avanzado, trataría de realizar varias esculturas. Más adelante las utilizaremos en otro ejercicio.

• La entrega

Orgullosos de nuestra obra de arte, llega el momento de presentarla. El objetivo es que la escultura transmita e ilumine por ella misma y quien la contemple se verá imbuído de todo su poder para poder tomar las decisiones adecuadas. Esto sería correcto si se cumpliesen dos requisitos fundamentales, que el escultor fuese capaz de mostrar en la escultura todos los matices y que el benefactor tuviese los conocimientos adecuados para poder entender todas las técnicas utilizadas y los sutiles trabajos realizados sobre la escultura. Por desgracia no se suele dar ni lo uno ni lo otro.

Las esculturas suelen ser muy toscas, más orientadas a las formas rectas y cuadriculadas mientras que el benefactor espera una alegoría de colores cuando el mármol solamente era blanco. ¿Cómo podemos acercar posturas? Podemos o bien conseguir que la escultura hable por si sola o conseguir que el benefactor entienda y comprenda todo lo que representa la escultura, ambos planteamientos son muy complicados y normalmente se tiende a la tercera solución, que resulta mucho más sencilla, pintar la escultura, aunque sigue siendo la misma escultura que transmite las mismas sensaciones, con un toque de color conseguimos estimular al receptor para que aprecie belleza y tenga un recuerdo agradable de la escultura y pueda decir el tópico de :”me gusta aunque no lo entiendo”

Pero en este punto tenemos que ser muy críticos puesto que el objetivo de esta arquitectura es que nos permita tomar decisiones, no que sea bella a la vista con multitud de gráficas, colores y análisis interactivos. Otro día podríamos hablar de los Dashboards que presentan decenas de KPIs en un formato interactivo y adornados con múltiples gráficos y colores.

La pregunta que tenemos que hacernos siempre que veamos la escultura es ¿me ilumina para tomar las decisiones que tengo que tomar o simplemente es un bello ornamento digno de poner en una estantería en el despacho? La respuesta a esta pregunta nos permitirá seleccionar los bastones que me ayuden en el camino.

• La evaluación

Llegados a este punto quiero dedicar un rato a comentar posibles esculturas que podríamos presentar, a estos resultados que simplifican la información contenida en múltiples valores en uno sólo reciben el nombre de estadísticos.

El más comúnmente utilizado es la media aritmética que teóricamente es el que mejor representa a los datos si consideramos su distancia a estos, aunque hay otros que en determinadas circunstancias presentan mejores resultados como son la mediana, la moda, la media geométrica, la media armónica, otras no tan conocidas como las medias alfa-winsorizada y alfa-recortada y muchas más.

En nuestro ejemplo se proponen tres soluciones, una abierta, la media 111,31 y la mediana 87,66. Es posible que muchos de vosotros hayáis esculpido la media aritmética pero tras un periodo de reflexión tengáis dudas si es lo que os gustaría mostrar o no.

Lo primero que hay que tener claro cuando se trabaja con datos es que no hay una forma clara y concreta de representar los datos, ya lo decía Albert Camus: “si el mundo fuera claro, el arte no existiría.” y cuando esculpimos datos trabajamos en un mundo oscuro, en el que tenemos que descubrir un conocimiento que está mezclado con ruido.

Al presentar la escultura estamos reduciendo toda la información contenida en nuestros datos en un sólo elemento, por lo que perdemos mucha información y tenemos que decidir que información descartar mediante la aplicación de técnicas y modelos que simplifiquen la realidad para eliminar el posible ruido y quedarnos con la esencia, en todo este proceso, nuestras decisiones conforman la escultura final y tienen que estar valoradas y meditadas.

Volviendo a nuestro ejemplo, seamos críticos ¿qué escultura pensáis que representa mejor a los datos?, efectivamente la media es la ganadora, desde un punto de vista teórico pues es la que mejor agrega la información contenida, pero si elegimos la mediana también nos aporta un conocimiento importante. De hecho cuantos más estadísticos tengamos mas información tendremos y si tenemos los 12 datos mejor que mejor porque tendremos toda la información.

Pero probablemente la pregunta que tengamos que realizarnos es ¿qué escultura representa mejor al cliente de la empresa?, ¿los clientes suelen comprar 111,31 euros o 87,66 euros?, lo importante no es encontrar la verdad, lo importante es encontrar el valor que nos aporta conocimiento para el problema concreto al que nos enfrentamos, ¿con cuál me sentiría más cómodo para tomar una decisión?, esta es la pregunta que siempre nos tenemos que plantear cuando queremos condensar mucha información en un único dato, la respuesta no es sencilla y depende del problema planteado. Ya dedicaremos un día a hablar de casos en los que el cambio de métrica puede suponer una mejora sustancial en el conocimiento adquirido y en la calidad de las decisiones a tomar.

• Mundo Big Data

Si con 12 datos limpios y sin errores podemos dudar ante la posibilidad de agregarlos y representarlos por un único valor y al ver el resultado nos puede generar dudas, ¿cómo podremos representar miles o millones de datos?, en ese caso no vamos a tener la posibilidad de ver todos los datos para ver si tiene sentido o no el resultado.

Imaginaros cuando tengamos que lidiar con bloques de mármol con impurezas y vetas, que ya han sido cincelados parcialmente por otras manos y no tienes las herramientas adecuadas para obtener el resultado solicitado. ¿Cómo nos enfrentaremos a estos retos?

Antes de terminar, quiero agradeceros que hayáis llegado hasta aquí y disculpad por lo extenso del documento, hemos dejado muchos temas por el tintero que iremos tratando en sucesivos posts, tenemos mucho camino por delante en nuestra búsqueda del conocimiento, nos vemos en 15 días con un texto más reducido y liviano.

Me gustaría conocer vuestras sensaciones en vuestro día a día con estos temas, en vuestra empresa, ¿cómo son las esculturas?, ¿son bellas o inspiradoras?, y concretando en el aspecto técnico, ¿todas las agregaciones son medias aritméticas?, ¿nos gastamos miles de euros en tecnología y no somos capaces de utilizar otras métricas que nos puedan aportar conocimiento?. Espero con avidez vuestros opiniones y comentarios.