Las organizaciones más exitosas hoy dependen en gran medida de los datos para decidir. Muchas de estas empresas con alta competencia en datos generan a diario millones de filas que analizan y usan equipos muy diversos. Uno de los grandes retos para capacitar a los equipos a acceder y trabajar con datos es asegurarse de que los datos sean recogidos, fiables, confiables, procesables y fáciles de descubrir.
Para moverse por estos entornos de datos complejos, muchas organizaciones han desarrollado y liberado como open source tecnologías internas conocidas como herramientas de data discovery.
En un webinar reciente, Ramnath Vaidyanathan, VP of Product Research en DataCamp, explica cómo pasar de un estado reactivo, donde casi nadie tiene las habilidades ni el acceso para trabajar con datos, a un estado de fluidez, donde todas las personas tienen acceso y competencias para trabajar con datos y tomar decisiones basadas en datos. Las organizaciones pueden aumentar su madurez en datos invirtiendo en el marco IPTOP: infraestructura, personas, herramientas, organización y procesos. A medida que amplían el acceso a los datos mediante inversiones en infraestructura, necesitarán facilitar su descubrimiento con herramientas de data discovery.
Los datos no sirven de nada si la gente no puede acceder a ellos, si no entiende el contexto de lo que se ha recogido y si no puede encontrar lo que necesita. Por eso las herramientas de data discovery son tan críticas. Ramnath Vaidyanathan, VP of Product Research en DataCamp
Cómo usan las herramientas de data discovery las empresas con alta competencia en datos
Muchas compañías data-driven han incorporado herramientas de data discovery en su infraestructura. Veamos las motivaciones y palancas detrás de soluciones destacadas como Uber Databook y Lyft Amundsen.
Retos de data discovery a tener en cuenta
Un reto clave del data discovery es la productividad y el cumplimiento normativo. Lyft explicó que se enfrentaba a estos desafíos a medida que el tamaño de sus datos crecía exponencialmente y se preveía que siguiera a ese ritmo al menos los próximos 10 años. Al desarrollar Amundsen, observaron que alrededor del 25% del tiempo de una persona analista se invertía en descubrir datos. También se enfrentaban a requisitos de cumplimiento cada vez más estrictos en los países donde operaban.
Uber expresó inquietudes similares al expandirse más allá de su función principal como app de viajes compartidos hacia servicios como Uber Eats, Uber Freight y Jump Bikes. Cuando desarrolló Databook, Uber registraba más de 15 millones de viajes al día y contaba con 18.000 empleados en distintos equipos. Otro reto era que sus datos existían en muchos formatos, incluidos Hive, Presto y Vertica. Las personas analistas necesitaban acceder y entender con eficiencia las distintas fuentes para alcanzar la competencia en datos.
Facebook creó su plataforma de data discovery Nemo para garantizar datos de alta calidad y confiables a medida que aumentaban el tamaño y la complejidad de los datos entre funciones y regiones. Por las implicaciones de privacidad asociadas a los datos que analizan, Facebook también afrontaba importantes exigencias de cumplimiento que debía resolver al ofrecer tablas a perfiles concretos.
John Bodley, de Airbnb, dijo en una charla en 2017: «A medida que Airbnb crece, también lo hacen los retos en torno al volumen, la complejidad y la opacidad de los datos». Esto hacía que el personal percibiera los datos como «aislados, inaccesibles y sin contexto». Como consecuencia, se creaban tablas duplicadas y no se usaban los datos si no se confiaba en ellos. Airbnb desarrolló Dataportal para hacer mucho más eficiente el proceso de descubrimiento de datos eliminando estas barreras al análisis productivo.
Estos retos están muy extendidos, no dependen del sector y aplican a cualquier organización que quiera escalar la toma de decisiones basada en datos. La necesidad de contar con datos fácilmente descubribles será clave para quienes aspiren a ser data fluent.
Los cuatro objetivos clave de las herramientas de data discovery
Ahora que entendemos los retos del data discovery, veamos cómo distintas herramientas los abordan. Uber desglosa los objetivos de una plataforma de data discovery exitosa en cuatro componentes:
- Extensibilidad: capacidad de añadir con facilidad metadatos, almacenamiento y entidades a las tablas
- Accesibilidad: posibilidad de acceder de forma programática a todos los metadatos
- Escalabilidad: aptitud para soportar muchas lecturas concurrentes
- Potencia: capacidad para gestionar lecturas y escrituras en varios centros de datos
Alcanzar estos objetivos se vuelve más factible a medida que las organizaciones maduran sus competencias en datos. Y, conforme crece la escala de los datos, cada componente gana aún más importancia.
Lyft y Airbnb ofrecen metadatos detallados
El equipo de ingeniería de Lyft sostiene que «los metadatos son el santo grial de las aplicaciones del futuro». Distinguen dos subcategorías. La primera es un conjunto descriptivo formado por el contexto de la aplicación (lo que las personas necesitan saber para trabajar con los datos), el comportamiento (quién posee un conjunto de datos y sus patrones de uso habituales) y el cambio (cómo evoluciona el conjunto con el tiempo). La segunda es el propio dato descrito: cualquier dato almacenado en la organización en cualquier formato, como data stores, paneles, flujos de datos y más.
Al desarrollar Dataportal, la plataforma de data discovery de Airbnb, los metadatos fueron una parte clave del valor añadido al pipeline de datos. Antes de Dataportal, mucha gente no confiaba en los datos que usaba por falta de contexto y metadatos. Airbnb defiende que «comprender todo el ecosistema de datos, desde la producción de un log de eventos hasta su consumo en una visualización, aporta más valor que la suma de sus partes».
Fuente: Airbnb
Garantiza resultados de búsqueda de calidad con data discovery
Una vez aportado este contexto, el data discovery exige una búsqueda eficaz. Por muy confiable y clara que sea cada tabla, las plataformas solo son útiles si las personas analistas encuentran rápido lo que necesitan.
La página principal de Lyft Amundsen permite buscar tablas con consultas en lenguaje natural y muestra las más populares de la organización para un acceso rápido. Además, las personas analistas pueden dejar comentarios sobre la tabla para afinar resultados futuros.
La solución de Facebook, Nemo, permite filtrar por uso, restricciones de privacidad y recencia de los datos, y aprovecha su competencia en procesamiento de lenguaje natural para que el usuario escriba preguntas en la barra de búsqueda y obtenga tablas relevantes.
Uber Databook ofrece filtros similares, permitiendo acotar por dimensiones como nombre, propietario, columna y columnas anidadas. Uber utiliza Elasticsearch para ofrecer resultados de búsqueda de forma rápida y eficaz.
Llegar a la democratización de los datos a través del data discovery
Escalar la competencia en datos y la facilidad de descubrimiento va de la mano, porque las personas analistas necesitan acceso sencillo para tomar decisiones informadas por datos.
Las organizaciones con baja madurez en datos deberían centrarse en desarrollar habilidades y cultura de datos y en escalar su infraestructura. Sin embargo, a medida que avanzan en su madurez y amplían el acceso, habilitar un data discovery extensible y escalable será clave para convertirse en una organización verdaderamente basada en datos. Para profundizar en todas las palancas que impulsan la madurez organizativa en datos, mira nuestro webinar sobre el camino hacia la competencia en datos o realiza la evaluación de madurez en datos.
