El estado de la transformación digital basada en datos
A medida que las organizaciones aceleran su transformación digital a raíz de la pandemia de COVID-19, aprovechar los datos, el aprendizaje automático y la analítica nunca ha sido tan importante.
La encuesta global de McKinsey de 2020 sobre el estado de la inteligencia artificial indicó que el 50% de las empresas ha adoptado la inteligencia artificial en al menos una función, y el 22% atribuye al menos un 5% del beneficio antes de intereses e impuestos a iniciativas de inteligencia artificial.
Ahora bien, para liberar el valor de los datos y la inteligencia artificial a escala, las organizaciones deben democratizar los datos y fomentar la competencia en datos en toda la empresa. Una forma de conseguirlo es dando acceso a datos fiables y accionables en todos los equipos y niveles de habilidad, de modo que todo el mundo pueda tomar decisiones de negocio informadas por datos.
La infraestructura de datos, en el centro de la democratización de datos
Antes de alcanzar la competencia en datos, hay que asentar bien las bases. Esto empieza por entender cómo fluyen los datos dentro de la organización y, a partir de ahí, construir una infraestructura de datos organizada y unificada.
En un webinar sobre tendencias y predicciones de datos para 2021, Ramnath Vaidyanathan, vicepresidente de investigación de producto en DataCamp, describió cómo suelen fluir los datos por una organización. Este flujo requiere herramientas de ingeniería de datos para captar datos en bruto, ingerirlos y transformarlos, almacenarlos en un lugar centralizado y producir conocimiento en forma de paneles e informes, resultados de machine learning y más.
Escalar el acceso a los datos dentro de la organización depende en gran medida de contar con una arquitectura de infraestructura de datos sólida y del uso de las herramientas más avanzadas, que permiten transformar datos en bruto en información accesible y de valor.
El estado de las herramientas de infraestructura de datos
La importancia de la infraestructura y las herramientas de datos se aprecia en el rápido crecimiento y evolución de este mercado. Muchas soluciones buscan optimizar el trabajo con un elemento específico de la infraestructura de datos de una organización, lo que ha dado lugar a un panorama cada vez más fragmentado y difícil de navegar.
La siguiente visualización creada por Dataiku ilustra cómo el mercado de infraestructura de datos se ha segmentado en numerosas categorías granulares, con una lista creciente de soluciones competidoras en cada segmento.
Fuente: Dataiku
El futuro de las herramientas de infraestructura de datos
A finales del año pasado, Andreessen Horowitz intentó aportar claridad a este complejo panorama desarrollando un marco de arquitectura unificado. Dada la creciente necesidad de trabajar con grandes volúmenes de datos y la abundancia de soluciones disponibles, este marco ofrece una referencia práctica para modernizar, mapear y construir el stack de datos de una organización.
Fuente: Andreessen Horowitz
A medida que este ámbito evolucione, veremos la consolidación y estandarización de distintas herramientas dentro del stack de infraestructura de datos. Junto con la adopción de la nube, las herramientas de data discovery y las plataformas centralizadas de gobierno del dato, esto permitirá dar acceso escalable a los datos en todos los equipos y funciones.
Entonces, ¿qué debe ofrecer la infraestructura de datos del futuro ideal? Según Maksim Pecherskiy, ingeniero de datos en el Banco Mundial y ex CDO de la ciudad de San Diego, los datos deben ser recogidos, localizables, fiables, comprensibles, conformes y accionables. En última instancia, el objetivo es que los datos sean utilizables y confiables, lo que impulsa la competencia en datos en toda la organización.
Una infraestructura de datos madura incluye adopción de la nube, herramientas de data discovery y plataformas centralizadas de gobierno del dato
A medida que maduren las herramientas de infraestructura en torno a la democratización de datos en 2021 y en adelante, también lo harán la adopción y el crecimiento de las siguientes tecnologías:
1. Adopción de la nube
El uso de tecnologías cloud se está convirtiendo en la norma, especialmente tras la aceleración de la transformación digital basada en datos que hemos visto en 2020.
Además de mejorar el almacenamiento y el acceso a los datos, las soluciones en la nube ofrecen numerosos productos fáciles de usar para recopilar, ingerir, transformar, almacenar y extraer insights de los datos.
Hay numerosos proveedores de plataformas en la nube, y uno de los actores clave es Amazon Web Services (AWS), que cuenta con más de 100 productos para ayudar a las empresas a sacar el máximo partido de sus datos con alta velocidad, a escala y a bajo coste.
2. Herramientas de data discovery
Escalar la infraestructura de datos será crucial a medida que se añaden tablas, informes y modelos al panorama de datos de una organización. Los implicados deben poder localizar con facilidad datos e insights fiables, comprensibles, conformes y accionables para hacer bien su trabajo.
Para afrontar este reto, las herramientas de descubrimiento de datos (también llamadas herramientas de gestión de metadatos o catálogos de datos) pueden actuar como potentes motores de búsqueda de estos repositorios dentro de la organización. Los metadatos son, en esencia, un conjunto de datos que describen a otros datos y resultan muy útiles para indexar la gran variedad disponible.
Lyft liberó como open source su propia herramienta de data discovery, Amundsen, para ofrecer un motor de metadatos que ayude a las organizaciones a descubrir, entender, compartir y confiar en los datos que utilizan en sus análisis. Esta capacidad es clave para cualquier organización que quiera escalar sus competencias en datos.
3. Plataformas centralizadas de gobierno del dato
Como decíamos, generar confianza en los datos es esencial para impulsar la democratización de datos. Ahí es donde el gobierno del dato desempeña un papel fundamental. Con el volumen y la variedad de datos en continuo crecimiento, contar con una supervisión centralizada de su calidad, consistencia y relevancia es crucial.
Los servicios de plataformas centralizadas de gobierno del dato que ofrecen compañías como Collibra y Alation ayudan a gestionar de forma eficaz la disponibilidad, consistencia e integridad de los datos. Así, todos los equipos pueden trabajar con una única fuente de verdad fiable.
Una infraestructura de datos en maduración es solo una de las tendencias que prevemos para 2021 y más allá. Si quieres saber más, descarga nuestro white paper Data Trends and Predictions 2021: The Year of Data Fluency o mira nuestro webinar.
