O estado da transformação digital orientada por dados
Com as transformações digitais aceleradas durante a pandemia de COVID-19, nunca foi tão importante aproveitar dados, machine learning e analytics.
A pesquisa global da McKinsey de 2020 sobre o estado da inteligência artificial mostrou que 50% das empresas já adotaram IA em pelo menos uma função de negócio, e 22% das organizações atribuem pelo menos 5% do lucro antes de juros e impostos a iniciativas de IA.
No entanto, para liberar o valor de dados e de IA em escala, as organizações precisam democratizar o acesso aos dados e promover letramento de dados em toda a empresa. Uma das formas de fazer isso é oferecer acesso a dados confiáveis e acionáveis entre times e diferentes níveis de habilidade, para que todos tomem decisões de negócio baseadas em dados.
Infraestrutura de dados no centro da democratização de dados
Antes de alcançar o letramento em dados, é preciso acertar as bases. Isso começa entendendo como os dados fluem pela organização e, em seguida, construindo uma infraestrutura de dados organizada e unificada.
Em um webinar sobre tendências e previsões de dados para 2021, Ramnath Vaidyanathan, vice-presidente de pesquisa de produto na DataCamp, descreveu como os dados geralmente percorrem uma organização. Esse fluxo requer ferramentas de engenharia de dados para capturar dados brutos, ingerir e transformá-los, armazená-los em um local centralizado e gerar insights em forma de dashboards e relatórios, saídas de machine learning e muito mais.
Escalar o acesso a dados dentro da organização depende fortemente de uma arquitetura de infraestrutura de dados sólida e do uso das ferramentas mais atuais de infraestrutura de dados, que permitem transformar dados brutos em insights acessíveis e valiosos.
O estado das ferramentas de infraestrutura de dados
A importância da infraestrutura e das ferramentas de dados fica evidente pelo rápido crescimento e evolução desse mercado. Muitas soluções visam agilizar o trabalho com um elemento específico da infraestrutura de dados de uma organização, o que resultou em um cenário cada vez mais fragmentado de ferramentas, difícil de navegar.
O visual a seguir, criado pela Dataiku, ilustra bem como o mercado de infraestrutura de dados foi segmentado em várias categorias granulares, com uma lista crescente de soluções concorrentes em cada segmento.
Fonte: Dataiku
O futuro das ferramentas de infraestrutura de dados
No fim do ano passado, a Andreessen Horowitz buscou trazer clareza para esse cenário confuso ao desenvolver um framework de arquitetura unificada. Com a necessidade crescente de trabalhar com grandes volumes de dados e a abundância de soluções disponíveis, esse framework oferece uma referência prática para modernizar, mapear e construir o data stack de uma organização.
Fonte: Andreessen Horowitz
À medida que esse espaço e tendência evoluem, veremos a consolidação e a padronização de várias ferramentas do stack de infraestrutura de dados. Somado à adoção de nuvem, às ferramentas de descoberta de dados e às plataformas centralizadas de governança de dados, isso permitirá que as organizações ofereçam acesso escalável a dados entre times e áreas.
Então, o que uma infraestrutura de dados ideal do futuro deve entregar? Segundo Maksim Pecherskiy, engenheiro de dados no World Bank e ex-CDO da cidade de San Diego, os dados precisam ser coletados, descobertos, confiáveis, compreendidos, aderentes a normas e acionáveis. No fim das contas, o objetivo é tornar os dados utilizáveis e confiáveis, impulsionando o letramento em dados em toda a organização.
Infraestruturas de dados maduras incluem adoção de nuvem, ferramentas de descoberta de dados e plataformas centralizadas de governança
Com a maturidade das ferramentas voltadas à democratização de dados em 2021 e além, também devem crescer e se consolidar as seguintes tecnologias:
1. Adoção de nuvem
O uso de tecnologias em nuvem virou padrão, principalmente após a transformação digital orientada por dados que acelerou em 2020.
Além de melhorar o armazenamento e o acesso aos dados, as soluções em nuvem também oferecem diversos produtos fáceis de usar para coletar, ingerir, transformar, armazenar e gerar insights a partir de dados.
Há vários provedores de plataforma em nuvem, e um dos principais é a Amazon Web Services (AWS), que tem mais de 100 produtos para ajudar empresas a extrair o máximo de seus dados com velocidade, escala e baixo custo.
2. Ferramentas de descoberta de dados
Escalar a infraestrutura de dados será crucial à medida que tabelas, relatórios e modelos são adicionados ao ecossistema de dados da organização. As partes interessadas precisam localizar rapidamente dados e insights confiáveis, compreendidos, em conformidade e acionáveis para fazerem seu melhor trabalho.
Para encarar esse desafio, ferramentas de descoberta de dados (também chamadas de ferramentas de gestão de metadados ou catálogos de dados) podem atuar como mecanismos de busca versáteis para esses grandes volumes de dados dentro da organização. Metadados são, essencialmente, um conjunto de dados que descrevem outros dados e são úteis para indexar a grande variedade disponível.
A Lyft abriu o código de sua própria ferramenta de descoberta de dados, a Amundsen, oferecendo um mecanismo de metadados que ajuda organizações a descobrir, entender, compartilhar e confiar nos dados usados em suas análises. Essa capacidade é fundamental para qualquer empresa que deseja escalar suas competências em dados.
3. Plataformas centralizadas de governança de dados
Como mencionado, criar confiança nos dados é essencial para promover a democratização. É aqui que a governança de dados assume um papel central. Com o volume e a variedade de dados em constante crescimento, a supervisão centralizada da qualidade, consistência e relevância é crucial.
Serviços de plataformas centralizadas de governança de dados oferecidos por empresas como a Collibra e a Alation ajudam as organizações a gerenciar com eficácia a disponibilidade, a consistência e a integridade de seus dados. Isso permite que todos trabalhem a partir de uma fonte única e confiável da verdade.
Uma infraestrutura de dados em amadurecimento é apenas uma das tendências que prevemos para 2021 e além. Para saber mais, baixe nosso white paper Data Trends and Predictions 2021: The Year of Data Fluency ou assista ao nosso webinar.
