Uma análise das ferramentas de governança de dados

O que é governança de dados?

Em um webinar recente, Aaren Stubberfield, Data Scientist na Microsoft, apresentou oportunidades e boas práticas de governança de dados e começou respondendo à pergunta fundamental: o que é governança de dados? Segundo a Data Management Association (DAMA), governança de dados é o exercício de autoridade e controle (planejamento, monitoramento e aplicação) sobre a gestão dos ativos de dados.

(1) Planejamento: criação de regras às quais os conjuntos de dados precisam obedecer (por exemplo, padronização de formato de campos de data, como YYYY-MM-DD)

(2) Monitoramento: medição da conformidade às regras definidas na fase de Planejamento (por exemplo, acompanhar o percentual de campos de "Data" com valores ausentes)

(3) Aplicação: ações de correção quando houver violações das regras, de acordo com o nível de urgência; por exemplo, ação imediata se campos críticos, como número de previdência social, apresentarem divergências graves

Como é um framework de governança de dados?

Há diferentes tipos de frameworks de governança de dados no mercado, mas eles geralmente compartilham quatro elementos: políticas e procedimentos de dados, conjuntos de dados, data stewards e stakeholders, e tecnologia.

Os data stewards são as pessoas que desenvolvem políticas e procedimentos de governança para os conjuntos de dados da organização. As ferramentas de governança são essenciais para que esses profissionais façam seu melhor trabalho e são parte central do framework de governança.

Quais são as ferramentas e tecnologias usadas em governança de dados?

Ferramentas de governança de dados são necessárias para automatizar operações de governança e o trabalho de stewardship, já que o grande volume de dados torna inviável realizar essas atividades manualmente. Elas também se integram a diferentes produtos de TI e conjuntos de dados, com recursos completos de catalogação, estendendo sua atuação por todo o sistema de gestão de dados da organização. Para atender à crescente demanda, surgiu uma ampla oferta de soluções de qualidade de dados no mercado. Uma análise da Gartner examinou o mercado e apresentou os Magic Quadrants para classificar os fornecedores de soluções de governança de dados.

Diante da importância crescente da governança, muitas ferramentas de gestão de dados passaram a incluir recursos de governança em seus sistemas. A SolutionsReview lançou o Data Management Vendor Map, classificando as soluções de gestão de dados em três categorias: ferramentas de qualidade de dados, Master Data Management e gestão de dados para analytics.

(1) Ferramentas de qualidade de dados

Qualidade de dados é a utilidade geral dos dados e sua capacidade de serem facilmente processados e analisados para outros fins. Para alcançar e manter boa qualidade de dados, as ferramentas de governança precisam executar funções essenciais como padronização, profiling, parsing, limpeza e monitoramento. Além de manter os dados limpos e organizados, essas ferramentas também devem suportar o processamento de dados em todo o sistema da organização.

Exemplos:
(i) Talend
O produto carro-chefe da Talend é o Talend Data Fabric, que reúne integridade e governança de dados em uma única plataforma em nuvem para dados confiáveis. Inclui desde gestão de metadados e data lineage até soluções colaborativas de data stewardship.

(ii) SAS
O SAS Data Quality oferece recursos de gestão de qualidade de dados para diferentes tipos de bancos de dados e arquiteturas. Inclui funções essenciais de limpeza de dados, resolução de entidades e um console web unificado para monitorar jobs de qualidade de dados.

(iii) Informatica
A Informatica oferece um amplo portfólio de ferramentas de dados em diferentes modelos de implantação. O Informatica Data Quality fornece um conjunto robusto de transformações de dados e permite criar e revisar regras de negócio sem depender de TI.

(2) Master Data Management

Master data é o conjunto consistente e uniforme de dados centrais da empresa, que inclui componentes-chave como clientes, leads, fornecedores, colaboradores, contas e mais. A base de uma estratégia eficaz de controle de qualidade de dados é um Master Data Management sólido. Só assim os ativos de dados em crescimento (e seus metadados) podem ser estruturados e consolidados em um repositório central para apoiar a melhor tomada de decisão.

Exemplos
(i) Ataccama
A Ataccama Platform é uma plataforma de gestão de dados aumentada que inclui MDM como um de seus módulos. Traz também módulos relevantes como qualidade de dados e gestão de metadados, com integração completa em diferentes tipos de implantação.

(ii) Enterworks
A EnterWorks Platform é uma plataforma multidomínio que cria um repositório central de master data confiável e atualizado, consolidado em todos os aplicativos corporativos, com ferramentas poderosas para aprimorar qualidade e governança de dados. Além disso, todas as funções administrativas e de governança nos múltiplos domínios podem ser executadas em uma única interface.

(iii) Riversand
A plataforma Master Data Experience Management da Riversand é uma solução SaaS unificada, em nuvem e multidomínio para todos os casos de uso de MDM. O objetivo é eliminar silos de dados e garantir conformidade com regras de governança, criando uma fonte única, precisa e confiável de master data, com visões completas de dados críticos de negócio.

(3) Gestão de dados para analytics

Com a variedade de atividades de governança envolvidas na manutenção da qualidade dos dados, muitas empresas podem preferir plataformas integradas abrangentes em vez de soluções isoladas. As soluções de gestão de dados para analytics são sistemas completos que se integram a softwares de analytics para orquestrar análises de dados, como processamento analítico relacional e não relacional, business intelligence e machine learning.

Exemplos
(i) Collibra O Collibra Data Governance é uma plataforma em nuvem que ajuda empresas a estabelecer um entendimento comum dos ativos de dados e colaborar em um local central. Inclui uma suíte de serviços como gerenciador de políticas, dados de referência e glossários de negócio, gerando dados confiáveis para análises poderosas.

(ii) erwin O erwin Data Intelligence Suite (erwin DI) é uma plataforma unificada que permite criar catálogos de dados corporativos automatizados e curados, com modelos de dados e lineage sob demanda. Isso viabiliza preparação e analytics de dados ágeis e bem governados, com glossários de negócio integrados para letramento em dados em toda a organização.

(iii) Alation A Alation Platform empodera analistas e áreas de negócio com uma plataforma aberta e inteligente que dá suporte a diversos aplicativos de gestão de metadados, catalogação e governança. Além disso, seu produto Analytics integrado funciona como um hub para analytics self-service produtivo.

Como extrair o máximo valor dessas ferramentas?

É importante lembrar que ferramentas são apenas uma alavanca na estratégia de democratização de dados. Para tirar o máximo proveito das ferramentas de governança, as pessoas da organização são fundamentais. Boa governança de dados é um trabalho em equipe: humanos desenham e implementam a agenda e as políticas, e a tecnologia automatiza e monitora tudo da melhor forma. Para isso, as organizações precisam investir em capacitação em letramento em dados, para que todos tenham as habilidades necessárias para trabalhar com dados e performar no seu melhor.

Saiba mais sobre o DataCamp for Business:
O DataCamp for Business é uma plataforma de aprendizagem interativa para empresas que precisam capacitar e requalificar suas pessoas em habilidades de dados — de letramento em dados e data science a engenharia de dados e machine learning. Junte-se a mais de 1.600 empresas e a 80% da Fortune 1000 que já usam a DataCamp para desenvolver seus times.