Como se tornar um arquiteto de dados

Em um período de tempo relativamente curto, a crise da COVID-19 transformou completamente a maneira como as empresas de todos os setores fazem negócios. Uma nova pesquisa da McKinsey Global descobriu que a COVID-19 acelerou a adoção de tecnologias digitais em vários anos - e que muitas dessas mudanças podem ter vindo para ficar. Durante a pandemia, os consumidores fizeram uma mudança drástica em direção aos canais on-line e, por sua vez, as empresas e os setores responderam. Como resultado, isso criou mais demanda por funções relacionadas a dados em organizações de todos os setores, algumas das quais foram mais afetadas do que outras. 

De acordo com o relatório Monster Annual Trends, 96% das empresas estão planejando ou provavelmente planejarão contratar novos funcionários com habilidades relevantes para preencher futuras funções de análise de Big Data em 2022. Um arquiteto de dados é uma das principais pessoas envolvidas na criação e no suporte às necessidades de big data de uma organização. 

Neste blog, você saberá mais sobre quem é um arquiteto de dados e, mais especificamente, o que ele faz. Também veremos como a função é diferente da de um engenheiro de dados e quais são as habilidades necessárias para se tornar um arquiteto de dados em 2022.   

O que é um arquiteto de dados?

Conforme relatado pelo Data Management Body of Knowledge, um arquiteto de dados estabelece um vocabulário comercial comum, articula requisitos de dados orientados pela estratégia, mapeia projetos integrados avançados para se alinhar a esses requisitos e garante que a estratégia empresarial e a arquitetura comercial relacionada estejam alinhadas entre si. 

Embora a função e as responsabilidades reais de um arquiteto de dados possam variar um pouco de acordo com a empresa, uma definição geral da função pode ser dada como alguém em uma organização com um cargo sênior que desempenha um papel importante nos dados técnicos. Eles traduzem os requisitos comerciais em requisitos técnicos e definem padrões e estruturas por meio dos quais os dados são coletados, armazenados, recuperados, arquivados e transferidos entre aplicativos corporativos.  O arquiteto de dados também "fornece um vocabulário comercial comum padrão, expressa requisitos estratégicos, delineia projetos integrados de alto nível para atender a esses requisitos e se alinha à estratégia da empresa", de acordo com o Data Management Body of Knowledge da DAMA International.

A Estrutura de Arquitetura do Grupo Aberto (TOGAF) define um arquiteto de dados como um cargo que deve definir os princípios da arquitetura de dados, criar modelos de dados que permitam a implementação da arquitetura de negócios pretendida, criar diagramas que descrevam as principais entidades de dados e criar um inventário dos dados necessários para tornar a visão da arquitetura uma realidade.

Fonte da imagem: https://spectralops.io/wp-content/uploads/2021/04/data-architect.png

O que faz um arquiteto de dados?

Os arquitetos de dados têm uma ampla gama de funções organizacionais e colaboram com muitas outras funções e departamentos em uma organização, incluindo:

• Especialistas no domínio: Os arquitetos de dados geralmente trabalham diretamente com especialistas de domínio e proprietários de negócios. Eles desempenham um papel fundamental no design de aplicativos, pois convertem os requisitos comerciais em especificações técnicas.
• Diretor de informações/tecnologia: Os arquitetos de dados trabalham em estreita colaboração com a liderança para definir a estratégia de dados e comunicá-la a toda a organização.
• Outras funções relacionadas a dados: Engenheiros de dados, desenvolvedores e especialistas em bancos de dados, administradores de bancos de dados e equipes de engenharia de software.

As funções e responsabilidades exatas de um cargo de arquiteto de dados podem variar de acordo com a empresa, o local e o tamanho da organização, mas uma visão geral das funções e responsabilidades de um cargo de arquiteto de dados pode ser mais ou menos assim:

• Traduzir os requisitos comerciais em especificações técnicas.
• Definir e projetar as integrações, os bancos de dados e os data warehouses.
• Definir a estrutura, os padrões e os princípios da arquitetura de dados, inclusive a estrutura de segurança.
• Defina os fluxos de dados (ou seja, quais partes da organização geram dados, quais exigem dados para funcionar, como os fluxos de dados são gerenciados etc.).
• Busque a melhoria contínua da arquitetura de dados da organização. 
• Colaborar com uma ampla gama de partes interessadas técnicas e não técnicas, além de parceiros e fornecedores externos. 
• Colaborar com a liderança e a gerência sênior para elaborar e executar a estratégia de dados para atender às metas e aos objetivos organizacionais. 
• Manter um repositório corporativo de todos os projetos e artefatos de arquitetura de dados.
• Busque constantemente melhorias em escalabilidade, segurança, desempenho, recuperação de dados, confiabilidade, etc.

Arquiteto de dados vs. Engenheiro de dados

As funções de um arquiteto de dados e de um engenheiro de dados estão relacionadas, mas ocupam dois cargos técnicos diferentes em uma organização de dados, sendo que ambos são extremamente importantes.

Uma diferença importante é o nível de senioridade. Enquanto as funções de engenharia de dados estão disponíveis no nível básico, as funções de arquiteto de dados estão disponíveis principalmente como cargos sênior que exigem mais de 8 anos de experiência. Os arquitetos de dados experientes vêm de várias áreas; no entanto, a engenharia de dados é a mais comum. A ciência de dados é outro ponto de entrada para cargos de arquiteto de dados.

Habilidades de um arquiteto de dados

Habilidades técnicas para arquitetos de dados

• Bancos de dados relacionais e não relacionais
• Armazenamento de dados
• Software de servidor de aplicativos (por exemplo, Oracle)
• Software de sistema de gerenciamento de banco de dados (por exemplo, Microsoft SQL Server)
• Interface de usuário e software de consulta (por exemplo, IBM DB2)
• Software de integração de aplicativos empresariais (por exemplo, XML)
• Metodologias ágeis
• Ferramentas de modelagem de dados (por exemplo, ERWin, Enterprise Architect e Visio)
• Ferramentas de ETL
• Python, C/C++ Java, Perl
• Nuvem (por exemplo, Azure, AWS, GCP)\
• Hadoop

Outras habilidades não técnicas que são muito importantes em uma função de arquiteto de dados

• Habilidades de comunicação para facilitar a colaboração com outros departamentos
• Habilidades analíticas e de resolução de problemas para proteger a integridade, a organização e a segurança dos dados
• Gerenciamento de tempo e capacidade de realizar várias tarefas, de modo que possa cumprir tarefas e concluir projetos em um ambiente de ritmo acelerado
• Habilidades de gerenciamento de programas ou projetos - geralmente com relação ao gerenciamento de mudanças em uma empresa, bem como métodos e ferramentas de gerenciamento de projetos, etc.
• Habilidades e métodos de negócios - geralmente compreendendo casos de negócios, processos de negócios, planejamento estratégico, etc.
• Outras habilidades interpessoais - geralmente incluindo liderança, habilidades de trabalho em equipe, habilidades de apresentação, habilidades interpessoais, etc.

Salário de um arquiteto de dados

De acordo com a Glassdoor, os arquitetos de dados têm um salário base médio de cerca de US$ 129.000 por ano. O avanço para funções de EA e de gerenciamento pode aumentar seus salários para US$ 200.000 por ano ou mais. Em média, os arquitetos de dados ganham US$ 25.000 em bônus anuais e outros rendimentos. 

Fonte: https://www.glassdoor.com/Career/data-architect-career_KO0,14.htm

Como se tornar um arquiteto de dados

Um arquiteto de dados não é uma profissão regulamentada, portanto, ter um diploma não é um requisito definido.  No entanto, é muito comum que os arquitetos de dados tenham um diploma de graduação em ciência da computação, tecnologia da informação, engenharia de software ou qualquer outra disciplina relacionada. Arquitetos de dados autodidatas não são incomuns, mas é preciso muito mais tempo e disciplina para atingir o mesmo nível de habilidade. Há várias certificações disponíveis nesse campo que você também deve considerar ao longo do caminho para avançar e crescer na carreira.

Obter um diploma universitário

O primeiro passo para se tornar um arquiteto de dados é obter um diploma em uma das seguintes áreas: ciência de dados, ciência da computação, tecnologia da informação ou engenharia de software. Fazer aulas de gerenciamento de banco de dados, arquitetura de dados, design de software ou programação de computadores pode ser extremamente benéfico em uma carreira de engenharia de dados. 

Obter certificações profissionais

Há inúmeras certificações do setor disponíveis para quem deseja entrar no campo da engenharia de dados, tais como:

Certified Data Management Professional (CDMP)
Desenvolvido pela Data Management Association International (DAMA), o CDMP é uma certificação comum nos currículos dos arquitetos de dados. Como não se concentra em uma plataforma ou fornecedor específico, serve como uma credencial sólida para profissionais de banco de dados em geral. Há quatro níveis (associate, practitioner, master e fellow) a serem concedidos aos candidatos que comprovarem a experiência e a formação necessárias, bem como a aprovação no exame profissional do CDMP.

DataCamp Data Engineer with Python Career Track
Nesta abrangente trilha de carreira, você aprenderá a criar uma arquitetura de dados eficaz, a simplificar o processamento de dados e a manter sistemas de dados em grande escala. Além de aprimorar suas habilidades em Python, você terá experiência prática com outras linguagens, como Shell, SQL e Scala, à medida que domina a criação de pipelines de engenharia de dados, a automação de tarefas comuns do sistema de arquivos e a construção de bancos de dados de alto desempenho.

IBM Certified Data Architect - Big Data
Esse programa de certificação requer habilidades de pré-requisito, incluindo gerenciamento de cluster, replicação de dados, linhagem de dados e segurança LDAP. O exame final se concentra em Hadoop, BigSQL, BigInsights e Cloudant.

Salesforce Certified Data Architecture and Management Designer
Projetado para candidatos com experiência em trabalhar com a plataforma Salesforce, o exame de certificação de designer de arquitetura e gerenciamento de dados testa sua compreensão dos riscos e estratégias de mitigação de grandes volumes de dados, desafios de LDV, gerenciamento de um ambiente de LDV e compensações de design, entre outros. 

Programa de Certificação TOGAF® 9
A Certificação Profissional TOGAF tem duas partes: fundação e certificação. A base dessa credencial é verificar se os candidatos demonstraram conhecimento dos termos e conceitos essenciais do TOGAF 9 e dos princípios fundamentais do TOGAF e da arquitetura de negócios.

Você também tem a opção de escolher entre os melhores bootcamps de ciência de dados, que exploraremos em mais detalhes em um artigo separado. 

Aprender linguagens de programação

A maioria dos arquitetos de dados são primeiramente engenheiros e, portanto, já dominam algumas linguagens de programação. Os mais comuns incluem SQL, Spark, Hive e Python. 

Outras carreiras relacionadas a dados

Ao considerar se tornar-se um arquiteto de dados é o caminho certo para você, pode ser útil examiná-lo em comparação com outras carreiras.  Para saber mais sobre as outras funções de dados comuns, consulte os blogs a seguir: 

• Como se tornar um engenheiro de dados 
• Como se tornar um engenheiro de aprendizado de máquina 
• Como se tornar um analista de dados 
• Como se tornar um cientista de dados

O gráfico a seguir oferece uma breve comparação visual das outras funções de dados comuns:

Fonte: https://www.techtarget.com/searchdatamanagement/definition/data-architect

Conclusão

A arquitetura de dados é um nicho de carreira em rápido crescimento: com o ritmo da digitalização aumentando em todos os setores devido à COVID, a profissão se desenvolveu exponencialmente nos últimos dois anos.  Como ela está em constante evolução, você nunca se sentirá entediado nessa carreira. Além disso, é altamente competitivo e paga muito bem. 

Embora cada uma das habilidades técnicas necessárias para um arquiteto de dados não possa ser ensinada em um único curso, é altamente recomendável fazer o curso Engenharia de dados com Python na Datacamp. Esse curso o equipará com as habilidades básicas necessárias para se tornar um arquiteto de dados, além de orientação profissional após a conclusão.