curso
Primeiros passos com o Microsoft Fabric: Um guia prático
A explosão dos volumes de dados e a crescente demanda por insights em tempo real transformaram a forma como as empresas operam. Em resposta, as equipes de dados dependem cada vez mais de plataformas de dados integradas para otimizar o gerenciamento de dados e manter a competitividade.
Reconhecendo essa necessidade, a Microsoft lançou o Fabric em 2023 - uma solução poderosa e completa para gerenciar dados em todo o seu ciclo de vida.
Neste tutorial prático, abordaremos o assunto:
- Configuração do Microsoft Fabric
- Explorando a interface
- Ingestão de dados
- Criação de pipelines de dados
- Análise de dados
- Colaboração e compartilhamento
Antes de começarmos com o guia prático passo a passo do Microsoft Fabric, vamos estabelecer algumas bases.
O que é o Microsoft Fabric?
O Microsoft Fabric é uma plataforma abrangente de gerenciamento e análise de dados que unifica todo o ciclo de vida dos dados no ecossistema da Microsoft. Ele foi projetado para atender às demandas das empresas, simplificando processos como:
- Ingestão de dados
- Transformação de dados
- Armazenamento de dados
- Análises
De fato, a Fabric consolida vários serviços, incluindo engenharia de dados, análise em tempo real e ciência de dados, em uma única plataforma integrada.
Com ferramentas como o OneLake centralizando dados e incorporando recursos de IA, a Fabric permite que as equipes transformem dados brutos em insights acionáveis, eliminando a complexidade de gerenciar vários serviços de fornecedores.
Torne-se um engenheiro de dados
Configuração do Microsoft Fabric
Antes de começar a usar o Microsoft Fabric, há dois pré-requisitos que você deve ter em vigor:
- Assinatura do Azure. Você pode se inscrever para uma avaliação gratuita nosite do Azure, se ainda não tiver um.
- Acesso ao Microsoft Entra ID. O Fabric usa o Microsoft Entra ID (conhecido anteriormente como Azure Active Directory) para autenticação, portanto, certifique-se de que você tenha acesso aos privilégios de administrador necessários. Mais sobre isso depois.
Criando uma conta do Microsoft Fabric
Depois que você fizer login no Portal do Azure, navegue até a barra de pesquisa na parte superior da página e pesquise "Microsoft Fabric". Observe que você também pode ver o ícone do Microsoft Fabric na seção Serviços do Azure, na parte superior da tela, e pode clicar nele diretamente.
Selecione o serviço no menu suspenso e clique em Create (Criar) para começar a provisionar o espaço de trabalho do Fabric.
Figura 1: Um GIF que demonstra como você pode começar a provisionar um espaço de trabalho do Microsoft Fabric
Se você se deparar com o erro "Você não pode criar uma capacidade Microsoft usando uma conta pessoal. Em vez disso, use sua conta organizacional," é porque você está usando o que é considerado uma conta pessoal da Microsoft.
Para eliminar esse erro, crie um novo usuário no locatário do Microsoft Entra ID e dê a ele uma função de administrador para o Microsoft Fabric e o Power Platform. Depois de concluído, use esse usuário recém-criado para fazer login no Azure e repita as mesmas etapas.
Etapa 1. Criar uma capacidade de tecido.
A próxima etapa a partir daqui é escolher o tipo de Assinatura e o grupo de recursos.
Se você estiver usando a avaliação gratuita, a "Assinatura do Azure 1" deverá ser sua única assinatura - é a mesma da avaliação gratuita.
O grupo de recursos é uma coleção de recursos que compartilham o mesmo ciclo de vida, permissões e políticas. Ainda não temos um, portanto, teremos que criar um - eu chamei o meu de "Demo".
Figura 2: Seção de detalhes do projeto
Etapa 2. Dê um nome ao seu espaço de trabalho Fabric
O "datacamp1" é o nome que dei ao Capacity. Você pode dar o nome que quiser ao seu, mas ele deve conter apenas letras minúsculas e números. Para aregião , selecione a mais próxima de sua localização para otimizar o desempenho .
Se você receber o erro "O local padrão não pode ser detectado porque o locatário ou usuário não foi reconhecido pelo Microsoft Fabric. Inscreva-se no Microsoft Fabric e tente novamente" na seçãoRegião, é porque você não se inscreveu no Microsoft Fabric. Será exibido um prompt para você se inscrever.
Figura 3: Seção de detalhes da capacidade
Quando você tiver preenchido esses detalhes, selecione Revisar + criar.
Depois que sua conta for criada, você poderá acessar seu espaço de trabalho do Fabric por meio do Portal do Azure.
Configuração inicial
A próxima etapa é configurar a plataforma Microsoft Fabric de acordo com suas necessidades.
Para atribuir permissões, navegue até a seção Controle de acesso (IAM) em seu espaço de trabalho do Fabric.
Figura 4: Navegando até as configurações do IAM na malha
A partir daqui, selecione Adicionar > Adicionar atribuição de função.
No subtítuloJob Function roles, pesquise "Admin". Isso deve retornar App Compliance Automation. A partir daí, selecione Next.
Figura 5: Selecionando as definições de função
No cabeçalho Members (Membros), clique no link+ Select members (Selecionar membros). Isso abrirá uma guia lateral com todos os membros da conta. Selecione o membro apropriado e clique em Next.
Figura 6: Selecionando o membro
Observação: Você também pode gerenciar as permissões de usuário por meio do Microsoft Entra ID, permitindo que você aplique políticas de segurança e garanta que o acesso seja concedido apenas a usuários autorizados.
Etapa 2: Iniciando o teste gratuito
Depois de fazer login, você será saudado com o painel do Microsoft Fabric.
Figura 7: Interface Microsoft Fabric
Veja o que você deve fazer para iniciar a avaliação da capacidade do Fabric.
- Selecione o Gerenciador de contas (canto superior direito) na página inicial.
- No gerenciador de contas, selecione Avaliação gratuita.
Figura 8: Tela do gerente de contas
- Isso abrirá outra tela com os detalhes do que está disponível. Selecione Start trial e clique em Fabric Home Page na próxima solicitação para confirmar o upgrade.
Figura 9: Mensagem de atualização
Voila!
Figura 10: Confirmação da avaliação gratuita
Agora você tem uma avaliação gratuita do Fabric por 60 dias (no momento da redação deste artigo).
Explorando a interface de tecido da Microsoft
O Microsoft Fabric oferece uma interface fácil de usar. O layout, conforme a imagem abaixo, busca garantir o acesso fácil a todas as ferramentas e serviços necessários para gerenciar todo o ciclo de vida dos dados.
Figura 11: Interface Microsoft Fabric
Nesta seção, detalharei os principais componentes da interface e explorarei como os espaços de trabalho desempenham um papel central na organização dos seus projetos.
Visão geral do painel
Na página inicial de qualquer experiência que você selecionar(por exemplo, Power BI, DataFactory etc.) no Microsoft Fabric, você encontrará todos os itens que criou, tem permissão para usar ou retirou dos espaços de trabalho que pode acessar.
Como a página inicial de todos é baseada em suas permissões específicas, o que você vê pode ser diferente do que os outros veem. No início, talvez você não veja muita coisa lá, mas seu conteúdo crescerá à medida que você começar a criar e compartilhar mais itens do Microsoft Fabric.
De modo geral, eis o que você encontrará em um painel:
Figura 12: Um exemplo de painel do Microsoft Fabric para o Data Factory. Imagem source: Microsoft
- O painel de navegação à esquerda conecta você a diferentes visualizações de seus itens e ferramentas de criação adaptadas à sua carga de trabalho específica. Você pode personalizá-lo removendo os ícones que não se ajustam ao seu fluxo de trabalho.
- Esse seletor permite que você alterne entre diferentes cargas de trabalho (por exemplo, Power BI, Data Factory, Real-time Intelligence etc.).
- Você também encontrará opções aqui para criar novos itens.
- A barra de menu superior ajuda você a navegar pelo Fabric, pesquisar itens, acessar a ajuda e enviar feedback. Ele também inclui o Account Manager, onde você pode gerenciar as informações da sua conta e a avaliação do Fabric.
- Recursos de aprendizagem estão disponíveis para ajudar você a começar a trabalhar com a carga de trabalho selecionada.
- Seus itens são organizados por espaços de trabalho recentes, itens recentes e favoritos, e eles permanecem consistentes em todas as cargas de trabalho - exceto no Power BI.
Entendendo os espaços de trabalho
Os espaços de trabalho são onde você e seus colegas podem colaborar para criar e organizar itens como lagoas, armazéns, relatórios e fluxos de tarefas.
Aqui estão as etapas para você criar um espaço de trabalho:
Etapa 1. Selecione Workspaces > New workspace. Isso abrirá opainel Criar um espaço de trabalho .
Figura 13: Criando um novo espaço de trabalho na experiência do Synapse Data Science
Etapa 2. Dê um nome ao espaço de trabalho, pois isso é obrigatório. Você também pode fornecer uma descrição e atribuir o espaço de trabalho a um domínio, mas essas opções são opcionais - eu chamei meu espaço de trabalho de "DataCamp".
Ingestão de dados no Microsoft Fabric
O Microsoft Fabric facilita a conexão de dados de várias fontes (por exemplo, nuvem, no local ou APIs externas). Nesta seção, apresentaremos um guia passo a passo rápido para ajudar você a conectar o Microsoft Fabric ao Azure SQL Server como uma fonte de dados na nuvem.
Observação: Você precisará de um banco de dados SQL do Azure existente para esta etapa - siga este tutorial para ajudá-lo a criar um único banco de dados.
A conexão com fontes de dados locais está além do escopo deste artigo, mas você pode saber mais sobreisso no tutorial da Microsoft sobre como adicionar ou remover uma fonte de dados de gateway.
Etapa 1. Selecione a opção Configurações no cabeçalho do seu serviço Microsoft Fabric e, em seguida, navegue até Gerenciar conexões e gateways.
Figura 14: Caminho para gerenciar conexões e gateways
Etapa 2. A partir daí, selecione a seção Connections (Conexões) e, em seguida, selecione + New no canto superior esquerdo da tela para adicionar uma nova fonte de dados.
Etapa 3. Isso abrirá o painelNew connection à direita da tela. Selecione Cloud, forneça um nome de conexão e selecione o tipo de conexão na lista suspensa. Para o nosso exemplo, usaremos um SQL Server. Veja como as coisas devem ficar quando você terminar.
Etapa 4. Preencha os detalhes sobre sua fonte de dados. Como estamos nos conectando ao SQL Server, basta digitar o nome do servidor e obanco de dados.
Figura 15: Os detalhes da conexão com o SQL Server. Fonte da imagem: Microsoft
Etapa 5. Selecione como você gostaria de se autenticar ao se conectar à fonte de dados. Por exemplo, você pode usar o OAuth2 e simplesmente fazer login com sua conta.
Etapa 6. Na seção"General", em "Privacy level", você pode definir um nível de privacidade para a sua fonte de dados, se necessário. Se você estiver satisfeito com as coisas, selecione "Create" e pronto! Se a conexão for bem-sucedida, você verá "Created new connection" (Criada nova conexão) em Settings.
Figura 15: Confirmação de que uma nova conexão está sendo adicionada
Transformação e limpeza de dados
Há várias maneiras de transformar dados no Microsoft Fabric, mas vamos nos aprofundar no Dataflow Gen2 por enquanto.
O Dataflow Gen2 oferece a você uma interface com pouco código e acesso a mais de 300 transformações baseadas em dados e IA. Isso torna muito fácil limpar, preparar e transformar seus dados, proporcionando a você muita flexibilidade.
Veja como você pode criar um fluxo de dados:
Etapa 1: Selecione o espaço de trabalho do Fabric, clique em New (Novo) e escolha Dataflow Gen2. Isso abrirá a janela do editor de fluxo de dados.
Figura 16: O editor de fluxo de dados
Etapa 2. Escolha o cartão Import from SQL server para importar dados e, na caixa de diálogoConectar à fonte de dados exibida, insira os detalhes para conectar o banco de dados SQL do Azure.
Figura 17: Conectando-se a uma fonte de dados
Etapa 3. Escolha os dados que você deseja transformar e acesse Create. Para esta demonstração, usaremos o site SalesLT.Customer
dos dados de amostra AdventureWorksLT no banco de dados SQL do Azure. Além disso, não se esqueça de clicar em Select related tables (Selecionar tabelas relacionadas) para adicionar duas tabelas relacionadas automaticamente.
Figura 18: Escolha os dados do banco de dados do SQL Server. Fonte da imagem: Microsoft
Etapa 4. Agora, você está pronto para começar a transformar seus dados. A próxima etapa é garantir que o botão Visualização de diagrama no menu Visualizar esteja selecionado.
Figura 19: O local da "Visualização do diagrama"
Etapa 5. Em seguida, clique com o botão direito do mouse na consulta SalesLT Customer
(ou clique nos três pontos verticais à direita) e selecione Merge queries (Mesclar consultas).
Figura 20: Mesclando consultas. Imagem source: Microsoft
Na configuração da mesclagem, selecione a tabela SalesLTOrderHeader
para mesclar, escolha a coluna CustomerID
de ambas as tabelas como a coluna de união e defina o tipo de união como Left outer. Clique em OK para concluir a mesclagem.
E pronto!
Você acabou de concluir uma transformação de dados de mesclagem.
Criando pipelines de dados no Microsoft Fabric
A orquestração de dados pode ser conduzida com a ferramenta Data Pipelines. O Data Pipelines oferece a você ferramentas avançadas e integradas para criar fluxos de trabalho flexíveis que atendam às necessidades do seu caso de uso específico.
Em um pipeline, você pode agrupar atividades que trabalham juntas para concluir uma tarefa, como chamar um Dataflow para limpar e preparar os dados. Embora os pipelines e os fluxos de dados tenham recursos semelhantes, a melhor opção depende do que você precisa: se você precisa de uma solução mais complexa e robusta, os pipelines são a melhor opção; se suas necessidades são mais simples, os fluxos de dados podem ser tudo o que você precisa.
Nesta seção, copiaremos os dados gerados pelo fluxo de dados acima para o formato de texto e os armazenaremos em uma conta do Azure Blob Storage.
Etapa 1. No espaço de trabalho, selecione New e, em seguida, Data pipeline. Isso solicitará que você dê um nome ao seu novo pipeline.
Figura 21: Nomear o novo pipeline de dados
Etapa 2. Agora, precisamos configurar um fluxo de dados. Para adicionar uma nova atividade de fluxo de dados ao pipeline, acesse a guia Activities e selecione Dataflow.
Figura 22: Adição de uma atividade de fluxo de dados ao pipeline de dados
Etapa 3. Na tela do pipeline, clique no fluxo de dados que você acabou de adicionar e, em seguida, alterne para a guia Settings. A partir daí, escolha o fluxo de dados que você criou acima na lista suspensa (observe que isso pressupõe que você salvou o fluxo de dados).
Figura 23: Adicionando o fluxo de dados existente
Etapa 4. Depois disso, acesse Save e, quando estiver pronto, clique em Run (Executar ) para preencher a tabela de consulta mesclada que você configurou na etapa anterior.
A próxima etapa é copiar o fluxo de dados em um formato de texto que é armazenado no Azure Blob Storage. Veja como fazemos isso:
Etapa 5. Selecione Copiar dados na tela para abrir a ferramenta Assistente de cópia e começar, ou use o Assistente de cópia no menu suspenso Copiardados na guiaAtividades da faixa de opções.
Figura 24: Usando o assistente de cópia
Etapa 6. Em seguida, selecione sua fonte de dados escolhendo um tipo. Observe que estamos usando o banco de dados SQL do Azure. Portanto, você deve rolar para baixo até a guia Azure e escolher o banco de dados SQL do Azure antes de clicar em Next.
Figura 25: Seleção de uma fonte de dados
Etapa 7. Para se conectar à sua fonte de dados, selecione Criar nova conexão. Use "AdventureWorksLT" como o banco de dados em que a consulta de mesclagem foi gerada e, em seguida, clique em Next. Selecione a tabela que você criou acima com o fluxo de dados e clique em Next.
Etapa 8. Escolha "Azure Blob Storage" como destino e, em seguida, clique em Next. Crie uma conexão para seu destino e preencha os detalhes necessários. Escolha umcaminho para a pasta e forneça um nome de arquivo.
Figura 27: Conectando-se a um destino de dados
Etapa 9. Clique em Next novamente para confirmar o formato de arquivo padrão, o delimitador de coluna, o delimitador de linha e o tipo de compactação. Você também pode incluir um cabeçalho, se desejar. Finalize suas configurações, revise-as e selecione Save + Run para concluir o processo.
Voila!
Você criou um novo pipeline para mover os dados gerados pelo fluxo de dados para uma conta do Azure Blob Storage.
Colaboração e compartilhamento no Microsoft Fabric
O Microsoft Fabric simplifica a colaboração por meio de espaços de trabalho, que funcionam como hubs centrais para as equipes.
Os usuários podem atribuir funções no espaço de trabalho para acesso e colaboração. Além disso, o compartilhamento no nível do item permite um controle mais granular, possibilitando que você gerencie permissões para itens específicos, mesmo além das funções atribuídas no espaço de trabalho.
Isso é útil quando você:
- Você deseja trabalhar com um colega fora do espaço de trabalho (também conhecido como alguém que não tem uma função).
- Você precisa dar aos membros da equipe que já têm funções no espaço de trabalho permissões extras em itens específicos.
Vejamos como compartilhamos um item.
Etapa 1. Clique no botão Share na lista de itens ou ao visualizar um item aberto.
Figura 28: O botão de compartilhamento
A Criar e enviar link aparecerá quando você tiver feito isso.
Etapa 2. Escolha a opção People in your organization can view. Isso abre a caixa de diálogo Select permissions, na qual você decide quem terá acesso ao link compartilhado.
Figura 29: Selecione a caixa de diálogo de permissões
Isso dará a você algumas opções para escolher:
- Pessoas em sua organização: Esse link permite que as pessoas da sua organização acessem o item, o que significa que ele não funcionará para usuários externos ou convidados. O melhor momento para usar essa opção é quando você está compartilhando com colegas internamente, não se importa que o link seja repassado dentro da empresa ou deseja garantir que o link não funcione para usuários externos ou convidados.
- Pessoas com acesso existente: Isso fornece um link direto para o item sem alterar as permissões. Isso é útil se você quiser simplesmente enviar o item para alguém com acesso.
- Pessoas específicas: Isso permite que você compartilhe com indivíduos ou grupos específicos. Observe que você precisará inserir seus nomes ou endereços de e-mail. Você também pode compartilhar esse link com usuários convidados registrados no Microsoft Entra ID da sua organização, embora ele não funcione para usuários externos que não estejam listados como convidados.
Etapa 3. Depois de decidir quem pode visualizar o espaço de trabalho, você deve escolher as permissões que deseja conceder por meio do link. Quando você terminar, selecione Apply.
Isso abrirá o link Criar e enviar link que oferece a você a opção de:
- Copie o link de compartilhamento
- Gerar um e-mail com o link
- Compartilhe o link via Teams
- Selecione pessoas específicas para compartilhar o link com você
Etapa 4. Escolha a opção que for melhor para você e pronto.
Conclusão
Neste tutorial, abordamos os elementos essenciais para você começar a usar o Microsoft Fabric, incluindo:
- Configurando seu espaço de trabalho
- Conexão de fontes de dados
- Transformando dados com o Dataflow
- Criação de pipelines
Também exploramos os recursos de colaboração que facilitam o compartilhamento de itens na sua organização, aumentando a produtividade da equipe. Com essa base, você está pronto para aproveitar todos os recursos do Microsoft Fabric.
Você está pronto para se aprofundar no Microsoft Fabric? Confira o curso de Introdução ao Microsoft Fabric da DataCamp para obter aprendizado prático e insights de especialistas para aprimorar suas habilidades!
Em seguida, considere expandir seu conhecimento sobre ferramentas relacionadas. O curso Introdução ao Power BI fornece uma base sólida para visualizações e relatórios. Além disso, os cursos Entendendo o Microsoft Azure e Entendendo a Arquitetura e os Serviços do Microsoft Azure podem ajudar você a se aprofundar no ecossistema de nuvem da Microsoft.
Perguntas frequentes
Qual é a diferença entre o Microsoft Fabric e o Snowflake?
O Microsoft Fabric se integra perfeitamente ao ecossistema do Azure, oferecendo recursos abrangentes de gerenciamento e análise de dados com grande capacidade de adaptação. Em contrapartida, o Snowflake é conhecido por sua excepcional escalabilidade e facilidade de uso, concentrando-se no armazenamento e processamento eficientes de dados em vários ambientes de nuvem.
Qual é a diferença entre Databricks e Fabric?
A Databricks é uma plataforma em nuvem projetada para processamento de dados, oferecendo um espaço de trabalho colaborativo para cientistas de dados, engenheiros e analistas. Em contrapartida, a Fabric funciona como uma plataforma de análise abrangente, unificando todas as ferramentas e recursos necessários que as organizações precisam para dados e análises.
Qual é a diferença entre o Azure e o Fabric?
O Azure é uma ampla plataforma de computação em nuvem que oferece serviços para criar, implantar e gerenciar aplicativos. Por outro lado, o Microsoft Fabric é uma plataforma analítica unificada focada na integração de engenharia de dados, armazenamento e business intelligence.
Qual é a diferença entre o Microsoft Fabric e o Microsoft Power BI?
O Microsoft Fabric é uma plataforma de dados abrangente projetada para gerenciar todo o ciclo de vida dos dados, incluindo ingestão, armazenamento, transformação e análise. O Power BI, por outro lado, é uma ferramenta do ecossistema da Microsoft que se concentra especificamente na visualização de dados e na geração de relatórios. Embora o Power BI esteja integrado ao Fabric, ele oferece uma gama mais ampla de recursos para gerenciamento e análise de dados.
Posso usar o Microsoft Fabric com fontes de dados fora do ecossistema da Microsoft?
Sim, o Microsoft Fabric oferece suporte a várias fontes de dados, incluindo provedores de nuvem que não são da Microsoft, bancos de dados locais e APIs externas. Você pode conectar o Fabric a fontes como o AWS ou o Google Cloud Storage usando conectores de dados, o que o torna uma ferramenta versátil para ambientes de dados híbridos e de várias nuvens.
O Microsoft Fabric é adequado para análises em tempo real?
Sim, o Microsoft Fabric foi criado para oferecer suporte à análise em tempo real por meio de serviços como o Azure Synapse e o Power BI. Ele permite que você processe dados de streaming, crie painéis e monitore as principais métricas em tempo real, o que o torna uma opção adequada para cenários que exigem insights de dados em tempo hábil.
Quais são as principais diferenças entre o uso de fluxos de dados e pipelines no Microsoft Fabric?
Os fluxos de dados no Fabric são ideais para tarefas de transformação de dados com pouco código e fluxos de trabalho mais simples, como limpeza e preparação de dados para análise. Os pipelines, no entanto, são mais robustos e flexíveis, permitindo que você crie fluxos de trabalho de dados complexos com várias atividades. Os pipelines são mais bem utilizados para orquestrar várias etapas no processamento de dados ou para mover dados entre ambientes, enquanto os Dataflows são geralmente mais adequados para tarefas simples de preparação de dados.
Saiba mais sobre engenharia de dados e computação em nuvem com estes cursos!
curso
Understanding Data Engineering
curso
Understanding Cloud Computing
blog