Depois de fazer esses cursos, sinto-me confiante para criar visualizações e painéis profissionais
Shoebur RahmanEspecialista em compras, Giz Bangladesh
Descrição do curso
Pronto para lidar com dados do mundo real em escala? Este curso ensina você a transformar grandes conjuntos de dados usando Spark SQL e PySpark no Databricks. Aprenda a modelar e limpar dados, executar agregações com joins otimizados e aplicar funções de janela para análises avançadas. Você também vai configurar streaming baseado em arquivos com checkpoints tolerantes a falhas e persistir resultados como tabelas Delta. Ao final, você estará orquestrando pipelines de produção de múltiplas etapas com Databricks Workflows e Lakeflow Declarative Pipelines.
Pré-requisitos
Programa de estudos
Conteúdo do curso
1
Carregando e modelando dados
Neste capítulo, você vai aprender a trabalhar com notebooks do Databricks, carregar dados CSV em DataFrames do Spark e modelar dados usando PySpark e SQL.
- Trabalhando com notebooks do Databricks50 XP
- Entendendo os notebooks do Databricks50 XP
- Carregando seu primeiro conjunto de dados100 XP
- Explorando os logs do driver100 XP
- Modelando dados com PySpark e SQL50 XP
- Modelando dados com PySpark100 XP
- Analisando dados com SQL100 XP
- Entendendo visualizações temporárias50 XP
2
Limpeza de dados e otimização
Aprenda a definir esquemas explícitos, construir um pipeline de limpeza de dados e otimizar o desempenho de consultas com broadcast joins.
3
Análises e pipelines de produção
Aprenda a calcular totais acumulados e rankings com funções de janela, criar pipelines de streaming e implantar fluxos de trabalho de produção.
Transformação de Dados com Spark SQL no Databricks
Curso
concluído
