Pular para o conteúdo principal

Curso

Limpeza de dados com o PySpark

AvançadoNível de habilidade

Actualizado 03/2025

Saiba como tratar dados com o Apache Spark em Python.

Iniciar Curso Gratuitamente

Incluído comPremium or Teams

SparkData Preparation4 h16 vídeos53 Exercícios4,150 XP29,942Certificado de conclusão

Crie sua conta gratuita

ou

Ao continuar, você aceita nossos Termos de Uso, nossa Política de Privacidade e que seus dados serão armazenados nos EUA.

Treinar 2 ou mais pessoas?

Tentar DataCamp for Business

Preferido por alunos de milhares de empresas

Descrição do curso

Trabalhar com dados é complicado - trabalhar com milhões ou até bilhões de linhas é pior ainda. Você recebeu algum código de processamento de dados escrito em um laptop com dados razoavelmente originais? É provável que você já tenha sido encarregado de mover um processo de dados básicos do protótipo para a produção. Você pode ter trabalhado com conjuntos de dados do mundo real, com campos ausentes, formatação bizarra e ordens de magnitude de dados maiores. Mesmo que tudo isso seja novo para você, este curso o ajudará a aprender o que é necessário para preparar processos de dados usando Python com o Apache Spark. Você aprenderá a terminologia, os métodos e algumas práticas recomendadas para criar uma plataforma de processamento de dados eficiente, sustentável e compreensível.

Pré-requisitos

Intermediate Python Introduction to PySpark

1

Detalhes do DataFrame

Iniciar Capítulo

Introdução à limpeza de dados com o Apache Spark

Revisão da limpeza de dados

Definição de um esquema

Imutabilidade e processamento preguiçoso

Revisão da imutabilidade

Usando o processamento preguiçoso

Entendendo o Parquet

Salvando um DataFrame no formato Parquet

SQL e Parquet

2

Manipulando DataFrames no mundo real

Iniciar Capítulo

Operações de coluna DataFrame

Filtrando o conteúdo da coluna com Python

Pergunta de filtragem nº 1

Pergunta de filtragem nº 2

Modificando colunas do DataFrame

Operações condicionais de coluna do DataFrame

Exemplo de when()

Quando / Caso contrário

Funções definidas pelo usuário

Compreensão das funções definidas pelo usuário

Usando funções definidas pelo usuário no Spark

Particionamento e processamento preguiçoso

Adicionando um campo ID

IDs com partições diferentes

Mais truques do ID

3

Melhorando o desempenho

Iniciar Capítulo

Armazenamento em cache

Armazenamento em cache de um DataFrame

Removendo um DataFrame do cache

Melhorar o desempenho da importação

Otimização do tamanho do arquivo

Desempenho da importação de arquivos

Configurações do cluster

Lendo as configurações do Spark

Escrevendo configurações do Spark

Melhorias no desempenho

Uniões normais

Usando a transmissão nas uniões do Spark

Comparação de uniões de transmissão com uniões normais

4

Processamento complexo e pipelines de dados

Iniciar Capítulo

Introdução aos pipelines de dados

Pipeline rápido

Problema de dados do pipeline

Técnicas de manipulação de dados

Remoção de linhas comentadas

Remoção de linhas inválidas

Divisão em colunas

Análise adicional

Validação dos dados

Validar linhas por meio de junção

Exame de linhas inválidas

Análise final e entrega

Análise de cães

Por contagem de imagens

Porcentagem de pixels de cães

Parabéns e próximas etapas

Limpeza de dados com o PySpark

Curso
Completo

Obtenha um certificado de conclusão

Adicione esta credencial ao seu perfil, currículo ou currículo do LinkedIn
Compartilhe nas redes sociais e em sua avaliação de desempenho

Incluído comPremium or Teams

Inscreva-se Agora

Junte-se a mais 17 milhões de alunos e comece Limpeza de dados com o PySpark hoje!

Crie sua conta gratuita

ou

Ao continuar, você aceita nossos Termos de Uso, nossa Política de Privacidade e que seus dados serão armazenados nos EUA.