Pular para o conteúdo principal

Curso

Limpeza de dados com o PySpark

AvançadoNível de habilidade

Atualizado 02/2026

Saiba como tratar dados com o Apache Spark em Python.

Iniciar Curso Gratuitamente

SparkData Preparation4 h16 vídeos53 Exercícios4,150 XP32,856Certificado de conclusão

Crie sua conta gratuita

ou

Ao continuar, você aceita nossos Termos de Uso, nossa Política de Privacidade e que seus dados serão armazenados nos EUA.

Preferido por alunos de milhares de empresas

Treinar 2 ou mais pessoas?

Experimentar DataCamp for Business

Descrição do curso

Trabalhar com dados é complicado - trabalhar com milhões ou até bilhões de linhas é pior ainda. Você recebeu algum código de processamento de dados escrito em um laptop com dados razoavelmente originais? É provável que você já tenha sido encarregado de mover um processo de dados básicos do protótipo para a produção. Você pode ter trabalhado com conjuntos de dados do mundo real, com campos ausentes, formatação bizarra e ordens de magnitude de dados maiores. Mesmo que tudo isso seja novo para você, este curso o ajudará a aprender o que é necessário para preparar processos de dados usando Python com o Apache Spark. Você aprenderá a terminologia, os métodos e algumas práticas recomendadas para criar uma plataforma de processamento de dados eficiente, sustentável e compreensível.

Pré-requisitos

Intermediate Python Introduction to PySpark

1

DataFrame details

A review of DataFrame fundamentals and the importance of data cleaning.

Intro to data cleaning with Apache Spark

Data cleaning review

Defining a schema

Immutability and lazy processing

Immutability review

Using lazy processing

Understanding Parquet

Saving a DataFrame in Parquet format

SQL and Parquet

Iniciar Capítulo

2

Manipulating DataFrames in the real world

A look at various techniques to modify the contents of DataFrames in Spark.

DataFrame column operations

Filtering column content with Python

Filtering Question #1

Filtering Question #2

Modifying DataFrame columns

Conditional DataFrame column operations

when() example

When / Otherwise

User defined functions

Understanding user defined functions

Using user defined functions in Spark

Partitioning and lazy processing

Adding an ID Field

IDs with different partitions

More ID tricks

Iniciar Capítulo

3

Improving Performance

Improve data cleaning tasks by increasing performance or reducing resource requirements.

Caching a DataFrame

Removing a DataFrame from cache

Improve import performance

File size optimization

File import performance

Cluster configurations

Reading Spark configurations

Writing Spark configurations

Performance improvements

Normal joins

Using broadcasting on Spark joins

Comparing broadcast vs normal joins

Iniciar Capítulo

4

Complex processing and data pipelines

Learn how to process complex real-world data using Spark and the basics of pipelines.

Introduction to data pipelines

Quick pipeline

Pipeline data issue

Data handling techniques

Removing commented lines

Removing invalid rows

Splitting into columns

Further parsing

Data validation

Validate rows via join

Examining invalid rows

Final analysis and delivery

Dog parsing

Per image count

Percentage dog pixels

Congratulations and next steps

Iniciar Capítulo

Limpeza de dados com o PySpark

Curso
concluído

Obtenha um certificado de conclusão

Adicione esta credencial ao seu perfil do LinkedIn, currículo ou CV
Compartilhe nas redes sociais e em sua avaliação de desempenhoInscreva-se Agora

Faça como mais de 19 milhões de alunos e comece Limpeza de dados com o PySpark hoje mesmo!

Crie sua conta gratuita

ou

Ao continuar, você aceita nossos Termos de Uso, nossa Política de Privacidade e que seus dados serão armazenados nos EUA.

Desenvolva suas habilidades em dados com o app do DataCamp

Continue progredindo em qualquer lugar com nossos cursos para celular e desafios diários de programação de 5 minutos.