Pular para o conteúdo principal

Curso

Fundamentos de Big Data com PySpark

AvançadoNível de habilidade

Atualizado 02/2025

Domine o básico do PySpark e trabalhe com grandes volumes de dados.

Iniciar curso gratuitamente

SparkData Engineering

4 h

16 vídeos

55 Exercícios

4,600 XP

65,280

Declaração de realização

Preferido por alunos de milhares de empresas

Treinando uma equipe?

Experimente para Empresas

Descrição do curso

Nos últimos anos, tem havido muito burburinho sobre Big Data, e ele finalmente se tornou popular para muitas empresas. Mas o que é esse Big Data? Este curso aborda os fundamentos do Big Data por meio do PySpark. O Spark é uma estrutura de "computação em cluster extremamente rápida" para Big Data. Ele fornece um mecanismo de plataforma de processamento de dados geral e permite que você execute programas até 100 vezes mais rápido na memória ou 10 vezes mais rápido no disco do que o Hadoop. Você usará o PySpark, um pacote Python para programação do Spark e suas poderosas bibliotecas de nível superior, como SparkSQL, MLlib (para aprendizado de máquina), etc. Você explorará as obras de William Shakespeare, analisará dados da Fifa 2018 e realizará clustering em conjuntos de dados genômicos. Ao final deste curso, você terá adquirido um conhecimento profundo do PySpark e de sua aplicação à análise geral de Big Data.

Pré-requisitos

Introduction to Python

1

Introdução à análise de Big Data com o Spark

Este capítulo apresenta o empolgante mundo do Big Data, bem como os vários conceitos e estruturas diferentes para o processamento de Big Data. Você entenderá por que o Apache Spark é considerado o melhor framework para BigData.

O que é Big Data?

Os 3 Vs do Big Data

PySpark: Spark com Python

Entendendo o SparkContext

Uso interativo do PySpark

Carregar dados no shell do PySpark

Revisão de programação funcional em Python

Uso de lambda() com map()

Uso de lambda() com filter()

Iniciar capítulo

2

Programação nos RDDs do PySpark

A principal abstração que o Spark oferece é um conjunto de dados distribuídos resilientes (RDD), que é o tipo de dados fundamental e a espinha dorsal desse mecanismo. Este capítulo apresenta os RDDs e mostra como eles podem ser criados e executados usando transformações e ações do RDD.

Abstração de dados com RDDs

RDDs de coleções paralelizadas

RDDs de conjuntos de dados externos

Partições em seus dados

Transformações e ações básicas do RDD

Mapear e coletar

Filtrar e contar

RDDs de pares no PySpark

ReduceBykey e Collect

SortByKey e Collect

Ações avançadas do RDD

CountingBykeys

Crie umRDD base e transforme-o

Remover palavras vazias e reduzir o conjunto de dados

Imprimir frequências de palavras

Iniciar capítulo

3

PySpark SQL e DataFrames

Neste capítulo, você aprenderá sobre o Spark SQL, que é um módulo do Spark para processamento de dados estruturados. Ele fornece uma abstração de programação chamada DataFrames e também pode atuar como um mecanismo de consulta distribuído SQL. Este capítulo mostra como o Spark SQL permite que você use DataFrames em Python.

Abstração de dados com DataFrames

De RDD para DataFrame

Carregar um CSV em um DataFrame

Operar DataFrames no PySpark

Inspeção de dados no PySpark DataFrame

Subconjunto e limpeza do PySpark DataFrame

Filtrar seu DataFrame

Interagir com DataFrames usando PySpark SQL

Executar consultas SQL programaticamente

Consultas SQL para filtragem da tabela

Visualização de dados no PySpark usando DataFrames

Visualização de DataFrames do PySpark

Parte 1: Criar um DataFrame a partir do arquivo CSV

Parte 2: Consultas SQL no DataFrame

Parte 3: Visualização de dados

Iniciar capítulo

4

Aprendizado de máquina com PySpark MLlib

PySpark MLlib é a biblioteca de aprendizado de máquina escalável do Apache Spark em Python, que consiste em algoritmos e utilitários comuns de aprendizado. Ao longo deste último capítulo, você aprenderá algoritmos importantes de aprendizado de máquina. Você criará um mecanismo de recomendação de filmes e um filtro de spam e usará o k-means clustering.

Visão geral do PySpark MLlib

Bibliotecas de ML do PySpark

Algoritmos MLlib do PySpark

Filtragem colaborativa

Carregar o conjunto de dados Movie Lens em RDDs

Treinamento e previsões de modelos

Avaliação do modelo usando MSE

Classificação

Carregar dados de spam e non-spam

Hash de recursos e LabelPoint

Treinamento do modelo de regressão logística

Carregar e analisar dados de 5.000 pontos

Treinamento K-means

Visualização de clusters

Iniciar capítulo

Fundamentos de Big Data com PySpark

Curso
concluído

Obtenha um certificado de conclusão

Adicione esta credencial ao seu perfil do LinkedIn, currículo ou CV
Compartilhe nas redes sociais e em sua avaliação de desempenhoInscreva-se agora

Faça como mais de 19 milhões de alunos e comece Fundamentos de Big Data com PySpark hoje mesmo!

Desenvolva suas habilidades em dados com o app do DataCamp

Continue progredindo em qualquer lugar com nossos cursos para celular e desafios diários de programação de 5 minutos.