Skip to main content
HomeSparkIntrodução ao PySpark

Introdução ao PySpark

Start Course for Free
4 Horas45 Exercises
133.687 LearnersTrophyStatement of Accomplishment

Create Your Free Account

GoogleLinkedInFacebook

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.
GroupTraining 2 or more people?Try DataCamp For Business

Loved by learners at thousands of companies

Descrição do Curso

Neste curso, você aprenderá a usar o Spark com Python! O Spark é uma ferramenta para fazer computação paralela com grandes conjuntos de dados e se integra bem ao Python. O PySpark é o pacote Python que faz a mágica acontecer. Você usará esse pacote para trabalhar com dados sobre voos de Portland e Seattle. Você aprenderá a lidar com esses dados e a criar um pipeline completo de aprendizado de máquina para prever se os voos sofrerão atrasos ou não. Prepare-se para colocar um pouco de Spark em seu código Python e mergulhar no mundo do aprendizado de máquina de alto desempenho!
For Business

GroupTraining 2 or more people?

Get your team access to the full DataCamp library, with centralized reporting, assignments, projects and more
Try DataCamp for BusinessFor a bespoke solution book a demo.

Nas seguintes faixas

Big Data com PySpark

Ir para a trilha

Cientista de aprendizado de máquina com Python

Ir para a trilha
  1. 1

    Conhecendo o PySpark

    Livre

    Neste capítulo, você aprenderá como o Spark gerencia os dados e como é possível ler e gravar tabelas no Python.

    Reproduzir Capítulo Agora
    Afinal, o que é o Spark?
    50 xp
    Usando o Spark em Python
    50 xp
    Examinando o SparkContext
    100 xp
    Uso de DataFrames
    50 xp
    Criação de uma SparkSession
    100 xp
    Exibição de tabelas
    100 xp
    Você tem alguma dúvida?
    100 xp
    Pandafy a Spark DataFrame
    100 xp
    Coloque um pouco de Spark em seus dados
    100 xp
    Eliminando o intermediário
    100 xp
  2. 2

    Manipulação de dados

    Neste capítulo, você aprenderá sobre o módulo pyspark.sql, que fornece consultas de dados otimizadas à sua sessão do Spark.

    Reproduzir Capítulo Agora
    Criação de colunas
    100 xp
    SQL em poucas palavras
    50 xp
    SQL em poucas palavras (2)
    50 xp
    Filtragem de dados
    100 xp
    Selecionando
    100 xp
    Selecionando II
    100 xp
    Agregação
    100 xp
    Agregação II
    100 xp
    Agrupamento e agregação I
    100 xp
    Agrupamento e agregação II
    100 xp
    Unir-se
    50 xp
    União II
    100 xp
  3. 3

    Introdução aos pipelines de aprendizado de máquina

    O PySpark tem rotinas de aprendizado de máquina de ponta incorporadas, além de utilitários para criar pipelines completos de aprendizado de máquina. Você aprenderá sobre eles neste capítulo.

    Reproduzir Capítulo Agora
    Pipelines de aprendizado de máquina
    50 xp
    Unir os DataFrames
    100 xp
    Tipos de dados
    50 xp
    De string para inteiro
    100 xp
    Criar uma nova coluna
    100 xp
    Criando um booleano
    100 xp
    Cordas e fatores
    50 xp
    Transportadora
    100 xp
    Destino
    100 xp
    Montar um vetor
    100 xp
    Criar o pipeline
    100 xp
    Teste vs. Teste. Trem
    50 xp
    Transformar os dados
    100 xp
    Dividir os dados
    100 xp
  4. 4

    Ajuste e seleção de modelos

    Neste último capítulo, você aplicará o que aprendeu para criar um modelo que preveja quais voos sofrerão atrasos.

    Reproduzir Capítulo Agora
    O que é regressão logística?
    50 xp
    Criar o modelador
    100 xp
    Validação cruzada
    50 xp
    Criar o avaliador
    100 xp
    Criar uma grade
    100 xp
    Criar o validador
    100 xp
    Ajustar o(s) modelo(s)
    100 xp
    Avaliação de classificadores binários
    50 xp
    Avaliar o modelo
    100 xp
For Business

GroupTraining 2 or more people?

Get your team access to the full DataCamp library, with centralized reporting, assignments, projects and more

Nas seguintes faixas

Big Data com PySpark

Ir para a trilha

Cientista de aprendizado de máquina com Python

Ir para a trilha

Datasets

AirportsFlightsPlanes

Collaborators

Collaborator's avatar
Colin Ricardo

Prerequisites

Introduction to Python
Lore Dirick HeadshotLore Dirick

Director of Data Science Education at Flatiron School

Veja Mais

What do other learners have to say?

    Join over 13 million learners and start Introdução ao PySpark today!

    Create Your Free Account

    GoogleLinkedInFacebook

    or

    By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.