After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Descrizione del corso
Lavorare con i dati è complicato; farlo con milioni o addirittura miliardi di righe lo è ancora di più.
Ti è mai capitato di ricevere del codice di elaborazione dati scritto su un laptop con dati quasi impeccabili?
È probabile che ti abbiano affidato il compito di portare un semplice processo sui dati dal prototipo alla produzione.
Potresti aver lavorato con insiemi di dati reali, con campi mancanti, formati bizzarri e ordini di grandezza in più di dati. Anche se tutto questo è nuovo per te, in questo corso imparerai ciò che serve per preparare processi sui dati usando Python con Apache Spark.
Imparerai terminologia, metodi e alcune buone pratiche per creare una piattaforma di elaborazione dati performante, manutenibile e comprensibile.
Prerequisiti
Curriculum
Programma del corso
1
Dettagli sui DataFrame
Un ripasso dei fondamenti dei DataFrame e dell'importanza della pulizia dei dati.
- Introduzione alla pulizia dei dati con Apache Spark50 XP
- Ripasso del data cleaning50 XP
- Definizione di uno schema100 XP
- Immutabilità ed elaborazione lazy50 XP
- Ripasso sull’immutabilità50 XP
- Uso dell'elaborazione lazy100 XP
- Capire Parquet50 XP
- Salvare un DataFrame in formato Parquet100 XP
- SQL e Parquet100 XP
2
Manipolare i DataFrame nel mondo reale
Una panoramica di varie tecniche per modificare il contenuto dei DataFrame in Spark.
3
Migliorare le prestazioni
Migliora le attività di pulizia dei dati aumentando le prestazioni o riducendo le risorse necessarie.
4
Elaborazione complessa e pipeline di dati
Scopri come elaborare dati complessi del mondo reale usando Spark e le basi delle pipeline.
Pulizia dei dati con PySpark
Corso
completato
