After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Descrizione del corso
In questo corso imparerai a usare Spark da Python! Spark è uno strumento per eseguire calcoli paralleli su grandi insiemi di dati e si integra molto bene con Python. PySpark è il pacchetto Python che rende tutto questo possibile. Userai questo pacchetto per lavorare con i dati dei voli da Portland e Seattle. Imparerai a manipolare questi dati e a costruire un'intera pipeline di Machine Learning per prevedere se i voli subiranno ritardi. Preparati a dare una marcia in più al tuo codice Python e a tuffarti nel mondo del Machine Learning ad alte prestazioni!
Prerequisiti
Curriculum
Programma del corso
1
Conoscere PySpark
In questo capitolo imparerai come Spark gestisce i dati e come puoi leggere e scrivere tabelle da Python.
- Ma quindi, cos’è Spark?50 XP
- Usare Spark in Python50 XP
- Esplorare lo SparkContext100 XP
- Usare i DataFrame50 XP
- Creare una SparkSession100 XP
- Visualizzare le tabelle100 XP
- Ti senti query-oso?100 XP
- Converti un DataFrame di Spark in pandas100 XP
- Metti un po’ di Spark nei tuoi dati100 XP
- Eliminare l'intermediario100 XP
2
Manipolare i dati
In questo capitolo scoprirai il modulo pyspark.sql, che fornisce query sui dati ottimizzate per la tua sessione Spark.
3
Primi passi con le pipeline di Machine Learning
PySpark include routine di Machine Learning all'avanguardia e strumenti per creare pipeline complete di Machine Learning. Le conoscerai in questo capitolo.
4
Ottimizzazione e selezione del modello
In quest'ultimo capitolo applicherai ciò che hai imparato per creare un modello che preveda quali voli subiranno ritardi.
Fondamenti di PySpark
Corso
completato
