After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Descrizione del corso
Negli ultimi anni si è parlato molto di Big Data, e ormai sono entrati nel mainstream per molte aziende. Ma cosa sono davvero i Big Data? Questo corso copre i fondamenti dei Big Data tramite PySpark. Spark è un framework di "lightning fast cluster computing" per i Big Data. Fornisce un motore generale per l’elaborazione dei dati e ti permette di eseguire programmi fino a 100 volte più veloci in memoria, o 10 volte più veloci su disco, rispetto a Hadoop. Userai PySpark, un pacchetto Python per programmare in Spark, e le sue potenti librerie di livello superiore come SparkSQL, MLlib (per il Machine Learning), ecc. Esplorerai le opere di William Shakespeare, analizzerai i dati dei Mondiali Fifa 2018 ed eseguirai il clustering su insiemi di dati genomici. Al termine del corso, avrai una comprensione approfondita di PySpark e della sua applicazione all’analisi generale dei Big Data.
Prerequisiti
Curriculum
Programma del corso
1
Introduzione all’analisi dei Big Data con Spark
Questo capitolo introduce l’entusiasmante mondo dei Big Data, insieme ai vari concetti e ai diversi framework per l’elaborazione dei Big Data. Capirai perché Apache Spark è considerato il miglior framework per i Big Data.
2
Programmare con gli RDD di PySpark
La principale astrazione offerta da Spark è il resilient distributed dataset (RDD), che è il tipo di dato fondamentale e portante di questo motore. Questo capitolo introduce gli RDD e mostra come crearli ed eseguirli usando le RDD Transformations e le Actions.
3
PySpark SQL e DataFrame
In questo capitolo scoprirai Spark SQL, un modulo di Spark per l’elaborazione di dati strutturati. Fornisce un’astrazione di programmazione chiamata DataFrame e può anche funzionare come motore distribuito per query SQL. Questo capitolo mostra come Spark SQL ti permette di usare i DataFrame in Python.
4
Machine Learning con PySpark MLlib
PySpark MLlib è la libreria scalabile di Machine Learning di Apache Spark per Python, composta da algoritmi e utilità comuni. In questo ultimo capitolo imparerai importanti algoritmi di Machine Learning. Costruirai un motore di raccomandazione di film e un filtro antispam e userai il clustering k-means.
Fondamenti di Big Data con PySpark
Corso
completato
