After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Cursusbeschrijving
Er is de afgelopen jaren veel te doen geweest rond Big Data, en inmiddels is het voor veel bedrijven mainstream. Maar wat is Big Data nu precies? Deze cursus behandelt de basisprincipes van Big Data met PySpark. Spark is een framework voor Big Data dat "bliksemsnel clusteren berekeningen" mogelijk maakt. Het biedt een algemene engine voor gegevensverwerking en laat je programma’s tot 100x sneller in het geheugen draaien, of 10x sneller op schijf, dan Hadoop. Je werkt met PySpark, een Python-pakket voor Spark-programmering, en met krachtige, hoog-niveau bibliotheken zoals SparkSQL, MLlib (voor Machine Learning), enzovoort. Je gaat aan de slag met werken van William Shakespeare, analyseert Fifa 2018-gegevens en voert clustering uit op genomische gegevenssets. Aan het einde van deze cursus heb je een diepgaand begrip van PySpark en hoe je het toepast op algemene Big Data-analyse.
Vereisten
Curriculum
Cursusoverzicht
1
Introductie tot Big Data-analyse met Spark
In dit hoofdstuk maak je kennis met de spannende wereld van Big Data, evenals met de verschillende concepten en frameworks voor de verwerking ervan. Je ontdekt waarom Apache Spark wordt gezien als het beste framework voor Big Data.
- Wat is Big Data?50 XP
- De 3 V's van Big Data50 XP
- PySpark: Spark met Python50 XP
- SparkContext begrijpen100 XP
- Interactief gebruik van PySpark100 XP
- Gegevens laden in de PySpark-shell100 XP
- Herhaling van functioneel programmeren in Python50 XP
- Gebruik van lambda() met map()100 XP
- Gebruik van lambda() met filter()100 XP
2
Programmeren met PySpark-RDD’s
De belangrijkste abstractie die Spark biedt is een resilient distributed dataset (RDD), het fundamentele en ruggengraat-datatype van deze engine. Dit hoofdstuk introduceert RDD’s en laat zien hoe je RDD’s kunt maken en uitvoeren met RDD-transformations en actions.
3
PySpark SQL & DataFrames
In dit hoofdstuk leer je over Spark SQL, een Spark-module voor de verwerking van gestructureerde gegevens. Het biedt een programmeerabstractie genaamd DataFrames en kan ook fungeren als een gedistribueerde SQL-query-engine. Dit hoofdstuk laat zien hoe Spark SQL je in staat stelt DataFrames in Python te gebruiken.
4
Machine Learning met PySpark MLlib
PySpark MLlib is de schaalbare Machine Learning-bibliotheek van Apache Spark in Python, bestaande uit gangbare leeralgoritmen en hulpmiddelen. In dit laatste hoofdstuk leer je belangrijke Machine Learning-algoritmen. Je bouwt een filmaanbevelingsengine en een spamfilter, en je gebruikt k-means clustering.
Big Data Fundamentals met PySpark
Cursus
voltooid
