After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Descrierea cursului
Big Data a făcut mult zgomot în ultimii ani și a devenit, în sfârșit, o realitate pentru multe companii. Dar ce este, de fapt, Big Data? Acest curs acoperă fundamentele Big Data prin intermediul PySpark. Spark este un framework de calcul distribuit, extrem de rapid, dedicat Big Data. Oferă o platformă generală de procesare a datelor și îți permite să rulezi programe de până la 100 de ori mai rapid în memorie sau de 10 ori mai rapid pe disc față de Hadoop. Vei folosi PySpark, un pachet Python pentru programare Spark, împreună cu biblioteci puternice de nivel înalt, precum SparkSQL și MLlib (pentru învățare automată). Vei explora operele lui William Shakespeare, vei analiza date din FIFA 2018 și vei aplica clustering pe seturi de date genomice. La finalul cursului, vei avea o înțelegere aprofundată a PySpark și a aplicațiilor sale în analiza generală a Big Data.
Cerințe prealabile
Curriculum
Structura cursului
1
Introducere în analiza Big Data cu Spark
Acest capitol îți prezintă lumea fascinantă a Big Data, precum și diversele concepte și framework-uri utilizate pentru procesarea datelor de mari dimensiuni. Vei înțelege de ce Apache Spark este considerat cel mai bun framework pentru Big Data.
- Ce este Big Data?50 XP
- Cele 3 V-uri ale Big Data50 XP
- PySpark: Spark cu Python50 XP
- Înțelegerea SparkContext100 XP
- Utilizarea interactivă a PySpark100 XP
- Încărcarea datelor în shell-ul PySpark100 XP
- Recapitulare a programării funcționale în Python50 XP
- Utilizarea `lambda()` cu `map()`100 XP
- Utilizarea lambda() cu filter()100 XP
2
Programare în RDD-uri PySpark
Principala abstractizare oferită de Spark este setul de date distribuit și rezistent (RDD), tipul de date fundamental al acestui motor. Acest capitol îți prezintă RDD-urile și arată cum pot fi create și executate prin Transformări și Acțiuni RDD.
3
PySpark SQL și DataFrame-uri
În acest capitol, vei învăța despre Spark SQL, un modul Spark pentru procesarea datelor structurate. Acesta oferă o abstractizare de programare numită DataFrame și poate funcționa și ca motor distribuit de interogări SQL. Capitolul îți arată cum Spark SQL îți permite să lucrezi cu DataFrame-uri în Python.
4
Machine Learning cu PySpark MLlib
PySpark MLlib este biblioteca scalabilă de învățare automată Apache Spark în Python, care conține algoritmi de învățare și utilitare uzuale. Pe parcursul acestui ultim capitol, vei învăța algoritmi importanți de Machine Learning. Vei construi un motor de recomandare de filme și un filtru anti-spam și vei aplica clustering k-means.
Fundamentele Big Data cu PySpark
Curs
finalizat
