After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Descrierea cursului
Lucrul cu date este complicat – iar când vorbim de milioane sau chiar miliarde de rânduri, lucrurile devin și mai dificile.
Ai primit vreodată cod de procesare a datelor scris pe un laptop, cu date aproape perfecte?
Probabil că ai fost pus în situația de a transforma un proces simplu de date din prototip în soluție de producție.
Poate ai lucrat cu seturi de date reale, cu câmpuri lipsă, formate ciudate și volume mult mai mari decât te așteptai. Indiferent dacă ești la început sau ai deja experiență, acest curs te ajută să înveți ce este necesar pentru a pregăti procese de date folosind Python cu Apache Spark.
Vei învăța terminologie, metode și bune practici pentru a crea o platformă de procesare a datelor performantă, ușor de întreținut și de înțeles.
Cerințe prealabile
Curriculum
Structura cursului
1
Detalii despre DataFrame
O trecere în revistă a elementelor fundamentale ale DataFrame și a importanței curățării datelor.
- Introducere în curățarea datelor cu Apache Spark50 XP
- Recapitularea curățării datelor50 XP
- Definirea unui schema100 XP
- Imuabilitate și procesare leneșă50 XP
- Recapitulare: imutabilitate50 XP
- Procesarea leneșă în practică100 XP
- Înțelegerea formatului Parquet50 XP
- Salvarea unui DataFrame în format Parquet100 XP
- SQL și Parquet100 XP
2
Manipularea DataFrames în lumea reală
O privire asupra diferitelor tehnici de modificare a conținutului DataFrame în Spark.
3
Îmbunătățirea performanței
Îmbunătățește sarcinile de curățare a datelor prin creșterea performanței sau reducerea resurselor necesare.
4
Procesare complexă și pipeline-uri de date
Învață cum să procesezi date complexe din lumea reală folosind Spark și noțiunile de bază ale pipeline-urilor.
Curățarea datelor cu PySpark
Curs
finalizat
