After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Opis kursu
W ostatnich latach temat Big Data stał się niezwykle popularny i trafił do głównego nurtu w wielu firmach. Czym jednak właściwie jest Big Data? Ten kurs omawia podstawy Big Data za pomocą PySpark. Spark to framework do obliczeń klastrowych, który działa błyskawicznie. Zapewnia ogólną platformę przetwarzania danych i pozwala uruchamiać programy nawet 100 razy szybciej w pamięci – lub 10 razy szybciej na dysku – niż Hadoop. Będziesz korzystać z PySpark, pakietu Pythona do programowania w Spark, oraz jego zaawansowanych bibliotek, takich jak SparkSQL czy MLlib (do uczenia maszynowego). Przeanalizujesz dzieła Williama Szekspira, zbadasz dane z Fify 2018 i przeprowadzisz grupowanie na zbiorach danych genomicznych. Po ukończeniu kursu będziesz mieć solidne zrozumienie PySpark i jego zastosowania w ogólnej analizie Big Data.
Wymagania wstępne
Program kursu
Plan kursu
1
Wprowadzenie do analizy Big Data z Spark
Ten rozdział wprowadza w świat Big Data oraz omawia różne koncepcje i frameworki służące do jego przetwarzania. Dowiesz się, dlaczego Apache Spark jest uważany za najlepszy framework do pracy z Big Data.
2
Programowanie w RDD w PySpark
Główną abstrakcją oferowaną przez Spark jest odporny rozproszony zbiór danych (RDD) – podstawowy typ danych tego silnika. Ten rozdział przedstawia RDD oraz pokazuje, jak tworzyć je i wykonywać za pomocą transformacji i akcji RDD.
3
PySpark SQL i DataFrames
W tym rozdziale poznasz Spark SQL – moduł Spark przeznaczony do przetwarzania danych strukturalnych. Oferuje on abstrakcję programistyczną zwaną DataFrames i może działać jako rozproszony silnik zapytań SQL. Rozdział pokazuje, jak Spark SQL umożliwia korzystanie z DataFrames w Pythonie.
4
Uczenie maszynowe z PySpark MLlib
PySpark MLlib to skalowalna biblioteka uczenia maszynowego Apache Spark dla Pythona, zawierająca popularne algorytmy i narzędzia. W tym ostatnim rozdziale poznasz ważne algorytmy uczenia maszynowego. Zbudujesz silnik rekomendacji filmów i filtr antyspamowy, a także zastosujesz grupowanie metodą k-średnich.
Podstawy Big Data z PySpark
Kurs
ukończony
