After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Deskripsi Kursus
Selama beberapa tahun terakhir, Big Data banyak diperbincangkan dan kini telah menjadi arus utama bagi banyak perusahaan. Namun, apa sebenarnya Big Data itu? Kursus ini membahas dasar-dasar Big Data melalui PySpark. Spark adalah kerangka kerja komputasi klaster yang "secepat kilat" untuk Big Data. Spark menyediakan mesin platform pemrosesan data umum dan memungkinkan Anda menjalankan program hingga 100x lebih cepat di memori, atau 10x lebih cepat di disk, dibandingkan Hadoop. Anda akan menggunakan PySpark, paket Python untuk pemrograman Spark beserta pustaka tingkat tingginya yang andal seperti SparkSQL, MLlib (untuk Machine Learning), dan lain-lain. Anda akan mengeksplorasi karya William Shakespeare, menganalisis data Fifa 2018, dan melakukan pengelompokan pada himpunan data genomik. Di akhir kursus, Anda akan memiliki pemahaman mendalam tentang PySpark dan penerapannya untuk analisis Big Data secara umum.
Prasyarat
Kurikulum
Garis besar kursus
1
Pengantar analisis Big Data dengan Spark
Bab ini memperkenalkan dunia Big Data yang menarik, serta berbagai konsep dan beragam kerangka kerja untuk memproses Big Data. Anda akan memahami mengapa Apache Spark dianggap sebagai kerangka kerja terbaik untuk Big Data.
- Apa itu Big Data?50 XP
- Tiga V pada Big Data50 XP
- PySpark: Spark dengan Python50 XP
- Memahami SparkContext100 XP
- Penggunaan Interaktif PySpark100 XP
- Memuat data di PySpark shell100 XP
- Tinjauan pemrograman fungsional di Python50 XP
- Penggunaan lambda() dengan map()100 XP
- Penggunaan lambda() dengan filter()100 XP
2
Pemrograman di PySpark RDD
Abstraksi utama yang disediakan Spark adalah resilient distributed dataset (RDD), yang merupakan tipe data fundamental dan tulang punggung dari mesin ini. Bab ini memperkenalkan RDD dan menunjukkan cara membuat serta mengeksekusi RDD menggunakan Transformations dan Actions pada RDD.
3
PySpark SQL & DataFrame
Pada bab ini, Anda akan mempelajari Spark SQL, yaitu modul Spark untuk pemrosesan data terstruktur. Modul ini menyediakan abstraksi pemrograman bernama DataFrame dan juga dapat bertindak sebagai mesin kueri SQL terdistribusi. Bab ini menunjukkan bagaimana Spark SQL memungkinkan Anda menggunakan DataFrame di Python.
4
Machine Learning dengan PySpark MLlib
PySpark MLlib adalah pustaka Machine Learning berskala besar milik Apache Spark dalam Python yang terdiri atas algoritme pembelajaran umum dan utilitasnya. Sepanjang bab terakhir ini, Anda akan mempelajari algoritme Machine Learning penting. Anda akan membangun mesin rekomendasi film dan penyaring spam, serta menggunakan pengelompokan k-means.
Fundamental Big Data dengan PySpark
Kursus
Selesai
