After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Deskripsi Kursus
Pelajari Spark SQL
Jika Anda sudah familiar dengan SQL dan pernah mendengar hal-hal positif tentang Apache Spark, kursus ini cocok untuk Anda. Apache Spark adalah kerangka kerja komputasi untuk pemrosesan data besar, dan Spark SQL adalah salah satu komponen dari Apache Spark. Kursus berdurasi empat jam ini akan menunjukkan kepada Anda cara mengoptimalkan penggunaan Spark ke tingkat yang lebih tinggi, dengan memanfaatkan fitur SQL lanjutan, seperti fungsi jendela.Selama empat bab, Anda akan menggunakan Spark SQL untuk menganalisis data time series, mengekstrak kata-kata paling umum dari dokumen teks, membuat kumpulan fitur dari teks bahasa alami, dan menggunakannya untuk memprediksi kata terakhir dalam kalimat menggunakan regresi logistik.
Temukan Penggunaan Spark SQL
Anda akan memulai dengan membuat dan mengakses tabel SQL di Spark, serta mempelajari cara menggunakan fungsi jendela SQL untuk melakukan penjumlahan berjalan, pengurangan berjalan, dan operasi lainnya.Selanjutnya, Anda akan mempelajari cara menggunakan fungsi jendela (window function) dalam Spark SQL untuk pemrosesan bahasa alami (natural language processing), termasuk menggunakan analisis jendela bergerak (moving window analysis) untuk menemukan urutan kata yang umum.
Pada Bab 3, Anda akan belajar cara menggunakan antarmuka pengguna SQL Spark untuk mengelola cache DataFrames dan tabel SQL dengan benar sebelum membahas praktik terbaik untuk pencatatan (logging) di Spark.
Akhirnya, Anda menggunakan semua keterampilan yang telah dipelajari sejauh ini untuk memuat dan mengonversi teks mentah menjadi token sebelum mengekstrak urutan kata. Anda akan menggunakan regresi logistik untuk mengklasifikasikan teks, dengan menggunakan data bahasa alami mentah untuk melatih klasifikasi teks.
Dapatkan Pengenalan Mendalam tentang Spark SQL
Pada akhir kursus ini, Anda akan memiliki pemahaman yang kuat tentang Spark SQL dan akan memahami bagaimana Spark menggabungkan kekuatan komputasi terdistribusi dengan kemudahan penggunaan Python dan SQL.Prasyarat
Kurikulum
Garis besar kursus
1
PySpark SQL
Pada bab ini Anda akan belajar cara membuat dan melakukan kueri tabel SQL di Spark. Spark SQL menghadirkan kejelasan ekspresif SQL ke Spark. Anda juga akan mempelajari cara menggunakan window function SQL di Spark. Window function melakukan perhitungan lintas baris yang berkaitan dengan baris saat ini. Fitur ini sangat menyederhanakan pencapaian hasil yang sulit diekspresikan hanya dengan join dan agregasi tradisional. Kita akan menggunakan window function untuk melakukan penjumlahan berjalan, selisih berjalan, dan operasi lain yang menantang untuk dilakukan dalam SQL dasar.
- Membuat dan melakukan kueri pada tabel SQL di Spark50 XP
- Buat tabel SQL dari sebuah dataframe100 XP
- Menentukan nama kolom dari sebuah tabel100 XP
- SQL fungsi window50 XP
- Jumlah berjalan menggunakan SQL fungsi window100 XP
- Perbaiki kueri yang rusak100 XP
- Notasi titik dan SQL50 XP
- Agregasi, selangkah demi selangkah100 XP
- Mengagregasi kolom yang sama dua kali100 XP
- Agregasi SQL dengan notasi titik100 XP
- Konversi fungsi window dari notasi titik ke SQL100 XP
2
Menggunakan Window Function SQL untuk Pemrosesan Bahasa Alami
Pada bab ini, Anda akan memuat teks bahasa alami. Lalu Anda akan menerapkan analisis jendela geser untuk menemukan urutan kata yang sering muncul.
3
Caching, Logging, dan Spark UI
Pada bab-bab sebelumnya Anda telah belajar memanfaatkan ekspresivitas window function SQL. Namun, ekspresivitas ini menjadikan pemahaman cara melakukan cache dataframe dan cache tabel SQL dengan benar semakin penting. Penting juga untuk mengetahui cara mengevaluasi aplikasi Anda. Anda akan mempelajarinya menggunakan Spark UI. Anda juga akan mempelajari praktik terbaik untuk logging di Spark. Spark SQL menghadirkan alat bermanfaat lain untuk menyetel kinerja kueri, yaitu rencana eksekusi kueri. Anda akan belajar menggunakan rencana eksekusi untuk mengevaluasi asal-usul (provenance) sebuah dataframe.
4
Klasifikasi Teks
Bab-bab sebelumnya membekali Anda dengan alat untuk memuat teks mentah, melakukan tokenisasi, dan mengekstrak urutan kata. Ini sudah sangat berguna untuk analisis, dan juga bermanfaat untuk Machine Learning. Semua yang telah Anda pelajari kini dipadukan dengan menggunakan logistic regression untuk mengklasifikasikan teks. Pada akhir bab ini, Anda akan telah memuat data teks bahasa alami mentah dan menggunakannya untuk melatih sebuah pengklasifikasi teks.
Pengantar Spark SQL dalam Python
Kursus
Selesai
