Kursus
Pengantar Spark SQL dalam Python
LanjutanTingkat Keterampilan
Diperbarui 03/2026
SparkData Manipulation4 jam15 videos52 Latihan4,200 XP20,388Pernyataan Pencapaian
Buat Akun Gratis Anda
Lanjutkan dengan GoogleTampilkan opsi lainnyaatau
Dengan melanjutkan, Anda menerima Ketentuan Penggunaan kami, Kebijakan Privasi kami dan bahwa data Anda disimpan di Amerika Serikat.
Dipercaya oleh para pelajar di ribuan perusahaan
Melatih Tim?
Coba untuk BisnisDeskripsi Kursus
Pelajari Spark SQL
Jika Anda sudah familiar dengan SQL dan pernah mendengar hal-hal positif tentang Apache Spark, kursus ini cocok untuk Anda. Apache Spark adalah kerangka kerja komputasi untuk pemrosesan data besar, dan Spark SQL adalah salah satu komponen dari Apache Spark. Kursus berdurasi empat jam ini akan menunjukkan kepada Anda cara mengoptimalkan penggunaan Spark ke tingkat yang lebih tinggi, dengan memanfaatkan fitur SQL lanjutan, seperti fungsi jendela.Selama empat bab, Anda akan menggunakan Spark SQL untuk menganalisis data time series, mengekstrak kata-kata paling umum dari dokumen teks, membuat kumpulan fitur dari teks bahasa alami, dan menggunakannya untuk memprediksi kata terakhir dalam kalimat menggunakan regresi logistik.
Temukan Penggunaan Spark SQL
Anda akan memulai dengan membuat dan mengakses tabel SQL di Spark, serta mempelajari cara menggunakan fungsi jendela SQL untuk melakukan penjumlahan berjalan, pengurangan berjalan, dan operasi lainnya.Selanjutnya, Anda akan mempelajari cara menggunakan fungsi jendela (window function) dalam Spark SQL untuk pemrosesan bahasa alami (natural language processing), termasuk menggunakan analisis jendela bergerak (moving window analysis) untuk menemukan urutan kata yang umum.
Pada Bab 3, Anda akan belajar cara menggunakan antarmuka pengguna SQL Spark untuk mengelola cache DataFrames dan tabel SQL dengan benar sebelum membahas praktik terbaik untuk pencatatan (logging) di Spark.
Akhirnya, Anda menggunakan semua keterampilan yang telah dipelajari sejauh ini untuk memuat dan mengonversi teks mentah menjadi token sebelum mengekstrak urutan kata. Anda akan menggunakan regresi logistik untuk mengklasifikasikan teks, dengan menggunakan data bahasa alami mentah untuk melatih klasifikasi teks.
Dapatkan Pengenalan Mendalam tentang Spark SQL
Pada akhir kursus ini, Anda akan memiliki pemahaman yang kuat tentang Spark SQL dan akan memahami bagaimana Spark menggabungkan kekuatan komputasi terdistribusi dengan kemudahan penggunaan Python dan SQL.Persyaratan
Python ToolboxPostgreSQL Summary Stats and Window FunctionsIntroduction to PySpark1
PySpark SQL
Pada bab ini Anda akan belajar cara membuat dan melakukan kueri tabel SQL di Spark. Spark SQL menghadirkan kejelasan ekspresif SQL ke Spark. Anda juga akan mempelajari cara menggunakan window function SQL di Spark. Window function melakukan perhitungan lintas baris yang berkaitan dengan baris saat ini. Fitur ini sangat menyederhanakan pencapaian hasil yang sulit diekspresikan hanya dengan join dan agregasi tradisional. Kita akan menggunakan window function untuk melakukan penjumlahan berjalan, selisih berjalan, dan operasi lain yang menantang untuk dilakukan dalam SQL dasar.
2
Menggunakan Window Function SQL untuk Pemrosesan Bahasa Alami
Pada bab ini, Anda akan memuat teks bahasa alami. Lalu Anda akan menerapkan analisis jendela geser untuk menemukan urutan kata yang sering muncul.
3
Caching, Logging, dan Spark UI
Pada bab-bab sebelumnya Anda telah belajar memanfaatkan ekspresivitas window function SQL. Namun, ekspresivitas ini menjadikan pemahaman cara melakukan cache dataframe dan cache tabel SQL dengan benar semakin penting. Penting juga untuk mengetahui cara mengevaluasi aplikasi Anda. Anda akan mempelajarinya menggunakan Spark UI. Anda juga akan mempelajari praktik terbaik untuk logging di Spark. Spark SQL menghadirkan alat bermanfaat lain untuk menyetel kinerja kueri, yaitu rencana eksekusi kueri. Anda akan belajar menggunakan rencana eksekusi untuk mengevaluasi asal-usul (provenance) sebuah dataframe.
4
Klasifikasi Teks
Bab-bab sebelumnya membekali Anda dengan alat untuk memuat teks mentah, melakukan tokenisasi, dan mengekstrak urutan kata. Ini sudah sangat berguna untuk analisis, dan juga bermanfaat untuk Machine Learning. Semua yang telah Anda pelajari kini dipadukan dengan menggunakan logistic regression untuk mengklasifikasikan teks. Pada akhir bab ini, Anda akan telah memuat data teks bahasa alami mentah dan menggunakannya untuk melatih sebuah pengklasifikasi teks.
Pengantar Spark SQL dalam Python
Kursus Selesai
Memperoleh Surat Keterangan Prestasi
Tambahkan kredensial ini ke profil LinkedIn, resume, atau CV AndaBagikan di media sosial dan dalam penilaian kinerja AndaDaftar sekarang
Bergabung dengan 19 juta pelajar dan mulai Pengantar Spark SQL dalam Python Hari Ini!
Buat Akun Gratis Anda
Lanjutkan dengan GoogleTampilkan opsi lainnyaatau
Dengan melanjutkan, Anda menerima Ketentuan Penggunaan kami, Kebijakan Privasi kami dan bahwa data Anda disimpan di Amerika Serikat.
Kembangkan keterampilan data Anda dengan DataCamp untuk Mobile
Buat kemajuan di mana saja dengan kursus mobile kami dan tantangan coding harian 5 menit.