After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Kurs Açıklaması
Spark SQL öğrenin
SQL'e aşina iseniz ve Apache Spark hakkında harika şeyler duymuşsanız, bu kurs tam size göre. Apache Spark, büyük verileri işlemek için kullanılan bir bilgi işlem çerçevesidir ve Spark SQL, Apache Spark'ın bir bileşenidir. Bu dört saatlik kurs, pencere işlevleri gibi gelişmiş SQL özelliklerini kullanarak Spark'ı yeni bir kullanışlılık düzeyine nasıl taşıyabileceğinizi gösterecektir.Dört bölüm boyunca, Spark SQL'i kullanarak zaman serisi verilerini analiz edecek, bir metin belgesinden en sık kullanılan kelimeleri çıkaracak, doğal dil metinlerinden özellik kümeleri oluşturacak ve bunları lojistik regresyon kullanarak bir cümlenin son kelimesini tahmin etmek için kullanacaksınız.
Spark SQL'in Kullanım Alanlarını Keşfedin
Spark'ta bir SQL tablosu oluşturup sorgulama yapmanın yanı sıra, SQL pencere işlevlerini kullanarak toplamları, farkları ve diğer işlemleri gerçekleştirmeyi öğrenerek başlayacaksınız.Ardından, Spark SQL'de doğal dil işleme için pencere işlevini nasıl kullanacağınızı keşfedeceksiniz. Buna, yaygın kelime dizilerini bulmak için hareketli pencere analizi kullanmak da dahildir.
3. bölümde, Spark'ta günlük kaydı için en iyi uygulamaları keşfetmeden önce, SQL Spark UI'yi kullanarak DataFrame'leri ve SQL tablolarını doğru şekilde önbelleğe almayı öğreneceksiniz.
Son olarak, şimdiye kadar öğrendiğiniz tüm becerileri kullanarak, kelime dizilerini çıkarmadan önce ham metni yükleyip tokenize edersiniz. Ardından, metni sınıflandırmak için lojistik regresyon kullanacak ve ham doğal dil verilerini kullanarak bir metin sınıflandırıcıyı eğiteceksiniz.
Spark SQL'e Kapsamlı Bir Giriş Yapın
Kursun sonunda, Spark SQL hakkında sağlam bir bilgi birikimine sahip olacak ve Spark'ın dağıtık hesaplamanın gücünü Python ve SQL'in kullanım kolaylığıyla nasıl birleştirdiğini anlayacaksınız.Ön Koşullar
Müfredat
Kurs içeriği
1
PySpark SQL
Bu bölümde Spark'ta bir SQL tablosu oluşturmayı ve sorgulamayı öğreneceksin. Spark SQL, SQL'in ifade gücünü Spark'a taşır. Ayrıca Spark'ta SQL pencere fonksiyonlarını nasıl kullanacağını da öğreneceksin. Pencere fonksiyonları, mevcut satırla ilişkili satırlar üzerinde hesaplama yapar. Yalnızca join'lar ve geleneksel toplulaştırmalarla ifade etmesi zor sonuçları büyük ölçüde basitleştirirler. Pencere fonksiyonlarını kümülatif toplamlar, ardışık farklar ve temel SQL'de gerçekleştirmesi zor diğer işlemler için kullanacağız.
- Spark'ta bir SQL tablosu oluşturma ve sorgulama50 XP
- Bir dataframe'den SQL tablosu oluştur100 XP
- Bir tablonun sütun adlarını belirle100 XP
- Pencere fonksiyonu SQL50 XP
- Pencere fonksiyonu SQL ile kümülatif toplamlar100 XP
- Bozuk sorguyu düzelt100 XP
- Nokta gösterimi ve SQL50 XP
- Toplama adım adım100 XP
- Aynı sütunu iki kez biriktirmek100 XP
- Toplulaştırma nokta SQL100 XP
- Pencere fonksiyonunu nokta gösteriminden SQL'e dönüştür100 XP
2
Doğal Dil İşleme için Pencere Fonksiyonu SQL Kullanımı
Bu bölümde doğal dil metnini yükleyeceksin. Ardından, sık görülen kelime dizilerini bulmak için hareketli pencere analizi uygulayacaksın.
3
Önbelleğe Alma, Günlükleme ve Spark UI
Önceki bölümlerde pencere fonksiyonu SQL'in ifade gücünü nasıl kullanacağını öğrendin. Ancak bu ifade gücü, veri çerçevelerini ve SQL tablolarını doğru şekilde önbelleğe almayı anlamanı artık önemli kılıyor. Uygulamanı nasıl değerlendirmen gerektiğini bilmek de önemlidir. Bunu Spark UI kullanarak nasıl yapacağını öğreneceksin. Ayrıca Spark'ta günlükleme için bir en iyi uygulamayı da öğreneceksin. Spark SQL, sorgu performansını iyileştirmeye yönelik bir başka yararlı araç getirir: sorgu yürütme planı. Yürütme planını, bir veri çerçevesinin kökenini (provenance) değerlendirmek için nasıl kullanacağını öğreneceksin.
4
Metin Sınıflandırma
Önceki bölümler, ham metni yüklemek, ayrıştırmak ve kelime dizileri çıkarmak için gerekli araçları sağladı. Bu, analiz için zaten çok yararlı; ayrıca Machine Learning için de kullanışlıdır. Şimdi öğrendiklerin, metni sınıflandırmak için lojistik regresyon kullanarak bir araya geliyor. Bu bölümün sonunda, ham doğal dil metin verilerini yüklemiş ve bunları bir metin sınıflandırıcıyı eğitmek için kullanmış olacaksın.
Python ile Spark SQL'e Giriş
Kurs
Tamamlandı
