After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Kurs Açıklaması
Son birkaç yıldır Big Data hakkında çok konuşuluyor ve artık birçok şirket için ana akım hâline geldi. Peki bu Big Data tam olarak nedir? Bu kurs, PySpark üzerinden Big Data’nın temellerini kapsar. Spark, Big Data için "şimşek hızında küme hesaplama" çerçevesidir. Genel bir veri işleme platformu sunar ve programlarını bellekte 100 kata, diskte ise 10 kata kadar Hadoop’dan daha hızlı çalıştırmana olanak tanır. Spark programlama için bir Python paketi olan PySpark’ı ve SparkSQL, MLlib (machine learning için) gibi güçlü, üst düzey kütüphanelerini kullanacaksın. William Shakespeare’in eserlerini keşfedecek, Fifa 2018 verilerini analiz edecek ve genomik veri kümeleri üzerinde kümeleme gerçekleştireceksin. Bu kursun sonunda, PySpark’ı ve genel Big Data analizindeki kullanımını derinlemesine kavramış olacaksın.
Ön Koşullar
Müfredat
Kurs içeriği
1
Spark ile Big Data analizine giriş
Bu bölüm, Big Data’nın heyecan verici dünyasını ve Big Data’yı işlemek için kullanılan farklı kavramları ve çerçeveleri tanıtır. Apache Spark’ın neden BigData için en iyi çerçeve olarak görüldüğünü anlayacaksın.
2
PySpark RDD’lerinde programlama
Spark’ın sunduğu temel soyutlama, bu motorun omurgası olan dayanıklı dağıtık veri kümesi (RDD)’dir. Bu bölüm, RDD’leri tanıtır ve RDD Dönüşümleri (Transformations) ve Eylemleri (Actions) kullanılarak RDD’lerin nasıl oluşturulup çalıştırılacağını gösterir.
3
PySpark SQL ve DataFrame’ler
Bu bölümde, yapılandırılmış veri işlemesi için bir Spark modülü olan Spark SQL’i öğreneceksin. DataFrame adı verilen bir programlama soyutlaması sunar ve dağıtık bir SQL sorgu motoru olarak da çalışabilir. Bu bölüm, Spark SQL’in Python’da DataFrame’leri nasıl kullanmana imkân verdiğini gösterir.
4
PySpark MLlib ile Machine Learning
PySpark MLlib, Python’da Apache Spark’ın ölçeklenebilir machine learning kütüphanesidir ve yaygın öğrenme algoritmaları ile yardımcı araçlardan oluşur. Bu son bölüm boyunca önemli Machine Learning algoritmalarını öğreneceksin. Bir film öneri motoru ve spam filtresi oluşturacak ve k-means kümeleme kullanacaksın.
PySpark ile Big Data Temelleri
Kurs
Tamamlandı
