Azure Synapse: Adım Adım Yeni Başlayanlar için Kılavuz

Azure Synapse Kullanmanın Faydaları

Azure Synapse Analytics kullanmanın bazı faydaları şunlardır:

• Ölçeklenebilirlik ve esneklik: Azure Synapse’in isteğe bağlı ölçekleme yetenekleri, kullanıcıların değişen iş ihtiyaçlarına uyacak şekilde işlem ve depolama kaynaklarını hızla ayarlamasına olanak tanır.
• Birleşik analitik platformu: Veri entegrasyonu, veri ambarı ve büyük veri analitiğini bir araya getiren Azure Synapse, kapsamlı ve yalın bir analitik çözümü sunar.
• Artan üretkenlik: Azure Synapse’in entegre araçları ve sorunsuz kullanıcı deneyimi, kullanıcıların veri odaklı görevlerde daha üretken ve verimli olmasına yardımcı olur.
• Maliyet etkinliği: Azure Synapse’in isteğe bağlı ölçekleme ve kullandıkça öde fiyatlandırma modeli, kurumların maliyetleri optimize etmesine ve genel veri analitiği harcamalarını azaltmasına yardımcı olabilir.
• Kapsamlı güvenlik ve uyumluluk: Azure Synapse’in sağlam güvenlik özellikleri ve uyumluluk sertifikaları, verinin korunmasını ve kurumların düzenleyici gereklilikleri karşılamasını sağlar.

Bulut yolculuğunuza Azure Fundamentals Sertifikasyonu ile başlayın. Microsoft AZ-900 sınavına DataCamp’in uzmanlıkla hazırlanmış parkuruyla hazırlanın. DataCamp’in Microsoft iş birliği sayesinde sınav ücretinde %50 indirim de kazanacaksınız!

Azure Synapse için Kullanım Senaryaları

Azure Synapse, çok çeşitli veri analitiği kullanım senaryolarına uygulanabilen çok yönlü bir platformdur ve verilerinin tam potansiyelini açığa çıkarmayı hedefleyen işletmeler için güçlü bir araçtır. 

En yaygın kullanım senaryolarından bazıları şunlardır:

Azure Synapse vs. Databricks

Azure Synapse ve Databricks, büyük ölçekli veri işleme ve analitik için güçlü platformlardır ancak farklı alanlarda öne çıkarlar. 

• Azure Synapse daha önce belirtildiği gibi veri entegrasyonu, ambarı ve büyük veri analitiğini birleştiren hepsi bir arada bir çözümdür. Yapılandırılmış veriden devasa veri kümelerine kadar çeşitli iş yüklerini yönetmek için kapsamlı bir platforma ihtiyaç duyan kuruluşlar için idealdir.
• Databricks, Apache Spark üzerine inşa edilmiş olup iş birliğine dayalı veri bilimi, veri mühendisliği ve makine öğreniminde uzmanlaşmıştır. Büyük ölçekli veri işleme ve model dağıtımındaki gücüyle bilinir ve veri ekipleri için iş birliğine dayalı bir ortam sunar.

Farklar ve benzerlikler

AWS, Azure ve GCP bulutlarında karşılaştırılabilir veri bilimi ve yapay zeka hizmetleri hakkında daha fazla bilgi edinmek istiyorsanız, Datacamp’teki ücretsiz Veri Bilimi ve Yapay Zeka için AWS, Azure ve GCP Hizmet Karşılaştırması rehberine göz atın.

Azure Synapse’e kapsamlı bir genel bakışın ardından şimdi uygulamaya geçelim!

Azure Synapse’i Kurma

Azure Synapse ile çalışmaya başlamak için etkin bir Azure hesabına ihtiyacınız olacak. Hesabınızı oluşturduktan sonra yeni bir Synapse çalışma alanı oluşturabilir, veri kaynaklarınızı ve bağlantılarınızı yapılandırabilirsiniz. 

1. Azure ücretsiz denemesini başlatın

Azure’a yeniyseniz ilk adım bir abonelik oluşturmaktır. "Azure ücretsiz deneme ile başlayın" bölümünün altındaki "Başlat" düğmesine tıklayın. 

Kayıt sırasında hesabınızı bir telefon numarasıyla doğrulamanız ve doğrulama amacıyla kredi kartı bilgisi sağlamanız gerekir.

Azure ücretsiz deneme ile başlayın.

2. Önkoşul: Data Lake Storage Gen2 oluşturun

Azure Synapse’e devam etmeden önce verinizi depolamak ve yönetmek için bir Data Lake Storage Gen2 hesabı oluşturmanız gerekir.

Azure portalına gidip "Kaynak oluştur"u seçerek başlayın. "Depolama hesabı"nı seçin ve kaynak grubu, depolama hesabı adı ve bölge gibi gerekli ayrıntıları doldurun. 

Birincil servis olarak "Azure Blob Storage veya Azure Data Lake Storage Gen2"nin seçili olduğundan emin olun ve kullanım senaryonuza göre performans ve yedeklilik gibi diğer ayarları yapılandırın.

Azure depolama hesabı oluşturun.

Ayrıntıları doldurduktan sonra depolama hesabını dağıtmak için "Gözden geçir + oluştur"a tıklayın. Depolama dağıtımının tamamlanması birkaç dakika sürebilir.

Depolama hesabı dağıtımı sürüyor.

Dağıtım tamamlandığında, yeni Data Lake Storage Gen2 hesabınız Depolama Hesapları bölümünde listelenecek ve Azure Synapse ile kullanıma hazır olacaktır.

Azure’da etkin depolama hesapları.

3. Synapse çalışma alanı oluşturun

Azure Synapse çalışma alanı, Azure Synapse içinde veri entegrasyonu, analitik ve depolama için gereken tüm kaynak ve servisleri kurup düzenleyip yönetebileceğiniz temel ortamdır. Synapse projenizdeki çeşitli araçları ve veri varlıklarını yapılandırmak ve bunlara erişmek için merkezi bir merkez görevi görür.

“Create Synapse Workspace” düğmesine tıklayarak Azure Synapse çalışma alanı oluşturun.

Synapse çalışma alanı oluşturma.

Sonraki adımda Azure Synapse çalışma alanınızı oluşturmak için formu doldurmanız gerekecek. 

Aboneliğinizi ve kaynak grubunuzu seçerek başlayın, ardından çalışma alanınız için bir ad girin ve uygun bölgeyi seçin. 

Synapse çalışma alanı oluşturma - ayrıntıları doldurma.

“Create” düğmesine tıklamadan önce son sekmedeki ayrıntıları gözden geçirin. 

Synapse çalışma alanının doğrulanması.

Azure Synapse çalışma alanının dağıtılması birkaç dakika sürebilir.

Azure Synapse Analytics dağıtımı sürüyor.

“datacamp” adlı Azure Synapse Analytics çalışma alanı oluşturuldu.

Çalışma alanı dağıtıldıktan sonra açmak için adına tıklayın.

4. Synapse Studio’yu açın

Azure Synapse Studio, Azure Synapse çalışma alanınızı yönetmek ve onunla etkileşim kurmak için web tabanlı arayüzdür. Veri entegrasyonu, büyük veri analitiği ve veri ambarı görevlerini tek bir yerde gerçekleştirebileceğiniz birleşik bir çalışma alanı sunar. 

Synapse Studio, farklı araçlar veya ortamlar arasında geçiş yapmadan veri hatlarını, SQL betiklerini, Spark görevlerini ve daha fazlasını hızlıca geliştirmenize, yönetmenize ve izlemenize olanak tanıdığı için kritik öneme sahiptir. 

Synapse Studio.

Bir Veri Kümesi İçe Aktarma

Synapse Studio’da veriyi birkaç farklı kaynaktan içe aktarabilirsiniz. Synapse çalışma alanına bağlı bir Gen2 depolama hesabından (yukarıdaki 2. adıma bakın), bir SQL sunucu veritabanından veya harici kaynaklardan içe aktarabilirsiniz. 

Bu eğitimde, Synapse Gallery’de bulunan örnek veri kümelerinden biri olan “Bing COVID-19 Data”yı kullanacağız. 

İçe aktarmak için sol taraftaki gezinme menüsünde “Dataset”e tıklayın, ardından “+ işareti” → "Gallery"e tıklayın.

Synapse Studio’da Veri Kümesi Galerisi.

“Add dataset” düğmesine tıklayıp içe aktarmadan önce verinin üst verisini ve örnek satırlarını inceleyebilirsiniz.

Synapse Studio’da veri kümesini inceleyin.

İçe aktarma başarılı olduğunda veri kümesini “Data” altında görebileceksiniz.

Synapse Studio’da Data sekmesi.

Sorgu Yazma ve Çalıştırma

Azure Synapse Studio, sorgu yazmak ve çalıştırmak için kullanıcı dostu bir arayüz sunar. Basit veri getirmeden daha karmaşık analitiğe kadar geniş bir yelpazede veri analizi görevleri için SQL kullanabilirsiniz. 

Synapse Studio ayrıca sorgularınızı kaydetmenize ve yönetmenize, sorgularınızın sonuçlarını görüp işlemenize olanak tanır.

Bu veri kümesini bir SQL betiğiyle ya da bir Notebook oluşturarak analiz edebilirsiniz. Bir Notebook’ta, veri kümesini bir Spark DataFrame olarak yükleyebilir ve veri işleme ile analiz için Spark’tan yararlanabilirsiniz.

Bu veri kümesi üzerinde SQL sorguları çalıştırmak için veri kümesi adının yanındaki üç noktaya tıklayın.

Synapse Studio’da SQL ile veri analizi.

“Select TOP 100 rows” seçeneğine tıklamak, SQL sorguları yazıp çalıştırabileceğiniz ve sonuçları görüntüleyebileceğiniz bir SQL düzenleyicisi açacaktır.

Synapse Studio’da SQL düzenleyicisi.

Tablo görünümü yerine çıktıyı görselleştirmek isterseniz “Results” altında “Chart”a tıklayın.

Sorgu sonuçlarını Synapse Studio’da Grafik olarak görüntüleme.

Bir SQL betiği oluşturduğunuzda veya değiştirdiğinizde bu değişiklikler başlangıçta taslak olarak kaydedilir. Üstteki “Publish” düğmesine tıklayarak betiği yayımlamak, bu değişiklikleri işler ve en son sürümün çalışma alanında saklanmasını sağlar.

Synapse Studio’da bir SQL betiğini yayımlamak, betiğinizi Synapse çalışma alanına kaydetmek; gelecekte kullanım, iş birliği ve sürüm kontrolü için erişilebilir kılmak anlamına gelir.

Örnek: Dünya genelinde COVID-19 doğrulanmış vakalardaki günlük artışın analizi

Gelin, bu veri kümesi üzerinde bir SQL sorgusu çalıştırarak dünya genelinde COVID-19 doğrulanmış vakalardaki günlük artışı analiz edelim. 

Sorgu, “Bing COVID-19 veri kümesi”nden verileri alır, mevcut günün doğrulanmış vaka sayısını bir önceki günün sayısıyla karşılaştırarak her gün bildirilen yeni vaka sayısını hesaplar ve sonuçları tarihe göre sıralar. 

Synapse Studio SQL düzenleyicisinde SQL sorgusu.

Notebooks ile Veri Analizi

Synapse Studio’da, kod çalıştırmak, sonuçları görselleştirmek ve veri analizi yapmak için etkileşimli bir ortam sağlayan notebook’larla veri analiz edebilirsiniz. 

Synapse Studio’daki notebook’lar, özellikle büyük veri işlemede güçlü olan PySpark dahil birden çok dili destekler. 

Synapse Studio’da bir Notebook çalıştırmak için onu bir Apache Spark havuzuna iliştirin; bu havuz, büyük veri kümelerini verimli şekilde işlemek için gerekli dağıtık hesaplama kaynaklarını sağlar.

Apache Spark havuzu, Spark işlerinizi çalıştırmak üzere dinamik olarak tahsis edilen hesaplama düğümlerinin bir koleksiyonudur. Zaten bir Spark havuzunuz yoksa Synapse Studio’daki "Manage pools" bölümüne giderek düğüm sayısını, boyutunu ve diğer yapılandırmaları belirterek bir havuz oluşturabilirsiniz. 

Spark havuzunuz kurulduktan ve notebook’a iliştirildikten sonra, aşağıdaki ekran görüntüsünde gösterildiği gibi, veri yüklemek, dönüştürmek ve analiz etmek için notebook içindeki kod hücrelerini çalıştırabilirsiniz. 

Bu kurulum, Azure Synapse içinde doğrudan büyük ölçekli veri analizi için Spark’ın tüm gücünden yararlanmanızı sağlar.

Synapse Studio’da Notebooks kullanarak verileri analiz edin.

Azure Synapse’i Diğer Azure Servisleriyle Entegre Etme

Azure Synapse, diğer Azure servisleriyle kesintisiz entegre olarak kapsamlı veri analitiği çözümleri oluşturmanıza olanak tanır. 

Başlıca entegrasyonlardan bazıları şunlardır:

• Azure Data Factory: Azure Data Factory’den yararlanarak karmaşık veri iş akışlarını orkestre edin ve ETL (Extract, Transform, Load) veya ELT (Extract, Load, Transform) süreçlerini otomatikleştirin. Azure Synapse’i Data Factory ile entegre ederek çeşitli kaynaklardan veriyi kolayca Synapse çalışma alanınıza taşıyıp dönüştürebilirsiniz; böylece veriniz analiz için her zaman hazır olur.
• Power BI: Azure Synapse, Power BI ile sorunsuz biçimde entegre olur ve gelişmiş veri görselleştirmeleri ile etkileşimli panolar oluşturmanıza olanak tanır. Bu entegrasyon, işletmelerin ham veriyi ekipler arasında paylaşılabilen, içgörü dolu ve görsel olarak etkileyici raporlara dönüştürmesini sağlayarak veri odaklı karar almayı ve iş zekâsı yeteneklerini güçlendirir.
• Azure Machine Learning: Azure Synapse’in veri işleme gücünü Azure Machine Learning ile birleştirin ve gelişmiş öngörücü analitik yeteneklerinin kilidini açın. Bu entegrasyon, makine öğrenimi modellerini doğrudan Synapse ortamınızda eğitmenize, dağıtmanıza ve yönetmenize olanak tanır; daha doğru tahminler ve daha akıllı veri odaklı stratejiler sağlar.
• Azure Databricks: İş birliğine dayalı veri bilimi ve makine öğrenimine odaklanan kuruluşlar için Azure Synapse ile Azure Databricks’i entegre etmek güçlü bir çözüm sunar. Bu entegrasyon, veri bilimcileri, mühendisler ve analistler arasında kesintisiz iş birliğini kolaylaştırır; veri hatları kurup ölçeklemelerini, modeller geliştirmelerini ve birleşik, iş birliğine dayalı bir ortamda gelişmiş analitik gerçekleştirmelerini mümkün kılar.

Azure Synapse Kullanımı için En İyi Uygulamalar

Azure Synapse’ten en iyi şekilde yararlanmak için şu en iyi uygulamaları izlemek önemlidir:

• Veri depolama formatlarını optimize etmek: Parquet veya ORC gibi doğru veri depolama formatlarını seçmek, en iyi sorgu performansını ve verimli veri işlemeyi sağlamak için çok önemlidir. Bu formatlar, sütun bazlı depolama ve sıkıştırmayı destekleyerek sorgu yürütme sürelerini ve depolama maliyetlerini önemli ölçüde azaltabilir.
• İşlem kaynaklarını verimli yönetmek: İşlem kaynaklarını verimli yönetmek, performans ve maliyet etkinliği arasında denge kurmanın anahtarıdır. İş yükü taleplerine göre kaynakları artırıp azaltarak ve uygun olduğunda sunucusuz seçenekleri kullanarak, atıl işlem gücü için fazla harcama yapmadan performans gereksinimlerini karşılayabilirsiniz.
• Güvenlik en iyi uygulamalarını uygulamak: Azure Synapse kullanırken güvenlik en öncelikli konulardan biri olmalıdır. Hassas bilgileri korumak için veri şifreleme, rol tabanlı erişim denetimi ve ağ izolasyonu gibi sağlam güvenlik önlemlerini uygulayın.
• İş yüklerini izlemek ve sorun gidermek: Azure Synapse iş yüklerinizin sürekli izlenmesi, en iyi performansı sürdürmek ve potansiyel sorunları operasyonları etkilemeden önce belirlemek için gereklidir. Yerleşik izleme araçlarını kullanarak kaynak kullanımını, sorgu performansını ve veri hattı verimliliğini takip edin; kesintileri en aza indirmek için anormalliklerde proaktif sorun giderme yapın.

Sonuç

Azure Synapse Analytics, verilerinin tam potansiyelinden yararlanmak isteyen kuruluşlar için güçlü ve çok yönlü bir çözüm olarak öne çıkıyor. Veri entegrasyonu, büyük veri analitiği ve kurumsal veri ambarını tek ve kapsamlı bir platformda birleştirerek işletmelerin veri operasyonlarını sadeleştirip benzeri görülmemiş bir verimlilikle değerli içgörüler elde etmesini sağlar.

Platformun esnekliği, ölçeklenebilirliği ve diğer Azure servisleriyle kesintisiz entegrasyonu; gerçek zamanlı analitikten karmaşık makine öğrenimi projelerine kadar çeşitli veri odaklı görevler için onu ideal kılar. Veri hacmi ve önemi arttıkça Azure Synapse, giderek daha veri merkezli hale gelen bir dünyada rekabetçi kalmak isteyen kuruluşlar için kritik bir araç konumunu alır.

Azure Synapse’i benimseyen işletmeler, mevcut veri süreçlerini optimize etmekle kalmayıp veri analitiğinde gelecekteki yeniliklerin de önünü açabilir. İlerledikçe, veriyi hızlı ve etkili biçimde uygulanabilir içgörülere dönüştürme yeteneği, başarılı kuruluşlar için kilit bir ayrıştırıcı olacaktır. Azure Synapse, bu zorluğu doğrudan karşılamak için gereken sağlam temeli sunar ve işletmelerin verinin gücüyle yeni fırsatların kilidini açıp büyümeyi hızlandırmasını mümkün kılar.

Veri bilimi kariyerinizi güçlendirmek mi istiyorsunuz? Datacamp’teki 2024 İçin En İyi 13 Azure Sertifikasına göz atın.