Program
Veri Mühendisi Python'da
40 sa
Geleneksel ve Bulut Veri Ambarı
Geleneksel bir veri ambarı kurum içinde kurulur; genellikle yüksek başlangıç maliyetleri, bunu yönetecek yetkin bir ekip ve geleneksel veri merkezi kaynak ölçeklemesinin katı yapısı nedeniyle artan talebi karşılayacak doğru planlama gerektirir.
Öte yandan, bulut veri ambarı çözümü bir bulut hizmeti sağlayıcısı tarafından barındırılır ve yönetilir.
Bulut veri ambarlarının avantajları
Genellikle bir bulut veri ambarı, geleneksel veri ambarlarına göre çeşitli avantajlar sunar:
- Ölçek için tasarlanmıştır ve bulut ortamının esnekliğinden yararlanır
- Hız ve performans iyileşmiştir
- Esnek fiyatlandırma ve bulut ortamı maliyet optimizasyonunu sağlar (ör. düşük talep dönemlerinde küçültme)
- Tamamen veya kısmen yönetilebilir, bu da operasyonel maliyetleri azaltır.
Satır Odaklı ve Sütun Odaklı Veritabanları
Satır odaklı veritabanına örnek:
Sütun odaklı veritabanına örnek:
Satır odaklı veritabanları, tam satır aramaları, yeni kayıt ekleme ve kayıtları değiştirme gibi iş yükleri için uygundur. Buna karşılık, analitik iş yükleri için pek uygun değildir. Örneğin, onlarca sütunu olan bir tablodan sadece birkaç sütunu sorgulamak, gereksiz miktarda veri okunmasına yol açar (bu durum ürün tahmini, ad-hoc analiz gibi analitik iş yüklerinde yaygındır).
Satır odaklı veritabanları genellikle çevrimiçi işlem işleme (OLTP) için; sütun odaklı veritabanları ise çevrimiçi analitik işleme (OLAP) için uygundur.
OLTP ve OLAP
- OLTP, işlem odaklı uygulamalarda kullanılan bir veritabanı sistemi türüdür. “Çevrimiçi”, bu tür sistemlerin kullanıcı isteklerine yanıt verip işlemleri gerçek zamanlı olarak işlemelerini beklediğimiz anlamına gelir (yani işlemleri işler).
- Bu terim, veri analizine odaklanan çevrimiçi analitik işleme (OLAP) ile zıtlık oluşturur.
Karşılaştırmanın özeti:
|
Satır odaklı veritabanı |
Sütun odaklı veritabanı |
||||||
|
Depolama |
Satıra göre |
Sütuna göre |
|||||
|
Veri alma |
Tam kayıtlar |
İlgili sütunlar |
|||||
|
Tipik kullanım |
OLTP |
OLAP |
|||||
|
Hızlı işlemler |
Ekleme, Güncelleme, Arama |
Raporlama amaçlı sorgular |
|||||
|
Veri yükleme |
Genellikle bir seferde bir kayıt |
Genellikle toplu |
|||||
|
Popüler seçenekler |
Postgres, MySQL, Oracle, Microsoft SQL Server |
Snowflake, Google BigQuery, Amazon Redshift |
|||||
BigQuery Nasıl Çalışır?
BigQuery’nin temel özelliklerinden biri, işlem motoru ile depolamanın ayrılmasıdır; böylece her ikisi de ihtiyaç oldukça ve talebe göre ayrı ayrı ölçeklenebilir. Bu sayede kullanıcılar terabaytlarca veriyi saniyeler içinde, petabaytlarcayı ise dakikalar içinde sorgulayabilir.
BigQuery bir sorgu çalıştırdığında, sorgu motoru işi paralel olarak dağıtır, depodaki ilgili tabloları tarar, sonuçları birleştirir ve nihai veri setini döndürür.
BigQuery’ye Nasıl Başlanır
Bu bölümde, BigQuery’ye nasıl erişileceğini ve BigQuery sandbox’ın nasıl kullanılacağını ele alacağız. Genellikle sandbox, izole bir test ortamıdır ve kolay denemeler yapmayı sağlar. BigQuery sandbox, kredi kartı bilgisi vermeden veya projeniz için bir faturalandırma hesabı oluşturmadan BigQuery’yi deneyimlemenize imkan tanır.
BigQuery’ye Google Cloud Console üzerinden erişebilirsiniz. Bir Gsuite e-posta hesabıyla oturum açmanız (ya da bir tane oluşturmanız) gerekir. Oturum açtıktan sonra bir karşılama ekranı görmelisiniz:
BigQuery’yi sol menü çubuğunda bulabilirsiniz. Tıkladığınızda aşağıdaki ekrana gidersiniz:
BigQuery sandbox’ı kullanma
BigQuery sandbox’ı kullanmak için önce ‘Select Project’ düğmesine tıklayarak bir proje oluşturun.
Ardından ‘New Project’ üzerine tıklayın:
Bir proje adı girmeniz gerekir; bu kılavuz için datacamp-guide-project kullanıyoruz.
Artık BigQuery sayfasında bir sandbox bildirimi görüntülenir; bu da BigQuery sandbox’ını başarıyla etkinleştirdiğiniz anlamına gelir.
BigQuery sandbox artık etkin olduğuna göre, yeni projenizi veri yüklemek ve sorgulamak ile Google’ın herkese açık veri kümelerini sorgulamak için kullanabilirsiniz.
Veri kümesi ve tablo oluşturma
Bir tablo oluşturmadan önce, yeni projenizde bir veri kümesi oluşturmanız gerekir. Veri kümesi, bir dizi tablo ve görünüme erişimi düzenlemek ve kontrol etmek için kullanılan en üst düzey kapsayıcıdır. Bir veri kümesi oluşturmak için projenin ‘Actions’ simgesine tıklayın:
Bu kılavuz kapsamında, ‘Dataset ID’ alanını ‘main’ ile dolduracağız.
Bir tabloyu SQL kullanarak oluşturabilirsiniz. BigQuery, ANSI uyumlu olan GoogleSQL kullanır.
create table datacamp-guide-project.main.users ( id INT64 not null, first_name STRING NOT NULL, middle_name STRING, -- can be null last_name STRING NOT NULL, active_account BOOL NOT NULL, ); Ayrıca BigQuery Konsolu arayüzünü de kullanabilirsiniz:
Not: Sandbox ortamındayken veri eklemek mümkün değildir. Veri eklemeyi denemek isterseniz, ücretsiz denemeyi etkinleştirmeniz gerekir. Sonraki bölümler, Google Cloud kapsamında sunulan herkese açık veri kümelerinin sorgulanmasına odaklanır.
BigQuery Konsolu kullanarak herkese açık bir veri kümesini sorgulama
Herkese açık bir veri kümesini sorgulamak için aşağıdaki adımları izleyin:
1. Explorer’ın yanındaki ‘Add’ düğmesine tıklayın.
2. Ardından bir veri kümesi seçin.
3. ‘Google Trends’ ifadesini arayın ve Google Trends’i seçin, ardından ‘View dataset’ düğmesine tıklayın.
4. bigquery-public-data, uzun bir veri kümesi listesiyle görünür. bigquery-public-data’yı yıldızlayarak gezginde “sabitleyin”.
Google Trends Veri Kümesini Kullanan Pratik Bir Örnek
top_terms tablosundan yararlanacağız:
top_terms tablosunu açmak için tıklayın ve top_terms verileri hakkında daha fazla bilgi edinmek için Details ve Preview sekmelerini inceleyin.
Aşağıdaki örnekte olduğu gibi, son iki haftada birinci sırada yer alan terimleri getirmek için veri kümesini sorgulayabilirsiniz:
SELECT
term
FROM bigquery-public-data.google_trends.top_terms WHERE -- Filter only for first rank rank = 1 -- Filter to the last 2 weeks. AND refresh_date >= DATE_SUB(CURRENT_DATE(), INTERVAL 2 WEEK) GROUP BY term Sonuçlar (değişkenlik gösterebilir):
Sonraki Adımlar
Artık BigQuery’yi kullanmaya başlamak için hazırsınız. Google Cloud, 300$’lık ücretsiz deneme sunar. BigQuery çeşitli ödeme seçenekleri sunar. Sorgulama için ayda 1 TB ücretsiz hakkınız vardır; bunun ötesi TB başına 6,25$’dır. Daha fazla fiyat bilgisi için fiyatlandırma sayfasını ziyaret edebilirsiniz.
BigQuery gibi bulut tabanlı veri ambarlarıyla çalışmayı da içeren kapsamlı bir veri mühendisliği anlayışı edinmek isteyenler için DataCamp, temelden ileri konulara kadar her şeyi kapsayan bir Python ile Veri Mühendisliği Öğrenme Yolu sunmaktadır.
Ayrıca, mevcut araçlara daha fazla içgörü elde etmek için AWS, Azure ve Google Cloud Platform karşılaştırma kopya kağıdımıza göz atabilirsiniz.
Konular