BigQuery Sandbox: Google'ın Ücretsiz SQL Oyun Alanına Rehber

BigQuery’yi öğrenmek istediğimde en büyük engel SQL söz dizimi değildi; yanlışlıkla fatura oluşturma korkusuydu. Sadece denemek için kredi kartı eklemek istemiyordum. 

BigQuery Sandbox, Google’ın bu soruna yanıtı. Dünyanın en güçlü veri ambarlarından birine sıfır maliyetle, risksiz bir giriş sunuyor. BigQuery’nin SQL motorunun temel analitik yeteneklerinin çoğunu tek bir faturalandırma bilgisi vermeden kullanabiliyorsunuz.

Bu yazıda BigQuery Sandbox ile nasıl başlayacağınızı, onunla neler yapabileceğinizi (ve yapamayacağınızı), her hafta kullandığım pratik iş akışlarını ve ne zaman tam projeye yükseltme yapmanız gerektiğini göstereceğim. İster kendine güven inşa eden bir junior veri uygulayıcısı olun ister yeni fikirler prototipleyen deneyimli bir profesyonel, Sandbox kurumsal düzeyde veri ambarcılığını ücretsiz keşfetmenin en güvenli yoludur.

Bulut verisine yeniyseniz temel atmak için Introduction to BigQuery kursuyla başlamanızı öneririm.

BigQuery Sandbox Nedir?

BigQuery Sandbox, Google Cloud’un tamamen yönetilen veri ambarına maliyetsiz, kredi kartsız bir giriş noktasıdır. Kullanıcıların bir faturalandırma hesabı oluşturmadan veya bir ödeme yöntemine bağlanmadan BigQuery’nin temel analitik araçlarını ve Google Cloud Console’u keşfetmesine olanak tanır. BigQuery Free Tier sınırları içinde çalışır, ancak hafif bir ortamı korumak için belirli zaman aşımı politikaları uygular.

Sandbox’ın değerini anlamak için önce kullanıcıya gerçekte ne sunduğuna bakmamız gerekir.

Temel tanım ve değer önerisi

BigQuery Sandbox, yeni başlayanlar ve öğrenciler için en büyük sürtünmeyi ortadan kaldırır: İlk sorgunuzu çalıştırmadan önce ödeme ayrıntıları ayarlama zorunluluğu. Normal bir Google hesabıyla oturum açar, bir proje oluşturur ve anında herkese açık veri kümelerini sorgulamaya hazırsınız.

Fortune 500 şirketlerinin kullandığı aynı Standard SQL motorunu elde edersiniz; ayrıca her ay 1 TB işlenen sorgu verisi ve 10 GB aktif depolama. BigQuery’nin ücretsiz katman kota ve limitlerine tabi olmak kaydıyla tamamen ücretsizdir.

BigQuery’de işe hazır hale gelmek için pratik amaçlı Top BigQuery Interview Questions içeriğimizi kullanmanızı öneririm.

Sandbox vs. ücretsiz katman vs. ücretsiz deneme

Yeni kullanıcılar için Sandbox, ücretsiz katman ve ücretsiz deneme arasındaki farklar kafa karıştırıcı olabilir. Ben şöyle karar veriyorum:

• Sandbox: Faturalandırma hesabı veya kredi kartı gerekmez. Tablolar, görünümler ve bölümler 60 gün sonra otomatik olarak zaman aşımına uğrar. Öğrenme, sertifikalar ve hızlı deneyler için idealdir.
• Ücretsiz katman: Faturalandırma bilgisi gerektirir ancak kalıcı tablolar sunar. Aynı 10 GB depolama / 1 TB sorgu sınırları geçerli. Verinin daha uzun süre kalmasını istediğinizde bunu kullanın.
• Ücretsiz deneme: Tüm özelliklere tam erişimle 90 gün boyunca 300$ kredi. Bütçeye geçmeden önce ciddi değerlendirme için harika.

Benim kuralım: Eğitim veya kavram kanıtı için Sandbox ile başlayın. Kalıcı depolamaya ihtiyaç duyduğunuzda Ücretsiz Katman’a geçin. Yalnızca akış, zamanlanmış transferler veya ağır üretim yükleri gerektiğinde ücretliye geçin.

BigQuery Sandbox Ortamını Kurma

Sandbox’a girmek basittir, ancak kredi kartı istenmesini önlemek için izlemeniz gereken belirli bir iş akışı vardır.

Önkoşullar ve erişim

Sandbox’ı kullanmanın tek katı gereksinimi, kişisel bir Gmail hesabı veya Google Workspace hesabı gibi standart bir Google Hesabıdır. Başlamak için mevcut bir Google Cloud projesine ihtiyacınız yok.

Doğrudan Google Cloud Console'a gitmenizi öneririm. Google Cloud’u hiç kullanmadıysanız, gösterge tablosuna geçmeden önce kabul etmeniz gereken bir hizmet şartları sözleşmesiyle karşılanırsınız.

Sandbox’ı etkinleştirme

1. Üstte Bir proje seçine tıklayın.
2. Yeni Proje’ye tıklayın ve bir ad verin (ör. “sandbox-experiments”).
3. Önemli: Kesinlikle bir faturalandırma hesabı seçmeyin veya oluşturmayın. Sadece projeyi oluşturun.
4. Proje hazır olduğunda, sol menüden BigQuery’yi açın. Proje adınızın yanında aşağıdaki ekran görüntüsündeki gibi bir Sandbox etiketi görmelisiniz.

İstendiğinde BigQuery API’sini etkinleştirin — yalnızca birkaç saniye sürer.

Arayüzde gezinme

BigQuery arayüzü sürekli kullanacağınız üç ana alana bölünmüştür. Solda, veri kümelerinizin ve tablolarınızın bulunduğu Explorer bölmesi vardır. Orta bölüm Sorgu Düzenleyicisi, alt bölüm ise Sonuçlar ızgarasını gösterir.

Benim deneyimime göre, alışmanın en iyi yolu hemen bir herkese açık veri kümesini sabitlemektir. Explorer bölmesinde + Veri ekle düğmesine tıklayın, Public Datasets öğesini seçin ve bigquery-public-data araması yapın. Bu, kendi dosyalarınızı yüklemek zorunda kalmadan NYC taksi yolculukları veya GitHub depoları gibi birçok farklı konu hakkında dev veri kümelerine anında erişim sağlar.

Arayüzünüzü yapılandırdıktan sonra, BigQuery’nin ücretsiz kullanıcılara bile sunduğu üst düzey özellikleri keşfetmeye başlayabilirsiniz.

Galeri üst kısmındaki arama çubuğuna “GitHub” yazın. GitHub Activity Data dataset (bigquery-public-data.github_repos) etiketli kutucuğu arayın. Zengin metaverisi sayesinde karmaşık join’ler ve string işlemleri pratiği için mükemmeldir.

Ürün ayrıntıları sayfasını görmek için GitHub kutucuğuna tıklayın. Buradan View dataset düğmesine tıklayın. Bu, sizi tekrar BigQuery düzenleyicisine yönlendirecektir. Sonrasında, herkese açık veri kümesini yıldızlayıp/sabitlemek için yıldız düğmesine tıklayın. 

Artık veriyi sabitlediğinize göre Explorer bölmesindeki ağacı genişleterek github_repos veya commits gibi tek tek tabloları görebilirsiniz. Platformun gerçek analitik özelliklerini kullanmaya hazırsınız.

BigQuery Sandbox Temel Özellikleri

Sandbox sadece görüntüleme modu değildir; gelişmiş analitik iş yüklerini destekleyen tam işlevli bir SQL motorudur. Profesyonel veri mühendislerinin kullandığı birçok üst düzey özelliğe erişiminiz vardır. Ancak bazı yetenekler (DML, akış ve Data Transfer Service dahil) Sandbox’ta mevcut değildir.

Sorgu yürütme ve SQL desteği

Sandbox size BigQuery’nin Standard SQL motorunun tüm gücünü sunar — Spotify ve Twitter gibi şirketlerin petabayt ölçeğinde analiz için kullandığı aynı motor. Basit SELECT * FROM … sorgularından karmaşık pencere fonksiyonlarına, genel tablo ifadelerine (CTE), ARRAY/STRUCT işlemeye ve GEOGRAPHY türleriyle coğrafi sorgulara kadar her şeyi yazabilirsiniz.

Bir sorgu yazdığınızda, BigQuery düzenleyicinin sağ üst köşesinde bir Sorgu Doğrulayıcı simgesi sunar. Bu doğrulayıcıyı Sandbox kullanıcıları için hayat kurtarıcı buldum. Sorgunuzu çalıştırmadan önce ne kadar veriyi işleyeceğini tam olarak söyler. Aylık 1 TB limitiniz olduğundan, bu tahmini kontrol etmek tek bir verimsiz SELECT * ifadesiyle kotanızı tüketmemenize yardımcı olur.

Önceden baktığımız GitHub Activity veri kümesi üzerinde bazı gerçek sorgular çalıştıralım. Bunlar güvenlidir, çok az veri tarar ve aşamalı olarak daha fazla SQL kavramı öğretir.

GitHub veri kümesindeki toplam commit sayısı

Sorgu Düzenleyicisi’nde (orta panel) mevcut metni silin. Ardından aşağıdaki sorguyu yazın:

SELECT COUNT(*) AS total_commits
FROM bigquery-public-data.github_repos.commits

Altta “Bu sorgu X MB işleyecek” gibi küçük bir sayı göreceksiniz. Run’a tıkladıktan sonra sonuçlar birkaç saniye içinde alt ızgarada görünür.

Bu sorgu, her yeni herkese açık veri kümesi için benim “hello world” — ölçeği anında söyler. Görecekleriniz:

• Sonuçlar ızgarası tek satır gösterir: total_commits sütunu çok büyük bir sayı (yüz milyonlarca) ile.

• Job Information sekmesinde bayt işleme, çalışma süresi ve slot kullanımı dahil iş metaverisi görüntülenir.

Popüler GitHub depolarında yazar başına ortalama commit

Daha karmaşık bir sorgu da kullanabiliriz:

• Depoları, yazarları ve commit’leri içeren geçici bir tablo oluşturur

• Depo bazında toplulaştırır

• 50’den fazla farklı author_email girişine sahip depoları filtreler

• Yazar başına ortalama commit sayısına göre sıralanmış ilk 10 sonucu gösterir

WITH author_commits AS (
  SELECT repo_name, author.email AS author_email, COUNT(*) AS commits
  FROM bigquery-public-data.github_repos.commits
  GROUP BY repo_name, author_email
)
SELECT 
  repo_name,
  AVG(commits) AS avg_commits_per_author,
  COUNT(DISTINCT author_email) AS unique_authors
FROM author_commits
GROUP BY repo_name
HAVING unique_authors > 50
ORDER BY avg_commits_per_author DESC
LIMIT 10

Sonuç şöyle görünüyor:

String işleme

BigQuery string işleme konusunda mükemmeldir. Adında “data-science” veya “machine-learning” geçen tüm depoları bulmak isterseniz REGEXP_CONTAINS fonksiyonunu kullanabilirsiniz: 

SELECT
   repo_name
FROM bigquery-public-data.github_repos.sample_repos
WHERE REGEXP_CONTAINS(repo_name, r'data-science|machine-learning')
LIMIT 20;

Herkese açık veri kümeleri pratik için mükemmel olsa da, kendi verinizi analiz ettiğinizde Sandbox’ın gerçek gücü açığa çıkar. İster küçük bir hesap tablosu ister günlük dosyası olsun, BigQuery verinizi buluta aktarmanın birkaç yolunu sunar.

Veri alma yöntemleri

Benim deneyimime göre BigQuery’de veri alma süreci kurumsal pazardaki en kullanıcı dostu olanlardan biridir. Başlamak için karmaşık ETL (Extract, Transform, Load) betikleri yazmanız gerekmez. Yerleşik sihirbazı kullanarak veri kaynağınızı işaret edebilirsiniz.

Yöntem 1: Yerel dosyaları yükleme

Bu, yeni başlayanlar için en yaygın yoldur. BigQuery, CSV, satır sonu ile ayrılmış JSON ve Avro dahil birkaç biçimi destekler.

Dosya yükleme adımları:

1. Explorer bölmesinde proje kimliğinizin yanındaki üç noktaya tıklayın ve yukarıdaki ekran görüntüsünde olduğu gibi Dataset oluşturu seçin. 
2. Sonraki adımda, dataset adı ve konumu gibi birkaç ayrıntı ve isteğe bağlı parametreler istenir. Bu ayrıntıları girdikten sonra alttaki mavi Dataset oluştur düğmesine tıklayın.
3. CSV dosyanızı kaynak olarak yükleme sürecini başlatmak için sağ üst köşedeki Create Table’a tıklayın. Veritabanı oluşturma sürecine benzer şekilde, şimdi birkaç ayrıntı girmeniz gerekir.
4. Upload’ı seçin, CSV dosyanızı yükleyin (BigQuery genellikle biçiminizi otomatik olarak algılar) ve tabloya bir ad verin. 10GB toplam Sandbox depolama sınırına dikkat edin.
5. Şema altında Auto detect işaretli kalsın; böylece BigQuery sütun adlarını ve türlerini çıkarır. Deneyimlerime göre bu, temiz CSV ve JSON dosyaları için çok iyi çalışıyor; ancak gerekirse sütun adlarını veya türlerini daha sonra düzenleyebilirsiniz.
6. İşiniz bittiğinde alttaki mavi Create table düğmesine tıklayın.

BigQuery dosyayı yükler, şemayı çıkarır ve tabloyu oluşturur. Artık hemen sorgulayabilirsiniz.

Sandbox’ta bunun harika olma nedenleri:

• Sıfır maliyet: yükleme ücretsizdir.

• Otomatik şema çıkarımı, sadece test yaparken zaman kazandırır.

• Veri temizliği veya herkese açık veri kümeleriyle JOIN pratiği için idealdir.

Yöntem 2: Google Drive’dan veri içe aktarma

Veriniz zaten bulutta ise BigQuery’yi doğrudan bu kaynaklara bağlayabilirsiniz. Bu, elektronik tablolarını SQL ile sorgulamak isteyen Google Sheets kullanıcıları için özellikle kullanışlıdır; burada örnek vaka olarak bunu kullanacağım.

Drive’dan içe aktarma adımları:

1. Create Table’a tıklayın, ancak bir dosya yüklemek yerine açılır menüden Create table fromu Drive olarak ayarlayın. 
2. Google Sheet URL’sini yapıştırın, ardından Dosya Biçimini Google Sheet olarak ayarlayın. Ardından içe aktarmak istediğiniz Sheet aralığını ayarlamanız istenecek; sonrasında oluşturulan tabloya bir ad verin (burada personal_expenses). BigQuery’nin şemayı otomatik algılamasına izin verebilir veya manuel tanımlayabilirsiniz. 
3. İşiniz bittiğinde Create table’a tıklayın. 

Bunu neden kullanıyorum:

• Yerel indirme/yükleme gerekmez.
• Yineleme için harika: Sheets’te düzenleyin, sonra değişiklikleri test etmek için yeni bir tablo olarak yeniden içe aktarın.

Yöntem 3: Google Cloud Storage bucket’larından içe aktarma

GCS’de veriniz varsa (ücretsiz bir bucket bile olsa), bu Sandbox’taki en ölçeklenebilir seçenektir. BigQuery ayrıca Azure Blob Storage veya Amazon S3 üzerinden içe aktarma sunar. Üç büyük bulut ekosisteminin karşılaştırması için AWS vs. Azure vs. Google Cloud rehberimize göz atmanızı öneririm.

GCS’den içe aktarma adımları:

1. Açılır menüde Create table fromu Google Cloud Storage olarak ayarlayın. 
2. Bucket URL’nizi yapıştırın veya göz atıp bucket’ınızı seçin. Geri kalan kısım yükleme yönteminin aynısıdır: Tabloyu adlandırın, bir dataset seçin/oluşturun, bir şema seçeneği belirleyin ve Create table’a tıklayın.

BigQuery GCS’den yükler, tabloyu oluşturur ve hazırsınız. Alınan tüm tablolar yine 60 günlük zaman aşımı kuralına tabidir. Bu da hatları test etmek için harika olduğu anlamına gelir, ancak kalıcı depolamaya ihtiyacınız varsa yükseltmeyi unutmayın.

Ham SQL, veri projesinin nadiren nihai çıktısıdır. Bulgularınızı gerçekten iletmek için bu veri satırlarını paydaşların bir bakışta anlayabileceği görsel hikayelere dönüştürmeniz gerekir.

Görselleştirme entegrasyonları

BigQuery Sandbox, Google ekosisteminin “yapışkan” bir parçası olacak şekilde tasarlanmıştır; yani, neredeyse sıfır yapılandırmayla Google’ın iş zekası araçlarına bağlanır. Sonuçlar bölmesindeki Open in menüsünün, verileri görsel dünyaya taşıma konusunda merkezi bir merkez gibi davrandığı için, yeni başlayan biri açısından en önemli özellik olduğunu gördüm.

Deneyimlerime göre bu tek tıkla bağlantı, bir veri analisti için Sandbox’ın en büyük avantajıdır. Genellikle kurumsal veri iş akışlarını aksatan karmaşık veritabanı sürücüleri veya yerel kurulumları yönetme ihtiyacını ortadan kaldırır.

Sonuçlar ızgarasında yerleşik görselleştirme sekmesi

Konsoldan ayrılmadan grafik görmek için en hızlı yol Visualization sekmesidir: kelimenin tam anlamıyla bir tık ötede. Adım adım şöyle çalışır:

1. Sorgu Düzenleyicisi’nde herhangi bir sorgu çalıştırın (ör., daha önce kullandığımız GitHub en popüler diller örneği).

2. Sonuçlar alt ızgarada yüklendikten sonra, sonuç tablosunun üstündeki sekmelere bakın, Visualization sekmesine tıklayın (“Results”, “JSON”, “Execution details” ve “Execution graph”’ın hemen yanındadır). 

3. BigQuery otomatik olarak bir önizleme grafik üretir. Çoğu zaman verilerinize bağlı olarak bir çubuk veya saçılım grafiğidir (ör., x ekseninde language, y ekseninde commit_count).

Sağ tarafta, grafiği düzenlemeniz için görselleştirme yapılandırma paneli otomatik olarak açılır:

• Visualization type: Çubuktan çizgiye, saçılıma, haritaya vb. değiştirin (açılır menü).
• Dimension (x-axis): Kategori sütununuzu seçin.
• Measures (y-axis): Sayısal sütununuzu seçin.
• En fazla 5 ölçü seçin. Karşılaştırmak için birden çok çizgi/çubuk ekleyin.

Nokta/çubukların üzerine gelerek tam değerleri görebilir veya grafik çok büyükse yakınlaştırma/kaydırma yapabilirsiniz.

Looker Studio ile anında panolar

Sonuçlarınızı görselleştirmenin bir başka yolu da Looker Studio entegrasyonudur. Sorgunuz düzenleyicide çalışmayı bitirdiğinde, sonuçlar bölmesinin sağ tarafındaki Open in düğmesini arayın ve Looker Studio’yu seçin.

Bu, sizden veri erişimini onaylamanızı isteyecek yeni bir sekme açar. Erişim onaylandıktan sonra sorgu sonuçlarınız halihazırda dinamik bir veri kaynağı olarak yüklü gelir. 

Bunun, portföy projeleri oluşturmak için en verimli iş akışı olduğunu gördüm. Kimlik doğrulama veya veri çıkarımları hakkında endişelenmenize gerek yok; Google perde arkasında el sıkışmasını yapar. Saniyeler içinde boyutları çubuk grafiklere sürükleyip bırakarak GitHub veya taksi verilerinizde ham tabloda belirgin olmayan eğilimleri görebilirsiniz.

Looker Studio’nun diğer görselleştirme ve BI araçlarıyla nasıl karşılaştırıldığını merak ediyorsanız, Looker Studio vs Power BI ve Looker vs Tableau yazılarımızı inceleyebilirsiniz.

Connected Sheets ile canlı analiz

Bazen tam bir pano fazla gelir ve sadece tanıdık bir e-tablo ortamında birkaç hızlı hesaplama yapmanız gerekir. Open in menüsünde Connected Sheets’i seçmek, BigQuery ile bir Google Sheet arasında canlı bir bağlantı oluşturur. Standart kopyala-yapıştırın aksine bu bağlantı, veriyi doğrudan e-tablodan yenilemenize olanak tanır.

SQL yazmaya rahat olmayan bir ekip arkadaşımla veri alt kümesini paylaşmam gerektiğinde bu özelliği çok faydalı buldum. Terabaytlarca veriyi filtrelemek için BigQuery’nün gücünü kullanmanızı ve ardından yönetilebilir, temiz bir dilimi son biçimlendirme veya pivot tablo analizi için bir e-tabloya devretmenizi sağlar.

Not defterleri ve data canvas ile gelişmiş görselleştirme

Veri bilimine dalmak isteyenler için Open in menüsü bir de Notebook seçeneği sunar. Bu, Sandbox sonuçlarınızı BigQuery Python istemcisini kullanarak sorgulayacak şekilde zaten yapılandırılmış bir Python not defteri (genellikle Google Colab) oluşturur.

Önemli Not: Sandbox’ın geri kalanından farklı olarak, bir BigQuery Notebook başlatmak genellikle etkin bir faturalandırma hesabı gerektirir. Bunun nedeni not defterlerinin Vertex AI hesaplama kaynaklarını başlatmasıdır. Vertex AI için ücretsiz bir katman olsa da Google, altta yatan sanal makinelerin kötüye kullanımını önlemek için bir ödeme yöntemi talep eder.

Daha görsel, kodsuz bir keşif deneyimini tercih ediyorsanız, Data canvas seçeneği veri kümeleriniz arasındaki ilişkileri grafiksel bir arayüzle görmenize olanak tanır. Bu entegre araçları kullanarak ham bir veri kümesinden beş dakikadan kısa sürede paylaşılan bir rapora veya bir Python modeline geçebilirsiniz.

BigQuery Sandbox’ın Kritik Sınırlamaları

BigQuery Sandbox veri keşfi için güçlü bir giriş noktasıdır, ancak sıkı bir dizi korkulukla yönetilir. Bu sınırlamaları anlamak, beklenmedik veri kayıplarından kaçınmanız açısından önemlidir.

Veri zaman aşımı ve depolama politikaları

Sandbox ortamındaki en önemli kısıt, zorunlu 60 günlük varsayılan tablo zaman aşımıdır. Verilerin süresiz kalabildiği standart BigQuery projelerinden farklı olarak, Sandbox veri kümelerinde tüm bölümler ve tablolar için 60 günlük kullanım ömrü sabitlenmiştir.

Bu politika ücretsiz katmanda değiştirilemez; kullanıcılar dataset ayarlarında bu zaman aşımını güncelleyemez veya kaldıramaz. Verileri iki aylık pencerenin ötesinde canlı tutmak için ücretli bir faturalandırma hesabına yükseltme gerekir. 

Ayrıca Sandbox, kullanıcıları 10GB aktif depolama ile sınırlar. Bu küçük veri kümeleri için yeterli olabilirken, uzun vadeli projeler sıklıkla tarihsel veri biriktirir ve 10GB eşiğine ulaşıldığında yenilerine yer açmak için eski kayıtları silmeye zorlar.

Özellik kısıtlamaları

Sandbox’ı düşük ek yük ortamı olarak tutmak için Google, yüksek hızlı ve otomatik bazı özellikleri kısıtlar. Özellikle Streaming API ve Data Transfer Service (DTS) gibi alma yöntemleri Sandbox’ta kullanılamaz. Bu da gerçek zamanlı telemetriyi içeri akıtamayacağınız veya Google Ads ya da Salesforce gibi üçüncü taraf SaaS platformlarından veri alımlarını otomatikleştiremeyeceğiniz anlamına gelir.

Ayrıca, Data Manipulation Language (DML) üzerinde katı kısıtlamalar vardır: Sandbox projeleri DML ifadelerini çalıştıramaz; INSERT, UPDATE ve DELETE ifadeleri yasaktır.

Son olarak, arka plan işi yürütmenin (zamanlanmış sorgular) olmaması, tüm işlemlerin manuel tetiklenmesi gerektiği anlamına gelir; SQL iş akışlarınızı bir Cron takvimine göre otomatikleştiremezsiniz.

Performans ve kapasite kotaları

Hesaplama açısından Sandbox projeleri, ödemeli katmanlarla aynı paylaşımlı altyapıda çalışır ve küresel bir slot (sanal CPU) havuzunu kullanır. Ancak daha düşük bir zamanlama önceliği atanır. Küresel talebin zirve yaptığı dönemlerde, sistem, ücretli müşterilerin Flex veya Capacity taahhütlerini önceliklendirdiğinden Sandbox sorguları daha yüksek gecikme yaşayabilir.

İşleme için katı tavan, aylık 1 TB sorgu kotasıdır. Bu tarama tabanlı bir limittir; devasa bir herkese açık veri kümesine karşı 500 GB tarayan bir sorgu çalıştırırsanız, tek tıkla aylık hakkınızın yarısını tüketmiş olursunuz. 

Kullanıcılar bu kullanımı, yürütmeden önce Sorgu Düzenleyicisi’nin sağ üst köşesindeki "Bytes Processed" tahminini kontrol ederek veya ay ortasında kilitlenmeye takılmamak için Google Cloud Console’un "Quotas" bölümünü izleyerek takip edebilir.

Sandbox’ın kısıtlarını anlamak, aslında en iyi kullanım senaryolarını tanımlamaya yardımcı olur. Maliyet oluşturamayacağınız için, üç belirli veri işi türü için güçlü bir laboratuvar haline gelir.

BigQuery Sandbox Kullanım Senaryoları

Deneyimlerime göre Sandbox, fikirler için bir hazırlık alanı olarak kullanıldığında en etkilidir. Bir bulut bütçesini yönetmenin idari yükü olmadan hızlıca başarısız olmanıza ve yinelemenize olanak tanır.

Eğitim ve beceri geliştirme

Sandbox’ın en bariz kullanım senaryosu SQL söz dizimi ve veri ambarı kavramlarını pratik etmektir. SQL öğrenme yolunuzda temel bilgileri SQL Fundamentals beceri yolunda öğrendikten sonra Sandbox’ta pratik yapmanızı, küçük yerel dosyalar yerine gerçek kurumsal ölçekli verileri kullanmanızı öneririm.

Sandbox’ı özellikle LEAD() ve LAG() gibi karmaşık pencere fonksiyonlarında ustalaşmak için faydalı buldum. Bir milyonluk taksi yolculuğu verisi üzerinde çalıştırmak, dağıtık SQL motorlarının bölümleme ve sıralamayı gerçekte nasıl ele aldığını anlamanıza yardımcı olur. Bu, yüksek riskli bir veri kariyeri için gereken kas hafızasını oluşturmaktır.

Kavram Kanıtı (PoC) geliştirme

Geliştiriciler için Sandbox, üretime çıkmadan önce şema tasarımlarını test etmek için ideal bir ortamdır. Kendi verimin temsilci bir dilimini sıkça yükler ve BigQuery’nin otomatik algılamasının belirli tarih biçimlerimi veya iç içe JSON yapılarımı nasıl ele aldığını görürüm.

Bu iş akışı, ekibinize değer kanıtlamak için kritik önemdedir. Sandbox verilerini kullanarak Looker Studio’da bir maket pano oluşturup nelerin mümkün olduğunu gösterebilirsiniz. Mantığı doğrulayıp paydaşları ikna ettikten sonra, veri saklama kalıcı olduğu ücretli katmana projeyi güvenle taşıyabilirsiniz.

Veri keşfi

Sandbox, açık veri kümeleri üzerinde ad-hoc analiz için bir altın madeni gibidir. Bir keresinde geliştirici üretkenliği hakkında bir hikâye anlatmak için GitHub herkese açık verilerini kullandım. Milyonlarca commit’i sorgulayarak, geliştiricilerin dünya çapında en çok hangi saatte aktif olduğunu bulmak istedim.

Sandbox’ta EXTRACT(HOUR FROM ...) fonksiyonunu kullanarak UTC 10:00 civarında devasa bir faaliyet artışı buldum. Bu tür veri hikâye anlatımı Sandbox’ta kolaydır çünkü tarama maliyeti hakkında endişelenmezsiniz. Resmi bir ETL hattı kurmadan önce hava durumu kalıpları veya kripto işlemlerinde gizli eğilimleri doğrulayabilir veya bulabilirsiniz.

BigQuery Sandbox’tan Prodüksiyona Geçiş

Eninde sonunda Sandbox korkuluklarının ilerlemenizi sınırladığı bir duvara çarpacaksınız. Verinizin 60 günden uzun süre kalmasını istediğinizde veya canlı veri akışına başlamak istediğinizde, profesyonel katmana geçme zamanı gelir.

Projeyi yükseltme

Sandbox’tan prodüksiyona geçmek esasen ışıkları açmaktır. Bunu mevcut projenize bir faturalandırma hesabı bağlayarak yaparsınız. Upgrade düğmesini doğrudan BigQuery konsolunda görürsünüz veya bunu Google Cloud Console’un Billing bölümünden de halledebilirsiniz.

Upgrade'e tıkladığınızda daha önce hiç faturalandırma hesabı oluşturmadıysanız, bir tane oluşturmanız istenir. Oluşturduktan sonra bu hesabı projenize bağlarsınız.

Yükselttikten sonra en büyük rahatlama, tablo zaman aşımı politikasının anında kaldırılmasıdır. Bir faturalandırma hesabı ekleyip proje Sandbox’tan çıktığında, varsayılan 60 günlük zaman aşımı artık uygulanmaz ve verilerinizin iki ay sonra otomatik olarak kaybolmaması için tablo zaman aşımını yapılandırabilir veya kaldırabilirsiniz.

Ayrıca Streaming API’nin kilidi açılır ve toplu analizden gerçek zamanlı veri işlemeye geçmenizi sağlar.

Maliyet yönetimi en iyi uygulamaları

Yükselttiğiniz an depolama ve sorgu maliyetlerinden sorumlu olursunuz. Her profesyonel projede benim ilk gün görevim bütçe uyarıları kurmaktır. Hedef aylık harcamamın (ör., 10$) %50, %80 ve %100 seviyelerinde ayarlarım.

Uyarıların ötesinde, şu kaliteli “Pro” alışkanlıkları öneririm:

• Fatura edilecek azami bayt: Sorgu ayarlarınızda fatura edilecek azami bayt sayısını belirleyebilirsiniz. Bu, 100$’lık bir sorgunun asla çalışmamasını sağlayan sert bir durdurmadır.
• "Kuru çalıştırma" doğrulayıcısı: Dev bir bütçem olsa bile Run’a basmadan önce sağ üst köşedeki tahmine yine bakarım.
• Bölümleme ve kümelendirme: PARTITION BY ve CLUSTER BY kullanmayı öğrenin. Küçük veri kümelerinde bile bu alışkanlıklar, veriniz petabaytlara çıktığında sorgularınızın ucuz ve hızlı kalmasını sağlar.

Kaynak temizliği

Keşfiniz tamamlandıysa ve prodüksiyona geçmek istemiyorsanız projeyi öylece bırakmayın. Ben işim biter bitmez deneysel datasetleri silmeyi alışkanlık haline getiriyorum. Çalışma alanını temiz tutar ve ileride karışıklıkları önler.

Tüm proje sadece öğrenmek içinse, proje ayarlarından tamamen kapatabilirsiniz. Böylece bulutta sıfır artık ayak izi bırakırsınız. Bu temizlik alışkanlıklarını şimdi geliştirmeniz, bir şirket için üretim ölçekli kaynakları yönetirken “bulut israfının” binlerce dolara mal olabileceği durumlarda işinize yarayacaktır.

Sonuç

BigQuery Sandbox, kurumsal veri becerilerinde ustalaşmanın en sürtünmesiz yoludur. Kredi kartı bilgisi vermeden terabaytlarca veriyi keşfedebileceğiniz ve panolar oluşturabileceğiniz risksiz bir ortam sağlar.

60 günlük zaman aşımı ve 1 TB sorgu limiti engel gibi görünebilir, ancak ben bunları faydalı korkuluklar olarak görüyorum. SQL’de verimli olmanızı ve verinizle düzenli çalışmanızı sağlarlar. Deneyimlerime göre Sandbox’ta pratik yaparak kazandığınız özgüven, yüksek riskli bir veri kariyerine en iyi hazırlıktır.

Bu becerileri uygulamaya hazır mısınız? Data Analyst in SQL kariyer yoluna bugün başlayın ve gerçek dünya ortamında alıştırmaları takip etmek için BigQuery Sandbox’ı kullanın.