BigQuery Sandbox: Panduan ke Playground SQL Gratis dari Google

Saat pertama kali ingin belajar BigQuery, hambatan terbesar bukan sintaks SQL, melainkan ketakutan tanpa sengaja menimbulkan tagihan. Saya tidak ingin menambahkan kartu kredit hanya untuk mencoba-coba. 

BigQuery Sandbox adalah jawaban Google untuk masalah ini. Fitur ini menawarkan titik masuk tanpa biaya dan tanpa risiko ke salah satu gudang data terkuat di dunia. Anda mendapatkan sebagian besar kapabilitas analitik inti dari mesin SQL BigQuery tanpa perlu memberikan satu pun informasi penagihan.

Dalam artikel ini, saya akan menunjukkan cara memulai dengan BigQuery Sandbox, apa yang bisa (dan tidak bisa) Anda lakukan dengannya, alur kerja praktis yang saya gunakan setiap minggu, serta kapan saatnya meningkatkan ke proyek penuh. Baik Anda seorang praktisi data junior yang sedang membangun kepercayaan diri maupun profesional berpengalaman yang membuat prototipe ide baru, Sandbox adalah cara paling aman untuk menjelajahi gudang data kelas perusahaan secara gratis.

Jika Anda baru dalam data cloud, saya sarankan memulai dengan kursus Introduction to BigQuery untuk membangun fondasi.

Apa itu BigQuery Sandbox?

BigQuery Sandbox adalah titik masuk tanpa biaya dan tanpa kartu kredit ke gudang data terkelola penuh milik Google Cloud. Ini memungkinkan pengguna menjelajahi alat analitik inti BigQuery dan Google Cloud Console tanpa membuat akun penagihan atau berkomitmen pada metode pembayaran. Sandbox beroperasi dalam batas BigQuery Free Tier, namun menerapkan kebijakan kedaluwarsa tertentu untuk menjaga lingkungan tetap ringan.

Untuk memahami nilai Sandbox, pertama-tama kita perlu melihat apa yang sebenarnya disediakan untuk pengguna.

Definisi inti dan proposisi nilai

BigQuery Sandbox menghapus gesekan terbesar bagi pemula dan pelajar: kebutuhan untuk menyiapkan detail pembayaran bahkan sebelum menjalankan kueri pertama. Anda cukup masuk dengan akun Google biasa, membuat proyek, dan langsung siap menjalankan kueri pada dataset publik.

Anda mendapatkan mesin Standard SQL yang sama yang digunakan perusahaan Fortune 500, ditambah hingga 1 TB data kueri yang diproses dan 10 GB penyimpanan aktif setiap bulan. Sepenuhnya gratis, tunduk pada kuota dan batas free tier BigQuery.

Untuk siap kerja dengan BigQuery, saya sarankan menggunakan Top BigQuery Interview Questions kami untuk latihan.

Sandbox vs. free tier vs. free trial

Bagi pengguna baru, mungkin ada kebingungan tentang perbedaan antara Sandbox, free tier, dan free trial. Berikut cara saya memutuskan mana yang digunakan:

• Sandbox: Tidak memerlukan akun penagihan atau kartu kredit. Tabel, view, dan partisi otomatis kedaluwarsa setelah 60 hari. Terbaik untuk belajar, sertifikasi, dan eksperimen cepat.
• Free tier: Memerlukan info penagihan tetapi memberikan tabel permanen. Batas 10 GB penyimpanan / 1 TB kueri tetap sama. Gunakan ini saat Anda perlu data bertahan lebih lama.
• Free trial: Kredit $300 untuk 90 hari dengan akses penuh ke semua fitur. Cocok untuk evaluasi serius sebelum mengalokasikan anggaran.

Aturan praktis saya: Mulai di Sandbox untuk hal-hal edukatif atau bukti konsep. Tingkatkan ke Free Tier saat Anda butuh penyimpanan permanen. Beralih ke berbayar hanya saat Anda memerlukan streaming, transfer terjadwal, atau beban produksi berat.

Menyiapkan Lingkungan BigQuery Sandbox

Masuk ke Sandbox itu mudah, tetapi ada satu alur kerja spesifik yang harus Anda ikuti untuk menghindari permintaan memasukkan kartu kredit.

Prasyarat dan akses

Satu-satunya persyaratan mutlak untuk menggunakan Sandbox adalah Akun Google standar, seperti akun Gmail pribadi atau akun Google Workspace. Anda tidak memerlukan proyek Google Cloud yang sudah ada untuk memulai.

Saya sarankan mulai dengan menavigasi secara langsung ke Google Cloud Console. Jika Anda belum pernah menggunakan Google Cloud sebelumnya, Anda akan disambut dengan perjanjian ketentuan layanan yang harus Anda setujui sebelum melanjutkan ke dasbor.

Mengaktifkan Sandbox

1. Klik Select a project di bagian atas.
2. Klik New Project dan beri nama (misalnya, “sandbox-experiments”).
3. Penting: JANGAN memilih atau membuat akun penagihan. Cukup buat proyeknya.
4. Setelah proyek siap, buka BigQuery dari menu kiri. Anda akan melihat label Sandbox di samping nama proyek Anda, seperti pada tangkapan layar di bawah.

Saat diminta, aktifkan BigQuery API — hanya butuh beberapa detik.

Navigasi antarmuka

Antarmuka BigQuery terbagi menjadi tiga area utama yang akan sering Anda gunakan. Di sebelah kiri terdapat panel Explorer, tempat dataset dan tabel Anda berada. Bagian tengah adalah Query Editor, dan bagian bawah menampilkan grid Hasil Anda.

Menurut pengalaman saya, cara terbaik untuk menjadi terbiasa adalah dengan langsung menyematkan dataset publik. Klik + Add data di panel Explorer, pilih Public Datasets, dan cari bigquery-public-data. Ini memberi Anda akses instan ke dataset masif tentang berbagai topik, seperti perjalanan taksi NYC atau repo GitHub, tanpa harus mengunggah file Anda sendiri.

Setelah antarmuka Anda dikonfigurasi, Anda dapat mulai menjelajahi fitur kelas atas yang disediakan BigQuery, bahkan untuk pengguna gratis.

Di bilah pencarian di bagian atas galeri, ketik “GitHub”. Cari ubin berlabel dataset GitHub Activity Data (bigquery-public-data.github_repos). Dataset ini sempurna untuk berlatih join kompleks dan manipulasi string karena metadatanya yang kaya.

Klik pada ubin GitHub untuk melihat halaman Product details. Dari sini, klik tombol View dataset. Ini akan mengarahkan Anda kembali ke editor BigQuery. Selanjutnya, klik tombol bintang untuk memberi bintang/menyematkan dataset publik tersebut. 

Sekarang setelah Anda menyematkan data, Anda dapat memperluas tree di panel Explorer untuk melihat tabel individual seperti github_repos atau commits. Anda kini siap mulai menggunakan fitur analitik sesungguhnya dari platform.

Fitur Inti BigQuery Sandbox

Sandbox bukan hanya mode penampil; ini adalah mesin SQL fungsional penuh yang mendukung beban kerja analitik tingkat lanjut. Anda memiliki akses ke banyak fitur tingkat tinggi yang digunakan insinyur data profesional. Namun, beberapa kapabilitas (termasuk DML, streaming, dan Data Transfer Service) tidak tersedia di Sandbox.

Eksekusi kueri dan dukungan SQL

Sandbox memberi Anda seluruh kekuatan mesin Standard SQL BigQuery — mesin yang sama yang digunakan perusahaan seperti Spotify dan Twitter untuk analisis skala petabita. Anda dapat menulis mulai dari SELECT * FROM … dasar hingga window function yang kompleks, common table expression (CTE), penanganan ARRAY/STRUCT , dan kueri geospasial dengan tipe GEOGRAPHY.

Saat Anda menulis kueri, BigQuery menyediakan ikon Query Validator di kanan atas editor. Saya menemukan validator ini sangat menyelamatkan bagi pengguna Sandbox. Validator memberi tahu Anda dengan tepat berapa banyak data yang akan diproses kueri sebelum dijalankan. Karena Anda memiliki batas bulanan 1 TB, memeriksa estimasi ini membantu Anda menghindari menghabiskan kuota pada satu pernyataan SELECT * yang tidak efisien.

Mari jalankan beberapa kueri nyata pada dataset GitHub Activity yang kita lihat sebelumnya. Kueri ini aman, memindai sangat sedikit data, dan mengajarkan konsep SQL secara bertahap.

Total commit dalam dataset GitHub

Di Query Editor (panel tengah), hapus teks yang ada. Selanjutnya, ketik kueri berikut:

SELECT COUNT(*) AS total_commits
FROM bigquery-public-data.github_repos.commits

Di bagian bawah, Anda akan melihat angka kecil seperti “Kueri ini akan memproses X MB”. Setelah Anda klik Run, hasil muncul di grid bawah dalam hitungan detik.

Kueri ini adalah “hello world” saya untuk setiap dataset publik baru — kueri ini langsung memberi tahu skala data. Yang akan Anda lihat:

• Grid hasil menampilkan satu baris: total_commits dengan angka sangat besar (ratusan juta).

• Di tab Job Information, metadata job ditampilkan, termasuk byte yang diproses, waktu berjalan, dan penggunaan slot.

Rata-rata commit per penulis di repositori GitHub populer

Kita juga dapat menggunakan kueri yang lebih kompleks:

• Membuat tabel sementara berisi repositori, penulis, dan jumlah commit

• Melakukan agregasi per repositori

• Menyaring repositori dengan lebih dari 50 entri author_email yang berbeda

• Menampilkan 10 hasil teratas yang diurutkan berdasarkan rata-rata jumlah commit per penulis

WITH author_commits AS (
  SELECT repo_name, author.email AS author_email, COUNT(*) AS commits
  FROM bigquery-public-data.github_repos.commits
  GROUP BY repo_name, author_email
)
SELECT 
  repo_name,
  AVG(commits) AS avg_commits_per_author,
  COUNT(DISTINCT author_email) AS unique_authors
FROM author_commits
GROUP BY repo_name
HAVING unique_authors > 50
ORDER BY avg_commits_per_author DESC
LIMIT 10

Berikut tampilan hasilnya:

Manipulasi string

BigQuery sangat andal untuk manipulasi string. Jika Anda ingin menemukan semua repositori yang menyebut “data-science” atau “machine-learning” dalam namanya, Anda dapat menggunakan fungsi REGEXP_CONTAINS: 

SELECT
   repo_name
FROM bigquery-public-data.github_repos.sample_repos
WHERE REGEXP_CONTAINS(repo_name, r'data-science|machine-learning')
LIMIT 20;

Meskipun dataset publik sangat baik untuk latihan, kekuatan sesungguhnya Sandbox akan muncul saat Anda menganalisis data Anda sendiri. Baik itu spreadsheet kecil atau file log, BigQuery menyediakan beberapa cara untuk membawa data Anda ke cloud.

Metode pemasukan data

Menurut pengalaman saya, proses pemasukan data di BigQuery adalah salah satu yang paling ramah pengguna di pasar enterprise. Anda tidak perlu menulis skrip ETL (Extract, Transform, Load) yang kompleks hanya untuk memulai. Anda cukup menggunakan wizard bawaan untuk menunjuk ke sumber data Anda.

Metode 1: Mengunggah file lokal

Ini adalah jalur paling umum untuk pemula. BigQuery mendukung beberapa format, termasuk CSV, JSON (newline-delimited), dan Avro.

Langkah mengunggah file:

1. Di panel Explorer, klik tiga titik di samping ID proyek Anda dan pilih Create dataset, seperti pada tangkapan layar di atas. 
2. Berikutnya, Anda akan diminta memberikan beberapa detail, seperti nama dataset dan lokasi, beserta parameter opsional. Setelah mengisi detail tersebut, klik tombol biru Create dataset di bawah.
3. Klik Create Table di pojok kanan atas untuk memulai proses mengunggah file CSV Anda sebagai sumber. Mirip dengan proses pembuatan basis data, Anda harus memasukkan beberapa detail berikutnya.
4. Pilih Upload, unggah file CSV Anda (BigQuery biasanya otomatis mendeteksi format Anda), dan beri nama tabel. Perhatikan batas penyimpanan Sandbox sebesar total 10GB.
5. Di bagian Schema, biarkan Auto detect tercentang, sehingga BigQuery menyimpulkan nama dan tipe kolom. Berdasarkan pengalaman saya, ini bekerja sangat baik untuk file CSV dan JSON yang bersih, tetapi Anda dapat mengedit nama atau tipe kolom nanti jika diperlukan.
6. Setelah selesai, klik tombol biru Create table di bawah.

BigQuery mengunggah file, menyimpulkan skema, dan membuat tabel. Anda sekarang dapat langsung menjalankan kueri.

Mengapa ini hebat di Sandbox:

• Nol biaya: pengunggahan gratis.

• Auto-schema inference menghemat waktu saat Anda hanya ingin menguji.

• Sangat cocok untuk latihan pembersihan data atau JOIN dengan dataset publik.

Metode 2: Impor data dari Google Drive

Jika data Anda sudah berada di cloud, Anda dapat menghubungkan BigQuery langsung ke sumber tersebut. Ini sangat berguna bagi pengguna Google Sheets yang ingin menjalankan kueri pada spreadsheet mereka dengan SQL, yang akan saya gunakan sebagai contoh di sini.

Langkah untuk impor dari Drive:

1. Klik Create Table, tetapi alih-alih mengunggah file, atur Create table from ke Drive di menu tarik-turun. 
2. Tempel URL Google Sheet Anda, lalu atur File Format ke Google Sheet. Setelah selesai, Anda akan diminta mengatur rentang Sheet yang ingin diimpor, lalu memberi nama tabel yang baru dibuat (di sini personal_expenses). Anda dapat membiarkan BigQuery mendeteksi skema secara otomatis atau mendefinisikannya secara manual. 
3. Setelah selesai, klik Create table. 

Mengapa saya menggunakan ini:

• Tidak perlu unduh/unggah lokal.
• Bagus untuk iterasi: edit di Sheets, lalu impor ulang sebagai tabel baru untuk menguji perubahan.

Metode 3: Impor dari bucket Google Cloud Storage

Jika Anda memiliki data di GCS (bahkan bucket gratis), ini adalah opsi paling skalabel di Sandbox. BigQuery juga menawarkan impor dari Azure Blob Storage atau Amazon S3. Untuk perbandingan 3 ekosistem cloud utama, saya sarankan membaca panduan kami tentang AWS vs. Azure vs. Google Cloud.

Langkah impor dari GCS:

1. Di menu tarik-turun, atur Create table from ke Google Cloud Storage. 
2. Tempel URL bucket Anda atau telusuri dan pilih bucket Anda. Selebihnya identik dengan metode unggah: Beri nama tabel, pilih/buat dataset, pilih opsi skema, lalu klik Create table.

BigQuery memuat dari GCS, membuat tabel, dan Anda siap melanjutkan. Semua tabel yang diimpor tetap mengikuti aturan kedaluwarsa 60 hari. Artinya bagus untuk menguji pipeline, tetapi ingat untuk meningkatkan jika Anda memerlukan penyimpanan permanen.

SQL mentah jarang menjadi hasil akhir dari proyek data. Untuk benar-benar mengomunikasikan temuan Anda, Anda perlu mengubah baris-baris data tersebut menjadi cerita visual yang dapat dipahami pemangku kepentingan sekilas.

Integrasi visualisasi

BigQuery Sandbox dirancang agar lengket dalam ekosistem Google, artinya terhubung ke alat business intelligence Google dengan hampir tanpa konfigurasi. Saya mendapati bahwa menu Open in di panel hasil adalah fitur terpenting bagi pemula, karena berfungsi sebagai hub sentral untuk memindahkan data ke dunia visual.

Menurut pengalaman saya, konektivitas satu klik ini adalah keunggulan terbesar Sandbox bagi seorang analis data. Ini menghilangkan kebutuhan mengelola driver basis data yang rumit atau instalasi lokal yang biasanya mengganggu alur kerja data enterprise.

Tab visualisasi bawaan di grid hasil

Tab Visualization adalah cara tercepat untuk melihat grafik tanpa meninggalkan konsol: benar-benar hanya satu klik. Berikut cara kerjanya langkah demi langkah:

1. Jalankan kueri apa pun di Query Editor (misalnya, contoh bahasa teratas GitHub yang kita gunakan sebelumnya).

2. Setelah hasil dimuat di grid bawah, lihat tab di atas tabel hasil, klik tab Visualization (terletak tepat di sebelah “Results”, “JSON”, “Execution details”, dan “Execution graph”). 

3. BigQuery secara otomatis menghasilkan pratinjau grafik. Sering kali berupa diagram batang atau sebar berdasarkan data Anda (misalnya, language pada sumbu x, commit_count pada sumbu y).

Di sisi kanan, panel konfigurasi visualisasi terbuka otomatis agar Anda dapat mengedit grafik:

• Visualization type: Ubah dari batang ke garis, sebar, peta, dan lain-lain (menu tarik-turun).
• Dimension (x-axis): Pilih kolom kategori Anda.
• Measures (y-axis): Pilih kolom numerik Anda.
• Pilih hingga 5 measure. Tambahkan beberapa garis/batang untuk membandingkan.

Anda dapat mengarahkan kursor ke titik/batang untuk nilai pasti, atau zoom/pan jika grafik terlalu besar.

Pembuatan dasbor instan dengan Looker Studio

Cara lain untuk memvisualisasikan hasil adalah melalui integrasi Looker Studio. Setelah kueri Anda selesai berjalan di editor, cari tombol Open in di sisi kanan panel hasil dan pilih Looker Studio.

Ini akan membuka tab baru di mana Anda akan diminta untuk mengakui akses data. Setelah akses diakui, Anda akan melihat hasil kueri sudah dimuat sebelumnya sebagai sumber data dinamis. 

Saya menemukan ini sebagai alur kerja paling efisien untuk membuat proyek portofolio. Anda tidak perlu khawatir tentang autentikasi atau ekstrak data; Google menangani proses di belakang layar. Dalam hitungan detik, Anda dapat drag-and-drop dimensi ke diagram batang untuk melihat tren pada data GitHub atau taksi yang tidak terlihat jelas di tabel mentah.

Jika Anda tertarik bagaimana Looker Studio dibandingkan dengan alat visualisasi dan BI lainnya, artikel kami Looker Studio vs Power BI dan Looker vs Tableau siap membantu.

Analisis langsung dengan Connected Sheets

Terkadang dasbor penuh terasa berlebihan, dan Anda hanya perlu melakukan beberapa perhitungan cepat di lingkungan spreadsheet yang familier. Di menu Open in , memilih Connected Sheets membuat tautan langsung antara BigQuery dan Google Sheet. Tidak seperti salin-tempel standar, koneksi ini memungkinkan Anda menyegarkan data langsung dari spreadsheet.

Saya mendapati fitur ini sangat berguna saat saya perlu membagikan subset data kepada rekan yang tidak nyaman menulis SQL. Ini memungkinkan Anda menggunakan kekuatan BigQuery untuk menyaring terabita data, lalu menyerahkan potongan yang terkelola dan bersih ke spreadsheet untuk pemformatan akhir atau analisis pivot table.

Visualisasi tingkat lanjut dengan notebook dan data canvas

Bagi yang ingin mendalami data science, menu Open in juga menawarkan opsi Notebook. Opsi ini menghasilkan notebook Python (biasanya di Google Colab) yang sudah dikonfigurasi untuk menjalankan kueri hasil Sandbox Anda menggunakan BigQuery Python client.

Catatan Penting: Tidak seperti bagian Sandbox lainnya, meluncurkan BigQuery Notebook biasanya memerlukan akun penagihan aktif. Ini karena notebook menjalankan sumber daya komputasi Vertex AI. Meskipun ada free tier untuk Vertex AI, Google memerlukan metode pembayaran untuk mencegah penyalahgunaan mesin virtual yang mendasarinya.

Jika Anda lebih menyukai pengalaman eksploratif yang lebih visual dan tanpa kode, opsi Data canvas memungkinkan Anda melihat hubungan antar dataset melalui antarmuka grafis. Dengan menggunakan alat terintegrasi ini, Anda dapat beralih dari dataset mentah ke laporan bersama atau model Python dalam waktu kurang dari lima menit.

Batasan Kritis BigQuery Sandbox

BigQuery Sandbox adalah titik masuk yang kuat untuk eksplorasi data, tetapi diatur oleh serangkaian pagar pembatas yang ketat. Penting untuk memahami batasan ini agar Anda menghindari kehilangan data yang tidak terduga.

Kebijakan kedaluwarsa dan penyimpanan data

Kendala paling signifikan dalam lingkungan Sandbox adalah kedaluwarsa tabel default 60 hari yang wajib. Tidak seperti proyek BigQuery standar, di mana data dapat bertahan tanpa batas, dataset Sandbox ditetapkan dengan time-to-live 60 hari untuk semua partisi dan tabel.

Kebijakan ini tidak dapat diubah di free tier; pengguna tidak dapat memperbarui atau menghapus waktu kedaluwarsa ini di pengaturan dataset. Untuk menjaga data tetap hidup melampaui jangka dua bulan, diperlukan peningkatan ke akun penagihan berbayar. 

Selain itu, Sandbox membatasi pengguna hingga 10GB penyimpanan aktif. Meskipun ini mungkin cukup untuk dataset kecil, proyek jangka panjang sering mengumpulkan data historis, memaksa Anda menghapus catatan lama untuk memberi ruang bagi yang baru setelah ambang 10GB tercapai.

Pembatasan fitur

Untuk menjaga Sandbox sebagai lingkungan berbiaya rendah, Google membatasi beberapa fitur berkecepatan tinggi dan otomatis. Yang paling menonjol, metode pemasukan seperti Streaming API dan Data Transfer Service (DTS) tidak tersedia di Sandbox. Ini berarti Anda tidak dapat memaketkan telemetri real-time atau mengotomatiskan impor data dari platform SaaS pihak ketiga seperti Google Ads atau Salesforce.

Selain itu, ada pembatasan ketat pada Data Manipulation Language (DML): proyek Sandbox tidak dapat menjalankan pernyataan DML, seperti INSERT, UPDATE, dan DELETE. 

Terakhir, ketiadaan eksekusi job latar belakang (scheduled query) berarti semua operasi harus dipicu secara manual; Anda tidak dapat mengotomatiskan alur kerja SQL agar berjalan pada jadwal Cron.

Kuota performa dan kapasitas

Dari perspektif komputasi, proyek Sandbox beroperasi pada infrastruktur bersama yang sama dengan tier berbayar, menggunakan pool global slot (CPU virtual). Namun, proyek Sandbox diberi prioritas penjadwalan yang lebih rendah. Selama puncak permintaan global, kueri Sandbox mungkin mengalami latensi lebih tinggi karena sistem memprioritaskan komitmen Flex atau Capacity dari pelanggan berbayar.

Batas keras untuk pemrosesan adalah batas kueri 1TB per bulan. Ini adalah batas berbasis pemindaian; jika Anda menjalankan kueri terhadap dataset publik masif yang memindai 500GB, Anda telah mengonsumsi setengah jatah bulanan hanya dengan satu klik. 

Pengguna dapat melacak penggunaan ini dengan memeriksa estimasi "Bytes Processed" di pojok kanan atas Query Editor sebelum eksekusi, atau dengan memantau bagian "Quotas" di Google Cloud Console untuk memastikan mereka tidak terkena penguncian di pertengahan bulan.

Memahami batasan Sandbox justru membantu mendefinisikan kasus penggunaan terbaiknya. Karena Anda tidak dapat tanpa sengaja menimbulkan biaya, Sandbox menjadi laboratorium yang kuat untuk tiga jenis pekerjaan data spesifik.

Kasus Penggunaan BigQuery Sandbox

Menurut pengalaman saya, Sandbox paling efektif saat digunakan sebagai area staging untuk ide. Ini memungkinkan Anda gagal dengan cepat dan beriterasi tanpa beban administratif dalam mengelola anggaran cloud.

Pendidikan dan pengembangan keterampilan

Kasus penggunaan paling jelas untuk Sandbox adalah berlatih sintaks SQL dan konsep gudang data. Dalam perjalanan belajar SQL Anda, saya sarankan berlatih di Sandbox setelah mempelajari dasar-dasarnya dalam skill track SQL Fundamentals kami, menggunakan data berskala enterprise nyata alih-alih file lokal kecil.

Saya mendapati Sandbox sangat berguna untuk menguasai window function kompleks seperti LEAD() dan LAG(). Menjalankannya pada sejuta baris data perjalanan taksi membantu Anda memahami bagaimana mesin SQL terdistribusi benar-benar menangani partitioning dan ordering. Ini tentang membangun memori otot yang dibutuhkan untuk karier data berisiko tinggi.

Pengembangan Proof-of-Concept (PoC)

Bagi pengembang, Sandbox adalah lingkungan ideal untuk menguji desain skema sebelum masuk produksi. Saya sering mengunggah cuplikan data saya sendiri yang representatif untuk melihat bagaimana auto-detection BigQuery menangani format tanggal spesifik atau struktur JSON bertingkat milik saya.

Alur kerja ini penting untuk membuktikan nilai bagi tim Anda. Anda dapat membuat dasbor tiruan di Looker Studio menggunakan data Sandbox untuk menunjukkan kemungkinan yang ada. Setelah Anda memvalidasi logika dan para pemangku kepentingan sepakat, Anda kemudian dapat dengan aman memindahkan proyek ke tier berbayar di mana retensi data bersifat permanen.

Eksplorasi data

Sandbox adalah tambang emas untuk analisis ad-hoc pada dataset terbuka. Saya pernah menggunakan data publik GitHub untuk menceritakan kisah tentang produktivitas pengembang. Dengan menjalankan kueri jutaan commit, saya ingin menemukan jam tepat ketika para pengembang paling aktif di seluruh dunia.

Dengan menggunakan fungsi EXTRACT(HOUR FROM ...) di Sandbox, saya menemukan lonjakan besar aktivitas sekitar pukul 10:00 AM UTC. Penceritaan data semacam ini mudah dilakukan di Sandbox karena Anda tidak khawatir tentang biaya pemindaian. Anda dapat memvalidasi kualitas data atau menemukan tren tersembunyi dalam pola cuaca atau transaksi kripto bahkan sebelum membangun pipeline ETL formal.

Dari BigQuery Sandbox ke Produksi

Pada akhirnya, Anda akan menemui batas di mana pagar pembatas Sandbox mulai membatasi kemajuan Anda. Saat Anda perlu data bertahan lebih lama dari 60 hari, atau ingin mulai men-stream data langsung, saatnya beralih ke tier profesional.

Meningkatkan proyek

Beralih dari Sandbox ke produksi pada dasarnya hanya menyalakan lampu. Anda melakukan ini dengan menautkan akun penagihan ke proyek yang ada. Anda akan melihat tombol Upgrade tepat di konsol BigQuery, atau Anda dapat menanganinya melalui bagian Billing di Google Cloud Console.

Saat mengeklik Upgrade, jika Anda belum pernah membuat akun penagihan sebelumnya, Anda akan diminta untuk membuatnya. Setelah dibuat, tautkan akun tersebut ke proyek Anda.

Menurut pengalaman saya, kelegaan terbesar setelah upgrade adalah penghapusan kebijakan kedaluwarsa tabel seketika. Saat Anda menautkan akun penagihan dan proyek keluar dari Sandbox, kedaluwarsa default 60 hari tidak lagi diterapkan, dan Anda dapat mengonfigurasi atau menghapus kedaluwarsa tabel sehingga data Anda tidak otomatis hilang setelah dua bulan.

Anda juga membuka akses ke Streaming API, memungkinkan Anda beralih dari analisis batch ke pemrosesan data real-time.

Praktik terbaik pengelolaan biaya

Begitu Anda upgrade, Anda akan dikenakan biaya penyimpanan dan kueri. Tugas hari pertama saya untuk proyek profesional mana pun adalah menyiapkan peringatan anggaran. Saya mengaturnya pada 50%, 80%, dan 100% dari rencana pengeluaran bulanan saya (misalnya, $10).

Di luar peringatan, saya sarankan kebiasaan "Pro" berkualitas tinggi:

• Max bytes billed: Di pengaturan kueri, Anda dapat menetapkan jumlah maksimum byte yang ditagihkan. Ini bertindak sebagai rem keras untuk mencegah kueri bernilai $100 pernah berjalan.
• Validator "dry run": Meski dengan anggaran besar, saya tetap melihat estimasi di pojok kanan atas sebelum menekan Run.
• Partitioning & clustering: Pelajari penggunaan PARTITION BY dan CLUSTER BY. Bahkan pada dataset kecil, kebiasaan ini memastikan saat data Anda tumbuh hingga petabita, kueri Anda tetap murah dan cepat.

Pembersihan sumber daya

Jika eksplorasi Anda sudah selesai dan Anda tidak ingin pindah ke produksi, jangan biarkan proyek menganggur. Saya membiasakan diri menghapus dataset eksperimental setelah selesai. Ini menjaga ruang kerja tetap bersih dan mencegah kebingungan di kemudian hari.

Jika seluruh proyek hanya untuk belajar, Anda bisa mematikannya sepenuhnya dari pengaturan proyek. Ini memastikan Anda tidak memiliki jejak sisa di cloud. Mengembangkan kebiasaan pembersihan ini sekarang akan sangat berguna saat Anda mengelola sumber daya skala produksi untuk perusahaan di mana "pemborosan cloud" dapat menelan biaya ribuan dolar.

Kesimpulan

BigQuery Sandbox adalah cara paling bebas hambatan untuk menguasai keterampilan data kelas enterprise. Sandbox menyediakan lingkungan tanpa risiko di mana Anda dapat menjelajahi terabita data dan membangun dasbor tanpa pernah memberikan kartu kredit.

Batas kedaluwarsa 60 hari dan batas kueri 1TB mungkin tampak seperti rintangan, tetapi saya memandangnya sebagai pagar pembatas yang membantu. Batasan ini memaksa Anda efisien dengan SQL dan terorganisasi dengan data. Menurut pengalaman saya, kepercayaan diri yang Anda peroleh dengan berlatih di Sandbox adalah persiapan terbaik untuk karier data berisiko tinggi.

Siap mempraktikkan keterampilan ini? Mulai jalur karier Data Analyst in SQL hari ini dan gunakan BigQuery Sandbox untuk mengikuti latihan di lingkungan dunia nyata.