Kursus
Pemodelan Data di Power BI
3 Hr
94.9K
Apa Itu Data Warehouse?
Sebelum kita menyelami arsitektur Snowflake, mari meninjau data warehouse agar kita berada pada pemahaman yang sama.
Data warehouse adalah repositori terpusat yang menyimpan data terstruktur dan terorganisir dalam jumlah besar dari berbagai sumber untuk sebuah perusahaan. Berbagai persona (karyawan) di organisasi menggunakan data di dalamnya untuk memperoleh beragam wawasan.
Sebagai contoh, analis data, bersama tim pemasaran, dapat menjalankan uji A/B untuk kampanye pemasaran baru menggunakan tabel penjualan. Spesialis HR dapat mengkueri informasi karyawan untuk melacak kinerja.
Ini adalah beberapa contoh bagaimana perusahaan di seluruh dunia menggunakan data warehouse untuk mendorong pertumbuhan. Namun tanpa implementasi dan manajemen yang tepat menggunakan alat seperti Snowflake, data warehouse tetap menjadi konsep yang rumit.
Anda dapat mempelajari lebih lanjut topik ini melalui kursus Data Warehousing kami.
Arsitektur Snowflake
Arsitektur unik Snowflake, yang dirancang untuk kueri analitis yang lebih cepat, berasal dari pemisahan antara lapisan penyimpanan dan komputasi. Pembedaan ini berkontribusi pada manfaat yang telah kami sebutkan sebelumnya.
Lapisan penyimpanan
Di Snowflake, lapisan penyimpanan adalah komponen krusial yang menyimpan data secara efisien dan dapat diskalakan. Berikut adalah beberapa fitur utama dari lapisan ini:
- Berbasis cloud: Snowflake terintegrasi mulus dengan penyedia cloud utama seperti AWS, GCP, dan Microsoft Azure.
- Format kolumnar: Snowflake menyimpan data dalam format kolumnar, yang dioptimalkan untuk kueri analitis. Tidak seperti format berbasis baris tradisional yang digunakan oleh alat seperti Postgres, format kolumnar sangat cocok untuk agregasi data. Dalam penyimpanan kolumnar, kueri hanya mengakses kolom spesifik yang dibutuhkan, sehingga lebih efisien. Sebaliknya, format berbasis baris mengharuskan akses ke semua baris di memori bahkan untuk operasi sederhana seperti menghitung rata-rata.
- Mikro-partisi: Snowflake menggunakan teknik yang disebut micro-partitioning yang menyimpan tabel di memori dalam potongan-potongan kecil. Setiap potongan biasanya bersifat immutable dan hanya berukuran beberapa megabita, yang membuat optimasi dan eksekusi kueri jauh lebih cepat.
- Zero-copy cloning: Snowflake memiliki fitur unik yang memungkinkan pembuatan klon virtual dari data. Proses cloning berlangsung seketika dan tidak mengonsumsi memori tambahan hingga ada perubahan pada salinan baru.
- Skala dan elastisitas: Lapisan penyimpanan diskalakan secara horizontal, artinya dapat menangani volume data yang meningkat dengan menambahkan lebih banyak server untuk mendistribusikan beban. Selain itu, penskalaan ini terjadi secara independen dari sumber daya komputasi, yang ideal saat Anda ingin menyimpan volume data besar tetapi hanya menganalisis sebagian kecilnya.
Sekarang, mari kita lihat lapisan komputasi.
Lapisan komputasi
Sesuai namanya, lapisan komputasi adalah mesin yang mengeksekusi kueri Anda. Lapisan ini bekerja bersama lapisan penyimpanan untuk memproses data dan melakukan berbagai tugas komputasi. Berikut beberapa detail tentang cara kerja lapisan ini:
- Virtual warehouse: Anda dapat membayangkan Virtual Warehouse sebagai tim komputer (node komputasi) yang dirancang untuk menangani pemrosesan kueri. Setiap anggota tim menangani bagian berbeda dari kueri, sehingga eksekusi menjadi sangat cepat dan paralel. Snowflake menawarkan Virtual Warehouse dalam berbagai ukuran, dan karenanya, dengan harga berbeda (ukurannya meliputi XS, S, M, L, XL).
- Arsitektur multi-klaster, multi-node: Lapisan komputasi menggunakan banyak klaster dengan banyak node untuk kebersamaan akses yang tinggi, memungkinkan banyak pengguna mengakses dan mengkueri data secara simultan.
- Optimasi kueri otomatis: Sistem Snowflake menganalisis semua kueri dan mengidentifikasi pola untuk dioptimalkan menggunakan data historis. Optimasi umum mencakup memangkas data yang tidak perlu, menggunakan metadata, dan memilih jalur eksekusi paling efisien.
- Cache hasil: Lapisan komputasi menyertakan cache yang menyimpan hasil kueri yang sering dijalankan. Saat kueri yang sama dijalankan lagi, hasilnya dikembalikan hampir seketika.
Prinsip desain pada lapisan komputasi ini semuanya berkontribusi pada kemampuan Snowflake menangani beban kerja yang beragam dan berat di cloud.
Lapisan layanan cloud
Lapisan terakhir adalah layanan cloud. Karena lapisan ini terintegrasi ke setiap komponen arsitektur Snowflake, ada banyak detail tentang operasinya. Selain fitur yang terkait dengan lapisan lain, lapisan ini memiliki tanggung jawab tambahan berikut:
- Keamanan dan kontrol akses: Lapisan ini menegakkan langkah-langkah keamanan, termasuk autentikasi, otorisasi, dan enkripsi. Administrator menggunakan Role-Based Access Control (RBAC) untuk menetapkan dan mengelola peran serta izin pengguna.
- Berbagi data: Lapisan ini menerapkan protokol berbagi data yang aman di berbagai akun dan bahkan organisasi pihak ketiga. Konsumen data dapat mengakses data tanpa perlu perpindahan data, sehingga mendorong kolaborasi dan monetisasi data.
- Dukungan data semi-terstruktur: Salah satu manfaat unik Snowflake adalah kemampuannya menangani data semi-terstruktur, seperti JSON dan Parquet, meskipun merupakan platform manajemen data warehouse. Snowflake dapat dengan mudah mengkueri data semi-terstruktur dan mengintegrasikan hasilnya dengan tabel yang ada. Fleksibilitas ini tidak terlihat pada alat RDBMS lainnya.
Sekarang kita sudah memiliki gambaran tingkat tinggi tentang arsitektur Snowflake, mari menulis sedikit SQL di platformnya.
Menyiapkan Snowflake SQL
Snowflake memiliki versi SQL sendiri yang disebut Snowflake SQL. Perbedaannya dengan dialek SQL lain mirip seperti perbedaan aksen dalam bahasa Inggris.
Banyak kueri analitis yang Anda jalankan dalam dialek seperti PostgreSQL tidak berubah, tetapi ada beberapa perbedaan dalam perintah DDL (Data Definition Language).
Sekarang, mari kita lihat cara menjalankan beberapa kueri!
Snowsight: Antarmuka web
Untuk memulai dengan Snowsight, buka halaman uji coba gratis Snowflake 120 hari dan buat akun. Masukkan informasi pribadi Anda dan pilih salah satu penyedia cloud yang tercantum. Ini memberi uji coba gratis 120 hari alih-alih uji coba 30 hari yang lebih umum Anda temukan di tempat lain. Uji coba juga mencakup kredit senilai $400.
Saat mendaftar uji coba, direkomendasikan agar pengguna memilih AWS dan wilayah US-Oregon West. Antara lain karena Oregon adalah salah satu wilayah dengan biaya terendah untuk infrastruktur AWS dan, sebagai akibatnya, kredit uji coba bertahan lebih lama.
Setelah memverifikasi email Anda, Anda akan diarahkan ke halaman Worksheets. Worksheet adalah lingkungan live-coding interaktif tempat Anda dapat menulis, mengeksekusi, dan melihat hasil kueri SQL Anda.
Untuk menjalankan beberapa kueri, kita memerlukan database dan tabel (kita tidak akan menggunakan data contoh di Snowsight). Untuk memulai, saya sarankan Anda mencoba membuat database baru (Anda bisa menamainya seperti test_db) dan sebuah tabel yang dinamai menggunakan file CSV lokal. Anda dapat mengunduh file CSV dengan menjalankan kode di gist GitHub ini di terminal Anda.
Setelah itu, Anda akan diarahkan ke worksheet baru tempat Anda dapat menjalankan kueri SQL apa pun yang Anda inginkan. Saya rasa antarmuka worksheet cukup lugas dan sangat fungsional. Luangkan beberapa menit untuk membiasakan diri dengan panel, tombol, dan lokasinya masing-masing.
Kesimpulan dan Pembelajaran Lanjutan
Wah! Kita mulai dari konsep yang sederhana, tetapi di bagian akhir kita benar-benar menyelami detail-detail yang rumit. Nah, itulah menurut saya tutorial yang layak.
Anda mungkin sudah menduga bahwa ada jauh lebih banyak hal tentang Snowflake daripada yang telah kita bahas. Faktanya, dokumentasi Snowflake mencakup panduan quickstart yang durasinya sebenarnya 128 menit! Namun sebelum Anda menekuninya, saya sarankan mencoba beberapa sumber lain terlebih dahulu. Bagaimana dengan ini:
- Kursus Pengantar Snowflake
- Webinar tentang memodernisasi analitik penjualan dengan Snowflake
- Analisis data di Snowflake menggunakan Python code-along
- Panduan resmi pengguna Snowflake
- Snowflake Northstar untuk mempelajari lebih lanjut tentang visi jangka panjang Snowflake.
Terima kasih telah membaca!
