Azure Synapse: Panduan Langkah demi Langkah untuk Pemula

Manfaat Menggunakan Azure Synapse

Berikut beberapa manfaat menggunakan Azure Synapse Analytics:

• Skalabilitas dan fleksibilitas: Kemampuan penskalaan on-demand Azure Synapse memungkinkan pengguna menyesuaikan sumber daya komputasi dan penyimpanan dengan cepat untuk memenuhi kebutuhan bisnis yang berubah.
• Platform analitik terpadu: Dengan menggabungkan integrasi data, pergudangan data, dan analitik big data, Azure Synapse menyediakan solusi analitik yang komprehensif dan efisien.
• Produktivitas meningkat: Alat terintegrasi dan pengalaman pengguna yang mulus di Azure Synapse membantu pengguna menjadi lebih produktif dan efisien dalam tugas berbasis data.
• Efisiensi biaya: Penskalaan on-demand dan model harga pay-per-use Azure Synapse dapat membantu organisasi mengoptimalkan biaya dan mengurangi pengeluaran analitik data secara keseluruhan.
• Keamanan dan kepatuhan komprehensif: Fitur keamanan yang tangguh dan sertifikasi kepatuhan Azure Synapse memastikan data terlindungi serta organisasi dapat memenuhi persyaratan regulasi.

Mulai perjalanan cloud Anda dengan Azure Fundamentals Certification. Siapkan diri untuk ujian Microsoft AZ-900 dengan jalur yang dirancang ahli oleh DataCamp. Melalui kemitraan DataCamp dengan Microsoft, Anda juga akan mendapatkan diskon 50% biaya ujian!

Use Case untuk Azure Synapse

Azure Synapse adalah platform serbaguna yang dapat diterapkan pada beragam use case analitik data, sehingga menjadi alat yang kuat bagi bisnis yang ingin membuka potensi penuh data mereka. 

Beberapa use case paling umum meliputi:

Azure Synapse vs. Databricks

Azure Synapse dan Databricks adalah platform pemrosesan dan analitik data berskala besar yang mumpuni, namun unggul di area yang berbeda. 

• Azure Synapse adalah solusi serba ada yang menyatukan integrasi data, pergudangan, dan analitik big data, seperti disebutkan sebelumnya. Cocok untuk organisasi yang membutuhkan platform komprehensif untuk menangani beragam beban kerja, dari data terstruktur hingga kumpulan data masif.
• Databricks, dibangun di atas Apache Spark, berspesialisasi pada ilmu data kolaboratif, rekayasa data, dan machine learning. Dikenal akan kekuatannya dalam pemrosesan data berskala besar dan deployment model, serta menawarkan lingkungan kolaboratif bagi tim data.

Perbedaan dan persamaan

Jika Anda tertarik mempelajari lebih lanjut tentang penawaran ilmu data dan AI yang sebanding di cloud AWS, Azure, dan GCP, lihat panduan gratis AWS, Azure, and GCP Service Comparison for Data Science & AI di Datacamp.

Setelah gambaran umum Azure Synapse yang komprehensif, mari langsung praktik!

Menyiapkan Azure Synapse

Untuk mulai menggunakan Azure Synapse, Anda perlu memiliki akun Azure aktif. Setelah akun Anda siap, Anda dapat membuat workspace Synapse baru dan mengonfigurasi sumber data serta koneksi Anda. 

1. Mulai uji coba gratis Azure

Jika Anda baru di Azure, langkah pertama adalah membuat langganan. Klik tombol "Start" di bawah "Start with an Azure free trial." 

Selama proses pendaftaran, Anda perlu memverifikasi akun menggunakan nomor telepon dan memberikan informasi kartu kredit untuk keperluan verifikasi.

Mulai dengan uji coba gratis Azure.

2. Prasyarat: Buat Data Lake Storage Gen2

Sebelum melanjutkan dengan Azure Synapse, Anda harus membuat akun Data Lake Storage Gen2 untuk menyimpan dan mengelola data Anda. 

Mulailah dengan menavigasi ke portal Azure dan memilih "Create a resource." Pilih "Storage account" dan isi detail yang diperlukan, seperti resource group, nama akun penyimpanan, dan wilayah. 

Pastikan "Azure Blob Storage or Azure Data Lake Storage Gen2" dipilih sebagai layanan utama, lalu konfigurasikan pengaturan lain seperti performa dan redundansi sesuai use case Anda.

Buat akun penyimpanan Azure.

Setelah mengisi detailnya, klik "Review + create" untuk melakukan deployment akun penyimpanan. Proses deployment bisa memakan waktu beberapa menit.

Deployment akun penyimpanan sedang berlangsung.

Setelah deployment selesai, akun Data Lake Storage Gen2 baru Anda akan tercantum di bagian Storage Accounts dan siap digunakan dengan Azure Synapse.

Akun penyimpanan aktif di Azure.

3. Buat workspace Synapse

Workspace Azure Synapse adalah lingkungan dasar tempat Anda dapat menyiapkan, mengatur, dan mengelola semua sumber daya dan layanan yang diperlukan untuk integrasi data, analitik, dan penyimpanan dalam Azure Synapse. Workspace bertindak sebagai hub pusat untuk mengonfigurasi dan mengakses berbagai alat serta aset data di proyek Synapse Anda.

Buat workspace Azure Synapse dengan mengklik tombol “Create Synapse Workspace”.

Membuat workspace Synapse.

Pada langkah berikutnya, Anda harus mengisi formulir untuk membuat workspace Azure Synapse Anda. 

Mulailah dengan memilih langganan dan resource group Anda, lalu masukkan nama untuk workspace Anda dan pilih wilayah yang sesuai. 

Membuat workspace Synapse - mengisi detail.

Tinjau detail pada tab terakhir sebelum mengklik tombol “Create”. 

Validasi workspace Synapse.

Deployment workspace Azure Synapse dapat memakan waktu beberapa menit.

Deployment Azure Synapse Analytics sedang berlangsung.

Workspace Azure Synapse Analytics “datacamp” telah dibuat.

Setelah workspace dideploy, klik namanya untuk membukanya.

4. Buka Synapse Studio

Azure Synapse Studio adalah antarmuka berbasis web untuk mengelola dan berinteraksi dengan workspace Azure Synapse Anda. Studio ini menyediakan workspace terpadu tempat Anda dapat melakukan tugas integrasi data, analitik big data, dan pergudangan data di satu tempat. 

Synapse Studio penting karena memungkinkan Anda dengan cepat mengembangkan, mengelola, dan memantau pipeline data, skrip SQL, job Spark, dan lainnya tanpa perlu beralih antar alat atau lingkungan yang berbeda. 

Synapse Studio.

Mengimpor Dataset

Di Synapse Studio, Anda dapat mengimpor data dari beberapa sumber berbeda. Anda bisa mengimpornya dari akun penyimpanan Gen2 yang ditautkan ke workspace Synapse (lihat langkah 2 di atas), dari database server SQL, atau sumber eksternal. 

Untuk tutorial ini, kita akan menggunakan salah satu dataset contoh, “Bing COVID-19 Data,” yang tersedia di Synapse Gallery. 

Untuk mengimpor, klik “Dataset” pada menu navigasi sebelah kiri lalu klik “tanda +” → "Gallery."

Galeri Dataset di Synapse Studio.

Anda dapat meninjau metadata dan contoh baris data sebelum mengklik tombol “Add dataset” untuk mengimpor data ini.

Tinjau dataset di Synapse Studio.

Setelah impor berhasil, Anda akan dapat melihat dataset di bawah “Data.”

Tab Data di Synapse Studio.

Menulis dan Menjalankan Kueri

Azure Synapse Studio menyediakan antarmuka yang ramah pengguna untuk menulis dan menjalankan kueri. Anda dapat menggunakan SQL untuk melakukan beragam tugas analisis data, dari pengambilan data sederhana hingga analitik yang lebih kompleks. 

Synapse Studio juga memungkinkan Anda menyimpan dan mengelola kueri serta melihat dan menangani hasil kueri Anda.

Anda dapat menganalisis dataset ini menggunakan skrip SQL atau dengan membuat Notebook. Dalam Notebook, Anda dapat memuat dataset sebagai Spark DataFrame dan menggunakan Spark untuk manipulasi serta analisis data.

Untuk menjalankan kueri SQL pada dataset ini, klik tiga titik di sebelah nama dataset.

Menganalisis Data di Synapse Studio dengan SQL.

Mengklik “Select TOP 100 rows” akan membuka editor SQL tempat Anda dapat menulis kueri SQL dan mengeksekusinya untuk melihat hasilnya.

Editor SQL di Synapse Studio.

Jika Anda ingin memvisualisasikan output alih-alih tampilan tabel, klik “Chart” di bawah “Results”.

Melihat hasil kueri sebagai Chart di Synapse Studio.

Perubahan tersebut awalnya disimpan sebagai draft saat Anda membuat atau memodifikasi skrip SQL. Menerbitkan skrip dengan mengklik tombol “Publish” di bagian atas akan meng-commit perubahan tersebut, memastikan versi terbaru tersimpan di workspace.

Menerbitkan skrip SQL di Synapse Studio berarti menyimpan skrip Anda ke workspace Synapse, sehingga tersedia untuk penggunaan di masa mendatang, kolaborasi, dan kontrol versi.

Contoh: Menganalisis pertumbuhan harian kasus terkonfirmasi COVID-19 di seluruh dunia

Mari jalankan kueri SQL pada dataset ini untuk menganalisis peningkatan harian kasus terkonfirmasi COVID-19 di seluruh dunia. 

Kueri mengambil data dari “Bing COVID-19 dataset”, menghitung jumlah kasus baru yang dilaporkan setiap hari dengan membandingkan jumlah kasus terkonfirmasi hari ini dengan jumlah hari sebelumnya, dan mengurutkan hasilnya berdasarkan tanggal. 

Kueri SQL di editor SQL Synapse Studio.

Menganalisis Data di Notebook

Di Synapse Studio, Anda dapat menganalisis data menggunakan notebook, yang menyediakan lingkungan interaktif untuk menjalankan kode, memvisualisasikan hasil, dan melakukan analisis data. 

Notebook di Synapse Studio mendukung banyak bahasa, termasuk PySpark, yang sangat kuat untuk pemrosesan big data. 

Untuk menjalankan Notebook di Synapse Studio, lampirkan Notebook ke Apache Spark pool, yang menyediakan sumber daya komputasi terdistribusi yang diperlukan untuk memproses dataset besar secara efisien.

Apache Spark pool adalah kumpulan node komputasi yang dialokasikan secara dinamis untuk menjalankan job Spark Anda. Jika Anda belum memiliki Spark pool, Anda dapat membuatnya dengan menavigasi ke bagian "Manage pools" di Synapse Studio, tempat Anda dapat menentukan jumlah node, ukurannya, dan konfigurasi lainnya. 

Setelah Spark pool Anda disiapkan dan dilampirkan ke notebook, Anda dapat mengeksekusi sel kode di dalam notebook untuk memuat, memanipulasi, dan menganalisis data, seperti ditunjukkan pada tangkapan layar di bawah. 

Pengaturan ini memungkinkan Anda memanfaatkan sepenuhnya kekuatan Spark untuk analisis data berskala besar langsung di Azure Synapse.

Analisis data menggunakan Notebook di Synapse Studio.

Mengintegrasikan Azure Synapse dengan Layanan Azure Lainnya

Azure Synapse terintegrasi mulus dengan layanan Azure lainnya, memungkinkan Anda membangun solusi analitik data yang komprehensif. 

Beberapa integrasi kunci meliputi:

• Azure Data Factory: Manfaatkan Azure Data Factory untuk mengorkestrasi alur kerja data yang kompleks dan mengotomatisasi proses ETL (Extract, Transform, Load) atau ELT (Extract, Load, Transform). Dengan mengintegrasikan Azure Synapse dengan Data Factory, Anda dapat dengan mudah memindahkan dan mentransformasi data dari berbagai sumber ke workspace Synapse, memastikan data Anda selalu siap untuk dianalisis.
• Power BI: Azure Synapse terintegrasi dengan mulus dengan Power BI, memungkinkan Anda membuat visualisasi data tingkat lanjut dan dasbor interaktif. Integrasi ini memungkinkan bisnis mengubah data mentah menjadi laporan yang informatif dan menarik secara visual yang dapat dibagikan lintas tim, mendorong pengambilan keputusan berbasis data dan meningkatkan kapabilitas business intelligence.
• Azure Machine Learning: Gabungkan kekuatan pemrosesan data Azure Synapse dengan Azure Machine Learning untuk membuka kapabilitas analitik prediktif tingkat lanjut. Integrasi ini memungkinkan Anda melatih, menerapkan, dan mengelola model machine learning langsung di lingkungan Synapse Anda, menghasilkan prediksi yang lebih akurat dan strategi berbasis data yang lebih cerdas.
• Azure Databricks: Untuk organisasi yang berfokus pada ilmu data kolaboratif dan machine learning, mengintegrasikan Azure Synapse dengan Azure Databricks memberikan solusi yang kuat. Integrasi ini memfasilitasi kolaborasi yang mulus di antara data scientist, engineer, dan analis, memungkinkan mereka membangun dan meningkatkan skala pipeline data, mengembangkan model, dan melakukan analitik tingkat lanjut dalam lingkungan kolaboratif yang terpadu.

Praktik Terbaik Menggunakan Azure Synapse

Untuk memaksimalkan Azure Synapse, penting untuk mengikuti praktik terbaik, seperti:

• Mengoptimalkan format penyimpanan data: Memilih format penyimpanan data yang tepat, seperti Parquet atau ORC, sangat penting untuk memastikan kinerja kueri optimal dan pemrosesan data yang efisien. Format ini dirancang untuk analitik big data dan dapat secara signifikan mengurangi waktu eksekusi kueri serta biaya penyimpanan berkat dukungan penyimpanan kolumnar dan kompresi.
• Mengelola sumber daya komputasi secara efisien: Pengelolaan sumber daya komputasi yang efisien adalah kunci untuk menyeimbangkan kinerja dan efektivitas biaya. Dengan meningkatkan atau menurunkan skala sumber daya berdasarkan permintaan beban kerja dan menggunakan opsi serverless bila sesuai, Anda dapat memastikan tidak membelanjakan berlebih untuk daya komputasi yang tidak terpakai sekaligus tetap memenuhi kebutuhan performa.
• Menerapkan praktik keamanan terbaik: Keamanan harus menjadi prioritas utama saat menggunakan Azure Synapse. Untuk melindungi informasi sensitif, terapkan langkah-langkah keamanan yang kuat seperti enkripsi data, kontrol akses berbasis peran, dan isolasi jaringan.
• Memantau dan memecahkan masalah beban kerja: Pemantauan berkelanjutan terhadap beban kerja Azure Synapse Anda sangat penting untuk menjaga kinerja optimal dan mengidentifikasi potensi masalah sebelum berdampak pada operasi. Manfaatkan alat pemantauan bawaan untuk melacak penggunaan sumber daya, kinerja kueri, dan efisiensi pipeline data, serta proaktif dalam menelusuri anomali apa pun guna meminimalkan gangguan.

Kesimpulan

Azure Synapse Analytics hadir sebagai solusi yang kuat dan serbaguna bagi organisasi yang ingin memanfaatkan potensi penuh data mereka. Dengan menyatukan integrasi data, analitik big data, dan pergudangan data tingkat perusahaan dalam satu platform komprehensif, Azure Synapse memberdayakan bisnis untuk merampingkan operasi data dan mengekstrak wawasan berharga dengan efisiensi yang belum pernah ada sebelumnya.

Fleksibilitas, skalabilitas, dan integrasi mulus dengan layanan Azure lainnya menjadikannya ideal untuk berbagai tugas berbasis data, mulai dari analitik real-time hingga proyek machine learning yang kompleks. Seiring data tumbuh dalam volume dan pentingnya, Azure Synapse memposisikan dirinya sebagai alat krusial bagi organisasi yang ingin tetap kompetitif di dunia yang semakin berpusat pada data.

Dengan mengadopsi Azure Synapse, bisnis tidak hanya dapat mengoptimalkan proses data saat ini, tetapi juga membuka jalan bagi inovasi masa depan dalam analitik data. Ke depan, kemampuan untuk dengan cepat dan efektif mengubah data menjadi wawasan yang dapat ditindaklanjuti akan menjadi pembeda utama bagi organisasi yang sukses. Azure Synapse menyediakan fondasi yang tangguh untuk menghadapi tantangan ini secara langsung, memungkinkan bisnis membuka peluang baru dan mendorong pertumbuhan melalui kekuatan data.

Ingin memberdayakan karier ilmu data Anda? Lihat 13 Sertifikasi Azure Terbaik untuk 2024 di Datacamp.