Azure Blob Storage: Cara Mengunggah, Mengamankan, dan Mengelola Data Anda

Mengakses dan Mengamankan Azure Blob Storage

Keamanan adalah hal utama dalam sistem penyimpanan tingkat enterprise. Ada berbagai cara untuk mengakses Azure Blob Storage secara aman, seperti token SAS, access key, dan akun enterprise. 

Kontrol akses dengan token SAS

Di lingkungan produksi, Anda membatasi akses ke file dan data yang disimpan di Blob Storage. Umumnya Anda tidak ingin itu dapat diakses publik. Shared Access Signatures (SAS) menawarkan metode yang aman untuk mengelola akses ke data Blob Storage Anda. 

SAS bekerja melalui token, yang ditambahkan ke URL resource yang ingin Anda bagikan. Token menyertakan informasi tentang jenis izin (baca, tulis, hapus, dll.), masa berlaku token, dan protokol (HTTP dan/atau HTTPS) yang diizinkan untuk mengakses resource. 

Sebagai contoh, jika URL blob adalah: 

https://my_account.blob.core.windows.net/my_container/my_file

Setelah menambahkan token, URL menjadi seperti:

https://my_account.blob.core.windows.net/my_container/my_file?sp=r&st=TIME&OTHER_PARAMETERS

Langkah-langkah di bawah ini menunjukkan cara menggunakan portal Azure untuk menghasilkan token SAS untuk container tertentu. 

• Buka halaman Storage account.
• Di menu kiri, di bawah Data storage, pilih Containers. Halaman ini memiliki tabel dengan daftar container di bawah akun storage ini. 
• Temukan baris container yang ingin Anda buat tokennya. 
• Pilih tiga titik di kolom paling kanan pada baris tersebut. 

• Pilih Generate SAS dari menu pop-up. 

Di jendela Generate SAS:

• Pilih metode penandatanganan: 
• Account key atau user delegation key. 
• Untuk tutorial ini, gunakan account key untuk menandatangani SAS. 
• User delegation key berbasis Azure Active Directory dan ditautkan ke ID pengguna tertentu melalui Microsoft Entra. 
• Pilih jenis izin yang ingin Anda otorisasi dengan token ini:
• Baca, tulis, hapus, dll. 
• Untuk tutorial ini, berikan akses baca saja. 
• Masukkan waktu mulai dan berakhir masa berlaku token.
• Pilih protokol IP yang dapat digunakan klien untuk mengakses data Anda. 
• Pilih tombol Generate SAS token and URL. 

Kini Anda dapat mengakses blob privat menggunakan token dan URL yang dihasilkan. Saat Anda mencoba mengakses blob privat tanpa token akses yang benar, Anda akan mendapatkan galat XML yang menyatakan, “The specified resource does not exist.”

Menggunakan Microsoft Entra ID untuk autentikasi

Microsoft Entra ID mengelola identitas dan peran pengguna di satu tempat dan memungkinkan akses granular ke sumber daya Azure. Selain token SAS dan key, ini menyediakan opsi lain (yang lebih aman) untuk mengelola akses ke entitas Azure Blob Storage. Anda dapat memberikan izin khusus kepada pengguna atau grup dengan menetapkan peran yang sesuai. Ini disebut Role-Based Access Control (RBAC). 

RBAC memfasilitasi kontrol akses yang halus dengan memiliki peran seperti Owner, Contributor, dan Reader. Anda dapat mendefinisikan izin ini pada berbagai tingkat, seperti seluruh Storage account atau container individual. 

Misalnya, untuk akun storage tertentu, Anda dapat menetapkan peran Storage Blob Data Reader kepada seorang pengguna. Pengguna tersebut kemudian hanya dapat membaca blob di akun itu tetapi tidak bisa melakukan hal lain (seperti menulis atau membuat daftar semua blob). 

Anda dapat mengintegrasikan Azure Blob Storage dengan sistem autentikasi enterprise, menggunakan Entra ID untuk mengautentikasi pengguna. Pengguna dan aplikasi Azure enterprise sudah memiliki (atau dapat memperoleh) Entra ID, sehingga memudahkan pengelolaan autentikasi secara terpusat menggunakan kredensial enterprise yang ada. 

Perhatikan bahwa Microsoft Entra ID adalah nama baru untuk Azure Active Directory (AD).

Pada bagian berikutnya, saya akan menunjukkan cara menetapkan peran kepada pengguna dan mengelola akses ke entitas Blob Storage. 

Mengonfigurasi Role-Based Access Control (RBAC)

Saya akan menunjukkan cara mengonfigurasi akses dengan menetapkan peran untuk Storage Container. Proses untuk Storage Account serupa. 

• Dari sidebar pada halaman Storage container, pilih Access Control (IAM). 
• Di halaman Access Control, pilih tombol Add pada bilah atas.
• Pilih Add role assignment dari menu dropdown.

• Pada halaman Add role assignment, di tab Role, ketik “blob” di bilah pencarian. Ini akan menampilkan peran prakonfigurasi yang relevan untuk sumber daya Blob Storage. 

Anda dapat memilih dari tiga jenis peran untuk Blob Storage:

• Storage Blob Data Reader: Peran ini hanya memiliki akses baca ke container dan data blob. 
• Storage Blob Data Contributor: Peran ini dapat membaca, menulis, dan menghapus sumber daya. 
• Storage Blob Data Owner: Owner memiliki akses penuh ke sumber daya storage. 

Perhatikan bahwa peran bersifat turunan. Misalnya, jika Anda menetapkan peran “Owner” untuk Storage Account kepada seorang pengguna, pengguna itu juga menjadi pemilik Container dalam akun tersebut. 

• Untuk melanjutkan contoh, pilih Storage Blob Data Contributor dan pilih Next. 
• Pada halaman Add role assignment, di tab Members , klik tautan Select members untuk memilih anggota yang akan Anda tetapkan peran yang dipilih pada langkah sebelumnya. 

• Di panel samping Select members, ketik nama pengguna atau aplikasi. Pilih anggota yang sesuai dari hasil pencarian. Klik tombol Select di bagian bawah panel samping. 
• Pilih Review + assign untuk menyelesaikan penetapan peran. 

Fitur Lanjutan Azure Blob Storage

Kita telah meninjau dasar-dasar Azure Blob Storage, tetapi jika Anda ingin melangkah lebih jauh, berikut beberapa strategi yang bisa dipertimbangkan. 

Manajemen siklus hidup blob

Data yang sering diakses sebaiknya disimpan pada tier penyimpanan dengan akses cepat seperti Hot. Data yang jarang diakses dapat disimpan pada tier penyimpanan yang lebih lambat namun ekonomis, seperti Archive. 

Tantangannya adalah menentukan secara dinamis blob mana yang tidak lagi sering diakses dan dapat dipindahkan ke penyimpanan yang lebih murah. Untuk mengotomatiskan hal ini, Azure memiliki fitur Lifecycle management. Fitur ini memungkinkan Anda memindahkan blob secara dinamis ke penyimpanan yang lebih murah saat blob tidak lagi aktif dimodifikasi.

Lifecycle management diterapkan pada level Storage Account. Langkah-langkah di bawah menunjukkan cara mengaktifkan dan menggunakannya untuk menambahkan aturan memindahkan blob dari Hot ke Cool setelah 30 hari tidak aktif: 

• Pada halaman Storage Account, dari sidebar kiri, pilih Data management > Lifecycle management
• Halaman Lifecycle management menampilkan daftar aturan yang sedang aktif. 

• Pilih tombol Add a rule di bilah atas. 
• Pada halaman Add a rule, pilih:
  • Nama aturan
  • Cakupan aturan
  • Jenis dan subjenis blob yang menjadi cakupan aturan
• Pilih Next.
• Aturan menyatakan bahwa jika blob terakhir kali dibuat atau dimodifikasi sebelum N hari (Anda perlu memasukkan nilai N), Azure akan melakukan tindakan tertentu (pilihan Anda) terhadapnya:
  • Pilih kondisi pada kolom (blok) pertama, di bawah If. Pada kolom More than (days ago), masukkan jumlah hari: 30.
  • Pada kolom (blok) berikutnya, di bawah Then, pilih tindakan - Move to cool storage.

• Tambahkan aturan.

Versioning dan soft delete

Dalam sistem penyimpanan apa pun, penting untuk pulih dari kesalahan pengguna dan tindakan yang tidak disengaja. Versioning dan soft delete adalah dua cara yang digunakan Azure Blob Storage untuk membantu Anda membatalkan kesalahan. 

Versioning 

Akan sangat berguna untuk dapat memulihkan versi sebelumnya dari sebuah file jika Anda tidak sengaja menyimpan perubahan yang salah. Blob versioning memungkinkan Anda mempertahankan versi lama secara otomatis saat memodifikasi blob. Untuk mengaktifkan versioning:

• Pada halaman Storage account, pilih Data management > Data protection dari sidebar. 
• Pada halaman Data protection, di bawah Tracking, centang kotak Enable versioning for blobs
• Pilih apakah Anda ingin:
  • Menyimpan semua versi sebelumnya.
  • Menghapus versi lama setelah beberapa hari. 

• Simpan perubahan. 

Versioning sekarang aktif pada akun storage Anda!

Soft-delete 

Kita semua pernah tidak sengaja menghapus data yang salah. Sangat berguna untuk dapat memulihkan data yang hilang saat ini terjadi. 

Fitur soft delete pada blob mempertahankan data yang dihapus untuk jangka waktu tertentu. Selama masa retensi ini, Anda dapat memulihkan entitas yang di-soft-delete. Setelah masa retensi, data dihapus permanen. Ini melindungi data dari penghapusan dan penimpaan yang tidak disengaja.

Untuk mengaktifkan dan menggunakan soft-delete: 

• Pada halaman Storage account, pilih Data management > Data protection dari sidebar. 
• Pada halaman Data protection, centang kotak untuk:
  • Enable soft delete for blobs
  • Enable soft delete for containers
• Masukkan jumlah hari untuk mempertahankan data yang dihapus.
• Simpan perubahan. 

Anda sekarang telah mengaktifkan soft-delete pada akun storage Anda!

Enkripsi data dan akses aman

Secara default, Azure menggunakan enkripsi simetris AES-256 saat data disimpan (at rest) untuk menjaga keamanan data. Penyerang yang memiliki akses fisik ke hard drive tempat data disimpan tidak dapat mendekripsi data tanpa kunci enkripsi. Banyak organisasi memerlukan fitur ini untuk keamanan dan kepatuhan terhadap regulasi privasi. 

Secara default, pengguna tidak perlu menangani beban tambahan dalam memelihara kunci enkripsi. Azure menanganinya di balik layar. Namun, Anda dapat memilih untuk menggunakan key vault dan menyediakan kunci Anda sendiri demi keamanan tambahan:

• Pada portal Azure, ketik “key vault” di bilah pencarian di bagian atas.
• Pilih Key vaults.

• Halaman Key vaults menampilkan daftar key vault yang telah Anda buat. 
• Pilih tombol Create di bilah atas. 
• Pada halaman Create a key vault:
  • Pilih resource group tempat Anda ingin kunci dalam vault ini digunakan.
  • Masukkan nama vault dan wilayah tempat Anda ingin menyimpannya.
• Pilih Review + Create.
• Periksa detailnya dan pilih Create.

Pembuatan key vault baru memerlukan waktu dan kemudian akan mengarahkan Anda ke halamannya. 

Setelah membuat key vault, Anda kini dapat menambahkan key dan secret Anda:

• Dari sidebar, buka Objects > Keys.
• Pilih tombol Generate/Import di bilah atas. 
• Pilih apakah Anda ingin membuat atau mengimpor key baru. Anda dapat membuat key secara lokal dan mengunggahnya ke Azure atau membuat key di platform Azure. 
• Masukkan nama key baru.
• Pilih detail key yang sesuai (tipe, ukuran, algoritme, dll.). 
• Opsional, Anda juga dapat menetapkan tanggal aktivasi dan kedaluwarsa key. 

• Pilih Create. 

Anda sekarang telah menambahkan key ke keyvault Anda. 

Geo-replication untuk pemulihan bencana

Semakin aman Anda membutuhkan data (dari gangguan teknis atau bencana alam), maka semakin banyak redundansi yang Anda bangun dalam sistem penyimpanan. Redundansi melibatkan replikasi data yang sama di banyak perangkat dan/atau lokasi dan berdampak pada biaya. Anda dapat memilih dari berbagai tingkat redundansi: 

• Locally redundant storage (LRS): Data direplikasi dalam pusat data yang sama. Ini adalah opsi termurah. 
• Zone-redundant storage (ZRS): Membuat tiga atau lebih replika di pusat data berbeda dalam wilayah geografis Anda. 
• Geo-redundant storage (GRS): Pusat data di berbagai wilayah geografis menyimpan replika akun storage Anda. Ini adalah opsi paling aman. 

Manajemen dan Optimasi Biaya di Azure Blob Storage

Penyimpanan cloud, dengan semua manfaatnya, bisa menjadi mahal jika biaya tidak dikelola dengan baik. Pada bagian ini, saya akan memberikan gambaran tentang cara mengoptimalkan dan mengelola biaya untuk Azure Blob Storage. 

Memahami harga Azure Blob Storage

Azure Storage memiliki berbagai tingkatan harga bergantung pada opsi dan layanan tambahan yang ditawarkan:

• Frekuensi akses: Data yang sering diakses perlu disimpan pada perangkat dengan kecepatan baca dan tulis yang lebih cepat. Sebaliknya, data yang jarang diakses dapat disimpan pada perangkat yang lebih lambat dan lebih murah. 
• Hot: Biasanya dibangun di atas SSD modern, yang cepat namun mahal. Memberikan pengalaman pengguna terbaik. 
• Cool: Cocok untuk data yang jarang diakses seperti cadangan. Terkadang juga digunakan untuk file besar seperti video, yang bisa mahal jika disimpan di hot storage. 
• Archive: Data yang hanya perlu diakses sesekali diarsipkan. Secara konvensional, arsip disimpan pada pita (tape). Jadi, biaya penyimpanan rendah, tetapi pengambilan data mahal (karena akses sekuensial). 
• Redundansi: Semakin aman Anda membutuhkan data (dari gangguan teknis atau bencana alam), semakin banyak redundansi yang Anda bangun dalam sistem penyimpanan. Redundansi melibatkan replikasi data yang sama di banyak perangkat dan/atau lokasi dan berdampak pada biaya.
• Locally redundant storage (LRS): Data direplikasi dalam pusat data yang sama. Ini adalah opsi termurah. 
• Zone-redundant storage (ZRS): Membuat tiga atau lebih replika di pusat data berbeda dalam wilayah geografis Anda. 
• Geo-redundant storage (GRS): Pusat data di berbagai wilayah geografis menyimpan replika akun storage Anda. Ini adalah opsi paling aman. 
• Transfer data: 
• Biasanya, Anda dapat mentransfer data dalam wilayah yang sama di seluruh layanan Azure secara gratis. 
• Data ingress (mentransfer data masuk ke Azure Storage) biasanya juga gratis. 
• Data egress (mentransfer keluar dari Azure), seperti pengguna internet yang mengakses data Anda, menimbulkan biaya. Biaya egress biasanya bergantung pada volume. 

Tips optimasi biaya

Berdasarkan pembahasan di atas, saya merekomendasikan beberapa praktik terbaik untuk mencegah biaya penyimpanan cloud membengkak tanpa kendali. 

• Manfaatkan berbagai jenis penyimpanan yang dibahas di atas. Pindahkan data yang jarang diakses ke tier penyimpanan yang lebih murah, seperti Cool atau Archive. 

• Layanan caching seperti CDN juga dapat membantu meningkatkan latensi. Ini akan memungkinkan Anda menyimpan file besar, seperti video, di penyimpanan Cool. 
• Aktifkan dan tetapkan kebijakan siklus hidup yang sesuai untuk memindahkan blob tidak terpakai ke tier penyimpanan berbiaya lebih rendah. 

Pemecahan Masalah Azure Blob Storage

Meskipun Azure Storage merupakan produk yang banyak digunakan, terkadang kesalahan tetap terjadi. 

Masalah umum saat mengunggah blob

Masalah jaringan dan kesalahan izin termasuk jenis masalah yang paling umum. Koneksi lambat dan proxy yang salah konfigurasi sering kali menyebabkan kesalahan jaringan, yang paling baik diatasi dengan memeriksa koneksi dan konfigurasi Anda. 

Kesalahan saat mencoba mengunggah file besar juga umum terjadi. Kehilangan konektivitas jaringan sesaat dapat menyebabkan unggahan tersendat. Untuk mengatasi masalah seperti itu, periksa kebijakan retry Azure dan konfigurasikan sesuai kebutuhan. Solusi praktis lainnya adalah memecah unggahan besar menjadi potongan yang lebih kecil. Unggah setiap potongan secara terpisah menggunakan operasi Put Block. 

Kesalahan izin terjadi ketika access key atau token Anda, atau Entra ID, tidak diotorisasi untuk melakukan operasi yang Anda inginkan (misalnya, baca atau tulis data) pada container atau akun storage. Mungkin key Anda telah diperbarui, atau token Anda telah kedaluwarsa. Pengelola container dapat membantu Anda mendapatkan hak akses yang benar. 

Memantau penggunaan blob storage

Azure menyertakan berbagai alat untuk memantau kinerja Azure Storage. Kita akan membahas dua pilihan yang paling umum: 

• Metrics di bawah Azure Storage 
• Azure Monitor

Azure Storage Metrics

Azure Storage dilengkapi alat pemantauan terintegrasi. Untuk mengaksesnya: 

• Dari halaman Storage account, pilih Monitoring > Metrics
• Halaman Metrics menampilkan grafik, yang awalnya kosong. Anda perlu memilih informasi apa yang akan ditampilkan pada grafik ini. 

• Di bilah menu dropdown (di bawah Scope) di bagian atas grafik, pilih entitas storage yang ingin Anda pantau:
  • Di bawah Metric Namespace, pilih Account atau Blob (storage).
  • Di bawah Metric, pilih metrik yang relevan, seperti Blob count, Ingress, capacity, Transactions, dll.
  • Di kanan atas, sesuaikan rentang waktu pemantauan metrik.
  • Grafik yang dihasilkan menampilkan kinerja entitas storage menggunakan metrik yang dipilih selama periode yang dipilih.

Azure Monitor 

Azure Monitor adalah alat tingkat tinggi yang dapat Anda gunakan untuk memantau berbagai sumber daya Azure. Untuk mengakses Azure Monitor:

• Pada portal Azure, ketik monitor di bilah pencarian di bagian atas. 
• Pilih Monitor dari hasil pencarian.

• Pada beranda Monitor, dari sidebar, pilih Insights > Storage accounts. 

• Pada halaman Monitor | Storage accounts, pilih akun storage yang ingin Anda lihat insight-nya. 
• Halaman Insights menampilkan berbagai metrik berguna, seperti transaksi berdasarkan tipe storage, latensi, ketersediaan, dan lainnya. 

• Di bagian atas halaman, Anda dapat menyesuaikan rentang waktu untuk menampilkan metrik. 
• Gunakan tombol Customize di bilah atas untuk memodifikasi tata letak berbagai tabel pada halaman. 

Kesimpulan

Penyimpanan cloud adalah bagian integral dari perangkat lunak modern. Dalam artikel ini, kita membahas cara memulai dengan Azure Blob Storage dan cara menggunakannya untuk mengunggah dan mengunduh blob. Kita juga membahas banyak aspek praktis Blob Storage, seperti mengelola hak akses dan memantau penggunaan untuk mengendalikan biaya. 

Microsoft Azure dan Amazon AWS menawarkan banyak layanan yang saling tumpang tindih. Untuk memutuskan mana yang lebih sesuai dengan kebutuhan Anda, baca perbandingan AWS vs. Azure kami. Terakhir, jika Anda memiliki wawancara terkait layanan Azure dalam waktu dekat, kami memiliki kumpulan pertanyaan wawancara yang relevan untuk Anda!