Amazon Simple Queue Service (SQS): Tutorial Komprehensif

Menyiapkan AWS SQS

Sekarang kita memahami apa itu SQS, mari lihat cara menyiapkannya. Bagian ini akan memandu Anda melalui prasyarat dan cara mengakses konsol SQS.

Prasyarat

Sebelum mulai menggunakan AWS SQS, pastikan Anda memiliki:

• akun AWS aktif. Akun dapat dibuat dari halaman resmi.
• Peran dan izin IAM yang diperlukan untuk akses SQS.

Untuk menyiapkan izin IAM:

• Buka konsol IAM.
• Buat kebijakan (policy) baru.

Menyiapkan AWS SQS

• Ada dua opsi utama untuk membuat kebijakan: pendekatan visual atau JSON. Untuk kasus kita, gunakan pendekatan visual yang lebih intuitif. 
• Pilih “SQS” dari area “Service” dan atur Effect ke “Allow” untuk izin berikut: sqs:CreateQueue, sqs:DeleteQueue, sqs:SendMessage, sqs:ReceiveMessage, sqs:DeleteMessage.

Menyiapkan AWS SQS

• Izinkan tindakan untuk mengakses “All” resources, lalu pilih “Next.”
• Beri nama kebijakan, pada contoh kita “SQSHandsOnPolicies”, lalu buat kebijakan tersebut.

Menyiapkan AWS SQS

Kebijakan akhir seharusnya terlihat seperti ini dalam format JSON:

Menyiapkan AWS SQS

Berikut ikhtisar singkat definisi kebijakan kita:

• “Version”: “2012-10-17” adalah versi terkini bahasa kebijakan IAM.
• Kebijakan berisi satu “Statement” yang mendefinisikan sekumpulan izin.
• “Sid”: “VisualEditor0” berarti kebijakan ini dibuat melalui editor visual.
• “Effect”: “Allow” berarti tindakan ini diizinkan.
• “Action”: Daftar ini menentukan operasi SQS yang diizinkan di atas:
• “Resource”: “*” berarti tindakan ini diizinkan pada semua resource SQS dalam akun.

Kebijakan ini memberikan akses penuh untuk membuat, menghapus, mengirim, dan menerima pesan dari antrean SQS mana pun dalam akun. Ini cukup permisif, jadi sebaiknya kita batasi ke ARN antrean tertentu demi keamanan yang lebih baik di lingkungan produksi.

Jika Anda ingin mempelajari lebih lanjut tentang konfigurasi IAM, tutorial The Complete Guide to AWS Identity and Access Management (IAM) mengajarkan cara mengamankan lingkungan AWS Anda, mengelola akses dengan pengguna, grup, dan peran, serta menerapkan praktik terbaik untuk keamanan yang tangguh.

Untuk memperdalam pengetahuan konfigurasi AWS, How to Setup and Configure AWS: A Comprehensive Tutorial akan membantu Anda menemukan pengaturan penting, praktik terbaik keamanan, dan cara memanfaatkan layanan AWS untuk analisis data dan machine learning.

Mengakses konsol Amazon SQS

Setelah prasyarat terpenuhi, langkah selanjutnya adalah mengakses konsol SQS untuk mulai membuat dan mengelola antrean. Berikut langkah-langkah mengakses konsol:

• Di bilah pencarian bagian atas, ketik "SQS" dan pilih "Simple Queue Service" dari menu dropdown.
• Anda akan diarahkan ke dasbor SQS.

Mengakses konsol Amazon SQS

Membuat dan Mengelola Antrean SQS

Dengan akses ke konsol SQS, kita dapat mulai membuat dan mengelola antrean. Bagian ini akan membahas pembuatan antrean standar dan FIFO.

Namun, di mana kebijakan IAM kita berperan?

Kebijakan IAM yang kita buat pada bagian prasyarat sangat penting untuk pembuatan dan pengelolaan antrean. Berikut perannya:

• Asosiasi pengguna atau peran: Kebijakan harus dilampirkan ke pengguna atau peran IAM yang Anda gunakan untuk mengakses konsol SQS atau AWS CLI.
• Pemeriksaan izin: Saat Anda mencoba membuat antrean (atau melakukan tindakan SQS lainnya), AWS memeriksa kebijakan ini untuk memastikan Anda memiliki izin yang diperlukan.
• Otorisasi tindakan: Izin sqs:CreateQueue dalam kebijakan kita secara khusus mengizinkan pembuatan antrean. Tanpa ini, Anda akan menerima error "Access Denied" saat membuat antrean.
• Operasi berkelanjutan: Izin lain dalam kebijakan (sqs:SendMessage, sqs:ReceiveMessage, sqs:DeleteMessage, sqs:DeleteQueue) memungkinkan Anda melakukan berbagai operasi pada antrean setelah dibuat.

Dengan pemahaman tersebut, mari lanjut membuat antrean kita, dimulai dengan antrean standar.

Membuat antrean standar

Antrean standar adalah tipe antrean default di SQS. Berikut cara membuatnya:

• Di dasbor SQS, klik "Create queue."
• Pilih "Standard" sebagai tipe antrean.
• Masukkan nama antrean, dalam skenario kita “SQSHandsOn”.
• Konfigurasikan pengaturan antrean: Visibility timeout, Message retention period, Maximum message size, dan Delivery delay. Biarkan nilai default seperti apa adanya, lalu klik “Create queue.”

Membuat antrean standar

Pembuatan antrean yang berhasil akan menghasilkan pesan konfirmasi seperti di bawah ini, beserta informasi tambahan tentang antrean.

Membuat antrean standar

Membuat antrean FIFO

Antrean FIFO digunakan untuk menjamin urutan pemrosesan pesan. Berikut langkah-langkah membuatnya: 

• Di dasbor SQS, klik "Create queue."
• Pilih "FIFO" sebagai tipe antrean.
• Masukkan nama antrean (harus diakhiri dengan “.fifo”). Saya menamainya “SQSHandsOn.fifo”.
• Sama seperti skenario di atas, biarkan pengaturan lainnya pada nilai default lalu klik “Create queue.” 

Membuat antrean FIFO

Seperti pada antrean standar, keberhasilan pembuatan FIFO juga memberikan detail yang sama untuk digunakan saat mengirim pesan.

Membuat antrean FIFO

Perbedaan antara antrean standar dan FIFO

Saat memilih antara antrean standar dan FIFO di Amazon SQS, penting untuk memahami fitur dan kemampuan masing-masing. 

Tabel berikut memberikan analisis perbandingan untuk membantu Anda menentukan tipe antrean yang paling sesuai dengan kebutuhan aplikasi Anda:

Perbedaan antara antrean standar dan FIFO

Mengirim dan Menerima Pesan di SQS

Setelah semua antrean kita siap, mari mulai mengirim dan menerima pesan. Bagian ini membahas cara melakukannya melalui AWS Management Console dan AWS Command Line Interface (CLI).

Mengirim pesan

Proses pengiriman pesan ditunjukkan menggunakan antrean standar dan FIFO.

Antrean standar

Menggunakan AWS Management Console

• Pilih antrean Anda dari dasbor SQS.
• Klik "Send and receive messages."
• Di kolom "Message body", masukkan pesan, misalnya: “Antrean ini dibuat menggunakan tutorial Comprehensive Guide to Amazon Simple Queue Service (SQS).”
• Klik "Send message."

Mengirim pesan menggunakan AWS management console

Setelah mengirim pesan, pop-up akan mengonfirmasi bahwa pesan telah dikirim. Mengklik “View details” menampilkan detail pesan kita seperti di bawah ini.

Mengirim pesan menggunakan AWS management console

Terakhir, pada bagian “Receive messages”, kita dapat melihat satu pesan tersedia.

Mengirim pesan menggunakan AWS management console

Menggunakan AWS CLI SQS

Langkah utama untuk mengirim pesan melalui CLI mengikuti templat di bawah ini.

aws sqs send-message --queue-url [YOUR URL]--message-body "YOUR MESSAGE"Didukung oleh

Untuk metode antrean standar, URL kita diberikan pada tangkapan layar terkait di atas. Untuk CLI, mari gunakan pesan yang berbeda:

• URL: https://sqs.us-east-1.amazonaws.com/022499002265/SQSHandsOn
• Pesan: “Message sent via AWS CLI”

Langkah pertama untuk mulai menggunakan CLI adalah mengonfigurasinya agar dapat berinteraksi dengan resource AWS kita, dan ini memerlukan kredensial berikut:

• Access key ID
• Secret access key

aws configureDidukung oleh

Setelah konfigurasi selesai, jalankan perintah berikut dengan nilai argumen yang benar:

aws sqs send-message --queue-url https://sqs.us-east-1.amazonaws.com/022499002265/SQSHandsOn --message-body "Message sent via AWS CLI"Didukung oleh

Mengirim pesan menggunakan CLI

Output JSON dari eksekusi perintah sesuai dengan detail pesan yang baru dikirim, dan kita dapat melihat sekarang ada dua pesan dalam antrean SQSHandsOn.

Mengirim pesan menggunakan CLI

Antrean FIFO

Proses pengiriman pesan menggunakan FIFO sedikit berbeda dari pendekatan antrean standar.

Untuk mengilustrasikan skenario ini dengan lebih baik, bayangkan Anda menjalankan platform e-commerce yang menjual perangkat elektronik. 

Sistem Anda perlu menangani berbagai operasi, seperti memproses pesanan, memperbarui inventaris, dan mengelola pembayaran. Dalam hal ini, kita dapat menggunakan antrean SQS FIFO untuk memastikan operasi tersebut diproses dalam urutan yang benar dan tanpa duplikasi.

• Contoh CLI 1 (Pesanan pelanggan): Pesan ini dikirim ketika pelanggan melakukan pesanan baru. Sistem pemrosesan pesanan akan mengambil pesan-pesan ini dan memenuhinya sesuai urutan diterima.
• Contoh CLI 2 (Pembaruan inventaris): Setelah pesanan diproses, pesan ini dikirim untuk memperbarui inventaris. Ini memastikan tingkat stok dipertahankan secara akurat saat produk terjual.
• Contoh konsol (Pemrosesan pembayaran): Pesan ini dihasilkan saat pembayaran perlu diproses untuk sebuah pesanan. Ini memastikan pembayaran ditangani sesuai urutan diterima dan mencegah penagihan ganda.

Menggunakan antrean FIFO untuk operasi ini memastikan bahwa:

• Pesanan diproses sesuai urutan dilakukan.
• Pembaruan inventaris terjadi dalam urutan yang benar, mencegah kelebihan penjualan.
• Pembayaran diproses satu kali dan dalam urutan yang tepat.

Saat mengirim pesan ke antrean SQS FIFO, ingat dua elemen kunci:

• Message group ID: Wajib untuk semua pesan. Menentukan pesan mana yang diproses berurutan dalam sebuah grup.
• Message deduplication ID: Memastikan setiap pesan hanya diproses sekali dalam jendela 5 menit.

Dengan pemahaman tersebut, mari lanjut dengan pendekatan CLI.

Menggunakan AWS CLI SQS

   Kita dapat menjalankan perintah berikut untuk mengirim dua pesan pertama di antrean FIFO.

• Contoh CLI 1: Mengirim pesanan pelanggan:

aws sqs send-message --queue-url https://sqs.us-east-1.amazonaws.com/022499002265/SQSHandsOn.fifo --message-body "Process customer order: #A1001" --message-group-id "CustomerOrders" --message-deduplication-id "Order-A1001-20240817-1"Didukung oleh

Output untuk eksekusi pertama ini ditunjukkan di bawah.

Contoh 1 - Hasil mengirim pesan menggunakan CLI dengan FIFO

• Contoh CLI 2: Mengirim pembaruan inventaris:

aws sqs send-message --queue-url https://sqs.us-east-1.amazonaws.com/022499002265/SQSHandsOn.fifo --message-body "Update inventory: ProductX -5 units"  --message-group-id "InventoryUpdates" --message-deduplication-id "Inventory-ProductX-20240817-1"Didukung oleh

Output-nya ditunjukkan di bawah.

Contoh 2 - Hasil mengirim pesan menggunakan CLI dengan FIFO

Sejauh ini, dua pesan telah dikirim ke antrean FIFO dan dapat dilihat di bawah.

Hasil mengirim pesan menggunakan CLI dengan antrean FIFO - Jumlah pesan

Menggunakan AWS Management Console

Sama seperti antrean standar, kita dapat mengirim pesan dari management console sebagai berikut:

• Dari halaman “Queues”, pilih “SQSHandsOn.fifo”.
• Pilih tab “Send and receive message” untuk mengirim pesan.
• Kolom tambahan seperti “Message group ID” dan “Message deduplication ID” diperlukan.

Hasil mengirim pesan menggunakan management console dengan antrean FIFO

Sekarang kita dapat melihat total jumlah pesan di antrean FIFO adalah tiga.

Hasil mengirim pesan menggunakan management console dengan antrean FIFO - Total jumlah pesan

Menerima dan menghapus pesan

Menerima dan menghapus pesan sama pentingnya dengan mengirimnya. Berikut cara melakukan keduanya.

Antrean standar

Menggunakan AWS Management Console

• Pilih antrean Anda dari dasbor SQS.
• Klik "Send and receive messages."
• Klik "Poll for messages."
• Pesan akan muncul di bagian "Messages".

Menerima pesan menggunakan AWS management console dengan antrean standar

Kedua pesan di antrean standar dapat dilihat di atas.

Menggunakan AWS CLI SQS

Di bawah ini perintah umum untuk menerima pesan dari antrean standar.

aws sqs receive-message --queue-url [YOUR URL]Didukung oleh

Menggunakan antrean standar kita, perintah lengkapnya menjadi:

aws sqs receive-message --queue-url https://sqs.us-east-1.amazonaws.com/022499002265/SQSHandsOnDidukung oleh

Antrean FIFO

Proses mengambil pesan via management console mengikuti proses yang sama seperti pendekatan standar.

Untuk menerima pesan dari antrean FIFO menggunakan AWS CLI, Anda dapat menggunakan perintah aws sqs receive-message. Berikut struktur dasarnya:

aws sqs receive-message --queue-url https://sqs.us-east-1.amazonaws.com/022499002265/SQSHandsOn.fifo --attribute-names All --message-attribute-names All --max-number-of-messages 3Didukung oleh

• -attribute-names All: Mengambil semua atribut pesan.
• -message-attribute-names All: Mengambil semua atribut pesan kustom.
• --max-number-of-messages 3: Menentukan jumlah maksimum pesan yang

Eksekusi perintah di atas memberikan ketiga pesan dalam antrean FIFO.

Hasil menerima pesan menggunakan CLI dengan antrean FIFO

Harga AWS SQS

Memahami model harga sangat penting untuk menggunakan SQS secara hemat biaya. Bagian ini menguraikan harga dan menawarkan kiat pengelolaan biaya.

Secara umum, harga AWS SQS didasarkan pada jumlah permintaan API yang dibuat, transfer data, dan fitur opsional yang digunakan.

Harga permintaan (request)

Tabel berikut memberikan gambaran harga permintaan SQS:

Harga dari halaman SQS AWS

Harga transfer data

Untuk memahami harga transfer data, lihat tabel berikut:

Harga dari halaman SQS AWS

Kiat pengelolaan biaya

Berikut beberapa kiat cepat untuk mengelola biaya SQS Anda:

• Gunakan long polling untuk mengurangi jumlah penerimaan kosong (empty receives).
• Batch operasi kirim dan terima Anda.
• Pantau penggunaan Anda dengan AWS Cost Explorer.

Pemantauan dan Metrik AWS SQS

Pemantauan yang efektif sangat penting untuk menjaga implementasi SQS yang sehat. Bagian ini mencakup metrik penting dan cara menyiapkan alarm.

Metrik kunci AWS SQS

Berikut beberapa metrik terpenting yang perlu diperhatikan:

Metrik kunci AWS SQS

ApproximateNumberOfMessagesVisible

Metrik ini merepresentasikan jumlah pesan yang tersedia untuk diambil dari antrean. Ini merupakan indikator backlog antrean dan efisiensi pemrosesan. Angka yang tinggi dapat menunjukkan bottleneck pemrosesan.

ApproximateAgeOfOldestMessage

Metrik ini menunjukkan berapa lama pesan tertua yang belum dihapus berada di antrean. Ini membantu mengidentifikasi potensi masalah pemrosesan pesan, seperti pesan tersangkut atau konsumer yang lambat. Untuk antrean FIFO, metrik ini sangat penting karena dapat menunjukkan grup pesan yang terblokir.

NumberOfMessagesSent

Metrik ini melacak jumlah pesan yang ditambahkan ke antrean. Berguna untuk memantau laju input antrean dan mengidentifikasi lonjakan yang tidak biasa dalam produksi pesan. Perlu dicatat bahwa pesan yang dikirim secara manual ke dead-letter queue termasuk dalam hitungan ini.

NumberOfMessagesReceived

Metrik ini menunjukkan berapa banyak pesan yang telah dikembalikan ke konsumer dari antrean. Ini membantu melacak laju output antrean dan dapat dibandingkan dengan NumberOfMessagesSent untuk mengukur efisiensi pemrosesan. Seperti NumberOfMessagesSent, metrik ini tidak termasuk pesan yang otomatis dipindahkan ke dead-letter queue karena kegagalan pemrosesan

Menyiapkan alarm CloudWatch

Pembuatan alarm CloudWatch diilustrasikan untuk keempat metrik di atas. Prosesnya sama untuk semua metrik tersebut. Oleh karena itu, kita fokus pada satu metrik dan hanya SQS Standar (SQSHandsOn) demi kesederhanaan. 

Langkah utama untuk menyiapkan alarm bagi ApproximateNumberOfMessagesVisible adalah sebagai berikut.

Alarm CloudWatch dapat memberi tahu Anda tentang potensi masalah. Berikut cara menyiapkannya dari management console:

• Cari "CloudWatch" dan pilih.
• Di panel navigasi kiri, klik "Alarms."
• Klik tombol "Create alarm".
• Klik "Select metric."
• Di tab "All metrics", temukan dan klik "SQS."
• Klik "Queue Metrics." 
• Temukan antrean Anda dan pilih metrik ApproximateNumberOfMessagesVisible dan metrik standar SQSHandsOn.

Menyiapkan alarm CloudWatch

• Dari halaman di atas, pilih "Graph metrics."
• Pilih statistik dan atur ke “Average.”
• Atur periodenya, dalam kasus kita 5 menit, lalu pilih “Select metric.”

Menyiapkan alarm CloudWatch

• Beri nama metrik (misalnya, “SQS-AvgHighMessageCount-SQSHandsOn”), dan atur “Threshold Type” ke “Static.”
• Berikan kondisi untuk alarm. Dalam kasus kita “Greater”.
• Atur nilai ambang batas ke “20” dan pilih “Next.”

Menyiapkan Alarm CloudWatch

Konfigurasi di atas berarti alarm ini akan terpicu ketika rata-rata jumlah pesan yang terlihat di antrean SQSHandsOn Anda melebihi 20 untuk setidaknya satu titik data dalam 5 menit. Grafik menunjukkan jumlah pesan saat ini (garis biru) dibandingkan ambang batas (garis merah di 20).

Penyiapan ini membantu memantau jika antrean kita menumpuk terlalu banyak pesan yang belum diproses, yang dapat mengindikasikan keterlambatan pemrosesan atau masalah pada konsumer.

Konsumer merujuk pada semua aplikasi atau komponen sistem kita yang mengambil dan memproses pesan dari antrean.

Jika rata-rata jumlah pesan melampaui 20, Anda akan menerima peringatan, sehingga dapat menyelidiki dan mengambil tindakan yang sesuai untuk mencegah backlog pada antrean Anda.

• Tindakan “Next” di atas menuju ke “Configure actions,” sehingga kita tidak perlu menyiapkan apa pun. Biarkan halaman tersebut apa adanya.
• Pilih “Next” dan masukkan nama unik untuk alarm, dalam kasus kita "SQSHandsOn-HighMessageCount"
• Opsional, tambahkan deskripsi lalu pilih “Next.”
• Tinjau pengaturan Anda, lalu klik "Create alarm."

Menyiapkan alarm CloudWatch

• Kita akan melihat pesan konfirmasi berwarna hijau untuk alarm kita, bersamaan dengan nama alarm di kolom “Name”.

Menyiapkan alarm CloudWatch

• Setelah memilih nama alarm, detail lengkapnya diberikan sebagai berikut:

Menyiapkan alarm CloudWatch

Alarm untuk antrean SQSHandsOn kita saat ini berada pada status "Insufficient data". Ini berarti CloudWatch belum memiliki cukup informasi untuk menentukan apakah alarm harus terpicu. 

Grafik belum menampilkan titik data, yang menunjukkan antrean masih baru. Alarm akan terpicu ketika rata-rata jumlah pesan melebihi 20 dalam 5 menit. 

CloudWatch akan mengumpulkan data dan memperbarui status alarm seiring antrean menjadi aktif dan pesan diproses. 

AWS SNS vs SQS

Meskipun SQS dan SNS sama-sama layanan perpesanan, keduanya memiliki tujuan yang berbeda. Bagian ini memperjelas perbedaan dan kasus penggunaan masing-masing.

Tabel perbandingan SNS versus SQS

Praktik Terbaik AWS SQS

Mengikuti praktik terbaik penting untuk memaksimalkan SQS. Berikut beberapa kiat untuk penggunaan optimal:

• Gunakan long polling untuk mengurangi biaya dan latensi.
• Terapkan dead-letter queue untuk pesan bermasalah.
• Gunakan operasi batch bila memungkinkan.
• Amankan antrean Anda dengan kebijakan akses yang sesuai.
• Pantau kedalaman antrean dan sesuaikan kapasitas pemrosesan Anda.
• Gunakan enkripsi saat transit dan saat disimpan untuk data sensitif.

Kesimpulan

AWS SQS adalah alat yang kuat untuk membangun aplikasi cloud yang dapat diskalakan dan tangguh. Dengan memisahkan komponen aplikasi, Anda dapat mencapai fleksibilitas, toleransi kesalahan, dan skalabilitas yang lebih tinggi. Dengan kemudahan penggunaan, set fitur yang andal, dan integrasi dengan layanan AWS lainnya, SQS adalah layanan esensial untuk arsitektur cloud modern.

Ingat untuk memantau penggunaan Anda, mengoptimalkan implementasi, dan mengikuti praktik terbaik untuk memaksimalkan AWS SQS. Seiring aplikasi Anda tumbuh dan berkembang, SQS dapat beradaptasi dengan kebutuhan yang berubah, menjadikannya aset berharga dalam toolkit AWS Anda.

Lanjutkan perjalanan AWS Anda dengan mendaftar kursus AWS Cloud Technology and Services kami. Langkah awal ini akan memungkinkan Anda memajukan karier dan kemudian mendapatkan sertifikasi AWS.