Amazon Simple Queue Service (SQS): een uitgebreide tutorial

AWS SQS instellen

Nu we weten wat SQS is, gaan we kijken hoe je het instelt. In dit deel behandelen we de vereisten en hoe je de SQS-console opent.

Vereisten

Voordat je AWS SQS gaat gebruiken, zorg dat je het volgende hebt:

• Een actief AWS-account. Dit kun je aanmaken via de officiële pagina.
• De benodigde IAM-rollen en -machtigingen voor SQS-toegang.

Zo stel je IAM-machtigingen in:

• Ga naar de IAM-console.
• Maak een nieuw policy aan.

AWS SQS instellen

• Er zijn twee hoofdopties om een policy te maken: visueel of via JSON. In ons geval gebruiken we de visuele aanpak, die intuïtiever is. 
• Kies “SQS” in het gedeelte “Service” en zet de Effect op “Allow” voor de volgende permissies: sqs:CreateQueue, sqs:DeleteQueue, sqs:SendMessage, sqs:ReceiveMessage, sqs:DeleteMessage.

AWS SQS instellen

• Sta de acties toe voor toegang tot “All” resources en kies “Next.”
• Geef de policy een naam, in ons geval “SQSHandsOnPolicies”, en maak de policy.

AWS SQS instellen

Het uiteindelijke beleid ziet er als volgt uit in JSON-indeling:

AWS SQS instellen

Laten we kort onze policy-definitie doornemen:

• “Version”: “2012-10-17” is de huidige versie van de IAM-policytaal.
• De policy bevat één “Statement” met een set permissies.
• “Sid”: “VisualEditor0” betekent dat deze policy via een visuele editor is gemaakt.
• “Effect”: “Allow” betekent dat deze acties zijn toegestaan.
• “Action”: Deze lijst specificeert de hierboven genoemde SQS-operaties die zijn toegestaan:
• “Resource”: “*” betekent dat deze acties zijn toegestaan op alle SQS-resources in het account.

Deze policy geeft volledige toegang om berichten te maken, te verwijderen, te verzenden en te ontvangen uit elke SQS-queue in het account. Hij is vrij ruim, dus in een productieomgeving wil je dit waarschijnlijk beperken tot specifieke queue-ARN's voor betere beveiliging.

Wil je meer weten over IAM-configuratie? De tutorial The Complete Guide to AWS Identity and Access Management (IAM) leert je hoe je je AWS-omgeving beveiligt, toegang beheert met users, groups en roles, en best practices implementeert voor robuuste security.

Om je kennis van AWS-configuratie te verdiepen, is How to Setup and Configure AWS: A Comprehensive Tutorial handig om essentiële instellingen te ontdekken, best practices voor beveiliging en hoe je AWS-services inzet voor data-analyse en machine learning.

Toegang tot de Amazon SQS-console

Als de vereisten op orde zijn, is de volgende stap de SQS-console openen om queues te maken en te beheren. Zo ga je naar de console:

• Typ bovenin de zoekbalk "SQS" en selecteer "Simple Queue Service" uit de dropdown.
• Je wordt doorgestuurd naar het SQS-dashboard.

Toegang tot de Amazon SQS-console

SQS-queues maken en beheren

Vanaf het SQS-dashboard kunnen we queues maken en beheren. In dit deel lopen we door het maken van zowel standaard- als FIFO-queues.

Maar wacht, waar komt onze IAM-policy om de hoek kijken?

De IAM-policy die we bij de vereisten hebben gemaakt, is cruciaal voor het aanmaken en beheren van queues. Zo speelt die mee:

• Koppeling aan user of role: De policy moet gekoppeld zijn aan de IAM-user of -role waarmee je de SQS-console of AWS CLI gebruikt.
• Permissiecheck: Wanneer je een queue probeert te maken (of een andere SQS-actie uitvoert), controleert AWS deze policy om te zorgen dat je de juiste permissies hebt.
• Autorisatie van acties: De permissie sqs:CreateQueue in onze policy staat het aanmaken van een queue toe. Zonder dit krijg je een "Access Denied"-fout bij het maken van een queue.
• Doorlopende operaties: De overige permissies in de policy (sqs:SendMessage, sqs:ReceiveMessage, sqs:DeleteMessage, sqs:DeleteQueue) laten je na creatie diverse bewerkingen op de queue uitvoeren.

Met dat in gedachten gaan we verder met het maken van onze queues, te beginnen met een standaardqueue.

Een standaardqueue maken

Standaardqueues zijn het standaardtype in SQS. Zo maak je er een:

• Klik op het SQS-dashboard op "Create queue".
• Kies "Standard" als queuetype.
• Voer een naam in voor de queue, in ons scenario “SQSHandsOn”.
• Configureer queue-instellingen: Visibility timeout, Message retention period, Maximum message size en Delivery delay. Laat die op de standaardwaarden staan en klik op “Create queue.”

Een standaardqueue maken

Een succesvolle creatie levert een bevestiging op, zoals hieronder, met extra informatie over de queue.

Een standaardqueue maken

Een FIFO-queue maken

FIFO-queues garanderen de verwerkingsvolgorde van berichten. Zo maak je er een: 

• Klik op het SQS-dashboard op "Create queue".
• Kies "FIFO" als queuetype.
• Voer een naam in voor je queue (moet eindigen op “.fifo”). Ik heb de mijne “SQSHandsOn.fifo” genoemd.
• Laat, net als hierboven, de overige instellingen op de standaardwaarden en klik op “Create queue.” 

Een FIFO-queue maken

Net als bij de standaardqueue, levert de succesvolle creatie van de FIFO dezelfde details op die je gebruikt om berichten te verzenden.

Een FIFO-queue maken

Verschillen tussen standaard- en FIFO-queues

Bij de keuze tussen standaard- en FIFO-queues in Amazon SQS is het belangrijk hun specifieke kenmerken en mogelijkheden te begrijpen. 

De volgende tabel geeft een vergelijking om te helpen bepalen welk queuetype het beste past bij de behoeften van je applicatie:

Verschillen tussen standaard- en FIFO-queues

Berichten verzenden en ontvangen in SQS

Nu onze queues klaarstaan, gaan we berichten verzenden en ontvangen. In dit deel zie je hoe dat werkt via de AWS Management Console en de AWS Command Line Interface (CLI).

Berichten verzenden

Het verzenden van berichten tonen we met zowel de standaard- als FIFO-queue.

Standaardqueue

Via de AWS Management Console

• Selecteer je queue op het SQS-dashboard.
• Klik op "Send and receive messages".
• Voer in het veld "Message body" een bericht in, bijvoorbeeld: “Deze queue is gemaakt met de tutorial Comprehensive Guide to Amazon Simple Queue Service (SQS).”
• Klik op "Send message".

Berichten verzenden via de AWS Management Console

Na het verzenden bevestigt een pop-up dat het bericht is verstuurd. Klik op “View details” om de details van je bericht te zien, zoals hieronder.

Berichten verzenden via de AWS Management Console

In de sectie “Receive messages” zie je vervolgens dat er één bericht beschikbaar is.

Berichten verzenden via de AWS Management Console

Via de AWS CLI SQS

De hoofdzaken voor het verzenden van een bericht via de CLI volgen onderstaand sjabloon.

aws sqs send-message --queue-url [YOUR URL]--message-body "YOUR MESSAGE"

Voor de standaardqueue staat onze URL in de bijbehorende screenshot hierboven. Voor de CLI gebruiken we een ander bericht:

• URL: https://sqs.us-east-1.amazonaws.com/022499002265/SQSHandsOn
• Bericht: “Message sent via AWS CLI”

De eerste stap om de CLI te gebruiken is configuratie, zodat deze met onze AWS-resources kan communiceren. Daarvoor heb je de volgende gegevens nodig:

• Access key ID
• Secret access key

aws configure

Na de configuratie voer je het volgende commando uit met de juiste argumentwaarden:

aws sqs send-message --queue-url https://sqs.us-east-1.amazonaws.com/022499002265/SQSHandsOn --message-body "Message sent via AWS CLI"

Berichten verzenden via de CLI

De JSON-output van het commando komt overeen met de details van het zojuist verzonden bericht. We zien dat er nu twee berichten in de SQSHandsOn-queue staan.

Berichten verzenden via de CLI

FIFO-queue

Het verzendproces bij FIFO wijkt iets af van de standaardqueue-aanpak.

Stel je voor dat je een e-commerceplatform runt dat elektronische apparaten verkoopt. 

Je systeem moet diverse operaties afhandelen, zoals orders verwerken, voorraad bijwerken en betalingen beheren. In dit geval kun je een SQS FIFO-queue gebruiken om ervoor te zorgen dat deze operaties in de juiste volgorde en zonder duplicaten worden verwerkt.

• CLI-voorbeeld 1 (Klantorder): Dit bericht wordt verstuurd wanneer een klant een nieuwe order plaatst. Het orderverwerkingssysteem pakt deze berichten op en handelt ze af in de volgorde waarin ze zijn ontvangen.
• CLI-voorbeeld 2 (Voorraadaanpassing): Nadat een order is verwerkt, wordt dit bericht verstuurd om de voorraad bij te werken. Zo blijven de voorraadniveaus accuraat terwijl producten worden verkocht.
• Console-voorbeeld (Betalingsverwerking): Dit bericht wordt gegenereerd wanneer een betaling voor een order moet worden verwerkt. Zo worden betalingen in de juiste volgorde afgehandeld en dubbele afschrijvingen voorkomen.

Met een FIFO-queue voor deze operaties zorg je ervoor dat:

• Orders in de volgorde van binnenkomst worden verwerkt.
• Voorraadaanpassingen in de juiste volgorde plaatsvinden, zodat je niet oververkoopt.
• Betalingen één keer en in de juiste volgorde worden verwerkt.

Onthoud bij het verzenden van berichten naar een SQS FIFO-queue twee kernelementen:

• Message group ID: Vereist voor alle berichten. Bepaalt welke berichten binnen een groep op volgorde worden verwerkt.
• Message deduplication ID: Zorgt ervoor dat elk bericht binnen een venster van 5 minuten maar één keer wordt verwerkt.

Met dat in het achterhoofd gaan we door met de CLI-aanpak.

Via de AWS CLI SQS

   We kunnen de volgende commando's uitvoeren om de eerste twee berichten naar de FIFO-queue te sturen.

• CLI-voorbeeld 1: Een klantorder verzenden:

aws sqs send-message --queue-url https://sqs.us-east-1.amazonaws.com/022499002265/SQSHandsOn.fifo --message-body "Process customer order: #A1001" --message-group-id "CustomerOrders" --message-deduplication-id "Order-A1001-20240817-1"

De output van deze eerste uitvoering staat hieronder.

Voorbeeld 1 - Resultaat van berichten verzenden met de CLI en FIFO

• CLI-voorbeeld 2: Een voorraadaanpassing verzenden:

aws sqs send-message --queue-url https://sqs.us-east-1.amazonaws.com/022499002265/SQSHandsOn.fifo --message-body "Update inventory: ProductX -5 units"  --message-group-id "InventoryUpdates" --message-deduplication-id "Inventory-ProductX-20240817-1"

De output staat hieronder.

Voorbeeld 2 - Resultaat van berichten verzenden met de CLI en FIFO

Tot nu toe zijn er twee berichten naar de FIFO-queue verzonden, zoals hieronder te zien is.

Resultaat van berichten verzenden met de CLI en FIFO-queues - Aantal berichten

Via de AWS Management Console

Net als bij de standaardqueue kunnen we berichten verzenden vanuit de managementconsole als volgt:

• Kies op de pagina “Queues” de “SQSHandsOn.fifo”.
• Selecteer het tabblad “Send and receive message” om een bericht te versturen.
• Extra velden zoals “Message group ID” en “Message deduplication ID” zijn vereist.

Resultaat van berichten verzenden via de managementconsole met FIFO-queues

Nu zien we dat het totale aantal berichten in de FIFO-queue drie is.

Resultaat van berichten verzenden via de managementconsole met FIFO-queues - Totaal aantal berichten

Berichten ontvangen en verwijderen

Berichten ontvangen en verwijderen is net zo belangrijk als ze versturen. Zo doe je beide.

Standaardqueue

Via de AWS Management Console

• Selecteer je queue op het SQS-dashboard.
• Klik op "Send and receive messages".
• Klik op "Poll for messages".
• Berichten verschijnen in de sectie "Messages".

Berichten ontvangen via de AWS Management Console met een standaardqueue

Beide berichten in de standaardqueue zijn hierboven te zien.

Via AWS CLI SQS

Hieronder staat het algemene commando om berichten uit een standaardqueue op te halen.

aws sqs receive-message --queue-url [YOUR URL]

Voor onze standaardqueue wordt het volledige commando:

aws sqs receive-message --queue-url https://sqs.us-east-1.amazonaws.com/022499002265/SQSHandsOn

FIFO-queue

Het ophalen van berichten via de managementconsole verloopt hetzelfde als bij de standaardqueue.

Om berichten uit een FIFO-queue te ontvangen met de AWS CLI, gebruik je het commando aws sqs receive-message. De basisstructuur:

aws sqs receive-message --queue-url https://sqs.us-east-1.amazonaws.com/022499002265/SQSHandsOn.fifo --attribute-names All --message-attribute-names All --max-number-of-messages 3

• -attribute-names All: Haalt alle berichtattributen op.
• -message-attribute-names All: Haalt alle aangepaste berichtattributen op.
• --max-number-of-messages 3: Geeft het maximale aantal berichten op om te

De uitvoering van het bovenstaande commando geeft alle drie berichten in de FIFO-queue terug.

Resultaat van berichten ontvangen met de CLI en FIFO-queues

AWS SQS-prijzen

Inzicht in het prijsmodel is cruciaal om SQS kosteneffectief te gebruiken. In dit deel splitsen we de prijzen uit en geven we tips voor kostenbeheer.

In het algemeen zijn de AWS SQS-kosten gebaseerd op het aantal API-requests, datatransfer en gebruikte optionele features.

Prijs per request

De volgende tabellen geven een overzicht van de SQS-prijzen per request:

Prijzen van de AWS SQS-pagina

Datatransfer-prijzen

Voor inzicht in datatransferprijzen, zie de volgende tabel:

Prijzen van de AWS SQS-pagina

Tips voor kostenbeheer

Hier zijn een paar snelle tips om je SQS-kosten te beheren:

• Gebruik long polling om het aantal lege receives te verminderen.
• Batch je send- en receive-operaties.
• Monitor je gebruik met AWS Cost Explorer.

AWS SQS-monitoring en -metrics

Effectieve monitoring is essentieel om een gezonde SQS-implementatie te behouden. In dit deel behandelen we belangrijke metrics en het instellen van alarms.

Belangrijke AWS SQS-metrics

Dit zijn enkele van de belangrijkste metrics om in de gaten te houden:

Belangrijke AWS SQS-metrics

ApproximateNumberOfMessagesVisible

Deze metric geeft het aantal berichten weer dat beschikbaar is om uit de queue op te halen. Het is een indicator voor de wachtrijachterstand en de verwerkings-efficiëntie. Een hoog aantal kan wijzen op verwerkingsknelpunten.

ApproximateAgeOfOldestMessage

Deze metric laat zien hoelang het oudste, niet-verwijderde bericht al in de queue staat. Dit helpt mogelijke problemen met berichtverwerking te identificeren, zoals vastgelopen berichten of trage consumers. Voor FIFO-queues is deze metric cruciaal, omdat deze op geblokkeerde berichtgroepen kan duiden.

NumberOfMessagesSent

Houdt bij hoeveel berichten aan de queue zijn toegevoegd. Handig om de inputrate te monitoren en pieken in berichtproductie te herkennen. Merk op dat handmatig naar dead-letter queues verzonden berichten hierin zijn opgenomen.

NumberOfMessagesReceived

Deze metric geeft aan hoeveel berichten aan consumers zijn geretourneerd vanuit de queue. Vergelijk dit met NumberOfMessagesSent om de verwerkings-efficiëntie te meten. Net als NumberOfMessagesSent omvat dit niet de berichten die automatisch naar dead-letter queues zijn verplaatst door mislukte verwerking

CloudWatch-alarms instellen

Het aanmaken van een CloudWatch-alarm wordt geïllustreerd voor de vier bovenstaande metrics. Het proces is hetzelfde voor al deze metrics. Daarom focussen we voor de eenvoud op één metric en alleen de Standard SQS (SQSHandsOn).

De belangrijkste stappen voor het instellen van alarms voor ApproximateNumberOfMessagesVisible staan hieronder.

CloudWatch-alarms kunnen je waarschuwen voor potentiële problemen. Zo stel je ze in via de managementconsole:

• Zoek op "CloudWatch" en selecteer het.
• Klik in het linkernavigatievenster op "Alarms".
• Klik op de knop "Create alarm".
• Klik op "Select metric".
• Klik op het tabblad "All metrics" op "SQS".
• Klik op "Queue Metrics." 
• Zoek je queue en selecteer de metric ApproximateNumberOfMessagesVisible en de standaardqueue SQSHandsOn.

CloudWatch-alarms instellen

• Selecteer op bovenstaande pagina "Graph metrics".
• Kies de statistic en zet deze op “Average.”
• Stel de periode in, in ons geval 5 minuten, en kies “Select metric.”

CloudWatch-alarms instellen

• Geef de metric een naam (bijvoorbeeld “SQS-AvgHighMessageCount-SQSHandsOn”) en zet “Threshold Type” op “Static.”
• Geef een voorwaarde voor het alarm op. In ons geval “Greater”.
• Stel de drempelwaarde in op “20” en kies “Next.”

CloudWatch-alarms instellen

Bovenstaande configuratie betekent dat dit alarm afgaat wanneer het gemiddelde aantal zichtbare berichten in je SQSHandsOn-queue boven 20 komt voor minstens één datapunt binnen 5 minuten. De grafiek toont het huidige aantal berichten (blauwe lijn) ten opzichte van de drempel (rode lijn op 20).

Deze setup helpt monitoren of onze queue te veel onverwerkte berichten verzamelt, wat kan wijzen op vertragingsproblemen of issues bij de consumers. 

Consumers zijn al onze applicaties of systeemcomponenten die berichten uit de queue ophalen en verwerken.

Als het gemiddelde aantal berichten boven 20 uitkomt, ontvang je een melding zodat je kunt onderzoeken en passende maatregelen nemen om achterstanden te voorkomen.

• De bovenstaande “Next”-actie leidt naar “Configure actions”; we hoeven daar niets in te stellen. Laat die pagina ongewijzigd.
• Kies “Next” en voer een unieke naam voor het alarm in, in ons geval "SQSHandsOn-HighMessageCount"
• Voeg optioneel een beschrijving toe en selecteer “Next.”
• Controleer je instellingen en klik op "Create alarm".

CloudWatch-alarms instellen

• Je ziet een groene bevestigingsmelding voor ons alarm, samen met de alarmnaam in de kolom “Name”.

CloudWatch-alarms instellen

• Na het selecteren van de alarmnaam krijg je de volledige details te zien, zoals hieronder:

CloudWatch-alarms instellen

Het alarm voor onze SQSHandsOn-queue staat momenteel op "Insufficient data". Dit betekent dat CloudWatch onvoldoende informatie heeft om te bepalen of het alarm moet afgaan. 

De grafiek toont geen datapunten, wat aangeeft dat de queue nieuw is. Het alarm gaat af wanneer het gemiddelde aantal berichten binnen 5 minuten boven 20 uitkomt. 

Naarmate de queue actief wordt en berichten worden verwerkt, verzamelt CloudWatch data en werkt de alarmstatus bij. 

AWS SNS vs SQS

Hoewel SQS en SNS beide messagingservices zijn, dienen ze verschillende doelen. In dit deel verduidelijken we de verschillen en use-cases voor elk.

Vergelijkingstabel SNS versus SQS

AWS SQS best practices

Het volgen van best practices is belangrijk om het maximale uit SQS te halen. Dit zijn enkele tips voor optimaal gebruik:

• Gebruik long polling om kosten en latency te verlagen.
• Implementeer dead-letter queues voor problematische berichten.
• Gebruik waar mogelijk batchoperaties.
• Beveilig je queues met passende access policies.
• Monitor de queuediepte en pas je verwerkingscapaciteit hierop aan.
• Gebruik encryptie in transit en at rest voor gevoelige data.

Conclusie

AWS SQS is een krachtig hulpmiddel voor het bouwen van schaalbare en veerkrachtige cloudapplicaties. Door componenten van je applicatie te ontkoppelen, bereik je meer flexibiliteit, fouttolerantie en schaalbaarheid. Dankzij het gebruiksgemak, de robuuste feature set en de integratie met andere AWS-services is SQS een essentiële service voor moderne cloudarchitecturen.

Houd je gebruik in de gaten, optimaliseer je implementatie en volg best practices om het meeste uit AWS SQS te halen. Naarmate je applicatie groeit en evolueert, kan SQS zich aanpassen aan je veranderende behoeften, waardoor het een waardevolle aanwinst is in je AWS-toolkit.

Zet je AWS-reis voort door je in te schrijven voor onze cursus AWS Cloud Technology and Services. Deze eerste stap helpt je carrière vooruit en later met het behalen van AWS-certificeringen.