Amazon Simple Queue Service (SQS): un tutorial completo

Configurare AWS SQS

Ora che sappiamo cos'è SQS, vediamo come configurarlo. Questa sezione ti guiderà attraverso i prerequisiti e come accedere alla console SQS.

Prerequisiti

Prima di iniziare a usare AWS SQS, assicurati di avere:

• Un account AWS attivo. Può essere creato dalla pagina ufficiale.
• I ruoli e le autorizzazioni IAM necessari configurati per l'accesso a SQS.

Per configurare le autorizzazioni IAM:

• Vai alla console IAM.
• Crea una nuova policy.

Configurare AWS SQS

• Ci sono due opzioni principali per creare una policy: un approccio visivo o JSON. Nel nostro caso usiamo l'approccio visivo, più intuitivo. 
• Scegli “SQS” dall'area “Service” e imposta l'Effect su “Allow” per le seguenti autorizzazioni: sqs:CreateQueue, sqs:DeleteQueue, sqs:SendMessage, sqs:ReceiveMessage, sqs:DeleteMessage.

Configurare AWS SQS

• Consenti alle azioni di accedere a “All” le risorse e scegli “Next”.
• Dai un nome alla policy, che nel nostro caso è “SQSHandsOnPolicies”, e infine crea la policy.

Configurare AWS SQS

La policy finale dovrebbe apparire così in formato JSON:

Configurare AWS SQS

Facciamo una breve panoramica della definizione della nostra policy:

• “Version”: “2012-10-17” è la versione corrente del linguaggio delle policy IAM.
• La policy contiene un “Statement”, che definisce un set di autorizzazioni.
• “Sid”: “VisualEditor0” significa che questa policy è stata creata tramite l'editor visuale.
• “Effect”: “Allow” indica che queste azioni sono permesse.
• “Action”: Questo elenco specifica le operazioni SQS consentite sopra:
• “Resource”: “*” significa che queste azioni sono permesse su tutte le risorse SQS dell'account.

Questa policy concede pieno accesso per creare, eliminare, inviare e ricevere messaggi da qualsiasi coda SQS nell'account. È piuttosto permissiva, quindi potremmo volerla limitare a specifici ARN delle code per una migliore sicurezza in un ambiente di produzione.

Se vuoi approfondire la configurazione IAM, il tutorial The Complete Guide to AWS Identity and Access Management (IAM) insegna come mettere in sicurezza il tuo ambiente AWS, gestire l'accesso con utenti, gruppi e ruoli e implementare best practice per una sicurezza robusta.

Per approfondire la conoscenza della configurazione AWS, How to Setup and Configure AWS: A Comprehensive Tutorial ti sarà utile per scoprire impostazioni essenziali, best practice per la sicurezza e come sfruttare i servizi AWS per analisi dei dati e machine learning.

Accesso alla console Amazon SQS

Una volta soddisfatti i prerequisiti, il passo successivo è accedere alla console SQS per iniziare a creare e gestire le code. Ecco i passaggi per accedere alla console:

• Nella barra di ricerca in alto, digita "SQS" e seleziona "Simple Queue Service" dal menu a discesa.
• Verrai reindirizzato alla dashboard SQS.

Accesso alla console Amazon SQS

Creare e gestire le code SQS

Con l'accesso alla console SQS, possiamo iniziare a creare e gestire le code. Questa sezione illustra la creazione sia di code standard che FIFO.

Ma aspetta, dove entra in gioco la nostra policy IAM?

La policy IAM che abbiamo creato nella sezione dei prerequisiti è fondamentale per la creazione e la gestione delle code. Ecco come incide:

• Associazione utente o ruolo: La policy deve essere collegata all'utente IAM o al ruolo che usi per accedere alla console SQS o all'AWS CLI.
• Verifica delle autorizzazioni: Quando provi a creare una coda (o eseguire qualsiasi altra azione SQS), AWS controlla questa policy per assicurarsi che tu abbia le autorizzazioni necessarie.
• Autorizzazione dell'azione: L'autorizzazione sqs:CreateQueue nella nostra policy permette specificamente la creazione di code. Senza questa, riceveresti un errore "Access Denied" quando crei una coda.
• Operazioni continue: Le altre autorizzazioni nella policy (sqs:SendMessage, sqs:ReceiveMessage, sqs:DeleteMessage, sqs:DeleteQueue) ti consentono di eseguire varie operazioni sulla coda dopo la creazione.

Con questa comprensione, continuiamo a creare le nostre code, iniziando da una coda standard.

Creare una coda standard

Le code standard sono il tipo di coda predefinito in SQS. Ecco come crearne una:

• Nella dashboard SQS, clicca su "Create queue".
• Scegli "Standard" come tipo di coda.
• Inserisci un nome per la coda, che nel nostro scenario è “SQSHandsOn”.
• Configura le impostazioni della coda: Visibility timeout, Message retention period, Maximum message size e Delivery delay. Lasciamo i valori predefiniti così come sono, poi clicca su “Create queue”.

Creare una coda standard

La creazione riuscita della coda genera un messaggio di conferma, come mostrato di seguito, insieme a ulteriori informazioni sulla coda.

Creare una coda standard

Creare una coda FIFO

Le code FIFO vengono usate per garantire l'ordine di elaborazione dei messaggi, e di seguito trovi i passaggi per crearne una: 

• Nella dashboard SQS, clicca su "Create queue".
• Scegli "FIFO" come tipo di coda.
• Inserisci un nome per la tua coda (deve terminare con “.fifo”). Io l'ho chiamata “SQSHandsOn.fifo”.
• Come nello scenario precedente, lascia tutto il resto ai valori predefiniti e “Create queue”. 

Creare una coda FIFO

Come per la coda standard, la creazione riuscita della FIFO fornisce le stesse informazioni utilizzate per l'invio dei messaggi.

Creare una coda FIFO

Differenze tra code standard e FIFO

Quando scegli tra code standard e FIFO in Amazon SQS, è importante comprenderne le caratteristiche e capacità distintive. 

La seguente tabella fornisce un confronto per aiutarti a decidere quale tipo di coda si adatta meglio alle esigenze della tua applicazione:

Differenze tra code standard e FIFO

Inviare e ricevere messaggi in SQS

Ora che tutte le nostre code sono configurate, iniziamo a inviare e ricevere messaggi. Questa sezione spiega come farlo tramite la AWS Management Console e l'AWS Command Line Interface (CLI).

Invio dei messaggi

Il processo di invio dei messaggi è mostrato usando le code standard e FIFO.

Coda standard

Usando la AWS Management Console

• Seleziona la tua coda dalla dashboard SQS.
• Clicca su "Send and receive messages".
• Nel campo "Message body", inseriamo un messaggio, ad esempio: “Questa coda è stata creata usando il tutorial Comprehensive Guide to Amazon Simple Queue Service (SQS).”
• Clicca su "Send message".

Inviare messaggi usando la AWS Management Console

Dopo l'invio del messaggio, un pop-up conferma l'invio. Cliccando su “View details” sono mostrati i dettagli del messaggio, come sotto.

Inviare messaggi usando la AWS Management Console

Infine, nella sezione “Receive messages” possiamo vedere che è disponibile un messaggio.

Inviare messaggi usando la AWS Management Console

Usando AWS CLI SQS

I passaggi principali per inviare un messaggio via CLI seguono il modello seguente.

aws sqs send-message --queue-url [YOUR URL]--message-body "YOUR MESSAGE"Offerto da

Per la coda standard, il nostro URL è riportato nello screenshot corrispondente sopra. Per la CLI, usiamo un messaggio diverso:

• URL: https://sqs.us-east-1.amazonaws.com/022499002265/SQSHandsOn
• Messaggio: “Message sent via AWS CLI”

Il primo passo per iniziare a usare la CLI è configurarla affinché possa interagire con le nostre risorse AWS, e questo richiede le seguenti credenziali:

• Access key ID
• Secret access key

aws configureOfferto da

Una volta completata la configurazione, esegui il seguente comando con i valori corretti degli argomenti:

aws sqs send-message --queue-url https://sqs.us-east-1.amazonaws.com/022499002265/SQSHandsOn --message-body "Message sent via AWS CLI"Offerto da

Inviare messaggi usando la CLI

L'output JSON dell'esecuzione del comando corrisponde ai dettagli del messaggio appena inviato, e possiamo vedere che ora ci sono due messaggi nella coda SQSHandsOn.

Inviare messaggi usando la CLI

Coda FIFO

Il processo di invio dei messaggi usando una FIFO differisce leggermente dall'approccio con coda standard.

Per illustrare meglio questo scenario, immagina di gestire una piattaforma e-commerce che vende dispositivi elettronici. 

Il tuo sistema deve gestire varie operazioni, come elaborazione ordini, aggiornamento dell'inventario e gestione dei pagamenti. In questo caso, possiamo usare una coda SQS FIFO per garantire che queste operazioni siano elaborate nell'ordine corretto e senza duplicati.

• Esempio CLI 1 (Ordine cliente): Questo messaggio viene inviato quando un cliente effettua un nuovo ordine. Il sistema di elaborazione ordini prenderà questi messaggi e li evaderà nell'ordine di ricezione.
• Esempio CLI 2 (Aggiornamento inventario): Dopo l'elaborazione di un ordine, questo messaggio viene inviato per aggiornare l'inventario. Garantisce che i livelli di stock siano mantenuti accuratamente man mano che i prodotti vengono venduti.
• Esempio console (Elaborazione pagamento): Questo messaggio viene generato quando un pagamento deve essere elaborato per un ordine. Garantisce che i pagamenti siano gestiti nell'ordine di ricezione ed evita doppie addebiti.

Usare una coda FIFO per queste operazioni garantisce che:

• Gli ordini siano elaborati nella sequenza in cui sono stati effettuati.
• Gli aggiornamenti dell'inventario avvengano nell'ordine corretto, prevenendo l'overselling.
• I pagamenti siano elaborati una sola volta e nell'ordine giusto.

Quando invii messaggi a una coda SQS FIFO, ricorda due elementi chiave:

• Message group ID: Obbligatorio per tutti i messaggi. Determina quali messaggi sono elaborati in ordine all'interno di un gruppo.
• Message deduplication ID: Garantisce che ogni messaggio sia elaborato una sola volta in una finestra di 5 minuti.

Con questa comprensione, procediamo con l'approccio CLI.

Usando AWS CLI SQS

   Possiamo eseguire i seguenti comandi per inviare i primi due messaggi nella coda FIFO.

• Esempio CLI 1: invio di un ordine cliente:

aws sqs send-message --queue-url https://sqs.us-east-1.amazonaws.com/022499002265/SQSHandsOn.fifo --message-body "Process customer order: #A1001" --message-group-id "CustomerOrders" --message-deduplication-id "Order-A1001-20240817-1"Offerto da

L'output di questa prima esecuzione è riportato di seguito.

Esempio 1 - Risultati invio messaggi usando la CLI con FIFO

• Esempio CLI 2: invio di un aggiornamento inventario:

aws sqs send-message --queue-url https://sqs.us-east-1.amazonaws.com/022499002265/SQSHandsOn.fifo --message-body "Update inventory: ProductX -5 units"  --message-group-id "InventoryUpdates" --message-deduplication-id "Inventory-ProductX-20240817-1"Offerto da

L'output è riportato di seguito.

Esempio 2 - Risultati invio messaggi usando la CLI con FIFO

Finora, due messaggi sono stati inviati alla coda FIFO e sono visibili di seguito.

Risultati invio messaggi usando la CLI con code FIFO - Numero di messaggi

Usando la AWS Management Console

Analogamente alla coda standard, possiamo inviare messaggi dalla management console come segue:

• Dalla pagina “Queues”, scegli “SQSHandsOn.fifo”.
• Seleziona la scheda “Send and receive message” per inviare un messaggio.
• Sono richiesti campi aggiuntivi come “Message group ID” e “Message deduplication ID”.

Risultati invio messaggi usando la management console con code FIFO

Ora possiamo vedere che il numero totale di messaggi nella coda FIFO è tre.

Risultati invio messaggi usando la management console con code FIFO - Numero totale di messaggi

Ricevere ed eliminare i messaggi

Ricevere ed eliminare i messaggi è importante quanto inviarli. Ecco come fare entrambe le cose.

Coda standard

Usando la AWS Management Console

• Seleziona la tua coda dalla dashboard SQS.
• Clicca su "Send and receive messages".
• Clicca su "Poll for messages".
• I messaggi appariranno nella sezione "Messages".

Ricevere messaggi usando la AWS Management Console con coda standard

Tutti e due i messaggi nella coda standard sono visibili sopra.

Usando AWS CLI SQS

Di seguito il comando generale per ricevere messaggi da una coda standard.

aws sqs receive-message --queue-url [YOUR URL]Offerto da

Usando la nostra coda standard, il comando completo diventa:

aws sqs receive-message --queue-url https://sqs.us-east-1.amazonaws.com/022499002265/SQSHandsOnOfferto da

Coda FIFO

Il recupero dei messaggi tramite management console segue lo stesso processo dell'approccio standard.

Per ricevere messaggi da una coda FIFO usando l'AWS CLI, puoi usare il comando aws sqs receive-message. Ecco la struttura di base:

aws sqs receive-message --queue-url https://sqs.us-east-1.amazonaws.com/022499002265/SQSHandsOn.fifo --attribute-names All --message-attribute-names All --max-number-of-messages 3Offerto da

• -attribute-names All: Recupera tutti gli attributi del messaggio.
• -message-attribute-names All: Recupera tutti gli attributi personalizzati del messaggio.
• --max-number-of-messages 3: Specifica il numero massimo di messaggi da

L'esecuzione del comando sopra restituisce tutti e tre i messaggi presenti nella coda FIFO.

Risultati ricezione messaggi usando la CLI con code FIFO

Prezzi di AWS SQS

Comprendere il modello di prezzo è fondamentale per usare SQS in modo conveniente. Questa sezione scompone i prezzi e offre consigli per la gestione dei costi.

In generale, il prezzo di AWS SQS si basa sul numero di richieste API effettuate, sul trasferimento dei dati e sulle funzionalità opzionali utilizzate.

Prezzi per richiesta

Le seguenti tabelle forniscono una panoramica dei prezzi delle richieste SQS:

Prezzi dalla pagina SQS di AWS

Prezzi del trasferimento dati

Per comprendere i prezzi del trasferimento dati, fai riferimento alla seguente tabella:

Prezzi dalla pagina SQS di AWS

Consigli per la gestione dei costi

Ecco alcuni consigli rapidi per gestire i costi SQS:

• Usa il long polling per ridurre il numero di receive vuoti.
• Esegui in batch le operazioni di invio e ricezione.
• Monitora l'utilizzo con AWS Cost Explorer.

Monitoraggio e metriche di AWS SQS

Un monitoraggio efficace è fondamentale per mantenere un'implementazione SQS sana. Questa sezione copre le metriche importanti e come impostare gli allarmi.

Metriche chiave di AWS SQS

Ecco alcune delle metriche più importanti da tenere d'occhio:

Metriche chiave di AWS SQS

ApproximateNumberOfMessagesVisible

Questa metrica rappresenta il numero di messaggi disponibili per il recupero dalla coda. È un indicatore dell'arretrato della coda e dell'efficienza di elaborazione. Un numero elevato può indicare colli di bottiglia nell'elaborazione.

ApproximateAgeOfOldestMessage

Questa metrica mostra da quanto tempo il messaggio non eliminato più vecchio è nella coda. Aiuta a identificare potenziali problemi con l'elaborazione dei messaggi, come messaggi bloccati o consumer lenti. Per le code FIFO, questa metrica è fondamentale perché può indicare gruppi di messaggi bloccati.

NumberOfMessagesSent

Tiene traccia del numero di messaggi aggiunti alla coda. È utile per monitorare i tassi di input della coda e identificare picchi insoliti nella produzione di messaggi. Nota che i messaggi inviati manualmente alle dead-letter queue sono inclusi in questo conteggio.

NumberOfMessagesReceived

Questa metrica indica quanti messaggi sono stati restituiti ai consumer dalla coda. Aiuta a tracciare il tasso di output della coda e può essere confrontata con NumberOfMessagesSent per valutare l'efficienza di elaborazione. Come NumberOfMessagesSent, non include i messaggi spostati automaticamente nelle dead-letter queue a causa di elaborazioni fallite

Impostare gli allarmi CloudWatch

La creazione di un allarme CloudWatch è illustrata per le quattro metriche sopra. Il processo è lo stesso per tutte. Pertanto, per semplicità ci concentriamo su una sola metrica e solo sulla SQS Standard (SQSHandsOn). 

I passaggi principali per impostare gli allarmi per ApproximateNumberOfMessagesVisible sono i seguenti.

Gli allarmi CloudWatch possono avvisarti di potenziali problemi. Ecco come impostarli dalla management console:

• Cerca "CloudWatch" e selezionalo.
• Nel riquadro di navigazione a sinistra, clicca su "Alarms".
• Clicca sul pulsante "Create alarm".
• Clicca su "Select metric".
• Nella scheda "All metrics", trova e clicca su "SQS".
• Clicca su "Queue Metrics." 
• Trova la tua coda e seleziona la metrica ApproximateNumberOfMessagesVisible e la metrica standard SQSHandsOn.

Impostare gli allarmi CloudWatch

• Dalla pagina sopra, seleziona "Graph metrics".
• Scegli la statistica e impostala su “Average”.
• Imposta il periodo, che nel nostro caso è 5 minuti, e scegli “Select metric”.

Impostare gli allarmi CloudWatch

• Dai un nome alla metrica (ad esempio, “SQS-AvgHighMessageCount-SQSHandsOn”) e imposta il “Threshold Type” su “Static”.
• Fornisci una condizione per l'allarme. Nel nostro caso corrisponde a “Greater”.
• Impostiamo il valore di soglia a “20” e selezioniamo “Next”.

Impostare gli allarmi CloudWatch

La configurazione sopra significa che questo allarme si attiverà quando il numero medio di messaggi visibili nella tua coda SQSHandsOn supera 20 per almeno un punto dati entro 5 minuti. Il grafico mostra il conteggio corrente dei messaggi (linea blu) in relazione alla soglia (linea rossa a 20).

Questa configurazione aiuta a monitorare se la nostra coda accumula troppi messaggi non elaborati, il che potrebbe indicare ritardi nell'elaborazione o problemi con i consumer. 

I consumer sono tutte le nostre applicazioni o componenti di sistema che recuperano ed elaborano i messaggi dalla coda.

Se il numero medio di messaggi supera 20, riceverai un avviso, che ti permetterà di indagare e intervenire per prevenire backlog nella coda.

• L'azione “Next” sopra porta a “Configure actions”, quindi non dobbiamo impostare nulla. Lasciamo quella pagina così com'è.
• Scegli “Next” e inserisci un nome univoco per l'allarme, che nel nostro caso è "SQSHandsOn-HighMessageCount"
• Facoltativamente, aggiungi una descrizione e seleziona “Next”.
• Rivedi le impostazioni e clicca su "Create alarm".

Impostare gli allarmi CloudWatch

• Dovremmo vedere il messaggio verde di conferma per il nostro allarme, insieme al nome dell'allarme nella colonna “Name”.

Impostare gli allarmi CloudWatch

• Dopo aver selezionato il nome dell'allarme, vengono forniti i dettagli completi come segue:

Impostare gli allarmi CloudWatch

L'allarme per la nostra coda SQSHandsOn è attualmente in stato "Insufficient data". Ciò significa che a CloudWatch mancano informazioni sufficienti per determinare se l'allarme debba attivarsi. 

Il grafico non mostra punti dati, indicando che la coda è nuova. L'allarme si attiva quando il numero medio di messaggi supera 20 entro 5 minuti. 

CloudWatch raccoglierà i dati e aggiornerà lo stato dell'allarme man mano che la coda diventa attiva e i messaggi vengono elaborati. 

AWS SNS vs SQS

Sebbene SQS e SNS siano entrambi servizi di messaggistica, hanno scopi diversi. Questa sezione chiarisce le differenze e i casi d'uso per ciascuno.

Tabella di confronto SNS vs SQS

Best practice per AWS SQS

Seguire le best practice è importante per ottenere il massimo da SQS. Ecco alcuni consigli per un uso ottimale:

• Usa il long polling per ridurre costi e latenza.
• Implementa dead-letter queue per i messaggi problematici.
• Usa operazioni batch quando possibile.
• Proteggi le tue code con policy di accesso adeguate.
• Monitora la profondità della coda e adatta di conseguenza la capacità di elaborazione.
• Usa la crittografia in transito e a riposo per i dati sensibili.

Conclusione

AWS SQS è uno strumento potente per costruire applicazioni cloud scalabili e resilienti. Disaccoppiando i componenti della tua applicazione, puoi ottenere maggiore flessibilità, tolleranza ai guasti e scalabilità. Grazie alla facilità d'uso, al set di funzionalità robuste e all'integrazione con altri servizi AWS, SQS è un servizio essenziale per le architetture cloud moderne.

Ricorda di monitorare l'utilizzo, ottimizzare l'implementazione e seguire le best practice per ottenere il massimo da AWS SQS. Man mano che la tua applicazione cresce ed evolve, SQS può adattarsi alle tue esigenze in cambiamento, rendendolo una risorsa preziosa nel tuo toolkit AWS.

Prosegui il tuo percorso su AWS iscrivendoti al nostro corso AWS Cloud Technology and Services. Questo primo passo ti permetterà di far avanzare la tua carriera e in seguito di ottenere la certificazione AWS.