AWS MSK per principianti: una guida completa per iniziare

Configurare AWS MSK

Per iniziare con AWS MSK, crea innanzitutto il tuo account AWS. Se è la tua prima volta con AWS, scopri come configurare il tuo account AWS con il nostro tutorial completo.

Accedi alla AWS Management Console e apri la console MSK. Fai clic su "Create cluster" per avviare il processo di configurazione. 

Per iniziare con AWS MSK. Fonte immagine: AWS

Seleziona "Quick create" per le impostazioni predefinite, quindi inserisci un nome descrittivo per il cluster.

Da qui, hai molte opzioni aggiuntive tra cui scegliere, tutte dipendono dai tuoi requisiti per il cluster. Ecco una rapida panoramica delle scelte:

• Tipo di cluster: "Provisioned" o "Serverless"
• Versione di Apache Kafka
• Tipo di broker: "Standard" o "Express"
• Dimensione del broker
• Volume di storage EBS

Opzioni di configurazione AWS MSK

Il cluster viene sempre creato all'interno di una Amazon VPC. Puoi scegliere di usare la VPC predefinita oppure configurare e specificare una VPC personalizzata.

Ora devi solo attendere che il tuo cluster venga attivato, cosa che può richiedere dai 15 ai 30 minuti. Puoi monitorare lo stato del cluster dalla pagina di riepilogo, dove vedrai lo stato passare da "Creating" a "Active".

Ingestione ed elaborazione dei dati con AWS MSK

Una volta configurato il cluster MSK, dovrai creare una macchina client per produrre e consumare dati su uno o più topic. Poiché Apache Kafka si integra molto bene con molti produttori di dati (come siti web, dispositivi IoT, istanze Amazon EC2, ecc.), anche MSK beneficia di questa caratteristica.

Apache Kafka organizza i dati in strutture chiamate topic. Ogni topic è composto da una o più partition. Le partition rappresentano il grado di parallelismo in Apache Kafka. I dati vengono distribuiti tra i broker tramite il partizionamento.

Termini chiave da conoscere quando si lavora con cluster Apache Kafka:

• Topic sono il modo fondamentale per organizzare i dati in Kafka.
• Producer sono le applicazioni che pubblicano dati sui topic: generano e scrivono dati su Kafka. Scrivono dati su specifici topic e partition.
• Consumer sono le applicazioni che leggono ed elaborano dati dai topic. Prelevano dati dai topic a cui sono iscritti.

Quando costruisci un'architettura event-driven con AWS MSK, devi configurare vari livelli, di cui MSK è il principale componente di ingestione dati. Ecco una panoramica dei livelli che potrebbero servire:

1. Configurazione dell'ingestione dati
2. Layer di elaborazione
3. Layer di storage
4. Layer di analytics

Esempio di architettura event-driven con Amazon MSK e Amazon EventBridge. Fonte immagine: AWS

Se ti interessa usare Python nelle tue pipeline di dati, dai un'occhiata al nostro corso Introduction to AWS Boto in Python.

Best practice per usare AWS MSK

AWS MSK è relativamente semplice da configurare e da iniziare a usare subito. Tuttavia, alcune best practice essenziali miglioreranno le prestazioni dei tuoi cluster e ti faranno risparmiare tempo in futuro.

Dimensiona correttamente il tuo cluster

Dovrai scegliere il giusto numero di partition per broker e il giusto numero di broker per cluster. 

Diversi fattori possono influenzare queste decisioni; tuttavia, AWS ha messo a disposizione alcune utili raccomandazioni e risorse per guidarti nel processo.

Inoltre, AWS fornisce un foglio di calcolo per dimensionamento e costi facile da usare per aiutarti a stimare la dimensione corretta del tuo cluster e i costi associati all'uso di AWS MSK rispetto a un cluster Kafka autogestito su EC2 simile.

Costruisci cluster altamente disponibili

AWS raccomanda di configurare i cluster per essere altamente disponibili. Questo è particolarmente importante durante un aggiornamento (ad esempio, l'aggiornamento della versione di Apache Kafka) o quando AWS sostituisce un broker. 

Per garantire un'elevata disponibilità dei cluster, ci sono tre cose da fare:

1. Distribuire i cluster su tre zone di disponibilità (anche chiamato cluster a tre AZ).
2. Impostare il replication factor a 3 o più.
3. Impostare il numero minimo di replica in sync a RF-1.

Il bello di AWS è che si impegna a rispettare rigorosi SLA per i deployment multi-AZ; altrimenti, ti restituisce i crediti.

Monitora uso disco e CPU

Due metriche chiave da monitorare tramite AWS CloudWatch sono l'uso del disco e della CPU. Farlo non solo garantirà il corretto funzionamento del sistema, ma aiuterà anche a contenere i costi. 

Il modo migliore per gestire l'uso del disco e i costi di storage associati è impostare un allarme CloudWatch che ti avvisi quando l'uso del disco supera un certo valore, ad esempio l'85%, e regolare le policy di retention. Impostare un tempo di conservazione per i messaggi nei log può aiutare molto a liberare spazio disco automaticamente.

Inoltre, per mantenere le prestazioni del cluster ed evitare colli di bottiglia, AWS raccomanda di mantenere l'uso totale della CPU dei broker sotto il 60%. Puoi monitorarlo con AWS CloudWatch e poi intervenire ad esempio aggiornando la dimensione dei broker.

Proteggi i tuoi dati con la crittografia in transito

Per impostazione predefinita, AWS crittografa i dati in transito tra i broker nel tuo cluster MSK. Puoi disabilitarla se il tuo sistema presenta un alto uso di CPU o latenza. Tuttavia, è fortemente consigliato mantenere sempre abilitata la crittografia in transito e cercare altri modi per migliorare le prestazioni, se questo è il problema.

Dai un'occhiata al nostro corso AWS Security and Cost Management per saperne di più su come mettere in sicurezza e ottimizzare il tuo ambiente cloud AWS e gestire costi e risorse in AWS.

Comprendere i prezzi di AWS MSK

La tariffazione di AWS MSK è pay-as-you-go, il che significa che paghi solo per le risorse che utilizzi. Tuttavia, i prezzi variano in base al tipo di cluster, alla dimensione dell'istanza broker, allo storage e al trasferimento dati. Di seguito analizziamo i principali fattori di costo e come ottimizzare la spesa per MSK.

Componenti di prezzo di AWS MSK

Prezzi AWS MSK per tipo di cluster

AWS MSK offre due tipi di cluster con diversi modelli di prezzo:

Cluster MSK provisioned (modello standard)

• Paghi per le istanze broker, lo storage e il trasferimento dati.
• Ideale per workload che richiedono un controllo fine delle prestazioni.

Cluster MSK serverless (modello pay-per-request)

• Il prezzo si basa sul volume di dati elaborati (GB ingeriti/recuperati).
• Ideale per applicazioni con traffico imprevedibile.

Quale dovresti scegliere?

• Usa MSK provisioned → se hai workload prevedibili e ti serve controllo sulle dimensioni delle istanze.
• Usa MSK serverless → se il carico fluttua e vuoi evitare di gestire i broker.

Prova il Calcolatore dei prezzi AWS per stimare i costi in base al tuo carico di lavoro.

Confronto tra AWS MSK e altri strumenti di streaming

Quando si sceglie lo strumento migliore per un progetto, spesso bisogna valutare diverse opzioni. Ecco le alternative più comuni ad AWS MSK e come si confrontano. 

AWS MSK vs Apache Kafka su EC2

Il principale compromesso tra MSK e un'opzione self-hosted su EC2 è tra comodità e controllo:

• AWS MSK:
  • Servizio completamente gestito, riduce la complessità operativa.
  • Provisioning e configurazione automatici — nessun costo infrastrutturale iniziale.
  • Integrazione perfetta con i servizi AWS.
  • Funzionalità di sicurezza robuste.
  • Meno flessibilità rispetto al self-hosting.
• Kafka su EC2:
  • Richiede configurazione e manutenzione manuali.
  • Offre controllo totale su infrastruttura e personalizzazione.
  • Potenzialmente costi operativi più alti.
  • Richiede maggiore competenza e gestione continua.

AWS MSK vs. Kinesis

La scelta tra AWS MSK e Kinesis dipende dalle priorità:

• Usa Kinesis se:
  • Ti serve un'architettura completamente serverless.
  • Servizio gestito da AWS con minimo overhead operativo.
  • Usa shard per lo streaming dei dati ma ha limiti di retention.
  • Più adatto a requisiti semplici di data streaming.
• Usa AWS MSK se:
  • Ti serve il modello di topic e partition di Kafka.
  • Retention virtualmente illimitata (dipende dallo storage).
  • Più flessibile e personalizzabile.
  • Consente di migrare fuori da AWS se necessario.

Se non conosci Kinesis, abbiamo un corso che ti guida a lavorare con i dati in streaming usando AWS Kinesis e Lambda.

AWS MSK vs. Confluent

La scelta tra AWS MSK e Confluent dipende dalle funzionalità richieste e dalla strategia cloud:

• Usa Confluent se:
  • Ti serve un ampio set di funzionalità con connettori integrati.
  • Preferisci un processo di deployment più semplice.
  • Gestisci carichi variabili che richiedono scaling dinamico.
  • Costo più elevato ma con un piano gratuito con funzionalità limitate.
• Usa AWS MSK se:
  • Vuoi un'opzione conveniente per carichi di lavoro costanti.
  • Sei fortemente integrato nell'ecosistema AWS.
  • Hai competenze Kafka interne.
  • Ti va bene integrare altri servizi AWS per funzionalità estese.

La tabella seguente offre un confronto tra AWS MSK e le sue alternative:

Considerazioni finali

Apache Kafka è la scelta di riferimento quando serve una soluzione affidabile e su larga scala che non può permettersi perdite di dati e richiede di collegare più sorgenti o costruire pipeline complesse. AWS MSK evita molti dei problemi di configurazione e setup dei cluster Kafka, consentendo agli sviluppatori di concentrarsi di più sulla creazione e il miglioramento delle applicazioni invece che sull'infrastruttura.

Ottenere una certificazione AWS è un ottimo modo per iniziare la tua carriera in AWS. Puoi sviluppare le tue competenze AWS consultando il nostro catalogo corsi e facendo esperienza pratica con i progetti!