Integrazione tra AWS Lake Formation e Glue: guida passo passo

Prerequisiti per l'integrazione

Prima di integrare AWS Lake Formation e AWS Glue, assicurati di avere quanto segue:

• Account AWS: accesso a AWS Lake Formation e AWS Glue.
• Conoscenze di base: familiarità con data lake, ETL e servizi AWS.
• Bucket S3: un bucket S3 preconfigurato per archiviare i tuoi dati.
• Ruoli IAM: sono necessari i ruoli e i permessi IAM per accedere a entrambi i servizi.
• CloudFormation: è fornito un template per distribuire la configurazione di base. Puoi trovare il template qui.

Guida passo passo all'integrazione

Una volta soddisfatti i prerequisiti, segui questi passaggi:

Passaggio 1: configurare AWS Lake Formation

Il primo passo è distribuire le risorse AWS principali necessarie a costruire un data lake sicuro prima di iniziare il processo di integrazione. Il template AWS CloudFormation aiuta a organizzare e distribuire tutte le risorse richieste. 

Usa il template CloudFormation fornito per creare uno stack nel tuo account AWS. Questo stack effettua il provisioning delle risorse essenziali necessarie per i casi d'uso descritti in questo tutorial.

Creazione di uno stack in AWS CloudFormation

Dopo il deploy dello stack, nel tuo account AWS verranno create le seguenti risorse chiave:

• Amazon VPC e subnet: una VPC e una subnet pubblica per ospitare risorse con opportune configurazioni di rete.
• Bucket Amazon S3:
• Archivia dati, script e risultati legati al blog.
• Ospita i dati TPC usati per costruire il data lake.
• Ruoli e policy IAM:
• GlueServiceRole: concede ad AWS Glue l'accesso ai servizi S3 e Lake Formation.
• DataEngineerGlueServiceRole: fornisce agli ingegneri i permessi per accesso ed elaborazione dei dati.
• DataAdminUser e DataEngineerUser: utenti IAM preconfigurati per esplorare e gestire la sicurezza di Lake Formation.
• AWS Glue Crawler: un TPC Crawler per eseguire la scansione e catalogare i dati parquet archiviati nel bucket S3.
• Istanza Amazon EC2: un'istanza di supporto (EC2-DB-Loader) per precaricare e trasferire dati di esempio in S3.
• AWS Secrets Manager: un secret (lf-users-credentials) per archiviare in modo sicuro le credenziali degli utenti IAM precreati.

Dopo la creazione dello stack, avrai quanto segue:

• Un dataset TPC di esempio archiviato in Amazon S3.
• Utenti e ruoli precreati per esplorare pattern di sicurezza e controlli di accesso.
• Configurazioni e crawler di Glue per catalogare ed elaborare i tuoi dati.
• Tutti i componenti fondamentali necessari per seguire i passaggi di questo blog.

Passaggio 2: configurare i permessi sui dati

In questa sezione, l'amministratore del Data Lake configurerà AWS Lake Formation per renderlo disponibile alle figure che consumano i dati, compresi i data engineer. L'amministratore dovrà:

• Creare un nuovo database in AWS Lake Formation per archiviare i dati TPC.
• Registrare le tabelle di metadati per il dataset TPC nel Glue Data Catalog di AWS.
• Configurare tag e policy di Lake Formation per stabilire permessi di accesso per diversi utenti.

Queste configurazioni forniscono controllo degli accessi sicuro e granulare e un'integrazione fluida con altri servizi AWS.

Impostare il Data Lake Administrator

Un Data Lake Administrator è un utente o ruolo IAM (Identity and Access Management) che può concedere a qualsiasi principal (incluso se stesso) permessi su qualsiasi entità del Data Catalog. È solitamente il primo utente creato per gestire il Data Catalog ed è in genere quello a cui vengono assegnati i privilegi amministrativi sul Data Catalog.

Nel servizio AWS Lake Formation, puoi aprire la finestra di dialogo facendo clic su Administrative roles and tasks -> Add Administrators nel pannello di navigazione e quindi selezionando l'utente IAM lf-data-admin dall'elenco a discesa.

Aggiunta di un Data Lake Administrator in AWS Lake Formation

Modificare le impostazioni del catalogo

Per impostazione predefinita, Lake Formation ha selezionata l'opzione “Use only IAM access control”, compatibile con AWS Glue Data Catalog. Per abilitare il controllo degli accessi a grana fine con i permessi di Lake Formation, devi modificare queste impostazioni:

1. Nel pannello di navigazione, sotto Administration, scegli Administrative roles and tasks.
2. Se il gruppo IAMAllowedPrincipals appare sotto Database creators, seleziona il gruppo e scegli Revoke.
3. Nella finestra di dialogo Revoke permissions, conferma che il gruppo disponga del permesso Create database e poi fai clic su Revoke.

Questi passaggi disabilitano il controllo di accesso IAM predefinito e consentono di applicare i permessi di Lake Formation per una sicurezza avanzata.

Gestione di catalog e database creators in AWS Lake Formation

Passaggio 3: usare l'AWS Glue Data Catalog

Ora è il momento di mettere al lavoro il Glue Data Catalog.

Creare un database

Per creare un database per i dati TPC, esci dalla sessione AWS corrente e accedi nuovamente come utente lf-data-admin. Usa il link di accesso fornito nell'output di CloudFormation e la password recuperata da AWS Secrets Manager.

1. Vai alla console di AWS Lake Formation e seleziona Databases dal pannello di navigazione a sinistra.
2. Fai clic sul pulsante Create database.
3. Assegna al database il nome “tpc”, poiché verrà usato per il data lake TPC.
4. Nel campo Location, seleziona il percorso del data lake S3 creato dallo stack CloudFormation. Puoi trovare questo percorso nel tab Outputs di CloudFormation con il nome lf-data-lake-account-ID, dove account-ID è il tuo numero di account AWS a 12 cifre.
5. Deseleziona l'opzione Use only IAM access control for new tables in this database per abilitare il controllo degli accessi granulare.
6. Lascia tutte le altre opzioni ai valori predefiniti e fai clic su Create database.

Questo database sarà la base per archiviare e gestire i metadati dei dati TPC nella configurazione di Lake Formation.

Creazione di un database in AWS Lake Formation

Idratare il Data Lake

Usiamo un AWS Glue Crawler per creare tabelle nel Glue Data Catalog. I crawler sono il modo più comune per creare tabelle in AWS Glue, poiché possono eseguire la scansione di più data store alla volta e generare o aggiornare i dettagli delle tabelle nel Data Catalog al termine della scansione.

Prima di eseguire l'AWS Glue Crawler, devi concedere i permessi necessari al suo ruolo IAM:

1. Nella console AWS Lake Formation, vai su Databases e seleziona il database tpc.
2. Dal menu a discesa Actions, scegli Grant.
3. Nella finestra di dialogo Grant permissions:
• In Principals, seleziona il ruolo IAM LF-GlueServiceRole.
• Nella sezione LF-Tags or catalog resources, assicurati che sia selezionato Named data catalog resources.
• Seleziona tpc come database.
• Nella sezione Database permissions, seleziona l'opzione Create table.
• Fai clic su Grant.

Concessione dei permessi in AWS Lake Formation

Eseguire l'AWS Glue Crawler

Con i permessi concessi, procedi a eseguire il crawler:

1. Nella console AWS Lake Formation, vai su Crawlers e fai clic per aprire la console AWS Glue.
2. Seleziona il crawler denominato TPC Crawler e fai clic su Run crawler.
3. Monitora l'avanzamento facendo clic sul pulsante Refresh.
4. Al termine, il database TPC verrà popolato con le tabelle. Controlla la colonna Table changes from the last run per vedere quante tabelle sono state aggiunte (ad es., 8 tabelle).

Esecuzione del TPC Crawler in AWS Glue

Puoi anche verificare queste tabelle nella console AWS Lake Formation alla voce Data catalog e Tables.

Visualizzazione delle tabelle in AWS Lake Formation

Registrare le posizioni del Data Lake

Devi registrare il bucket S3 in AWS Lake Formation per l'archiviazione del tuo data lake. Questa registrazione ti consente di applicare il controllo degli accessi a grana fine sugli oggetti di AWS Glue Data Catalog e sui dati sottostanti archiviati nel bucket.

Passaggi per registrare una posizione del Data Lake:

1. Vai alla sezione Data Lake Locations nella console AWS Lake Formation e fai clic su Register location.
2. Inserisci il percorso del bucket S3 creato tramite il template CloudFormation. Questo bucket conterrà i dati acquisiti durante il processo di pipeline.
3. Per IAM Role, seleziona LF-GlueServiceRole creato dal template CloudFormation.
4. In Permission mode, scegli Lake Formation per abilitare funzionalità avanzate di controllo accessi.
5. Fai clic su Register location per salvare la configurazione.

Una volta registrata, verifica la posizione del tuo data lake per assicurarti che sia configurata correttamente. Questo passaggio è fondamentale per una gestione e sicurezza dei dati senza intoppi nella configurazione di Lake Formation.

Registrazione di una posizione Amazon S3 in AWS Lake Formation

Tag di Lake Formation (LF-Tags)

Gli LF-Tag possono essere utilizzati per organizzare le risorse e impostare permessi su molte risorse contemporaneamente. Ti consentono di organizzare i dati usando tassonomie e quindi scomporre policy complesse e gestire i permessi in modo efficace. Questo è possibile perché con gli LF-Tag puoi separare la policy dalla risorsa e, di conseguenza, impostare policy di accesso anche prima che le risorse vengano create.

Passaggi per creare e assegnare LF-Tag

• Crea LF-Tag:
• Accedi alla console Lake Formation su AWS Lake Formation.
• Nel pannello di navigazione, scegli LF-Tags and permissions, quindi clicca su Add LF-Tag.
• Inserisci “Classification” come chiave e aggiungi “Sensitive” e “Non-Sensitive” come valori. Clicca su Add LF-Tag.

Creazione di LF-Tag in AWS Lake Formation

• Concedi permessi LF-Tag:
• Assicurati che l'utente lf-data-admin disponga dei permessi per gli LF-Tag. Vai su Tables nella console Lake Formation.
• Seleziona la tabella dl_tpc_customer, fai clic sul menu actions e scegli Grant.
• In IAM users and roles, seleziona lf-data-admin.
• Per LF-Tags o catalog resources, seleziona Named data catalog resources.
• Scegli il database tpc e la tabella dl_tpc_customer, concedendo i permessi Alter sulla tabella. Clicca su Grant.

Concessione dei permessi in AWS Lake Formation

• Assegna LF-Tag agli oggetti del Data Catalog:
• Vai su Tables e seleziona la tabella dl_tpc_customer. Apri i dettagli della tabella e scegli Edit LF-Tags dal menu azioni.
• Fai clic su Assign new LF-Tag, inserisci “Classification” come chiave e imposta “Non-Sensitive” come valore. Fai clic su Save.
• Dal menu azioni della tabella, scegli Edit schema. Seleziona colonne come c_first_name, c_last_name e c_email_address e fai clic su Edit LF-Tags.
• Per la chiave ereditata Classification, modifica il valore in “Sensitive” e fai clic su Save. Salva questa configurazione come nuova versione.
• Applica LF-Tag a ulteriori tabelle:
• Per la tabella dl_tpc_household_demographics, vai su Actions e scegli Edit LF-Tags.
• Nella finestra di dialogo, fai clic su Assign new LF-Tag. Imposta Group come chiave e Analyst come valore. Clicca su Save per finalizzare.

Seguendo questi passaggi, puoi assegnare in modo efficiente LF-Tag agli oggetti del Data Catalog, garantendo un controllo accessi sicuro e granulare in tutto il tuo data lake.

Passaggio 4: creare un job ETL in AWS Glue

AWS Glue Studio è un'interfaccia drag-and-drop che aiuta a sviluppare, effettuare il debug e monitorare i job ETL per AWS Glue. I data engineer sfruttano Glue ETL, basato su Apache Spark, per trasformare i dataset archiviati su Amazon S3 e caricare i dati in data lake e warehouse per l'analisi. Per amministrare efficacemente l'accesso quando più team collaborano sugli stessi dataset, è importante concedere e limitare l'accesso in base ai ruoli.

Concedere i permessi con AWS Lake Formation

Segui questi passaggi per concedere i permessi richiesti all'utente lf-data-engineer e al relativo ruolo DE-GlueServiceRole. Questo ruolo è usato dal data engineer per accedere alle tabelle del Glue Data Catalog nei job di Glue Studio.

1. Accedi come Data Lake Administrator:
   • Usa l'utente lf-data-admin per accedere alla AWS Management Console. Recupera la password da AWS Secrets Manager e l'URL di login dall'output di CloudFormation.
2. Concedi i permessi di select su una tabella:
   • Vai a Data lake permissions nella console Lake Formation.
   • Fai clic su Grant e, nella finestra di dialogo, fornisci le seguenti informazioni:
     • IAM users and roles: inserisci lf-data-engineer e DE-GlueServiceRole.
     • LF-Tags or catalog resources: seleziona Named data catalog resources.
     • Databases: scegli tpc.
     • Tables: scegli dl_tpc_household_demographics.
     • Table permissions: seleziona Select e Describe.
   • Fai clic su Grant per salvare i permessi.
3. Concedi i permessi di creare tabelle su un database:
   • Torna a Data Lake Permissions.
   • Fai clic su Grant e, nella finestra di dialogo, fornisci le seguenti informazioni:
     • IAM users and roles: inserisci DE-GlueServiceRole.
     • LF-Tags or catalog resources: seleziona Named data catalog resources.
     • Databases: scegli tpc (lascia le tabelle non selezionate).
     • Database permissions: seleziona Create table.
   • Fai clic su Grant per finalizzare i permessi.

Configurazione dei permessi di database in AWS Lake Formation

Completando questi passaggi, l'utente lf-data-engineer e il ruolo DE-GlueServiceRole avranno i permessi necessari per lavorare con le tabelle del Glue Data Catalog e gestire le risorse nei job di Glue Studio. Questa configurazione garantisce un accesso al data lake sicuro e basato sui ruoli.

Creare job ETL in Glue Studio

In questa sezione, creeremo un job ETL in AWS Glue Studio usando SQL Transform.

• Accedi ad AWS come lf-data-engineer:
  • Usa l'utente lf-data-engineer per accedere alla AWS Management Console. Recupera la password da AWS Secrets Manager e l'URL di login fornito dall'output di CloudFormation.
• Apri Glue Studio e avvia un nuovo job:
  • Vai alla console di Glue Studio e clicca su Visual ETL.
  • Rinomina il job in LF_GlueStudio per identificarlo facilmente.
• Configura i dettagli del job:
  • Fai clic sul tab Job Details per impostare le seguenti configurazioni: 
    • IAM role: seleziona DE-GlueServiceRole.
    • Glue version: seleziona Glue 5.0 - Support Spark 3.1, Scala 2, Python 3.
    • Requested number of workers: imposta a 5.
    • Job bookmark: seleziona Disable.
    • Number of retries: imposta a 0.

Configurazione dei dettagli del job in AWS Glue Studio

• Aggiungi un nodo sorgente dati:
• Nel tab Visual, fai clic sul pulsante + e aggiungi un nodo AWS Glue Data Catalog per configurare la sorgente dati. Rinomina questo nodo in “Amazon S3”.
• Seleziona il nodo Amazon S3 nell'editor visuale e configura le sue proprietà nel pannello a destra:
• In Data Source Properties - Data Catalog, imposta:
• Database: tpc.
• Table: dl_tpc_household_demographics. (Nota: l'utente lf-data-admin ha concesso a lf-data-engineer il permesso Select solo su questa tabella. Le altre tabelle non appariranno nel menu a discesa.)

Configurazione di una sorgente dati in AWS Glue Studio

• Aggiungi e configura il nodo SQL Query:
• Con il nodo Amazon S3 selezionato, fai clic sul pulsante + e aggiungi un nodo SQL Query come trasformazione.
• Seleziona il nodo SQL Query e configuralo:
• In Transform, inserisci la tua query nel campo SQL Query.
• Aggiungi questa query: 

/* Select all records where buy potential is between 0 and 500 */
SELECT * 
FROM myDataSource 
WHERE hd_buy_potential = '0-500';

• • • In Output Schema, fai clic su Edit ed elimina le chiavi hd_dep_count e hd_vehicle_count. Fai clic su Apply.

Configurazione della trasformazione SQL Query in AWS Glue Studio

• Aggiungi un nodo di destinazione dati:
• Con il nodo SQL Query selezionato, fai clic sul pulsante + e aggiungi un nodo Data Target. Seleziona Amazon S3 Target dai risultati di ricerca.
• Configura il nodo Data Target-S3 nel pannello a destra:
• Format: seleziona Parquet.
• Compression type: seleziona Snappy.
• S3 target location: inserisci s3://<your_LFDataLakeBucketName>/gluestudio/curated/. (Sostituisci <your_LFDataLakeBucketName> con il nome effettivo del bucket dal tab Outputs di CloudFormation.)
• Data Catalog update options: seleziona Create a table in the Data Catalog and on subsequent runs, update the schema and add new partitions.
• Database: seleziona tpc.
• Table name: fornisci un nome per la tabella di output. Ad esempio, dl_tpc_household_demographics_below500.
• Salva e rivedi il job:
• Fai clic su Save nell'angolo in alto a destra per salvare il job.
• Facoltativamente, passa al tab Script per visualizzare lo script generato automaticamente. Puoi scaricarlo o modificarlo se necessario.

Seguendo questi passaggi, creerai un job ETL di Glue Studio completamente funzionante che trasforma i dati e scrive i risultati in una cartella curated su S3 aggiornando al contempo il Glue Data Catalog.

Passaggio 5: testare e convalidare l'integrazione

Per confermare i permessi concessi in Lake Formation, segui questi passaggi mentre sei connesso come utente lf-data-engineer (come descritto nella sezione Create Glue Studio Jobs):

1. Esegui il job LF_GlueStudio:
• Vai al job LF_GlueStudio e fai clic sul pulsante Run in alto a destra per eseguire il job.
• Monitora l'esecuzione del job selezionando il tab Runs nell'interfaccia del job.

Monitoraggio delle esecuzioni dei job in AWS Glue Studio

2. Verifica l'output del job:
• Quando lo stato della run è Succeeded, vai alla cartella curated nel tuo bucket S3 per controllare i file di output. Questi file dovrebbero essere in formato Parquet, come configurato durante la creazione del job.

Visualizzazione dei file di output in Amazon S3

3. Verifica la nuova tabella creata:
• Apri il Glue Data Catalog e vai al database specificato durante la configurazione del job.
• Controlla che la nuova tabella sia elencata nel database, a conferma che i dati di output siano stati catalogati correttamente.

Visualizzazione delle tabelle del database in AWS Glue

Best practice per integrare AWS Lake Formation e AWS Glue

Quando integri AWS Lake Formation e AWS Glue, seguire le best practice può migliorare la sicurezza dei dati, semplificare le operazioni e ottimizzare le prestazioni. Ecco come sfruttare al meglio questi servizi:

Ottimizza i permessi sui dati

• Adotta il principio del privilegio minimo: concedi a utenti e ruoli l'accesso solo alle risorse di cui hanno bisogno. Evita permessi ampi che potrebbero esporre inutilmente dati sensibili o risorse critiche.
• Verifica regolarmente le policy di accesso: rivedi e aggiorna periodicamente le policy per rispettare requisiti di sicurezza e conformità in evoluzione. Sfrutta strumenti come AWS IAM Access Analyzer per individuare policy troppo permissive.
• Sfrutta gli LF-Tag per la gestione delle policy: usa i Lake Formation Tags (LF-Tag) per raggruppare risorse correlate e semplificare la gestione dei permessi. Applicando tag come Sensitive o Non-Sensitive, puoi creare policy scalabili e riutilizzabili che si applicano automaticamente alle risorse taggate.
• Disaccoppia le policy dalle risorse: definisci i permessi usando LF-Tag o template prima che le risorse vengano create. Questo garantisce un'integrazione fluida man mano che aggiungi nuove fonti dati o tabelle.

Monitora e effettua il debug dei job

• Abilita i log CloudWatch per i job Glue: CloudWatch Logs può acquisire log dettagliati delle esecuzioni dei job AWS Glue, inclusi errori e dettagli di esecuzione. Usa questi log per risolvere rapidamente i problemi.

Eventi di log per TPC Crawler in AWS CloudWatch

• Monitora le metriche di Glue: AWS Glue fornisce metriche per aiutarti a individuare inefficienze o problemi nei workflow ETL. Configura allarmi CloudWatch per essere avvisato in caso di pattern anomali.

Monitoraggio delle metriche dei job di AWS Glue Studio

Usa partizionamento e compressione

• Ottimizza il partizionamento dei dati: suddividi i dataset in base a caratteristiche richieste di frequente, come reparto, data o area. In Athena o Redshift, ad esempio, suddividere i dati di vendita per mese e anno può ridurre sensibilmente i tempi di query e i costi di scansione.
• Scegli il formato di compressione giusto: usa formati di archiviazione colonnari pensati per carichi analitici, come ORC o Parquet. Combinali con algoritmi di compressione efficaci come Snappy per risparmiare spazio e velocizzare le query.
• Automatizza il partizionamento nei job Glue: i job AWS Glue possono partizionare dinamicamente i dati durante l'ETL. Specifica le chiavi di partizione nella configurazione del job per garantire che i dati in ingresso siano archiviati in un formato strutturato.
• Monitora e adatta regolarmente le strategie: valuta l'efficacia di compressione e partizionamento al crescere del volume dei dati. Esamina l'andamento delle query e modifica lo schema di partizionamento per adeguarlo ai carichi di lavoro.

Conclusione

Implementare AWS Lake Formation e AWS Glue aiuta l'organizzazione a organizzare, proteggere ed elaborare i dati. Sfruttando le solide misure di sicurezza di Lake Formation e l'automazione di Glue, puoi ottimizzare i processi ETL, rispettare tutte le policy di data governance e fornire un facile accesso ai dati agli utenti, inclusi data engineer e data scientist.

I benefici includono:

• Sicurezza avanzata: il controllo degli accessi a grana fine con LF-Tag garantisce che i dati sensibili siano accessibili solo agli utenti autorizzati.
• Automazione: AWS Glue semplifica preparazione e trasformazione dei dati, riducendo sforzi manuali ed errori.
• Scalabilità: permessi dinamici e gestione delle policy consentono di scalare senza problemi con la crescita dei dati.
• Efficienza: archiviazione e prestazioni di query ottimizzate tramite partizionamento e compressione fanno risparmiare tempo e costi.

Man mano che approfondisci l'integrazione dei dati, è fondamentale affiancare all'apprendimento teoria ed esercitazioni pratiche. Ad esempio, padroneggiare le pipeline dati con ETL ed ELT in Python può migliorare la tua capacità di elaborare e trasformare i dati in modo efficiente. Allo stesso modo, una solida comprensione dei concetti di Data Management migliorerà il modo in cui strutturi e gestisci i dataset. E per garantire risultati affidabili, comprendere i principi trattati nel corso Introduction to Data Quality è imprescindibile.