Azure Synapse: una guida passo passo per principianti

Vantaggi dell'uso di Azure Synapse

Ecco alcuni dei vantaggi di Azure Synapse Analytics:

• Scalabilità e flessibilità: le capacità di scaling on-demand di Azure Synapse permettono di regolare rapidamente risorse di calcolo e storage per soddisfare esigenze di business in evoluzione.
• Piattaforma di analytics unificata: combinando integrazione dei dati, data warehousing e big data analytics, Azure Synapse offre una soluzione di analytics completa e snella.
• Produttività migliorata: gli strumenti integrati e l'esperienza d'uso senza interruzioni aiutano a essere più produttivi ed efficienti nelle attività data-driven.
• Convenienza economica: lo scaling on-demand e il modello di prezzi pay-per-use di Azure Synapse aiutano a ottimizzare i costi e ridurre la spesa complessiva per l'analytics.
• Sicurezza e conformità complete: le robuste funzionalità di sicurezza e le certificazioni di conformità di Azure Synapse garantiscono che i dati siano protetti e che le organizzazioni possano rispettare i requisiti normativi.

Dai il via al tuo percorso cloud con la Certificazione Azure Fundamentals. Prepara l'esame Microsoft AZ-900 con il percorso creato dagli esperti di DataCamp. Grazie alla partnership di DataCamp con Microsoft, avrai anche il 50% di sconto sulla quota d'esame!

Casi d'uso di Azure Synapse

Azure Synapse è una piattaforma versatile applicabile a un'ampia gamma di casi d'uso di analytics, rendendola uno strumento potente per le aziende che vogliono sprigionare tutto il potenziale dei loro dati. 

Tra i casi d'uso più comuni troviamo:

Azure Synapse vs. Databricks

Azure Synapse e Databricks sono piattaforme potenti per l'elaborazione e l'analisi di dati su larga scala, ma eccellono in aree diverse. 

• Azure Synapse è una soluzione all-in-one che unifica integrazione dei dati, warehousing e big data analytics, come detto. È ideale per le organizzazioni che necessitano di una piattaforma completa in grado di gestire carichi di lavoro eterogenei, dai dati strutturati ai dataset massivi.
• Databricks, costruito su Apache Spark, si specializza in data science collaborativa, data engineering e machine learning. È noto per la sua forza nell'elaborazione di grandi moli di dati e nel deployment di modelli, e offre un ambiente collaborativo per i team data.

Differenze e somiglianze

Se ti interessa approfondire offerte comparabili per data science e AI nei cloud AWS, Azure e GCP, dai un'occhiata alla guida gratuita Confronto dei servizi AWS, Azure e GCP per Data Science & AI su Datacamp.

Dopo una panoramica completa di Azure Synapse, passiamo alla pratica!

Configurare Azure Synapse

Per iniziare con Azure Synapse, ti serve un account Azure attivo. Una volta configurato l'account, puoi creare un nuovo workspace Synapse e impostare origini dati e connessioni. 

1. Avvia la prova gratuita di Azure

Se sei nuovo su Azure, il primo passo è creare una sottoscrizione. Clicca sul pulsante "Start" sotto "Start with an Azure free trial." 

Durante la registrazione, dovrai verificare l'account con un numero di telefono e fornire i dati della carta di credito a fini di verifica.

Inizia con una prova gratuita di Azure.

2. Prerequisito: crea Data Lake Storage Gen2

Prima di procedere con Azure Synapse, devi creare un account Data Lake Storage Gen2 per archiviare e gestire i tuoi dati. 

Vai al portale Azure e seleziona "Create a resource". Scegli "Storage account" e compila i dettagli richiesti, come resource group, nome dell'account di archiviazione e area geografica. 

Assicurati che "Azure Blob Storage or Azure Data Lake Storage Gen2" sia selezionato come servizio principale e configura altre impostazioni come performance e ridondanza in base al tuo caso d'uso.

Crea un account di archiviazione Azure.

Dopo aver inserito i dettagli, clicca su "Review + create" per distribuire lo storage account. Il deployment può richiedere diversi minuti.

Deployment dello storage account in corso.

Una volta completato il deployment, il nuovo account Data Lake Storage Gen2 sarà elencato nella sezione Storage Accounts e pronto per l'uso con Azure Synapse.

Storage account attivi in Azure.

3. Crea il workspace Synapse

Il workspace di Azure Synapse è l'ambiente di base in cui puoi configurare, organizzare e gestire tutte le risorse e i servizi necessari per integrazione dei dati, analytics e storage all'interno di Azure Synapse. Funziona da hub centrale per configurare e accedere agli strumenti e agli asset di dati del tuo progetto Synapse.

Crea un workspace Azure Synapse cliccando sul pulsante “Create Synapse Workspace”.

Creazione del workspace Synapse.

Nel passaggio successivo, dovrai compilare il form per creare il tuo workspace Azure Synapse. 

Inizia selezionando sottoscrizione e resource group, poi inserisci un nome per il workspace e scegli l'area appropriata. 

Creazione di un workspace Synapse - compilazione dei dettagli.

Rivedi i dettagli nella scheda finale prima di cliccare il pulsante “Create”. 

Validazione del workspace Synapse.

Il deployment del workspace Azure Synapse può richiedere diversi minuti.

Deployment di Azure Synapse Analytics in corso.

Workspace Azure Synapse Analytics “datacamp” creato.

Una volta distribuito il workspace, clicca sul suo nome per aprirlo.

4. Apri Synapse Studio

Azure Synapse Studio è l'interfaccia web per gestire e interagire con il tuo workspace Azure Synapse. Fornisce un ambiente unificato in cui svolgere attività di integrazione dati, big data analytics e data warehousing in un unico posto. 

Synapse Studio è essenziale perché ti permette di sviluppare, gestire e monitorare rapidamente pipeline di dati, script SQL, job Spark e altro, senza passare tra strumenti o ambienti diversi. 

Synapse Studio.

Importare un dataset

In Synapse Studio puoi importare dati da diverse fonti. Puoi importarli da un account di archiviazione Gen2 collegato al workspace Synapse (vedi passo 2 sopra), da un database SQL Server o da fonti esterne. 

Per questo tutorial useremo uno dei dataset di esempio, “Bing COVID-19 Data”, disponibile nella Synapse Gallery. 

Per importarlo, clicca su “Dataset” nel menu di navigazione a sinistra e poi su “+” → "Gallery".

Dataset Gallery in Synapse Studio.

Puoi rivedere i metadati e righe di esempio prima di cliccare sul pulsante “Add dataset” per importare i dati.

Revisione del dataset in Synapse Studio.

Una volta completata l'importazione, vedrai il dataset sotto “Data”.

Scheda Data in Synapse Studio.

Scrivere ed eseguire query

Azure Synapse Studio offre un'interfaccia intuitiva per scrivere ed eseguire query. Puoi usare SQL per un'ampia gamma di attività di analisi, dal semplice recupero dati ad analytics più complessi. 

Synapse Studio consente anche di salvare e gestire le query e di visualizzare e gestire i risultati.

Puoi analizzare questo dataset con uno script SQL o creando un Notebook. In un Notebook, puoi caricare il dataset come Spark DataFrame e usare Spark per la manipolazione e l'analisi dei dati.

Per eseguire query SQL su questo dataset, clicca sui tre puntini accanto al nome del dataset.

Analisi dei dati in Synapse Studio con SQL.

Cliccando “Select TOP 100 rows” si aprirà un editor SQL in cui puoi scrivere query ed eseguirle per vedere i risultati.

Editor SQL in Synapse Studio.

Se vuoi visualizzare l'output invece della tabella, clicca su “Chart” sotto “Results”.

Visualizzazione dei risultati della query come Chart in Synapse Studio.

Quando crei o modifichi uno script SQL, le modifiche sono inizialmente salvate come bozze. Pubblicare lo script cliccando sul pulsante “Publish” in alto conferma le modifiche, assicurando che l'ultima versione sia archiviata nel workspace.

Pubblicare uno script SQL in Synapse Studio significa salvarlo nel workspace Synapse, rendendolo disponibile per usi futuri, collaborazione e controllo versione.

Esempio: analisi della crescita giornaliera dei casi confermati di COVID-19 nel mondo

Eseguiamo una query SQL su questo dataset per analizzare l'aumento giornaliero dei casi confermati di COVID-19 a livello globale. 

La query recupera i dati dal “Bing COVID-19 dataset”, calcola il numero di nuovi casi segnalati ogni giorno confrontando i casi confermati del giorno corrente con quelli del giorno precedente e ordina i risultati per data. 

Query SQL nell'editor SQL di Synapse Studio.

Analizzare i dati nei Notebook

In Synapse Studio puoi analizzare i dati usando i notebook, che offrono un ambiente interattivo per eseguire codice, visualizzare risultati e condurre analisi. 

I notebook in Synapse Studio supportano più linguaggi, incluso PySpark, particolarmente potente per l'elaborazione di big data. 

Per eseguire un Notebook in Synapse Studio, collegalo a un pool Apache Spark, che fornisce le risorse di calcolo distribuito necessarie per elaborare in modo efficiente grandi dataset.

Un pool Apache Spark è un insieme di nodi di calcolo allocati dinamicamente per eseguire i job Spark. Se non hai già un pool Spark, puoi crearne uno nella sezione "Manage pools" di Synapse Studio, dove puoi specificare numero di nodi, dimensioni e altre configurazioni. 

Una volta configurato il pool Spark e collegato al notebook, puoi eseguire le celle di codice per caricare, manipolare e analizzare i dati, come mostrato nello screenshot qui sotto. 

Questa configurazione ti permette di sfruttare tutta la potenza di Spark per l'analisi su larga scala direttamente in Azure Synapse.

Analizza i dati usando i Notebook in Synapse Studio.

Integrare Azure Synapse con altri servizi Azure

Azure Synapse si integra senza soluzione di continuità con altri servizi Azure, permettendoti di creare soluzioni di analytics complete. 

Alcune integrazioni chiave includono:

• Azure Data Factory: utilizza Azure Data Factory per orchestrare workflow dati complessi e automatizzare processi ETL (Extract, Transform, Load) o ELT (Extract, Load, Transform). Integrando Azure Synapse con Data Factory, puoi spostare e trasformare facilmente i dati da varie fonti nel tuo workspace Synapse, assicurando che i dati siano sempre pronti per l'analisi.
• Power BI: Azure Synapse si integra perfettamente con Power BI, consentendoti di creare visualizzazioni avanzate e dashboard interattive. Questa integrazione consente alle aziende di trasformare i dati grezzi in report efficaci e visivamente coinvolgenti da condividere tra i team, favorendo decisioni data-driven e potenziando le capacità di business intelligence.
• Azure Machine Learning: combina la potenza di elaborazione di Azure Synapse con Azure Machine Learning per sbloccare capacità avanzate di analytics predittivo. Questa integrazione ti permette di addestrare, distribuire e gestire modelli di machine learning direttamente nell'ambiente Synapse, abilitando previsioni più accurate e strategie data-driven più intelligenti.
• Azure Databricks: per le organizzazioni focalizzate su data science collaborativa e machine learning, integrare Azure Synapse con Azure Databricks offre una soluzione potente. Questa integrazione facilita la collaborazione fluida tra data scientist, ingegneri e analisti, consentendo di creare e scalare pipeline dati, sviluppare modelli e condurre analytics avanzate in un ambiente unificato e collaborativo.

Best practice per usare Azure Synapse

Per ottenere il massimo da Azure Synapse, è importante seguire alcune best practice, come:

• Ottimizzare i formati di archiviazione: scegliere i formati giusti, come Parquet o ORC, è cruciale per garantire prestazioni ottimali delle query ed elaborazione efficiente. Questi formati, progettati per i big data, possono ridurre sensibilmente i tempi di esecuzione e i costi di storage grazie allo storage colonnare e alla compressione.
• Gestire in modo efficiente le risorse di calcolo: gestire le risorse di calcolo in modo efficiente è fondamentale per bilanciare prestazioni e convenienza. Scalando le risorse in base ai carichi e usando opzioni serverless quando opportuno, eviti di spendere per potenza inutilizzata senza rinunciare alle performance.
• Implementare le best practice di sicurezza: la sicurezza deve essere una priorità quando usi Azure Synapse. Per proteggere le informazioni sensibili, implementa misure robuste come crittografia dei dati, controllo degli accessi basato sui ruoli e isolamento di rete.
• Monitorare e risolvere i problemi dei carichi di lavoro: il monitoraggio continuo dei carichi di lavoro in Azure Synapse è essenziale per mantenere prestazioni ottimali e individuare potenziali problemi prima che impattino le operazioni. Usa gli strumenti di monitoraggio integrati per tracciare uso delle risorse, performance delle query ed efficienza delle pipeline, e anticipa la risoluzione di eventuali anomalie per ridurre al minimo le interruzioni.

Conclusione

Azure Synapse Analytics è una soluzione potente e versatile per le organizzazioni che vogliono sfruttare appieno il potenziale dei propri dati. Unificando integrazione dei dati, big data analytics e data warehousing aziendale in un'unica piattaforma completa, Azure Synapse permette di snellire le operazioni sui dati ed estrarre insight di valore con un'efficienza senza precedenti.

La flessibilità, la scalabilità e l'integrazione senza soluzione di continuità con altri servizi Azure la rendono ideale per vari compiti data-driven, dall'analisi in tempo reale a progetti complessi di machine learning. Con l'aumento del volume e dell'importanza dei dati, Azure Synapse si posiziona come strumento cruciale per le organizzazioni che vogliono restare competitive in un mondo sempre più data-centrico.

Adottando Azure Synapse, le aziende possono ottimizzare i processi dati attuali e aprire la strada a future innovazioni nell'analytics. Man mano che andiamo avanti, la capacità di trasformare rapidamente ed efficacemente i dati in insight azionabili sarà un elemento distintivo per le organizzazioni di successo. Azure Synapse fornisce le basi robuste necessarie per affrontare questa sfida, consentendo di sbloccare nuove opportunità e guidare la crescita grazie al potere dei dati.

Vuoi dare una spinta alla tua carriera nella data science? Dai un'occhiata a Le 13 migliori certificazioni Azure per il 2024 su Datacamp.