Databricks Genie: come funziona la Q&A con l’AI in Databricks

Databricks Genie è un’interfaccia di analytics conversazionale no-code che traduce domande in inglese semplice in query analitiche, offrendo insight, visualizzazioni e riepiloghi istantanei.

È come chiacchierare con un esperto di dati che ti dà risposte in pochi secondi senza dover scrivere complesse query SQL. In questo articolo ti mostrerò come funziona tutto questo.

Se sei ancora nuovo in Databricks, ti consiglio i nostri corsi Introduction to Databricks e Databricks Concepts per imparare le funzionalità principali e le applicazioni di Databricks e seguire un percorso strutturato per iniziare a formarti. 

Capire Databricks Genie

Databricks Genie è un’interfaccia conversazionale basata su AI che ha cambiato il modo in cui gli utenti interagiscono con i dati all’interno della Databricks Data Intelligence Platform. All’incrocio tra AI, elaborazione del linguaggio naturale (NLP) e business intelligence (BI), Genie ti permette di fare domande in linguaggio naturale e ricevere risposte accurate e basate sui dati all’istante. Rientra anche in una classe crescente di strumenti come Power BI Copilot, Tableau Ask Data, Amazon QuickSight Q e ThoughtSpot, che consentono di porre domande in linguaggio naturale. Ciò che distingue Genie è l’appartenenza all’ecosistema Databricks, che gli permette di integrarsi con dati e workflow analitici su larga scala con il minimo degli attriti.

Una caratteristica distintiva di Databricks Genie è la sua architettura avanzata e multi-componente, che stratifica diversi strumenti specializzati per garantire alta accuratezza e comprensione del contesto. A differenza degli strumenti BI tradizionali che si basano su query builder rigidi o dashboard predefinite, Genie integra potenti modelli di elaborazione direttamente con il framework unificato di dati e governance di Databricks. Questo approccio consente a Genie di interpretare dinamicamente domande in linguaggio naturale, mappandole correttamente sulle strutture dati necessarie e generando query SQL precise ed eseguibili su tutte le tue fonti dati. Per la mia ampia esperienza in SQL, apprezzo molto che Genie sappia fornire query SQL pulite, facili da capire e da fare troubleshooting.

Funzionalità principali di Databricks Genie

L’architettura e la tecnologia dietro Genie

Prima di vedere cosa può fare Genie, probabilmente ti chiedi come funziona “sotto il cofano”. Di seguito trovi l’architettura e la tecnologia alla base di Genie, progettate per prestazioni, flessibilità e accuratezza.

Sistemi di AI composita e relativi vantaggi

Genie è un sistema di AI composita, ovvero un’architettura che gestisce molteplici componenti e strumenti di AI specializzati per risolvere problemi complessi. La documentazione di Databricks lo descrive ad alto livello: quando un utente invia una domanda, Genie analizza la richiesta, identifica le fonti dati rilevanti e genera una risposta appropriata.

• Parsing dell’intento / agente NLU: Per capire cosa chiede l’utente, ad esempio metrica, filtro, intervallo temporale o aggregazione.
• Agente di pianificazione/orchestrazione: Scompone domande multi-step o composte in un piano di esecuzione ordinato.
• Agente di retrieval/grounding: Trova le tabelle, le colonne, le dashboard e le query precedenti giuste per ancorare la richiesta.
• Agente di generazione SQL: Traduce il piano in SQL sintatticamente corretto e ottimizzato.
• Agente di esecuzione e adattamento: Esegue la query contro la fonte dati corretta e formatta i risultati grezzi.
• Agente di verifica/sicurezza: Controlla permessi, lineage dei dati e garantisce che il risultato rispetti le regole di governance.
• Agente di sintesi/visualizzazione: Crea riepiloghi testuali comprensibili, grafici e tabelle.

Il sistema multi-agente di Genie AI è importante perché ciascun agente può essere ottimizzato per un singolo caso d’uso. Inoltre, è possibile aggiungere nuovi agenti, come specialisti geospaziali o di serie temporali, senza dover rifare da zero l’intero sistema. Come sviluppatore, puoi auditare e confrontare le prestazioni di ogni agente separatamente.

Knowledge store semantici curati

Il knowledge store fornisce a Genie il contesto all’interno della tua organizzazione. Il risultato dovrebbe essere traduzioni più accurate dal linguaggio naturale alla query. I componenti includono:

• Metadati semantici: Includono nomi di colonne user-friendly, metriche canoniche e definizioni di business che istruiscono Genie sulla logica aziendale.
• Campionamento dei valori: Piccoli campioni rappresentativi dei contenuti delle colonne per aiutare il retriever e il generatore SQL a scegliere default sensati e rilevare filtri probabili.
• Dizionari di valori e liste di entità: è un dizionario che mappa i termini degli utenti a questi valori, assicurando che i sinonimi siano mappati correttamente.
• Embedding/indici vettoriali: Per il fuzzy matching e il recupero semantico di documenti, notebook, dashboard e query precedenti rilevanti.
• Metadati di lineage e governance: Controllano chi può accedere a cosa, le fonti affidabili e i timestamp dell’ultimo refresh.

Come Genie genera le risposte

Di seguito il flusso tipico dall’input dell’utente alla presentazione finale in Genie:

Passo 1: Input dell’utente (linguaggio naturale)

L’utente digita una domanda o carica un file (CSV/Excel) e pone una domanda a riguardo.

Passo 2: Analisi dell’intento e normalizzazione

L’Orchestrator e l’Intent Agent analizzano la query. Consultano l’Unity Catalog per vedere a quali tabelle e colonne l’utente ha permesso di accedere.

Passo 3: Contestualizzazione (knowledge store + retrieval)

Il retriever consulta i metadati semantici, gli indici di embedding e la cronologia recente delle query per mappare i termini dell’utente su tabelle, colonne e metriche canoniche concrete.

Passo 4: Pianificazione e scomposizione

Se la domanda prevede più passaggi, il planner suddivide il task in sotto-attività ordinate.

Passo 5: Generazione di SQL / query

L’agente di generazione SQL crea SQL ottimizzato e verificabile (o chiamate API per altri sistemi). Può proporre più strutture di query, ad esempio riepilogo vs dettaglio, e scegliere la migliore in base a stime di costo e permessi.

Passo 6: Controlli di permessi e governance

Prima dell’esecuzione, un verificatore controlla accessi basati sui ruoli, etichette di sensibilità dei dati, regole di masking e requisiti di audit per garantire la conformità. Se l’utente non ha i diritti, il sistema nega la richiesta o restituisce un’alternativa mascherata/sicura.

Passo 7: Esecuzione e livello di adattamento

Il sistema esegue le query sul compute appropriato (Databricks SQL warehouse, tabelle del lakehouse, database esterni o adattatori per file caricati). I risultati vengono trasmessi in streaming e campionati per garantire reattività.

Passo 8: Post-processing e validazione

I risultati vengono validati e, se qualcosa sembra non corretto, il verificatore può attivare nuove esecuzioni o chiedere all’utente una domanda di chiarimento.

Passo 9: Sintesi, visualizzazione e spiegazione

Un sintetizzatore genera takeaway in linguaggio semplice e visualizzazioni suggerite; l’agente di visualizzazione crea grafici e tabelle e prepara schede di insight condivisibili.

Passo 10: Ciclo di feedback e apprendimento

Il feedback degli utenti e i log delle query vengono riutilizzati per migliorare il knowledge store, affinare i sinonimi e riaddestrare gli agenti quando necessario.

Cosa sono i Genie Space e come configurarli

I Genie Space sono ambienti curati all’interno di Databricks Genie che definiscono dati, semantica e logica di business alla base dell’analisi conversazionale. Pensa a un Genie Space come al livello di contesto in cui dici a Genie quali dati usare, cosa significano e come devono essere interpretati.

Ti mostrerò come configurare i Genie Space in Databricks.

Requisiti tecnici e configurazione iniziale

Prima di creare un Genie Space, ti servono i seguenti prerequisiti tecnici e di governance:

• Risorse di calcolo: Assicurati che il tuo workspace Databricks disponga di un SQL warehouse attivo o di un cluster di calcolo disponibile per eseguire le query.
• Permessi: Ti serviranno i privilegi adeguati su Unity Catalog per accedere e gestire i dataset, oltre a permessi di admin o editor in Genie.
• Setup di governance: Il workspace dovrebbe già avere tracciamento del lineage dei dati, tag di classificazione e policy di accesso definite per far rispettare la conformità.

Per la configurazione iniziale, puoi seguire questi passaggi per creare un nuovo Genie Space tramite l’interfaccia Databricks o via REST API:

• Vai alla sezione "Genie Spaces" nella SQL Persona.

• Clicca su "Create Space" e assegnagli un nome, ad esempio "Finance Analytics".

• Seleziona le tabelle e le view da Unity Catalog che saranno "in-scope" per questo Space. 

• Salva e pubblica lo Space per l’uso da parte dei team autorizzati.

Configurazione e cura dello space

Dopo aver creato lo space, il passo successivo è curare il knowledge store. Questo passaggio arricchisce il Genie Space con dettagli semantici ed esempi per migliorare interpretabilità ed esperienza utente. Puoi fare quanto segue:

• Modificare i metadati delle colonne: Aggiungi nomi comprensibili, definizioni di business e note d’uso per migliorare la comprensione dell’intento da parte di Genie.

• Definire espressioni SQL: Crea metriche personalizzate, campi calcolati o alias come “Net Revenue”.

• Aggiungere asset affidabili: puoi anche collegare dashboard, notebook o tabelle di riferimento pertinenti come fonti dati attendibili.
• Aggiungere query di esempio: Includi domande e risposte di esempio per aiutare Genie a imparare il contesto e guidare gli utenti.

Definire l’ambito e coinvolgere gli esperti di dominio

Ogni Genie Space dovrebbe avere uno scopo e un pubblico chiari. Per esempio, uno Space per Sales Analytics potrebbe concentrarsi su pipeline, prenotazioni e ricavi. Allo stesso modo, uno Space per Customer Insights potrebbe ruotare intorno a churn, engagement e dati NPS. Definire esplicitamente gli space evita confusione e migliora la precisione delle risposte.

È anche importante coinvolgere esperti di dominio di quella business unit. Se stai creando uno Space per le vendite, l’analista dati che lo configura dovrebbe lavorare direttamente con il Head of Sales. Questi esperti forniscono terminologia di business accurata, validano le definizioni dei KPI e conoscono le domande più comuni a cui il loro team deve rispondere.

Tipi di istruzioni e benchmarking

Puoi guidare Genie in vari modi all’interno del Knowledge Store, ciascuno con uno scopo diverso:

• Espressioni SQL: insegna a Genie come calcolare metriche o KPI complessi.
• Query di esempio: fornisci esempi concreti che mostrino come porre le domande in modo efficace.
• Domande campione: offri prompt rapidi visibili nella finestra di chat di Genie per incoraggiare l’esplorazione.

Per garantire qualità costante, testa e valuta sempre le risposte di Genie eseguendo domande rappresentative in tutti gli Space. Inoltre, valida i risultati per accuratezza, completezza e conformità.

Interazione utente e governance

Una volta configurato il Genie Space, puoi interagirci tramite l’interfaccia conversazionale. Qui puoi porre domande in linguaggio naturale pertinenti al dominio dello Space. Puoi anche fare domande di follow-up per affinare i risultati e fornire feedback. L’interfaccia consente di visualizzare i risultati in diversi formati, inclusi riepiloghi, visualizzazioni e tabelle dati.

È importante notare che Genie applica automaticamente governance e permessi, esponendo solo i dati a cui gli utenti sono autorizzati. Accessi basati sui ruoli, data masking e visibilità del lineage garantiscono che tutte le interazioni restino sicure e auditabili.

Integrazione, API e casi d’uso avanzati

Databricks Genie offre endpoint API e opzioni di integrazione flessibili che collegano l’analisi conversazionale al più ampio ecosistema di applicazioni business, strumenti di collaborazione e sistemi di AI. Vediamo alcune di queste funzionalità qui sotto.

Genie Conversation API e integrazioni

La Genie Conversation API permette agli sviluppatori di collegare l’NLP direttamente ad applicazioni business, chatbot e sistemi dati esterni. Questa API gestisce i passaggi necessari, tra cui autenticazione, avvio di una conversazione, verifica dello stato della query e recupero dei risultati in formato JSON, rendendo i dati facili da analizzare e integrare su varie piattaforme.

Genie supporta anche l’integrazione con le principali piattaforme di collaborazione, che ho menzionato in precedenza nell’articolo, tra cui Slack, Microsoft Teams e i notebook Databricks. Sono sicuro che presto arriveranno altre integrazioni.

Quando implementi integrazioni usando la Databricks API, fai attenzione ai limiti, come richieste di query concorrenti, limiti di token e caching delle risposte, per mantenere l’affidabilità. Per ottimizzare l’integrazione, usa richieste in batch, caching delle query frequenti e pianificazione dei carichi di lavoro nelle ore non di punta.

Funzionalità avanzate e sistemi multi-agente

L’architettura di Genie utilizza sistemi di elaborazione multi-componente, che abilitano workflow analitici più complessi e sofisticati. Queste configurazioni avanzate consentono a Genie di gestire compiti complessi, come l’estrazione tematica, la sentiment analysis e l’integrazione di insight tra più dataset. Il knowledge store in continua crescita potenzia ulteriormente queste capacità fornendo definizioni più ricche dei termini di business e un contesto dati molto più ampio.

Knowledge store di nuova generazione e aggiornamenti del prodotto

I recenti aggiornamenti del prodotto continuano ad ampliare la portata e l’usabilità di Genie. Includono:

• Supporto al caricamento di file: ora gli utenti possono caricare file CSV o Excel direttamente nelle conversazioni con Genie per un’esplorazione ad hoc immediata.

• Metadati semantici migliorati: Genie comprende e applica meglio le semantiche di business da Unity Catalog e dal knowledge store, migliorando l’accuratezza contestuale delle risposte.
• Accessibilità cross-platform: le esperienze Genie sono sempre più coerenti tra web, notebook e integrazioni chat, abilitando un’esperienza analitica unificata per tutti gli utenti.
• Miglioramenti di performance e ottimizzazione: generazione SQL più rapida, caching migliorato e pianificazione delle query più intelligente riducono la latenza e aumentano la reattività.

Valutare e migliorare le risposte di Genie

Dopo aver creato il Genie Space, è buona pratica continuare a valutare e migliorare le risposte di Databricks Genie. Ecco alcune idee:

Benchmarking e feedback

Per testare l’accuratezza, imposta benchmark usando domande di test e le loro esatte risposte SQL corrette. Il sistema valuta le prestazioni di Genie confrontando l’output generato con il risultato atteso. Queste risposte vengono poi classificate come "Good" o inviate per "Manual review". Questo processo quantifica qualità e affidabilità delle risposte di Genie su varie query utente.

Training iterativo e valutazione delle risposte

Genie consente agli utenti di valutare le risposte, segnalare problemi e fornire chiarimenti che guidano il training e il tuning iterativi del sistema. Questo ciclo di feedback aiuta gli autori a perfezionare istruzioni, query SQL di esempio e metadati per orientare meglio le interpretazioni di Genie. Nel tempo, questi aggiustamenti migliorano la capacità dell’AI di gestire domande diverse e riducono i tassi di errore.

Monitoraggio e strumenti di miglioramento continuo

Databricks offre diversi strumenti di monitoraggio e dashboard per valutare la salute operativa di Genie e il coinvolgimento degli utenti. Questi strumenti consentono agli amministratori di tracciare i tassi di successo e fallimento delle query in tutti gli Space. Puoi anche usarli per identificare le domande frequenti e gli argomenti in cui Genie fatica o fornisce risultati incoerenti. Gli strumenti aiutano ad analizzare le tendenze del feedback per individuare aree da riaddestrare o chiarire e a rivedere log di sistema e audit trail per conformità e qualità.

Conclusione

Databricks Genie ha contribuito a spingere la democratizzazione dei dati permettendo a persone di tutta l’organizzazione di ottenere insight significativi con semplici domande in linguaggio naturale. Nel mio lavoro con workflow incentrati su SQL, ho spesso visto come anche domande basilari possano trasformarsi in richieste tecniche: rimuovere quella barriera cambia davvero il modo in cui i team accedono alle informazioni.

Guardando avanti, questo cambiamento rispecchia ciò che sta accadendo in tutto il mondo dell’analisi. L’analisi conversazionale sta diventando sempre più naturale e attenta al contesto. Genie continuerà a evolvere con una comprensione semantica più profonda e un’intelligenza più proattiva.

Se vuoi diventare un data engineer professionista, ti consiglio i nostri corsi Introduction to dbt e Big Data Fundamentals with PySpark per imparare a eseguire pipeline ETL usando SQL per l’analisi di Big Data. Ti consiglio anche di dare un’occhiata al nostro skill track Big Data with PySpark per apprendere competenze pratiche usando le API di PySpark in un progetto hands-on. Come passo successivo, ti raccomando il nostro Associate Data Engineer in SQL career track per diventare un data engineer competente.