Programma
Nozioni di base sull'intelligenza artificiale
10 ore
OpenAI ha appena rilasciato Deep Research, un agente AI basato su una versione del prossimo modello o3. È progettato per navigare sul web, analizzare più fonti e sintetizzare grandi quantità di informazioni.
Ti starai chiedendo: ma ChatGPT non fa già questo?
A differenza di una normale sessione di ChatGPT che genera risposte rapide, Deep Research può condurre indagini multi-step, consultare più fonti e produrre report strutturati.
Per esempio, se hai mai cercato l’auto migliore da comprare—confrontando recensioni, valutando i costi, ecc.—sai che trovare informazioni affidabili richiede tempo e molta navigazione su Internet. Deep Research è costruito proprio per questo tipo di lavoro.
Ho testato Deep Research e sono rimasto sia stupito che deluso. Mostra grande potenziale, ma produce anche fatti e inferenze errati. In questo blog sarò il tuo agente umano e riassumerò tutto ciò che devi sapere su Deep Research. Ti guiderò con esempi pratici, condividerò consigli di prompting e ti mostrerò dove Deep Research brilla—e dove serve essere particolarmente cauti.
Che cos’è Deep Research di OpenAI?
Deep Research di OpenAI è un agente basato sull’AI progettato per condurre ricerche approfondite e multi-step su Internet. A differenza delle normali capacità di browsing di ChatGPT, che forniscono risposte rapide, Deep Research trova, analizza e sintetizza in modo autonomo informazioni provenienti da centinaia di fonti online.
Deep Research è pensato per chiunque abbia bisogno di ricerche complete e affidabili, tra cui:
- Professionisti in finanza, scienza, policy ed engineering che necessitano di report strutturati e ben referenziati
- Strategist aziendali impegnati in analisi competitive o previsioni di trend
- Ricercatori e studenti che raccolgono informazioni da più fonti
- Acquirenti e consumatori che devono prendere decisioni di acquisto importanti (ad es. auto, elettrodomestici, immobili)
- Scrittori, giornalisti e analisti che richiedono insight verificati e multi-fonte
In sostanza, se un compito richiede di consultare più fonti, incrociare dati e sintetizzare le informazioni in un formato utile, Deep Research è lo strumento giusto.
Come funziona Deep Research?
Basato su una versione del prossimo modello o3, Deep Research si fonda sui progressi di OpenAI nei modelli di reasoning ma è specificamente ottimizzato per il browsing web e l’analisi di dati reali.
Per ottenere questo risultato, OpenAI ha addestrato Deep Research usando il reinforcement learning su compiti reali di navigazione e ragionamento. Questo consente al modello di seguire un processo di ricerca iterativo e passo dopo passo, migliorando la capacità di sintetizzare argomenti complessi in report strutturati.
Benchmark di Deep Research
Humanity’s Last Exam
Humanity’s Last Exam è un benchmark di recente pubblicazione progettato per testare l’AI con domande a scelta multipla e a risposta breve di livello esperto su oltre 100 materie, dalla linguistica all’ingegneria aerospaziale fino all’ecologia e alla matematica. Questa valutazione misura la capacità di un’AI di ragionare tra discipline diverse e di cercare conoscenze specialistiche quando necessario—una competenza cruciale per i modelli orientati alla ricerca.
Deep Research ha ottenuto un record del 26,6% di accuratezza, superando di molto i modelli precedenti, inclusi l’o1 di OpenAI (9,1%), DeepSeek-R1 (9,4%) e Claude 3.5 Sonnet (4,3%). In particolare, i maggiori miglioramenti rispetto all’o1 di OpenAI si sono visti in chimica, discipline umanistiche e scienze sociali, e matematica, dove Deep Research ha dimostrato la capacità di scomporre domande complesse e recuperare informazioni autorevoli.
|
Modello |
Accuratezza (%) |
|
GPT-4o |
3,3 |
|
Claude 3.5 Sonnet |
4,3 |
|
Gemini Thinking |
6,2 |
|
OpenAI o1 |
9,1 |
|
DeepSeek-R1* |
9,4 |
|
OpenAI o3-mini (high)* |
13,0 |
|
OpenAI Deep Research (con browsing + strumenti Python) |
26,6 |
* Modelli testati sul sottoinsieme solo-test dell’esame perché non sono multimodali. Fonte: OpenAI
GAIA
GAIA (General AI Agent benchmark) valuta quanto bene i sistemi di AI gestiscono domande del mondo reale, richiedendo una combinazione di ragionamento, navigazione web, fluidità multimodale e abilità nell’uso di strumenti.
Deep Research ha stabilito un nuovo record SOTA (state-of-the-art), guidando la classifica GAIA esterna con prestazioni solide su tutti i livelli di difficoltà. Il modello ha mostrato un’accuratezza particolarmente alta nei compiti di Livello 3, che richiedono ricerche complesse e multi-step e sintesi.
|
Valutazione GAIA |
Livello 1 |
Livello 2 |
Livello 3 |
Media |
|
Precedente SOTA |
67,92% |
67,44% |
42,31% |
63,64% |
|
Deep Research (pass@1) |
74,29% |
69,06% |
47,6% |
67,36% |
|
Deep Research (cons@64) |
78,66% |
73,21% |
58,03% |
72,57% |
Fonte: OpenAI
L’elevato pass@1 di Deep Research mostra che già il suo primo tentativo di risposta a una domanda GAIA è più accurato rispetto ai modelli precedenti. Il punteggio cons@64 (che misura le prestazioni con più tentativi di risposta) evidenzia inoltre la capacità di autocorrezione e di affinare le risposte in base a nuove informazioni.
Valutazioni interne
OpenAI ha anche effettuato valutazioni interne, in cui Deep Research è stato valutato da esperti di dominio su compiti di livello esperto. Ho trovato le valutazioni interne piuttosto interessanti!
Il grafico seguente mostra che il tasso di superamento aumenta man mano che effettua più chiamate agli strumenti. Questo evidenzia l’importanza di lasciarlo navigare e analizzare le informazioni in modo iterativo—concedergli più tempo per pensare porta a risultati migliori.
Fonte: OpenAI
Guardiamo un altro grafico—vedi sotto. Deep Research rende meglio sui compiti con minore valore economico stimato, con un calo di accuratezza al crescere del potenziale impatto finanziario. Questo suggerisce che i compiti economicamente più significativi tendono a essere più complessi o a basarsi su conoscenze proprietarie non ampiamente accessibili online.
Fonte: OpenAI
Il grafico qui sotto mette a confronto i tassi di superamento con le ore stimate che un umano impiegherebbe per completare ciascun compito. Il modello rende meglio su compiti che richiederebbero 1–3 ore a una persona, ma le prestazioni non calano in modo coerente con il tempo—a indicare che ciò che l’AI trova difficile non coincide sempre con ciò che gli umani trovano dispendioso in termini di tempo.
Fonte: OpenAI
Come usare Deep Research: esempi pratici
Al momento della pubblicazione di questo articolo, Deep Research è disponibile solo per gli utenti Pro, con un limite di 100 query al mese, ma OpenAI prevede di estendere l’accesso a Plus, Team ed Enterprise a breve.
A mio avviso, Deep Research è ancora in una fase iniziale. Pur mostrando grande promessa, il primo esempio qui sotto evidenzia molti dei suoi problemi. Tuttavia, il secondo esempio dimostra il suo enorme potenziale.
Esempio 1: ecosistemi di AI
Fatico costantemente a ottenere una panoramica completa degli ecosistemi di AI delle diverse aziende. Prendi Google, per esempio—hanno Gemini 2.0 Flash, Imagen 3, Veo 2, Project Mariner, Project Astra… cos’altro mi sfugge? Per avere finalmente una visione chiara, ho richiesto a Deep Research di OpenAI quanto segue.
Nota che il modello non ha iniziato subito la ricerca, ma ha chiesto chiarimenti. In tutti i miei test, per quanto fosse specifico il primo prompt, il modello ha sempre cercato di restringere il campo della ricerca. Questo è utile, secondo me, perché spesso penso che il mio prompt sia chiaro e specifico, ma in genere beneficia di qualche affinamento.
Ho risposto alle domande del modello e poi la ricerca è iniziata. Nel browser si è aperto un pannello a destra che mostrava in tempo reale l’attività dell’agente e le fonti:
Ci sono voluti 11 minuti e il modello ha consultato 25 fonti. Nota che una fonte è un sito web “genitore”, e il modello può esplorare più pagine da quel sito—per 25 fonti e una media di quattro pagine per fonte, puoi aspettarti che il modello abbia visitato circa 100 pagine web.
Nel complesso, sono rimasto deluso dal risultato—puoi leggere la risposta di Deep Research qui. Ma partiamo da ciò che mi è piaciuto:
- Anche se non ho specificato una struttura, la risposta era ben organizzata, con sezioni chiare, uso corretto del grassetto, delle dimensioni dei caratteri e dei punti elenco.
- Le fonti sono ben posizionate, subito dopo le informazioni a cui si riferiscono, e questo sistema rende facile la verifica dei fatti.
- Il report ha trovato un buon equilibrio tra dettaglio e lunghezza—non era superficiale, ma nemmeno una lettura da un’ora. Posso sempre chiedere più dettagli se mi servono.
Tuttavia, la risposta presentava diversi problemi, e mi concentrerò sui principali:
- Imprecisioni: ha confuso DeepSeek-V3 con DeepSeek-R1 (non dimenticare che puoi leggere la risposta tu stesso qui).
- Informazioni non aggiornate: anche se ho chiesto esplicitamente un report aggiornato, Deep Research ha affermato che l’ultimo modello di Meta fosse Llama 2 e quello di Anthropic Claude 2, menzionando voci su qualcosa con “nome in codice” Sonnet e Haiku. All’inizio mi ha fatto sorridere, ma poi ho pensato a quante persone potrebbero prendere queste risposte per buone.
- Bassa aderenza al prompt: ho detto esplicitamente a Deep Research di escludere GPT-4 e concentrarsi sui modelli più recenti, eppure non ha seguito l’istruzione.
- Risposte incomplete: nella sezione su OpenAI non ha menzionato modelli chiave come o1, e nella sezione su Google ha completamente omesso Veo.
Questi problemi rendono difficile fidarsi di Deep Research di OpenAI. L’ho testato deliberatamente su un argomento che conosco, così da poter verificare la risposta—ma se dovessi fare affidamento su Deep Research per un tema che non conosco?
Esempio 2: argomento evergreen
Forse il problema di Deep Research è che non è ancora così bravo a identificare le informazioni più aggiornate. Quindi ho deciso di testarlo su un argomento più “evergreen”—uno che non dipende troppo dagli sviluppi recenti.
Guido un’auto del 2013 e di tanto in tanto penso di sostituirla. Ma rimango sempre bloccato sulla stessa domanda: nuova o usata? Un’auto nuova si svaluta rapidamente, ma una vecchia potrebbe significare costi di riparazione più alti. Voglio sapere cosa ne pensano gli esperti, quindi è stata un’ottima occasione per chiedere a Deep Research di consultare vari studi e opinioni e compilare un report.
Prima di proseguire, ti do un consiglio: prima di fare il prompt a Deep Research, ottimizza il prompt con il tuo LLM di riferimento. Inizia con “Sei un prompt engineer. Aiutami a ottimizzare questo prompt: (inserisci qui il tuo prompt)”. Ecco il prompt ottimizzato che ho usato per Deep Research:
Come prima, Deep Research ha chiesto chiarimenti prima di iniziare e poi ha completato la ricerca in sei minuti, consultando più pagine web su 12 fonti. Puoi leggere il report completo qui.
Questa volta, il report era buono—molto buono!
Non avrei mai immaginato che si potesse guardare a questo problema da così tante angolazioni. L’ampiezza delle informazioni è stata impressionante e, a occhio, Deep Research mi ha risparmiato oltre 10 ore di navigazione e ricerca. Ha riunito studi accademici, report di settore, analisi di trend di mercato, confronti dei costi assicurativi, ecc.
Non sono un esperto del settore, quindi non posso valutare pienamente l’accuratezza del report. Tuttavia, dal punto di vista di un consumatore, molte informazioni avevano senso e sono state davvero utili. Ho anche verificato alcuni dettagli rispetto alle fonti citate e non ho riscontrato problemi.
Come nel primo esempio, la profondità era ben bilanciata e la struttura dell’output eccellente. Mi è piaciuta in particolare la tabella qui sotto—basta guardare quei valori di svalutazione e capirai perché terrò ancora un po’ la mia ibrida di 12 anni.
Conclusione
Deep Research di OpenAI mostra grande promessa e può farci risparmiare molto tempo di ricerca. Tuttavia, è ancora inaffidabile quando si tratta di informazioni aggiornate, e a volte produce fatti errati o inferenze difettose.
Penso ancora che Deep Research sia in una fase iniziale, e il team di OpenAI lo riconosce apertamente nel loro articolo di annuncio.
Onestamente, tornerò spesso a Deep Research, e spero che continui a migliorare.
