Gemini 2.5 Pro: funzionalità, test, accesso, benchmark e altro ancora

Niente male per un solo prompt! La generazione è stata veloce (meno di 30 secondi) e mi sono piaciute anche le istruzioni dettagliate su come eseguire il codice: mi ha proposto due modi per farlo girare.

Non mi è piaciuto che il gioco partisse subito dopo l'esecuzione del codice, quindi ho voluto cambiare questo aspetto:

I don't like that the game starts immediately after I run the code. Add a starting screen where the user can be the one who starts the game (keep instructions on the screen)

Vediamo il risultato:

Esattamente quello che volevo! Ci sono ancora molte cose che cambierei, ma il risultato è molto buono rispetto al mio impegno (due prompt) e al mio obiettivo (costruire solo un prototipo).

Input multimodale (video e testo)

Successivamente, ho voluto testare le capacità multimodali di Gemin 2.5 Pro. Ho caricato il video qui sopra con il gioco e ho dato a Gemini 2.5 Pro questo prompt su Google AI Studio (non sono riuscito ad aggiungere un video come input sull'app Gemini):

Analyze the game in the video, criticize both the game and the code I will give you below, and indicate what changes I could make to this game to make it better.
Code:
(truncated fo readability)

L'output è stato piuttosto buono! Per leggibilità, qui mostrerò solo le critiche al gioco, che indirettamente mostrano una buona comprensione del video e del codice:

Elaborazione di documenti di grandi dimensioni

Infine, ho voluto testare Gemini 2.5 Pro su un documento relativamente grande, e ho usato il Report 2024 sullo stato dell'Intelligenza Artificiale di Stanford. Dopo aver caricato il documento di 502 pagine (129.517 token), ho chiesto a Gemini 2.5 Pro:

Pick two charts in this report that appear to show opposing or contradictory trends. Describe what each chart says, why the contradiction matters, and propose at least one explanation that reconciles the difference. Mention the page of the charts so I can double-check. If there's no such contradiction, don't try to artificially find one.

Per qualche motivo, non riusciva ad analizzare direttamente i grafici all'interno del PDF sull'app Gemini. Sono passato a Google AI Studio, e ha funzionato. Gemini 2.5 Pro è riuscito a trovare due grafici relativi agli investimenti in IA che mostrano un trend contraddittorio: gli investimenti privati in IA stanno diminuendo nonostante gli investimenti privati in IA generativa stiano aumentando.

Ha individuato perfettamente i grafici per numero di pagina (proprio come ho chiesto), numero di figura e titoli (ti consiglio di controllare il PDF di persona per verificare e vedere i grafici).

Ha riassunto molto bene il trend contraddittorio: Come può essere che il totale degli investimenti privati in IA stia diminuendo mentre gli investimenti nel suo sottoinsieme più osannato e visibile, l'IA generativa, stanno esplodendo? 

E ha spiegato perché vediamo questo trend apparentemente contraddittorio:

Benchmark di Gemini 2.5 Pro

Google ha confrontato Gemini 2.5 Pro con alcuni dei migliori modelli disponibili oggi, tra cui Claude 3.7 Sonnet, o3-mini di OpenAI, DeepSeek R1 e Grok 3. Sebbene le prestazioni varino a seconda del task, in generale Gemini 2.5 Pro si comporta bene su ragionamento, coding, matematica e task a lungo contesto.

Fonte: Google

Ragionamento e conoscenza generale

Gemini 2.5 Pro mostra solide prestazioni su benchmark progettati per testare il ragionamento a più passaggi e la conoscenza del mondo reale:

• Humanity’s Last Exam (senza strumenti): Gemini 2.5 Pro ottiene 18,8%, davanti a o3-mini (14%) e ben sopra Claude 3.7 (8,9%) e DeepSeek-R1 (8,6%). Questo test mira a simulare esami di livello esperto in oltre 100 materie.
• GPQA Diamond: un benchmark di QA fattuale tra STEM e discipline umanistiche. Gemini 2.5 Pro guida con 84,0% (per singolo tentativo/pass@1), seguito da Grok 3 Beta con 80,2%.

Matematica e logica

Questi sono i benchmark in cui l'architettura di ragionamento di Gemini sembra brillare:

• AIME 2024: Gemini 2.5 Pro è in testa con 92,0% per singolo tentativo/pass@1.
• AIME 2025: Gemini 2.5 Pro scende a 86,7% sul set di problemi 2025, e guida di poco questo benchmark per singolo tentativo/pass@1, seguito da o3-mini (86,5%).

Coding

Sui benchmark che testano generazione di codice, debugging e ragionamento su più file, Gemini si comporta bene ma non domina:

• LiveCodeBench v5 (generazione di codice): Gemini 2.5 Pro ottiene 70,4%, dietro o3-mini (74,1%) e Grok 3 Beta (70,6%).
• Aider Polyglot (file interi): Gemini raggiunge 74,0%, un risultato solido, soprattutto considerando che gestisce più linguaggi. Questo benchmark misura la modifica del codice.
• SWE-bench verified (coding agentico): Gemini ottiene 63,8%, posizionandosi davanti a o3-mini e DeepSeek R1, ma dietro a Claude 3.7 Sonnet (70,3%).

Task a lungo contesto e multimodali

È qui che Gemini 2.5 Pro si distingue più chiaramente:

• MRCR (comprensione di lettura su lungo contesto): Gemini 2.5 Pro raggiunge 91,5% per una lunghezza di contesto di 128.000, ed è anni luce avanti a o3-mini (36,3%) e GPT-4.5 (48,8%).
• MMMU (comprensione multimodale): Gemini 2.5 Pro guida il benchmark con un punteggio di 81,7%.

Come accedere a Gemini 2.5 Pro

Ci sono diversi modi per provare Gemini 2.5 Pro, a seconda che tu sia un utente occasionale o che tu stia costruendo qualcosa di più tecnico.

App Gemini

Il modo più semplice per accedere a Gemini 2.5 Pro è tramite l'app Gemini (su mobile o web).

Se sei abbonato a Gemini Advanced, vedrai Gemini 2.5 Pro nel menu a tendina dei modelli.

Google AI Studio

Se vuoi più controllo su input, uso di strumenti o prompt multimodali, ti consiglio di usare Google AI Studio.

Questo ambiente ti dà accesso a Gemini 2.5 Pro gratuitamente (al momento) e supporta input di testo, immagine, video e audio. Funziona anche meglio dell'app Gemini per caricare file o testare l'uso di strumenti, soprattutto quando si ha a che fare con documenti di grandi dimensioni o workflow personalizzati.

Dopo aver creato un account, puoi selezionare Gemini 2.5 Pro dal menu a tendina dei modelli.

API di Gemini 2.5 Pro

Per l'accesso programmatico, puoi usare la Gemini API, che supporta Gemini 2.5 Pro.

Questo ti offre più flessibilità se stai integrando il modello in un'applicazione o in un workflow. Puoi chiamare direttamente il modello con l'uso di strumenti abilitato, ottenere risposte strutturate o elaborare documenti lunghi in modo automatizzato.

Puoi trovare ulteriori informazioni tecniche qui.

Gemini 2.5 Pro su Vertex AI

Google afferma che Gemini 2.5 Pro sarà presto disponibile anche su Vertex AI, che fa parte di Google Cloud. La principale differenza tra l'uso diretto della Gemini API e l'accesso tramite Vertex AI riguarda infrastruttura, scala e integrazione.

Se stai solo testando o costruendo strumenti interni, AI Studio o l'API dovrebbero bastare. Se stai distribuendo qualcosa in produzione con requisiti stringenti di prestazioni o sicurezza, Vertex AI sarà l'opzione migliore appena lancerà il supporto per Gemini 2.5 Pro.

Conclusione

È sempre più difficile lasciarsi impressionare dai nuovi rilasci di modelli. La maggior parte dei lanci segue lo stesso schema: alcuni esempi selezionati, benchmark appariscenti e tante affermazioni su come siano i migliori in tutto. Ma Gemini 2.5 Pro mi ha davvero regalato alcuni momenti in cui mi sono fermato a pensare: "Ok, questo è davvero utile".

La finestra di contesto da 1 milione di token cambia il modo in cui puoi affrontare task che prima richiedevano lavoro extra, soprattutto tutto ciò che coinvolge documenti lunghi, codebase disordinate o ragionamenti in più passaggi. Non ho dovuto spezzettare gli input o impostare una pipeline RAG. Ho semplicemente caricato il file, fatto la domanda e ottenuto qualcosa di coerente e ancorato alla fonte.

Se presto arriverà la finestra di contesto da 2 milioni di token, questo da solo potrebbe renderlo uno dei modelli più pratici per il lavoro reale.