Gemini 2.5 Pro: Funktionen, Tests, Zugang, Benchmarks & mehr

Was ist Gemini 2.5 Pro?

Gemini 2.5 Pro ist das erste Modell der Gemini 2.5 Familie von Google. Sie wird derzeit als experimentell bezeichnet und ist über den Gemini Advanced Plan und Google AI Studio verfügbar.

Laut Google ist es das bisher beste Argumentationsmodell mit Verbesserungen bei der Nutzung von Werkzeugen, der Verarbeitung multimodaler Eingaben und der Leistung bei langen Kontexten. Hier ist ein kurzer Überblick darüber, was es unterstützt:

• Eingangsarten: Text, Bild, Audio und Video
• Leistungstyp: Nur Text
• Kontextfenster: Bis zu 1 Million Token für die Eingabe (geplante Erweiterung auf 2 Millionen)
• Ausgabegröße: 64.000 Token
• Wissensabgrenzung: Januar 2025

Gemini 2.5 Pro unterstützt die Verwendung von Tools, d.h. es kann externe Funktionen aufrufen, strukturierte Ausgaben (wie JSON) erzeugen, Code ausführen und die Suche verwenden. So kann das Modell mehrstufige Aufgaben lösen, APIs aufrufen oder Antworten für bestimmte nachgelagerte Systeme formatieren.

Da es ein Denkmodell ist, ist Gemini 2.5 Pro besonders stark in den Bereichen Programmieren, Mathematik, Logik und Wissenschaft. Für die meisten täglichen Aufgaben kannst du immer noch ein generalistisches Modell wie Gemini 2.0 Flash verwenden, weil es viel schneller ist.

Jetzt wollen wir Gemini 2.5 Pro ausprobieren, um zu sehen, wie gut es funktioniert.

Testen von Gemini 2.5 Pro

P5js Spiel

Zuerst wollte ich das Dinosaurierspiel testen, das Google als Beispiel angeboten hat, und habe die gleiche Aufforderung wie im dem Demo-Video (Ich habe es in der Gemini-App ausprobiert):

Make me a captivating endless runner game. Key instructions on the screen. p5js scene, no HTML. I like pixelated dinosaurs and interesting backgrounds.

Lass uns das Ergebnis sehen:

Das ist ziemlich cool für nur eine Aufforderung! Die Generierung war schnell (unter 30 Sekunden) und ich mochte auch die detaillierten Anweisungen, wie man den Code ausführt - er bot mir zwei Möglichkeiten, ihn auszuführen:

Mir gefiel es nicht, dass das Spiel sofort begann, nachdem ich den Code ausgeführt hatte, also wollte ich das ändern:

I don't like that the game starts immediately after I run the code. Add a starting screen where the user can be the one who starts the game (keep instructions on the screen)

Lass uns das Ergebnis sehen:

Genau das, was ich wollte! Es gibt noch so viele Dinge, die ich ändern würde, aber das Ergebnis ist im Verhältnis zu meinem Aufwand (zwei Prompts) und meinem Ziel (nur einen Prototyp zu bauen) sehr gut.

Multimodale Eingabe (Video und Text)

Als nächstes wollte ich die multimodalen Fähigkeiten von Gemin 2.5 Pro testen. Ich habe das obige Video mit dem Spiel hochgeladen und Gemini 2.5 Pro diese Eingabeaufforderung in Google AI Studio gegeben (ich konnte in der Gemini App kein Video als Eingabe hinzufügen):

Analyze the game in the video, criticize both the game and the code I will give you below, and indicate what changes I could make to this game to make it better.
Code:
(truncated fo readability)

Die Leistung war ziemlich gut! Aus Gründen der Lesbarkeit werde ich hier nur die Kritik am Spiel aufführen, die indirekt ein gutes Verständnis des Videos und des Codes zeigt:

Verarbeitung großer Dokumente

Schließlich wollte ich Gemini 2.5 Pro an einem relativ großen Dokument testen, und ich verwendete Stanford's Artificial Intelligence Index Report 2024. Nachdem ich das 502-seitige Dokument (129.517 Token) hochgeladen hatte, fragte ich Gemini 2.5 Pro:

Pick two charts in this report that appear to show opposing or contradictory trends. Describe what each chart says, why the contradiction matters, and propose at least one explanation that reconciles the difference. Mention the page of the charts so I can double-check. If there's no such contradiction, don't try to artificially find one.

Aus irgendeinem Grund konnten die Diagramme innerhalb des PDF-Dokuments in der Gemini-App nicht direkt analysiert werden. Ich habe zu Google AI Studio gewechselt, und es hat funktioniert. Gemini 2.5 Pro ist es gelungen, zwei Grafiken zu KI-Investitionen zu finden, die einen widersprüchlichen Trend zeigen: Die privaten KI-Investitionen gehen zurück, obwohl die privaten Investitionen in generative KI steigen.

Es hat die Diagramme anhand der Seitenzahl (genau wie ich es verlangt habe), der Abbildungsnummer und der Titel gefunden (ich empfehle, die die PDF-Datei selbst zu überprüfen, um die Diagramme zu sehen).

Er hat den widersprüchlichen Trend sehr gut zusammengefasst: Wie können die privaten KI-Investitionen insgesamt zurückgehen, wenn die Investitionen in den am meisten gehypten und sichtbaren Teilbereich, die generative KI, explodieren? 

Und erklärt, warum wir diesen scheinbar widersprüchlichen Trend beobachten:

Gemini 2.5 Pro Benchmarks

Google hat Gemini 2.5 Pro mit einigen der besten heute erhältlichen Modelle verglichen, darunter Claude 3.7 Sonnet, OpenAIs o3-mini, DeepSeek R1und Grok 3. Auch wenn die Leistung je nach Aufgabe variiert, schneidet Gemini 2.5 Pro im Allgemeinen gut ab, wenn es um logisches Denken, Codieren, Mathematik und Aufgaben mit langem Kontext gehtks.

Source: Google

Logisches Denken und Allgemeinwissen

Gemini 2.5 Pro zeigt eine starke Leistung bei Benchmarks, die das Denken in mehreren Schritten und das Wissen über die reale Welt testen:

• Die letzte Prüfung der Menschheit (ohne Hilfsmittel): Gemini 2.5 Pro liegt mit 18,8% vor o3-mini (14%) und deutlich vor Claude 3.7 (8,9%) und DeepSeek-R1 (8,6%). Dieser Test ist so konzipiert, dass er Prüfungen auf Expertenebene in über 100 Fächern nachahmt.
• GPQA Diamond: Ein faktischer QS-Benchmark für MINT und Geisteswissenschaften. Gemini 2.5 Pro führt mit 84,0 % (für Einzelversuch/Pass@1), gefolgt von Grok 3 Beta mit 80,2 %.

Mathematik und Logik

Das sind Benchmarks, bei denen die Architektur von Gemini zu glänzen scheint:

• AIME 2024: Gemini 2.5 Pro führt mit 92,0% bei Einzelversuch/Pass@1.
• AIME 2025: Gemini 2.5 Pro fällt auf 86,7% bei den 2025 Aufgaben und führt diesen Benchmark für Einzelversuch/Pass@1 knapp an, gefolgt von o3-mini (86,5%).

Codierung

Bei Benchmarks, die Codegenerierung, Debugging und Multi-File Reasoning testen, schneidet Gemini gut ab, dominiert aber nicht:

• LiveCodeBench v5 (code generation): Gemini 2.5 Pro liegt mit 70,4% hinter o3-mini (74,1%) und Grok 3 Beta (70,6%).
• Aider Polyglot (ganze Datei): Gemini erreicht 74,0%, was solide ist, vor allem wenn man bedenkt, dass es mehrere Sprachen beherrscht. Dieser Benchmark misst die Codebearbeitung.
• SWE-Bench verifiziert (Agentenkodierung): Gemini erreicht 63,8% und liegt damit vor o3-mini und DeepSeek R1, aber hinter Claude 3.7 Sonnet (70,3%).

Langer Kontext und multimodale Aufgaben

Hier hebt sich Gemini 2.5 Pro am deutlichsten ab:

• MRCR (Long Context Reading Comprehension): Gemini 2.5 Pro erreicht 91,5% bei einer Länge von 128.000 Kontexten und liegt damit weit vor o3-mini (36,3%) und GPT-4.5 (48,8%).
• MMMU (Multimodales Verstehen): Gemini 2.5 Pro führt den Benchmark mit einem Ergebnis von 81,7 % an.

Wie man auf Gemini 2.5 Pro zugreift

Es gibt verschiedene Möglichkeiten, Gemini 2.5 Pro auszuprobieren, je nachdem, ob du ein Gelegenheitsnutzer bist oder etwas Technischeres baust.

Zwillinge App

Der einfachste Weg, um auf Gemini 2.5 Pro zuzugreifen, ist über die Gemini-App (mobil oder im Web).

Wenn du ein Gemini Advanced-Abonnent bist, siehst du Gemini 2.5 Pro im Modell-Dropdown-Menü.

Google AI Studio

Wenn du mehr Kontrolle über Eingaben, die Verwendung von Tools oder multimodale Eingabeaufforderungen haben möchtest, empfehle ich dir Google AI Studio.

Diese Umgebung bietet dir (ab sofort) kostenlosen Zugang zu Gemini 2.5 Pro und unterstützt Text-, Bild-, Video- und Audioeingaben. Sie funktioniert auch besser als die Gemini-App, wenn es darum geht, Dateien hochzuladen oder die Verwendung von Tools zu testen, vor allem wenn es um große Dokumente oder benutzerdefinierte Workflows geht.

Nachdem du ein Konto erstellt hast, kannst du Gemini 2.5 Pro aus dem Modell-Dropdown-Menü auswählen.

Gemini 2.5 Pro API

Für den programmatischen Zugriff kannst du die Gemini API verwenden, die Gemini 2.5 Pro unterstützt.

Das gibt dir mehr Flexibilität, wenn du das Modell in eine Anwendung oder einen Arbeitsablauf integrierst. Du kannst das Modell bei aktivierter Werkzeugnutzung direkt aufrufen, strukturierte Antworten erhalten oder lange Dokumente automatisiert verarbeiten.

Weitere technische Informationen findest du hier.

Gemini 2.5 Pro auf Vertex AI

Google sagt, dass Gemini 2.5 Pro bald auch in Vertex AI, das Teil von Google Cloud ist, verfügbar sein wird. Der Hauptunterschied zwischen der direkten Nutzung der Gemini-API und dem Zugriff über Vertex AI liegt in der Infrastruktur, dem Umfang und der Integration.

Wenn du nur testest oder interne Tools erstellst, sollte AI Studio oder die API ausreichen. Wenn du etwas in der Produktion mit strengen Leistungs- oder Sicherheitsanforderungen einsetzt, ist Vertex AI die bessere Wahl, sobald die Unterstützung für Gemini 2.5 Pro eingeführt wird.

Fazit

Es wird immer schwieriger, sich von neuen Modellen beeindrucken zu lassen. Die meisten Markteinführungen laufen nach demselben Muster ab: ein paar ausgewählte Beispiele, ein paar auffällige Benchmarks und eine Menge Behauptungen, in allem der Beste zu sein. Aber Gemini 2.5 Pro hat mir tatsächlich ein paar Momente beschert, in denen ich innehielt und dachte: "Okay, das ist wirklich nützlich".

Das Kontextfenster mit 1 Million Token verändert die Art und Weise, wie du an Aufgaben herangehen kannst, die früher zusätzliche Arbeit erforderten - vor allem, wenn es um lange Dokumente, unübersichtliche Codebasen oder mehrstufige Schlussfolgerungen geht. Ich musste keine Eingaben chunkern oder eine RAG-Pipeline einrichten. Ich habe einfach die Datei hochgeladen, meine Frage gestellt und etwas Kohärentes und Geerdetes im Quelltext zurückbekommen.

Wenn das 2-Millionen-Token-Context-Fenster bald auf den Markt kommt, könnte es allein dadurch zu einem der praktischsten Modelle für die Praxis werden.