OpenAIs O3: Funktionen, O1 Vergleich, Erscheinungsdatum & mehr

Was ist OpenAI O3?

O3 ist das neueste Grenzmodell von OpenAI, das die Denkfähigkeiten für eine Reihe komplexer Aufgaben verbessern soll. Er wurde zusammen mit seinem kleineren Gegenstück, dem o3 mini, angekündigt und konzentriert sich auf die Bewältigung von Herausforderungen in den Bereichen Programmierung, Mathematik und allgemeine Intelligenz.

Wir finden, dass o3 einen Schwerpunkt auf härtere Benchmarks legt, die das logische Denken auf eine Art und Weise testen, die frühere Modelle nicht ganz geschafft haben. OpenAI hat seine Verbesserungen gegenüber o1 hervorgehoben und es als ein fähigeres System für die Lösung komplexer Probleme positioniert.

O1 gegen o3 bei der Codierung. Quelle: OpenAI

Derzeit ist O3 nicht für den allgemeinen Gebrauch verfügbar. OpenAI beginnt mit öffentlichen Sicherheitstests, lädt Forscher ein die Stärken und Grenzen des Systems zu erforschen. Wir denken, dass dieser kooperative Ansatz die wachsende Erkenntnis widerspiegelt, dass eine sorgfältige Bewertung notwendig ist, da KI-Modelle immer leistungsfähiger werden.

O1 vs. O3

O3 baut direkt auf dem Fundament von o1 auf, aber die Verbesserungen sind in wichtigen Bereichen erheblich. OpenAI hat o3 als ein Modell positioniert, das für komplexere Denkaufgaben entwickelt wurde, was sich in den Benchmarks widerspiegelt.

Codierung

Wir haben einige deutliche Unterschiede zwischen den beiden Modellen festgestellt (siehe die Grafik oben). Bei softwareähnlichen Codieraufgaben erreichte O3 bei Bench Verified eine Genauigkeit von 71,7 %, eine deutliche Verbesserung gegenüber o1.

Auch bei der wettbewerbsorientierten Programmierung erreichte o3 eine ELO-Punktzahl von 2727 und übertraf damit den bisherigen Höchstwert von o1 (1891) bei weitem. Diese Zahlen deuten darauf hin, dass der Schwerpunkt darauf liegt, die Fähigkeit des Modells zur Bewältigung realer Herausforderungen im Bereich der Programmierung zu verbessern.

Mathematik und Wissenschaft

Die Verbesserungen beschränken sich nicht nur auf das Programmieren. o3 schnitt auch im mathematischen Denken überragend ab und erreichte beim AIME 2024 eine Genauigkeit von 96,7 % im Vergleich zu 83,3 % bei o1. Diese Fortschritte deuten darauf hin, dass das Modell differenziertere und schwierigere Probleme bewältigen kann und sich damit den Benchmarks annähert, die traditionell von menschlichen Experten dominiert werden.

O1 gegen o3 in Mathe und Naturwissenschaften. Quelle: OpenAI

Ähnlich deutlich ist der Sprung bei den naturwissenschaftlichen Benchmarks. Beim GPQA Diamond, der die Leistung bei wissenschaftlichen Fragen auf PhD-Niveau misst, erreichte o3 eine Genauigkeit von 87,7 % gegenüber 78 % bei o1. Diese Fortschritte zeigen, dass das Modell die Fähigkeit, technisch anspruchsvolle Probleme zu lösen, in allen Disziplinen verbessert hat.

EpochAI Frontier Math

Ein Bereich, in dem die Fortschritte von o3 besonders bemerkenswert sind, ist der EpochAI Frontier Math Benchmark.

Er gilt als einer der anspruchsvollsten Benchmarks in der KI, weil er aus neuartigen, unveröffentlichten Problemen besteht, die absichtlich so gestaltet sind, dass sie viel schwieriger sind als Standarddatensätze. Viele dieser Probleme sind auf dem Niveau der mathematischen Forschung und erfordern oft Stunden oder sogar Tage von professionellen Mathematikern, um ein einziges Problem zu lösen. Aktuelle KI-Systeme erreichen bei diesem Benchmark in der Regel weniger als 2 %, was seine Schwierigkeit unterstreicht.

O3 auf EpochAI Frontier Math. Quelle: OpenAI

Epic AI's Frontier Math ist wichtig, weil es die Modelle über das Auswendiglernen oder die Optimierung von bekannten Mustern hinausbringt. Stattdessen wird ihre Fähigkeit getestet, zu verallgemeinern, abstrakt zu denken und Probleme zu lösen, mit denen sie noch nie zuvor konfrontiert waren - Eigenschaften, die für die Weiterentwicklung der KI-Fähigkeiten unerlässlich sind. o3s Ergebnis von 25,2 % bei diesem Benchmark sieht nach einem bedeutenden Sprung nach vorn aus.

Der Durchbruch von O3 bei ARC AGI

Einer der bemerkenswertesten Erfolge von o3 ist seine Leistung beim ARC AGI Benchmark, einem Test, der weithin als Goldstandard für die Bewertung der allgemeinen Intelligenz in der KI gilt.

Das 2019 von François Chollet entwickelte ARC (Abstraction and Reasoning Corpus) konzentriert sich darauf, die Fähigkeit einer KI zu bewerten, neue Fähigkeiten aus minimalen Beispielen zu lernen und zu verallgemeinern. Im Gegensatz zu traditionellen Benchmarks, die oft vortrainiertes Wissen oder Mustererkennung testen, sind die ARC-Aufgaben so konzipiert, dass sie die Modelle herausfordern, Regeln und Transformationen im Handumdrehen abzuleiten - Aufgaben, die Menschen intuitiv lösen können, mit denen sich KI aber bisher schwer getan hat.

Was ARC AGI besonders schwierig macht, ist die Tatsache, dass jede Aufgabe unterschiedliche logische Fähigkeiten erfordert. Die Modelle können sich nicht auf auswendig gelernte Lösungen oder Vorlagen verlassen, sondern müssen sich bei jeder Prüfung auf völlig neue Herausforderungen einstellen. Bei einer Aufgabe könnte es zum Beispiel darum gehen, Muster in geometrischen Transformationen zu erkennen, während bei einer anderen Aufgabe Schlussfolgerungen über Zahlenfolgen gezogen werden müssen. Diese Vielfalt macht ARC AGI zu einem starken Maßstab dafür, wie gut eine KI wirklich wie ein Mensch denken und lernen kann.

Kannst du die Logik erraten, mit der die Eingabe in eine Ausgabe umgewandelt wird? Quelle: OpenAI

Die Leistung von o3 bei ARC AGI ist ein wichtiger Meilenstein. Bei niedrigen Recheneinstellungen erreichte o3 76 % im halbprivaten Holdout-Set - ein Wert, der weit über dem aller vorherigen Modelle liegt.

Bei Tests mit hohen Recheneinstellungen erreichte er sogar noch beeindruckendere 88 % und übertraf damit die 85 %-Schwelle, die oft als Leistung auf menschlichem Niveau genannt wird. Dies ist das erste Mal, dass eine KI den Menschen bei diesem Benchmark übertrifft und damit einen neuen Standard für logische Aufgaben setzt.

Leistung der O-Serie. Quelle: ArcPrize

Wir glauben, dass diese Ergebnisse besonders bemerkenswert sind, weil sie zeigen, dass o3 in der Lage ist, Aufgaben zu bewältigen, die eher Anpassungsfähigkeit und Verallgemeinerung erfordern als auswendig gelerntes Wissen oder brachiales Rechnen. Das ist ein klares Indiz dafür, dass o3 auf dem Weg zu echter allgemeiner Intelligenz ist, die über domänenspezifische Fähigkeiten hinausgeht und in Bereiche vordringt, von denen man bisher dachte, sie seien ausschließlich menschliches Terrain.

Was ist o3 Mini?

o3 mini wurde neben o3 als kosteneffiziente Alternative eingeführt, um mehr Nutzerinnen und Nutzern erweiterte Argumentationsfähigkeiten bei gleichbleibender Leistung zur Verfügung zu stellen. OpenAI beschreibt es als Neudefinition der "Kosten-Leistungs-Grenze" bei Reasoning-Modellen und macht es für Aufgaben zugänglich, die eine hohe Genauigkeit erfordern, aber mit Ressourcenbeschränkungen zurechtkommen müssen.

Eine der herausragenden Eigenschaften von o3 mini ist die adaptive Denkzeit, mit der die Nutzer/innen die Denkleistung des Modells an die Komplexität der Aufgabe anpassen können. Für einfachere Probleme können die Nutzer/innen auswählen, um die Geschwindigkeit und Effizienz zu maximieren.

Bei anspruchsvolleren Aufgaben kann das Modell dank der Optionen für einen höheren Denkaufwand eine vergleichbare Leistung wie o3 selbst erbringen, allerdings zu einem Bruchteil der Kosten. Diese Flexibilität ist besonders für Entwickler und Forscher interessant, die mit verschiedenen Anwendungsfällen arbeiten.

O3 Mini-Benchmarks. Quelle: OpenAI

Die Live-Demo hat gezeigt, dass o3 mini hält, was es verspricht. In einer Programmieraufgabe wurde o3 mini zum Beispiel damit beauftragt, ein Python-Skript zu erstellen, um einen lokalen Server mit einer interaktiven Benutzeroberfläche für Tests zu erstellen. Trotz der Komplexität der Aufgabe hat das Modell gut abgeschnitten und gezeigt, dass es auch anspruchsvolle Programmieraufgaben bewältigen kann.

Interaktive Benutzeroberfläche, erstellt mit o3 mini während der Live-Demo. Quelle: OpenAI

Wir sehen den o3 mini als praktische Lösung für Szenarien, in denen Kosteneffizienz und Leistung übereinstimmen müssen.

Deliberative Angleichung: Innovationen in der Sicherheitsprüfung

OpenAI hat einen proaktiven Ansatz für die Sicherheitstests von o3 und o3 mini gewählt, indem es Forschern den Zugang für öffentliche Sicherheitstests öffnet, bevor die Modelle vollständig veröffentlicht werden.

Ein zentrales Merkmal der Sicherheitsstrategie von OpenAI für o3 ist die deliberative Ausrichtung, eine Methode, die über traditionelle Sicherheitsansätze hinausgeht. Die folgende Grafik zeigt, wie sich die deliberative Ausrichtung von anderen Methoden wie RLHF (Reinforcement Learning with Human Feedback) unterscheidet, RLAIF (Reinforcement Learning with AI Feedback) und Inferenzzeit-Verfeinerungstechniken wie Self-REFINE.

Quelle: OpenAI

Beim deliberativen Abgleich verlässt sich das Modell nicht einfach auf statische Regeln oder Präferenzdaten, um zu bestimmen, ob eine Aufforderung sicher oder unsicher ist. Stattdessen nutzt es seine Denkfähigkeiten, um Aufforderungen in Echtzeit zu bewerten. Die Grafik oben veranschaulicht diesen Prozess:

1. Generierung von Trainingsdaten: Im Gegensatz zu RLHF, bei dem menschliche Eingaben direkt in das Modell einfließen, wird beim deliberativen Alignment ein Argumentationsmodell verwendet, um die chain-of-thought (CoT) Ergebnisse für bestimmte Aufforderungen. Diese CoT-Outputs liefern nuancierte Argumentationsmuster, die den Trainingsprozess leiten und dem Modell helfen, Kontext und Absicht besser zu verstehen.
2. Inferenzzeit: Während der Schlussfolgerung wertet das Argumentationsmodell die Eingabeaufforderungen aus und liefert neben den Antworten auch eine Erklärung der Gedankenkette. Dieser Schritt ermöglicht es dem Modell, die Absicht und den Kontext einer Aufforderung dynamisch zu bewerten und potenzielle versteckte Risiken oder Unklarheiten zu identifizieren, die statischen Regeln entgehen könnten.

O3 Erscheinungsdatum

Im Moment sind o3 und o3 mini noch nicht weithin verfügbar, aber OpenAI hat den Zugang zu Forschern durch sein Sicherheitstestprogramm geöffnet.

Was die öffentliche Verfügbarkeit angeht, hat OpenAI einen vorläufigen Zeitplan mitgeteilt. o3 mini wird voraussichtlich Ende Januarauf den Markt kommen und bietet eine kostengünstige Option für logische Aufgaben. Die vollständige Version von o3 wird kurz darauf folgen, obwohl OpenAI betont hat, dass der Zeitplan von dem Feedback und den Erkenntnissen aus der Sicherheitstestphase abhängt.

Wir sehen diesen vorsichtigen Ansatz als einen positiven Schritt an, bei dem eine gründliche Evaluierung und eine durchdachte Ausrichtung auf die Bedürfnisse der Nutzerinnen und Nutzer im Vordergrund stehen, während der gesamte Entwicklungsprozess transparent bleibt.

Fazit

O3 und o3 mini verdeutlichen die wachsende Komplexität von KI-Systemen und die Herausforderungen, sie verantwortungsvoll freizugeben. Die Benchmarks sind zwar beeindruckend, aber wir interessieren uns mehr für die Fragen, die diese Modelle aufwerfen: Wie gut werden sie in der Praxis funktionieren? Sind die Sicherheitsmaßnahmen robust genug, um Grenzfälle im großen Maßstab zu bewältigen?

Die vorsichtige Einführung von OpenAI ist ein Ansatz, aber ob er das richtige Gleichgewicht zwischen Leistungsfähigkeit und Verantwortlichkeit findet, wird davon abhängen, wie diese Modelle letztendlich genutzt und bewertet werden.

Dennoch ist das Versprechen, das o3 in Bezug auf Denkfähigkeit und Anpassungsfähigkeit zeigt, schwer zu ignorieren und bietet einen Ausblick darauf, was die nächste Generation der KI erreichen könnte.

Wenn du dich für die größten und neuesten Veröffentlichungen dieses Monats interessierst, empfehlen wir dir diese Blogs:

• Was ist der O1 Pro-Modus von OpenAI? Funktionen, ChatGPT Pro & Mehr
• Genesis Physics Engine: Ein Leitfaden mit Beispielen
• Was ist Googles Veo 2? Zugang, Funktionen, Beispiele
• Was ist Metas Llama 3.3 70B? Funktionsweise, Anwendungsfälle und mehr