O3 d'OpenAI : Caractéristiques, comparaison O1, date de sortie et plus encore

Qu'est-ce que l'OpenAI O3 ?

O3 est le dernier modèle frontière de l'OpenAI, conçu pour faire progresser les capacités de raisonnement dans toute une série de tâches complexes. Annoncé en même temps que son homologue plus petit, o3 mini, il vise à relever les défis en matière de codage, de mathématiques et d'intelligence générale.

Nous trouvons qu'o3 est remarquable pour l'accent qu'il met sur les benchmarks plus difficiles qui testent le raisonnement d'une manière que les modèles précédents n'ont pas entièrement abordée. OpenAI a mis en avant ses améliorations par rapport à o1, le positionnant comme un système plus apte à gérer la résolution de problèmes complexes.

O1 vs o3 sur le codage. Source : OpenAI

Actuellement, O3 n'est pas disponible pour une utilisation générale. OpenAI commence par des tests de sécurité publique, invitant les chercheurs à explorer ses forces et ses limites. Nous pensons que cette approche collaborative reflète une reconnaissance croissante de la nécessité d'une évaluation minutieuse à mesure que les modèles d'IA deviennent de plus en plus performants.

O1 vs. O3

O3 s'appuie directement sur les fondements établis par O1, mais les améliorations sont significatives dans des domaines clés. OpenAI a positionné o3 comme un modèle conçu pour traiter des tâches de raisonnement plus complexes, avec des gains de performance reflétés dans ses benchmarks.

Codage

Nous avons constaté des différences évidentes entre les deux modèles (voir le graphique ci-dessus). Pour les tâches de codage de type logiciel, O3 a atteint une précision de 71,7 % sur Bench Verified, ce qui représente une amélioration substantielle par rapport à o1.

De même, dans la programmation compétitive, o3 a atteint un score ELO de 2727, dépassant de loin le précédent record d'o1 de 1891. Ces chiffres indiquent que l'accent est mis sur l'amélioration de la capacité du modèle à relever les défis du codage dans le monde réel.

Mathématiques et sciences

Les améliorations ne se limitent pas au codage. o3 a également excellé en raisonnement mathématique, obtenant une précision de 96,7 % à l'AIME 2024, contre 83,3 % pour o1. Ces progrès suggèrent que le modèle peut traiter des problèmes plus nuancés et plus difficiles, se rapprochant ainsi des critères de référence traditionnellement dominés par les experts humains.

O1 vs o3 en maths et sciences. Source : OpenAI

Le saut est également apparent dans les critères de référence liés aux sciences. Sur GPQA Diamond, qui mesure les performances sur des questions scientifiques de niveau doctoral, o3 a obtenu une précision de 87,7 %, contre 78 % pour o1. Ces progrès témoignent d'une amélioration générale de la capacité du modèle à résoudre des problèmes techniques exigeants dans toutes les disciplines.

EpochAI Frontier Math

Un domaine dans lequel les progrès d'o3 sont particulièrement remarquables est celui du benchmark EpochAI Frontier Math.

Il est considéré comme l'un des critères de référence les plus difficiles dans le domaine de l'intelligence artificielle, car il se compose de problèmes nouveaux et inédits qui sont intentionnellement conçus pour être beaucoup plus difficiles que les ensembles de données standard. Nombre de ces problèmes relèvent de la recherche mathématique et nécessitent souvent des heures, voire des jours, de travail de la part de mathématiciens professionnels pour résoudre un seul problème. Les systèmes d'IA actuels obtiennent généralement un score inférieur à 2 % sur ce critère, ce qui souligne sa difficulté.

O3 sur EpochAI Frontier Math. Source : OpenAI

Epic AI's Frontier Math est important parce qu'il pousse les modèles au-delà de la mémorisation par cœur ou de l'optimisation de modèles familiers. Il teste plutôt leur capacité à généraliser, à raisonner de manière abstraite et à s'attaquer à des problèmes qu'ils n'ont jamais rencontrés auparavant - des caractéristiques essentielles pour faire progresser les capacités de raisonnement de l'IA. Le score de 25,2 % obtenu par o3 à ce test de référence semble constituer un progrès significatif.

La percée d'O3 sur l'ARC AGI

L'une des réalisations les plus marquantes d'o3 est sa performance sur le benchmark ARC AGI, un test largement considéré comme l'étalon-or pour l'évaluation de l'intelligence générale dans l'IA.

Développé en 2019 par François Chollet, ARC (Abstraction and Reasoning Corpus) se concentre sur l'évaluation de la capacité d'une IA à apprendre et à généraliser de nouvelles compétences à partir d'exemples minimaux. Contrairement aux critères de référence traditionnels qui testent souvent les connaissances pré-entraînées ou la reconnaissance des formes, les tâches ARC sont conçues pour pousser les modèles à déduire des règles et des transformations à la volée - des tâches que les humains peuvent résoudre intuitivement mais que l'IA a toujours eu du mal à réaliser.

Ce qui rend l'ARC AGI particulièrement difficile, c'est que chaque tâche requiert des capacités de raisonnement distinctes. Les modèles ne peuvent pas s'appuyer sur des solutions mémorisées ou des modèles ; ils doivent au contraire s'adapter à des défis entièrement nouveaux à chaque test. Par exemple, une tâche peut consister à identifier des modèles dans des transformations géométriques, tandis qu'une autre peut nécessiter un raisonnement sur des séquences numériques. Cette diversité fait de l'ARC AGI une mesure puissante de la capacité d'une IA à penser et à apprendre comme un être humain.

Pouvez-vous deviner la logique par laquelle l'entrée est transformée en sortie ? Source : OpenAI

La performance d'o3 sur ARC AGI marque une étape importante. Avec des paramètres de calcul faibles, o3 a obtenu un score de 76 % sur l'ensemble semi-privé, un chiffre bien supérieur à celui de tous les modèles précédents.

Lorsqu'il a été testé avec des paramètres de calcul élevés, il a atteint un taux encore plus impressionnant de 88 %, dépassant le seuil de 85 % souvent cité comme étant une performance de niveau humain. C'est la première fois qu'une IA surpasse les humains sur ce critère, établissant ainsi une nouvelle norme pour les tâches basées sur le raisonnement.

Performance de la série O. Source : ArcPrize

Nous pensons que ces résultats sont particulièrement remarquables parce qu'ils démontrent la capacité d'o3 à gérer des tâches qui exigent de l'adaptabilité et de la généralisation plutôt que des connaissances apprises par cœur ou un calcul brutal. Il s'agit d'une indication claire qu'o3 se rapproche d'une véritable intelligence générale, dépassant les capacités spécifiques à un domaine et pénétrant dans des domaines que l'on pensait jusqu'à présent exclusivement humains.

Qu'est-ce que o3 Mini ?

o3 mini a été introduit parallèlement à o3 en tant qu'alternative économique conçue pour apporter des capacités de raisonnement avancées à un plus grand nombre d'utilisateurs tout en maintenant les performances. L'OpenAI l'a décrite comme une redéfinition de la "frontière coût-performance" dans les modèles de raisonnement, la rendant accessible pour les tâches qui exigent une grande précision mais qui doivent tenir compte des contraintes de ressources.

L'une des caractéristiques les plus remarquables d'o3 mini est son temps de réflexion adaptatif, qui permet aux utilisateurs d'ajuster l'effort de raisonnement du modèle en fonction de la complexité de la tâche. Pour les problèmes plus simples, les utilisateurs peuvent sélectionner pour un raisonnement à faible effort afin de maximiser la vitesse et l'efficacité.

Pour les tâches plus complexes, des options de raisonnement plus poussées permettent au modèle d'atteindre des niveaux de performance comparables à ceux d'o3 lui-même, mais à une fraction du coût. Cette flexibilité est particulièrement intéressante pour les développeurs et les chercheurs qui travaillent sur différents cas d'utilisation.

O3 mini benchmarks. Source : OpenAI

La démonstration en direct a montré comment o3 mini tient ses promesses. Par exemple, dans une tâche de codage, o3 mini a été chargé de générer un script Python pour créer un serveur local avec une interface utilisateur interactive à des fins de test. Malgré la complexité de la tâche, le modèle a donné de bons résultats, démontrant ainsi sa capacité à relever des défis de programmation sophistiqués.

Interface interactive créée avec o3 mini lors de la démonstration en direct. Source : OpenAI

Nous considérons o3 mini comme une solution pratique pour les scénarios où la rentabilité et la performance doivent s'aligner.

Alignement délibératif : Innovations en matière d'essais de sécurité

OpenAI a adopté une approche proactive des tests de sécurité pour o3 et o3 mini en ouvrant l'accès aux chercheurs pour des évaluations de sécurité publique avant la publication complète des modèles.

Un élément central de la stratégie de sécurité d'OpenAI pour o3 est l'alignement délibératif, une méthode qui va au-delà des approches de sécurité traditionnelles. Le graphique ci-dessous montre en quoi l'alignement délibératif diffère d'autres méthodes telles que la RLHF (Reinforcement Learning with Human Feedback), RLAIF (Reinforcement Learning with AI Feedback), et les techniques de raffinement en temps d'inférence comme Self-REFINE.

Source : OpenAI

Dans l'alignement délibératif, le modèle ne se contente pas de s'appuyer sur des règles statiques ou des ensembles de données de préférences pour déterminer si une invite est sûre ou non. Au lieu de cela, il utilise ses capacités de raisonnement pour évaluer les messages en temps réel. Le graphique ci-dessus illustre ce processus :

1. Génération de données d'apprentissage: Contrairement à la RLHF, où les données humaines informent directement le modèle, l'alignement délibératif utilise un modèle de raisonnement pour générer des chaînes de pensée (CoT). chaîne de pensée (CoT) pour des invites spécifiques. Ces sorties CoT fournissent des modèles de raisonnement nuancés qui guident le processus de formation, aidant le modèle à comprendre le contexte et l'intention de manière plus efficace.
2. Temps d'inférence: Pendant l'inférence, le modèle de raisonnement évalue les invites et fournit une explication de la chaîne de pensée en même temps que ses réponses. Cette étape permet au modèle d'évaluer de manière dynamique l'intention et le contexte d'une invite, en identifiant les risques cachés potentiels ou les ambiguïtés que les règles statiques pourraient manquer.

Date de sortie de l'O3

Pour l'instant, o3 et o3 mini ne sont pas disponibles à grande échelle, mais OpenAI en a ouvert l'accès aux chercheurs dans le cadre de son programme de tests de sécurité.

En ce qui concerne la disponibilité publique, OpenAI a communiqué un calendrier provisoire. o3 mini devrait être lancé d'ici la fin du mois de janvier, offrant une option économique pour les tâches de raisonnement. La version complète de l'o3 suivra peu de temps après, bien qu'OpenAI ait souligné que son calendrier dépendait des commentaires et des informations obtenus au cours de la phase de test de sécurité.

Nous considérons cette approche prudente comme une étape positive, qui donne la priorité à une évaluation approfondie et à un alignement réfléchi sur les besoins des utilisateurs, tout en maintenant la transparence tout au long du processus de développement.

Conclusion

O3 et o3 mini mettent en évidence la complexité croissante des systèmes d'IA et les défis liés à leur diffusion de manière responsable. Bien que les données de référence soient impressionnantes, nous nous intéressons davantage aux questions que ces modèles soulèvent : Quelles seront leurs performances dans des scénarios réels ? Les mesures de sécurité sont-elles suffisamment robustes pour traiter les cas extrêmes à grande échelle ?

Le déploiement prudent de l'OpenAI est une approche, mais le bon équilibre entre capacité et responsabilité dépendra de la manière dont ces modèles seront finalement utilisés et évalués.

Néanmoins, il est difficile d'ignorer le potentiel de raisonnement et d'adaptabilité de l'o3, qui offre un aperçu de ce que la prochaine génération d'IA pourrait réaliser.

Si vous souhaitez découvrir les nouveautés les plus importantes et les plus récentes de ce mois, nous vous recommandons ces blogs :

• Qu'est-ce que le mode O1 Pro d'OpenAI ? Fonctionnalités, ChatGPT Pro et plus encore
• Moteur physique Genesis : Un guide avec des exemples
• Qu'est-ce que Veo 2 de Google ? Comment y accéder, fonctionnalités, exemples
• Qu'est-ce que le lama de Meta 3.3 70B ? Comment ça marche, cas d'utilisation et plus encore