Cours
Travailler avec l'API OpenAI
3 h
173.1K
OpenAI a annoncé son dernier grand modèle de langage, GPT-4o, successeur de GPT-4 Turbo. Lisez la suite pour découvrir ses capacités, ses performances et comment vous pourriez l’utiliser.
Qu’est-ce que GPT-4o d’OpenAI ?
GPT-4o est le tout dernier LLM d’OpenAI. Le « o » de GPT-4o signifie « omni » — du latin « tous » — et renvoie au fait que ce nouveau modèle accepte des invites mêlant texte, audio, images et vidéo. Jusqu’ici, l’interface ChatGPT utilisait des modèles distincts selon le type de contenu.
Par exemple, lorsque vous parliez à ChatGPT en mode Voix, votre parole était convertie en texte via Whisper, une réponse textuelle était générée avec GPT-4 Turbo, puis cette réponse était transformée en parole grâce au TTS.
Comparaison de la façon dont GPT-4 Turbo et GPT-4o traitent une entrée vocale
De même, travailler avec des images dans ChatGPT impliquait un mélange de GPT-4 Turbo et de DALL-E 3.
Disposer d’un modèle unique pour différents médias promet plus de rapidité, une meilleure qualité de résultats, une interface simplifiée et de nouveaux cas d’usage.
Qu’est-ce que GPT-4o mini ?
GPT-4o Mini est une version plus légère et plus rapide de GPT-4o, pensée pour des tâches où la vitesse et l’efficacité priment. Elle est dérivée du modèle GPT-4o plus grand via un processus de distillation.
Tout en conservant une grande partie de la capacité du modèle original à traiter des entrées multimodales — texte, audio et images —, GPT-4o mini est optimisé pour des applications légères nécessitant des réponses très rapides.
Il est particulièrement utile pour les développeurs recherchant une solution économique pour coder, déboguer et gérer des interactions en temps réel sans mobiliser toute la puissance de calcul de GPT-4o.
Pour en savoir plus, consultez cet article dédié à GPT-4o mini.
En quoi GPT-4o diffère-t-il de GPT-4 Turbo ?
L’approche « tout-en-un » permet à GPT-4o de lever plusieurs limites des interactions vocales précédentes.
1. Le timbre de voix est pris en compte, facilitant des réponses émotionnelles
Avec l’ancien système d’OpenAI combinant Whisper, GPT-4 Turbo et TTS en pipeline, le moteur de raisonnement, GPT-4, n’accédait qu’aux mots prononcés. Le ton de la voix, les bruits de fond et la reconnaissance de différentes voix étaient perdus. GPT-4 Turbo ne pouvait donc pas vraiment moduler ses réponses selon des émotions ou des styles d’élocution variés.
En réunissant texte et audio dans un seul modèle de raisonnement, ces informations audio riches peuvent être exploitées pour fournir des réponses de meilleure qualité, avec une plus grande variété de styles oraux.
Dans l’exemple suivant fourni par OpenAI, GPT-4o adopte un ton sarcastique.
4. Une meilleure tokenisation pour les alphabets non latins, gage de vitesse et d’économies
Dans le flux de travail d’un LLM, le texte de l’invite est converti en tokens, des unités que le modèle comprend.
En anglais, un token correspond généralement à un mot ou à une ponctuation, même si certains mots sont découpés en plusieurs tokens. En moyenne, trois mots anglais occupent environ quatre tokens.
Moins une langue nécessite de tokens pour être représentée, moins il y a de calculs à effectuer et plus la génération est rapide.
De plus, OpenAI facturant son API au token en entrée comme en sortie, moins de tokens signifie un coût inférieur pour les utilisateurs.
GPT-4o intègre un modèle de tokenisation amélioré qui réduit le nombre de tokens requis. Le gain est particulièrement visible pour les langues qui n’utilisent pas l’alphabet latin.
Par exemple, plusieurs langues indiennes en bénéficient nettement : hindi, marathi, tamoul, télougou et gujarati voient une réduction de 2,9 à 4,4 fois. L’arabe affiche une réduction par 2, et les langues d’Asie de l’Est comme le chinois, le japonais, le coréen et le vietnamien entre 1,4 et 1,7 fois.
5. Déploiement sur l’offre gratuite
Avec la tarification actuelle de ChatGPT, l’accès au meilleur modèle était payant : GPT-4 Turbo n’était disponible que pour les offres Plus et Enterprise.
Cela change : OpenAI promet de rendre GPT-4o accessible aussi sur l’offre gratuite. Les abonnés Plus disposeront de cinq fois plus de messages que les utilisateurs gratuits.
Le déploiement sera progressif, avec un accès immédiat pour l’équipe de red team (testeurs qui cherchent à faire dérailler le modèle) puis une ouverture graduelle.
6. Lancement de l’app de bureau ChatGPT
Même si ce n’est pas exclusif à GPT-4o, OpenAI a aussi annoncé la sortie de l’application de bureau ChatGPT. Les avancées en latence et en multimodalité, conjuguées au lancement de l’app, vont probablement changer notre manière de travailler avec ChatGPT. OpenAI a par exemple montré une démo d’un flux de travail de développement augmenté par la voix et l’app desktop. Faites défiler jusqu’aux cas d’usage pour voir cet exemple en action !
Comment fonctionne GPT-4o ?
De nombreux contenus, un seul réseau de neurones
Les détails techniques restent rares. OpenAI indique simplement que GPT-4o est un unique réseau de neurones entraîné sur des entrées texte, vision et audio.
Cette approche diffère de la technique précédente où des modèles séparés étaient entraînés sur des types de données distincts.
Cependant, GPT-4o n’est pas le premier modèle multimodal. En 2022, TenCent Lab a créé SkillNet, combinant des transformeurs de LLM et des techniques de vision par ordinateur pour mieux reconnaître les caractères chinois.
En 2023, une équipe d’ETH Zurich, du MIT et de Stanford a créé WhisBERT, une variante de la famille BERT. Sans être une première, GPT-4o est nettement plus ambitieux et puissant que ces tentatives antérieures.
GPT-4o est-il une rupture par rapport à GPT-4 Turbo ?
Le caractère « radical » du changement par rapport à GPT-4 Turbo dépend de qui vous interrogez chez OpenAI, ingénieurs ou marketing. En avril, un bot nommé « im-also-a-good-gpt2-chatbot » est apparu sur le Chatbot Arena de LMSYS, un classement des meilleures IA génératives. Cette IA mystérieuse s’est révélée être GPT-4o.
La partie « gpt2 » du nom est importante. À ne pas confondre avec GPT-2, prédécesseur de GPT-3.5 et GPT-4, le suffixe « 2 » a largement été interprété comme le signe d’une nouvelle architecture pour la série GPT.
De toute évidence, quelqu’un dans l’équipe R&D d’OpenAI considère que fusionner texte, vision et audio au sein d’un seul modèle justifie un saut de version pour la première fois en six ans.
De son côté, l’équipe marketing a opté pour une évolution de nom plus modeste, en conservant la convention « GPT-4 ».
Performances de GPT-4o vs autres modèles
OpenAI a publié des chiffres de benchmark comparant GPT-4o à plusieurs modèles haut de gamme.
- GPT-4 Turbo
- GPT-4 (version initiale)
- Claude 3 Opus
- Gemini Pro 1.5
- Gemini Ultra 1.0
- Llama 3 400B
Parmi ceux-ci, trois modèles sont particulièrement pertinents : GPT-4 Turbo, Claude 3 Opus et Gemini Pro 1.5, qui se disputent depuis des mois la tête du classement LMSYS Chatbot Arena.
Llama 3 400B pourrait devenir un prétendant, mais n’est pas encore finalisé. Nous présentons donc ici les résultats pour ces trois modèles et GPT-4o.
Six benchmarks ont été utilisés.
- Massive Multitask Language Understanding (MMLU). Tâches en mathématiques, histoire des États-Unis, informatique, droit, etc. Pour obtenir une grande précision, les modèles doivent posséder une vaste connaissance du monde et de solides capacités de résolution de problèmes.
- Graduate-Level Google-Proof Q&A (GPQA). QCM rédigés par des experts en biologie, physique et chimie. Les questions sont de haute qualité et extrêmement difficiles : des experts en doctorat atteignent 74 % de précision.
- MATH. Problèmes de mathématiques niveau collège/lycée.
- HumanEval. Test de correction fonctionnelle de code pour l’évaluation de la génération de code.
- Multilingual Grade School Math (MSGM). Problèmes mathématiques d’école primaire, traduits en dix langues, y compris des langues sous-représentées comme le bengali et le swahili.
- Discrete Reasoning Over Paragraphs (DROP). Questions nécessitant la compréhension de paragraphes complets, par exemple en additionnant, comptant ou triant des valeurs réparties sur plusieurs phrases.
Performance de GPT-4o, GPT-4 Turbo, Gemini Pro 1.5 et Claude 3 Opus sur six benchmarks LLM. Scores de 0 à 100. Reproduction à partir des données d’OpenAI. Aucune donnée fournie pour Gemini Pro 1.5 sur GPQA.
GPT-4o obtient le meilleur score sur quatre benchmarks, mais se fait devancer par Claude 3 Opus sur MSGM et par GPT-4 Turbo sur DROP. Dans l’ensemble, les résultats sont impressionnants et confirment l’intérêt de l’entraînement multimodal.
Si vous regardez de près les chiffres de GPT-4o par rapport à GPT-4 Turbo, les gains ne sont que de quelques points de pourcentage.
C’est un beau progrès un an plus tard, sans toutefois atteindre les bonds spectaculaires de GPT-1 à GPT-2 ou de GPT-2 à GPT-3.
Gagner 10 % en raisonnement textuel d’une année sur l’autre va sans doute devenir la norme. Les « fruits faciles » ont été cueillis et il est difficile de poursuivre avec de grands sauts en compréhension de texte.
En revanche, ces benchmarks ne mesurent pas la performance sur des problèmes véritablement multimodaux. Le concept est si récent qu’il n’existe pas encore de bons indicateurs pour évaluer une IA à travers texte, audio et vision.
Globalement, les performances de GPT-4o sont impressionnantes et valident l’approche d’un entraînement multimodal.
Quels sont les cas d’usage de GPT-4o ?
1. GPT-4o pour l’analyse de données et le code
Les modèles GPT récents et leurs dérivés, comme GitHub Copilot, savent déjà assister en code : écrire, expliquer et corriger. Les capacités multimodales de GPT-4o ouvrent des perspectives intéressantes.
Dans une vidéo présentée par la CTO d’OpenAI, Mira Murati, deux chercheurs d’OpenAI, Mark Chen et Barret Zoph, ont montré comment utiliser GPT-4o avec du code Python.
Le code est partagé sous forme de texte et l’interaction vocale sert à obtenir des explications. Ensuite, après exécution, la vision de GPT-4o aide à expliquer le graphique.
Montrer votre écran à ChatGPT et poser votre question à voix haute peut être plus simple que d’enregistrer un graphique en image, l’envoyer à ChatGPT, puis taper une question.
4. GPT-4o pour assister les personnes malvoyantes
La capacité de GPT-4o à comprendre un flux vidéo et à décrire oralement la scène pourrait devenir indispensable pour les personnes malvoyantes. C’est l’équivalent de l’audiodescription télé… dans la vraie vie.
Prise en main de GPT-4o
J’ai eu accès à certaines nouveautés de GPT-4o peu après l’annonce (malheureusement, pas encore de chat vocal), et beaucoup de ses réponses m’ont impressionné. Les retours semblent plus rapides et plus cohérents, et il comprend mieux mes demandes qu’auparavant. Cela ne veut pas dire que tout est parfait.
Voici quelques exemples d’interactions avec ChatGPT-4o :
Tâche d’analyse de données
D’abord, en conversation vocale, je lui ai demandé des idées pour analyser les performances de l’équipe de foot que je soutiens, le grand Leeds United. En plus de plusieurs pistes, il m’a proposé un exemple de code Python :
import pandas as pd
# Sample data for Leeds United's match results
data = {
'Match': ['Match1', 'Match2', 'Match3', 'Match4', 'Match5'],
'Result': ['Win', 'Draw', 'Loss', 'Win', 'Win'],
'Goals Scored': [2, 1, 0, 3, 2]
}
# Create a DataFrame
df = pd.DataFrame(data)
# Summarize match results
summary = df['Result'].value_counts()
total_goals = df['Goals Scored'].sum()
average_goals = df['Goals Scored'].mean()
# Display summary
print("Match Results Summary:")
print(summary)
print("\nTotal Goals Scored:", total_goals)
print("Average Goals Per Match:", round(average_goals, 2))
Cependant, en creusant, les choses se sont gâtées. J’ai demandé de vraies données : il a bien trouvé deux sources, mais a mal reporté les stats. Leeds a joué 46 matchs en saison régulière, marqué 81 buts avec une différence de +38, et non 40 matchs comme indiqué.
J’ai ensuite demandé de visualiser les buts marqués contre chaque équipe :
Là encore, la tâche est à moitié réussie. La visualisation demandée est bien là et semble correcte en surface, mais en réalité beaucoup de données sont inventées ou inexactes (équipes en double, buts non comptés, équipes d’une autre division).
Soyons justes, la performance aurait sans doute été meilleure si j’avais fourni un jeu de données complet, mais j’aurais préféré qu’il le dise plutôt que d’inventer des réponses avec assurance.
Analyse d’image
Ensuite, je lui ai demandé d’analyser la photo d’une de mes plantes. Je n’ai pas encore la vision intégrée, j’ai donc pris une photo et demandé à ChatGPT quelle plante c’était :
Ce n’est pas mal, même si ce n’est pas tout à fait exact. C’est bien un bonsaï, mais un Ilex crenata et non un Carmona retusa. Les deux se ressemblent, l’erreur est compréhensible, et j’ai apprécié les conseils d’entretien.
Génération d’images
Enfin, je voulais tester ses capacités d’image. Je lui ai d’abord montré la photo de ma tortue, Darwin, et demandé de me parler de mon amie :
Là encore, c’est proche mais pas parfait. Darwin est en réalité une tortue de Horsfield et non d’Hermann, mais elles se ressemblent beaucoup. J’ai ensuite demandé de recréer l’image originale dans le style d’Hokusai. Voici le résultat :
Un beau rendu, même s’il ressemble peu à l’image d’origine — ce qui peut se justifier. La génération a pris un peu de temps.
Globalement, j’ai été séduit par la réactivité du nouveau modèle et par sa compréhension de mes demandes. Il est loin d’être infaillible et hallucine encore parfois avec assurance, mais j’ai hâte d’essayer la voix améliorée et la vision intégrée.
Limites et risques de GPT-4o
La régulation de l’IA générative en est encore à ses débuts ; l’AI Act européen est à ce jour le seul cadre juridique notable. Les entreprises d’IA doivent donc prendre elles-mêmes certaines décisions sur ce qui constitue une IA sûre.
OpenAI dispose d’un cadre de préparation pour déterminer si un nouveau modèle est prêt à être diffusé au public.
Quatre domaines de préoccupation sont testés.
- Cybersécurité. L’IA peut-elle accroître la productivité des cybercriminels et aider à créer des exploits ?
- BCRN. L’IA peut-elle aider des experts à créer des menaces biologiques, chimiques, radiologiques ou nucléaires ?
- Persuasion. L’IA peut-elle produire (potentiellement interactif) du contenu incitant les gens à changer d’avis ?
- Autonomie du modèle. L’IA peut-elle agir en agent et exécuter des actions via d’autres logiciels ?
Chaque domaine est noté « faible », « moyen », « élevé » ou « critique », et la note globale est la plus haute des quatre.
OpenAI promet de ne pas publier un modèle jugé « critique », même si la barre est relativement basse : selon leurs définitions, « critique » correspond à quelque chose qui bouleverserait la civilisation humaine. GPT-4o évite largement ce scénario, avec une préoccupation « moyenne ».
Des sorties imparfaites
Comme toute IA générative, le modèle ne se comporte pas toujours comme prévu. La vision par ordinateur est imparfaite, et les interprétations d’images ou de vidéos ne sont pas garanties.
De même, les transcriptions vocales sont rarement 100 % correctes, particulièrement avec des accents marqués ou du vocabulaire technique.
OpenAI a partagé une vidéo de prises ratées où GPT-4o ne fonctionnait pas comme prévu.
Notamment, la traduction entre deux langues non anglaises a échoué dans certains cas. D’autres problèmes incluaient un ton inadéquat (condescendant) et un mauvais choix de langue.
