Tout ce que nous savons sur le GPT-5

Qu'est-ce que le GPT-5 ?

Generative Pre-trained Transformer ou GPT est une série de grands modèles de langage (LLM) développés par OpenAI qui ont influencé de manière significative les domaines de la ML et de l'IA.

Le GPT, à la base, est conçu pour comprendre et générer un texte de type humain sur la base des données qu'il reçoit. Ces modèles sont formés à partir de vastes ensembles de données. La famille de modèles GPT a contribué à populariser les applications basées sur le LLM, établissant de nouvelles références pour ce qui est possible dans le traitement du langage naturel, la génération et au-delà.

Le GPT-5 représente la prochaine itération de la série GPT. Certains d'entre vous se demandent peut-être ce que signifie la prochaine itération. Jetons un coup d'œil sur l'histoire des modèles TPG jusqu'à présent : 

GPT-1

En 2018, OpenAI a introduit le concept de pré-entraînement génératif avec GPT-1, en utilisant une architecture de transformateur pour améliorer la compréhension du langage naturel. Ce modèle, décrit dans leur article intitulé "Improving Language Understanding by Generative Pre-Training", a servi de preuve de concept et n'a pas été rendu public.

GPT-2

Un an plus tard, l'OpenAI a publié GPT-2, qui présente des améliorations significatives en matière de génération de texte. Le GPT-2 était capable de générer de courts passages de texte, ce qui constituait une avancée notable par rapport à son prédécesseur. Il était accessible au public, ce qui a permis d'élargir l'expérimentation dans la communauté de l'apprentissage automatique.

GPT-3

Avec la publication de GPT-3 en 2020, OpenAI a considérablement augmenté la taille de son modèle, avec 100 fois plus de paramètres que GPT-2. Cette expansion a permis à GPT-3 de produire des textes beaucoup plus longs et plus cohérents, et de réaliser des performances impressionnantes dans diverses tâches. L'introduction de ChatGPT, une itération de la série GPT-3.5 axée sur la conversation, a démontré la remarquable capacité du modèle à générer des textes semblables à ceux d'un être humain. Le modèle a été rapidement adopté et a atteint 100 millions d'utilisateurs en l'espace de deux mois seulement.

GPT-4

Le GPT-4, dernier né de la série, affine encore les capacités introduites par ses prédécesseurs. Avec un ensemble de données encore plus important et davantage de paramètres, GPT-4 améliore les capacités de compréhension et de génération de langage naturel de GPT-3. Il est plus performant lorsqu'il s'agit de générer des textes cohérents et pertinents en fonction du contexte sur de longs passages et fait preuve d'une meilleure compréhension dans des scénarios de conversation complexes.

Les avancées de GPT-4 comprennent une compréhension plus nuancée du contexte, une amélioration de la factualité et une réduction de la production de contenu biaisé ou nuisible. Son adoption s'étend à diverses applications, des agents conversationnels avancés aux outils de création de contenu sophistiqués, ce qui souligne sa polyvalence et l'évolution constante des technologies de traitement du langage naturel basées sur l'IA.

En novembre 2023, OpenAI a dévoilé GPT-4 Turbo with Vision, qui a mis à jour plusieurs fonctionnalités. Puis, en mai 2024, le GPT-4o a été lancé, un modèle multimodal qui offre des vitesses encore plus rapides et des coûts plus bas. Vous pouvez en savoir plus sur l 'évolution de la famille GPT dans notre article précédent concernant GPT-4.

GPT-5

Quand le GPT-5 sera-t-il publié ?

Lors d'une discussion entre Sam Altman et Bill Gates en janvier 2024, ce dernier a reçu la confirmation que le travail sur le GPT-5 avait commencé, sans donner d'indice sur la date de sortie.

Quelles sont les caractéristiques que l'on peut attendre du GPT-5 ?

La sortie du GPT-5 pouvant avoir lieu dans un an ou deux, la plupart des prévisions concernant ses avancées sont basées sur les tendances actuelles façonnées par Google et les initiatives d'IA à code source ouvert. Ces développements nous donnent des indications précieuses sur l'orientation future de l'industrie.

Cependant, les premiers indices proviennent directement de l'équipe centrale de l'OpenAI. Lors de l'entretien avec M. Gates, M. Altman a souligné que les efforts de l'OpenAI se concentreraient sur l'amélioration des capacités de raisonnement et sur l'intégration de capacités de traitement vidéo.

Essayons donc d'y voir un peu plus clair et d'examiner les principales améliorations attendues du GPT-5.

Taille des paramètres

La taille exacte du paramètre GPT-4 n'a pas encore été divulguée, les estimations suggérant environ 1,5 trillion. Le GPT-5, en tant que système plutôt que modèle autonome, intégrera de multiples architectures, y compris les capacités de raisonnement de l'O3. Je m'attends à ce que sa capacité reflète cette approche combinée plutôt qu'une simple augmentation des paramètres.

Si cette trajectoire se poursuit, le GPT-5 pourrait redéfinir les limites des LLM actuels, en offrant une taille sans précédent.

Multimodalité

Le GPT-4o traite actuellement la parole, les images et le texte. La feuille de route de M. Altman confirme que le GPT-5 comprendra des fonctions vocales, de toile et de recherche, avec un potentiel de traitement vidéo basé sur des indices antérieurs provenant de sa discussion de janvier 2024 avec Bill Gates. Les capacités multimodales d'OpenAI s'en trouveront renforcées, ce qui va dans le sens des tendances observées chez des concurrents tels que Gemini de Google.

Du chatbot à l'agent

Le passage des chatbots à des agents entièrement autonomes est une autre frontière passionnante. Imaginez que vous puissiez assigner des tâches ou des emplois subalternes à une application alimentée par GPT. Cela pourrait devenir une réalité si OpenAI continue d'intégrer des services tiers. Nous avons déjà assisté à l'introduction de GPT personnalisés et d'opérateurs, et cette tendance va probablement continuer à se développer.

Cette nouvelle fonctionnalité permettrait au GPT-5 de se connecter à divers services et d'effectuer des actions dans le monde de manière transparente, en agissant au nom des utilisateurs pour accomplir des tâches sans supervision humaine directe. Par exemple, nous pourrions demander à un agent autonome de faire nos courses en fonction de nos préférences alimentaires.

Une meilleure précision

Le modèle actuel GPT-4 est 40% plus performant que son prédécesseur GPT-3. Avec l'intégration du raisonnement en chaîne de pensée d'o3 dans le GPT-5, je prévois des gains supplémentaires en termes de fiabilité et de compréhension contextuelle, réduisant ainsi les erreurs dans diverses applications.

Augmentation du nombre de fenêtres contextuelles

L'une des limites des modèles actuels est la taille de la fenêtre contextuelle qu'ils peuvent prendre en compte pour générer des réponses. Étant donné que le GPT-5 pourrait être entraîné avec une plus grande quantité de données, on s'attend à ce qu'il dispose d'une fenêtre contextuelle élargie, lui permettant de comprendre et de référencer de plus grandes portions de texte, ce qui conduira à des résultats plus cohérents et plus pertinents sur le plan contextuel.

Utilisation rentable de l'API OpenAI

Avec l'apparition de nouveaux modèles, on peut également s'attendre à une réduction du coût d'utilisation de l'API OpenAI, ce qui rendra les technologies telles que GPT-4o plus accessibles.

Cette démocratisation de l'accès pourrait susciter une vague d'innovation, permettant à un plus grand nombre de développeurs et d'organisations d'intégrer l'IA avancée dans leurs applications.

Lorsqu'ils seront moins chers et plus accessibles, les modèles GPT pourraient devenir plus performants pour effectuer des tâches complexes telles que le codage ou la recherche. Si vous n'avez pas encore essayé l' API d'OpenAI, je vous recommande vivement de suivre le guide de DataCamp sur l'API d'OpenAI pour en avoir un aperçu.

Conclusion

La feuille de route de Sam Altman du 12 février 2025 fournit des détails spécifiques sur le GPT-5, allant au-delà des spéculations qui ont marqué les discussions antérieures. Il confirme que le GPT-4.5 sera lancé dans quelques semaines, suivi par le GPT-5 dans quelques mois, en vue d'une sortie à l'été 2025 avec une approche de système unifié. Je considère qu'il s'agit d'une étape importante dans l'évolution de l'OpenAI, qui intègre des fonctions avancées et un accès différencié pour répondre à divers besoins.

Si vous êtes impatient de commencer à explorer tout ce que les modèles GPT ont à offrir, commencez par notre cours Introduction au ChatGPT ou, si vous êtes déjà familier avec le modèle, notre webinaire sur l'utilisation de l'analyse avancée des données du ChatGPT.