Cours
Travailler avec l'API OpenAI
3 h
173.1K
Lors du récent OpenAI DevDay, l'organisation a fait une annonce très attendue : l'arrivée de GPT-4 Turbo, une évolution de son modèle d'IA phare. Nous passons ici en revue ce qu'est GPT-4 Turbo, ses points forts et ce qu'il peut apporter aux développeurs comme aux utilisateurs.
Dans des articles séparés, vous pouvez en lire plus sur les GPTs et le ChatGPT Store, ainsi que sur l'Assistants API, également annoncés lors du Dev Day.
Qu'est-ce que GPT-4 Turbo ?
GPT-4 Turbo est une mise à jour du grand modèle de langue GPT-4 existant. Il apporte plusieurs améliorations, notamment une fenêtre de contexte fortement élargie et un accès à des connaissances plus récentes. OpenAI a progressivement enrichi les capacités de GPT-4 dans ChatGPT avec l'ajout des instructions personnalisées, des plugins ChatGPT, de DALL-E 3 et de l'analyse avancée des données. Cette dernière mise à jour apporte une foule de nouvelles fonctionnalités intéressantes.
Qu'est-ce que GPT-4 Turbo avec vision ?
GPT-4 Turbo avec vision est une variante de GPT-4 Turbo qui intègre des capacités de reconnaissance optique de caractères (OCR). Concrètement, vous pouvez lui fournir une image et il en extrait tout texte présent. Par exemple, vous pouvez lui soumettre la photo d'un menu, et il renverra les plats inscrits sur la photo. De même, vous pouvez lui fournir la photo d'une facture pour extraire automatiquement le nom du fournisseur et le détail des éléments.
Les fonctionnalités "avec vision" seront disponibles par défaut dans ChatGPT, et accessibles aux développeurs en sélectionnant le modèle "gpt-4-vision" dans l'API OpenAI.
Fonctionnalités clés de GPT-4 Turbo
GPT-4 Turbo améliore plusieurs points par rapport aux modèles précédents, élargissant son champ d'action. Voici les éléments qui le distinguent :
Un cutoff des connaissances plus récent
Sam Altman promet de maintenir ChatGPT à jour
Les versions existantes de GPT-3.5 et GPT-4 avaient un cutoff des connaissances fixé à septembre 2021. Autrement dit, elles ne peuvent pas répondre sur des événements postérieurs sans accès à des sources externes.
GPT-4 repousse ce cutoff de dix-neuf mois, jusqu'en avril 2023. Cela signifie que GPT-4 Turbo a accès à des informations et événements jusqu'à cette date, ce qui en fait une source d'information plus fiable et à jour. Par ailleurs, le CEO d'OpenAI, Sam Altman, a promis que "[OpenAI] essaiera de ne plus jamais laisser [GPT] devenir aussi obsolète".
Fenêtre de contexte 128K
La fenêtre de contexte d'un grand modèle de langue (LLM) mesure la durée pendant laquelle il "se souvient" de la conversation. Si un modèle a une fenêtre de 4 000 jetons (environ 3 000 mots), tout ce qui dépasse ce volume est ignoré, et les réponses peuvent perdre en précision, voire contredire des éléments précédents. C'est problématique pour travailler sur de longs documents ou pour des chatbots menant des échanges prolongés.
GPT-4 propose une longueur de contexte maximale de 32 k (32 000) jetons. GPT-4 Turbo l'étend à 128 k jetons (environ 240 pages à 400 mots par page). C'est plus que le contexte maximal de 100 k du modèle Claude 2 d'Anthropic et comparable au modèle YARN-MISTRAL-7b-128k de Nous Research.
Reste à voir si cette fenêtre de contexte élargie maintient des performances satisfaisantes sur toute sa longueur. Des travaux récents de Stanford University ont montré que les modèles long contexte actuels récupèrent avec précision surtout des informations situées au début ou à la fin des documents.
Notons aussi que 128 k semble n'être qu'une étape vers le rêve d'un "contexte infini". Des recherches préliminaires de Microsoft et de l'université Xi'an Jiaotong visent à porter les LLM à un milliard de jetons de contexte.
GPT devient plus abordable
Face à une concurrence accrue sur le marché des LLM, OpenAI a réduit le prix de GPT-4 Turbo pour le rendre plus accessible aux développeurs. Via l'API OpenAI, le prix des jetons d'entrée de GPT-4 Turbo est désormais égal à un tiers de l'ancien tarif, passant de 3 cents US à 1 cent US pour 1 000 jetons. Les jetons de sortie coûtent deux fois moins cher, de 6 cents US à 3 cents US pour 1 000 jetons.
La même tendance s'applique aux modèles GPT-3.5 Turbo, avec des jetons d'entrée 3 fois moins chers (0,1 cent US pour 1 000 jetons) et des jetons de sortie 2 fois moins chers (0,2 cent US pour 1 000 jetons).
En outre, pour le modèle GPT-3.5 Turbo 4K affiné, les jetons d'entrée sont 4 fois plus abordables, passant de 1,2 cent US à 0,3 cent US pour 1 000 jetons, et les jetons de sortie sont 2,7 fois moins chers, de 1,6 cent US à 0,6 cent US pour 1 000 jetons. Le prix d'entraînement reste inchangé à 0,8 cent US pour 1 000 jetons.
Ces ajustements visent à rendre les modèles d'IA avancés plus rentables pour les développeurs.
GPT devient multimodal : invites par image et synthèse vocale
"GPT-4 Turbo avec vision" a été annoncé comme arrivant prochainement. Vous pourrez bientôt utiliser des images comme invites en les téléversant directement dans la fenêtre de chat. L'outil pourra ensuite générer des légendes ou décrire le contenu de l'image. Il gérera également les demandes de conversion texte→voix.
Mises à jour de l'appel de fonctions
L'appel de fonctions est une fonctionnalité destinée aux développeurs qui intègrent l'IA générative dans leurs applications. Elle leur permet de décrire des fonctions de leur application ou d'API externes à GPT-4 Turbo. Avec la possibilité d'appeler plusieurs fonctions dans un même message, l'interaction avec le modèle est fluidifiée. Par exemple, un utilisateur peut envoyer un seul message demandant plusieurs actions, évitant ainsi des allers-retours multiples.
Comment accéder à GPT-4 Turbo
L'accès à GPT-4 Turbo est ouvert à "tous les développeurs payants" : si vous disposez de l'accès API, vous pouvez simplement passer "gpt-4-1106-preview" comme nom de modèle dans l'API OpenAI. De même, pour GPT-4 Turbo avec vision, vous pouvez passer "gpt-4-vision-preview" comme nom de modèle.
Notez que ces modèles en préversion ne sont pas encore jugés prêts pour la production. Cependant, dans le cadre de l'annonce, Altman a également promis qu'une version production sera disponible dans les semaines à venir.
Pour les non-développeurs, GPT-4 Turbo devrait être proposé aux utilisateurs de ChatGPT Plus et ChatGPT Enterprise dans les prochaines semaines.
Limites de quota
L'accès aux modèles GPt via l'API OpenAI est soumis à des limites de quota. Autrement dit, vous ne pouvez effectuer qu'un nombre limité de requêtes à l'API par mois. OpenAI a publié des lignes directrices plus claires sur le fonctionnement de ces limites, afin d'éviter que votre application ne soit coupée inopinément.
De plus, les limites de quota pour GPT-4 ont doublé
Comme GPT-4 Turbo est actuellement en phase de préversion, les limites de quota pour GPT-4 Turbo sont fixées à 20 requêtes par minute et 100 requêtes par jour. OpenAI a indiqué qu'il n'augmenterait pas ces limites pour ce modèle pour l'instant. Cela devrait toutefois évoluer une fois la version publique disponible.
En conclusion
L'annonce de GPT-4 Turbo offre un aperçu enthousiasmant de l'avenir de l'IA générative, et nous avons hâte de le prendre en main. Si vous débutez avec l'univers GPT, découvrez notre cours Introduction to ChatGPT. Pour aller plus loin, notre tutoriel sur l'utilisation de GPT-3.5 et GPT-4 via l'API OpenAI en Python regorge de pistes à explorer.