Guide du débutant sur GPT-3

Le traitement automatique du langage naturel (NLP) est un sous-domaine de la linguistique, de l’informatique, de l’intelligence artificielle et de l’ingénierie de l’information. Il s’intéresse aux interactions entre les ordinateurs et les langues humaines (naturelles), en particulier à la manière de programmer les machines pour traiter et analyser de très grands volumes de données textuelles.

Intéressant, non ? Et si nous vous disions que nous avons demandé à un algorithme nommé GPT-3 d’écrire ce paragraphe… et qu’il l’a fait du premier coup ? Ce n’est pas une blague ! Regardez plutôt…

GPT-3 en action

Impressionnant, n’est-ce pas ? Revenons au NLP. Il permet aux ordinateurs de traiter le langage humain sous forme de texte ou de voix et d’en « comprendre » le sens global, y compris l’intention et le sentiment de l’auteur ou de l’orateur. Le NLP a été le théâtre de certaines des avancées et applications d’IA les plus marquantes de la dernière décennie. Ces dernières années, la tendance la plus stimulante dans ce domaine concerne les grands modèles de langage, dont fait partie GPT-3.

Pour certains, GPT-3 représente une première étape vers l’intelligence artificielle générale. Aucun autre modèle d’IA n’a suscité autant d’attention. Sa grande flexibilité à accomplir toute une série de tâches générales avec une efficacité et une précision proches de l’humain le rend particulièrement enthousiasmant. Il a été publié sous forme d’API afin d’offrir aux data scientists, développeurs et professionnels du monde entier un accès inédit à l’un des modèles linguistiques les plus puissants.

Le modèle a été créé par OpenAI, une entreprise à la pointe de la R&D en intelligence artificielle. Depuis sa sortie initiale en juillet 2020, des développeurs du monde entier ont imaginé des centaines d’applications prometteuses de GPT-3, capables de transformer nos façons de communiquer, d’apprendre et de nous divertir. Il résout aisément des tâches générales liées au langage et passe naturellement d’un style ou d’un objectif de texte à un autre.

Avant GPT-3, les modèles linguistiques étaient conçus pour exécuter une tâche NLP spécifique, comme la génération, le résumé ou la classification de texte. GPT-3 est le premier modèle linguistique véritablement généraliste de l’histoire du NLP, capable de bien performer sur un large éventail de tâches. GPT-3 signifie « Generative Pre-trained Transformer » ; c’est la troisième itération du modèle par OpenAI. Détaillons ces trois termes :

• Génératif : les modèles génératifs sont des modèles statistiques utilisés pour produire de nouvelles données. Ils apprennent les relations sous-jacentes entre les variables d’un jeu de données pour générer des exemples similaires à ceux du corpus d’entraînement.
• Pré‑entraîné : les modèles pré‑entraînés ont déjà été formés sur de très grands jeux de données. Ils peuvent ainsi être réutilisés pour des tâches pour lesquelles il serait coûteux de repartir de zéro. Un modèle pré‑entraîné n’est pas forcément parfait, mais il évite de « réinventer la roue », fait gagner du temps et améliore les performances.
• Transformer : un modèle transformer est un réseau de neurones devenu célèbre depuis 2017. C’est un modèle d’apprentissage profond conçu pour gérer des données séquentielles, comme le texte. Les transformers sont notamment utilisés pour la traduction automatique et la classification de texte.

Dans la section suivante, nous replacerons les modèles linguistiques dans leur contexte : ce qu’ils sont, comment ils fonctionnent et à quoi ils servent. Pour en savoir plus sur ce que nous savons de GPT-4, consultez notre article dédié. Vous pouvez aussi approfondir l’IA ici ou découvrir les dernières actualités d’OpenAI et Google AI et leur impact sur la data science.

Qu’est‑ce qu’un grand modèle de langage ?

Ces dernières années, le traitement automatique du langage naturel (NLP) s’est passionné pour la construction de grands modèles de langage, ou LLM. Entraînés sur d’immenses volumes de texte, les LLM servent à de nombreuses tâches basées sur le langage, comme la génération de texte, la traduction automatique ou les réponses à des questions.

La modélisation du langage consiste à utiliser la probabilité pour comprendre comment les phrases s’agencent dans une langue donnée. Les modèles simples observent un mot et prédisent le ou les mots les plus susceptibles de suivre, à partir d’analyses statistiques de séquences textuelles existantes. Par exemple, la phrase « J’adore promener mon… » a plus de chances de se terminer par « chien » que par « réfrigérateur ». Pour améliorer la précision des prédictions, il est essentiel d’entraîner le modèle sur de grandes quantités de données.

On peut voir les LLM comme des machines de prédiction statistiques : on saisit du texte en entrée et ils produisent des prédictions en sortie. Vous connaissez sans doute cela via l’autocomplétion sur votre téléphone. Tapez « bon », et l’autocomplétion proposera « jour » ou « courage ». De nombreuses applications de NLP, comme l’autocomplétion, reposent sur des modèles de langage.

Si les modèles de langage existent depuis longtemps, leur succès récent tient à plusieurs facteurs : la disponibilité de données d’entraînement massives, de meilleurs algorithmes d’apprentissage et l’usage de GPU pour accélérer l’entraînement. Plus il y a de données, mieux le modèle apprend les relations entre les mots et leurs contextes d’usage. Résultat : une meilleure compréhension du sens des textes et des prédictions plus pertinentes.

Le succès des LLM tient à leur capacité à capturer les dépendances entre les mots d’un texte. Par exemple, dans « Le chat est assis sur le tapis », « chat » dépend de « le » et « tapis » dépend de « sur ». Dans un grand modèle de langage, ces dépendances sont encodées dans les paramètres du modèle. À mesure que ces modèles gagnent en sophistication, le nombre de paramètres explose, comme l’illustre le graphique ci‑dessous publié par Microsoft Research.

Évolution de la taille des modèles NLP de référence au fil du temps (échelle logarithmique)
Source : billet du blog Microsoft Research publié le 11 octobre 2021

Le pré‑entraînement de grands modèles de langage exige d’énormes ressources de calcul, très énergivores. La demande croissante pour ces modèles requiert toujours plus de puissance, avec un impact environnemental notable, notamment en consommation d’énergie et en émissions de carbone.

Dans une étude de 2019, des chercheurs de l’Université du Massachusetts ont estimé que l’entraînement d’un grand modèle d’apprentissage profond génère 626 000 livres de CO₂, soit l’équivalent des émissions sur l’ensemble du cycle de vie de cinq voitures. À mesure que les modèles grossissent, leurs besoins en calcul dépassent les gains d’efficacité du matériel. Une étude de 2021 estime que l’entraînement de GPT-3 a produit environ 552 tonnes métriques de CO₂, soit à peu près les émissions annuelles de 120 voitures.

Cependant, l’article « Green AI » de 2019 souligne « que la mise à disposition publique de modèles pré‑entraînés est un succès pour l’environnement », et encourage les organisations « à continuer de publier leurs modèles afin d’éviter à d’autres de devoir les réentraîner ». Les entreprises comme OpenAI qui diffusent des modèles pré‑entraînés travaillent en continu à réduire l’empreinte carbone de leur entraînement.

GPT-3 se montre très précis sur de multiples tâches NLP grâce à l’ampleur du corpus sur lequel il a été entraîné et à son architecture de 175 milliards de paramètres, qui lui permet de saisir les relations logiques dans les données. Il a été pré‑entraîné sur un corpus issu de cinq grands jeux de données : Common Crawl, WebText2, Books1, Books2 et Wikipedia. Au total, près d’un trillion de mots, ce qui lui permet d’exécuter avec succès un grand nombre de tâches NLP en « zero‑shot », c’est‑à‑dire sans fournir d’exemples.

Dans la section suivante, nous verrons les transformers, l’architecture emblématique qui a bouleversé la modélisation du langage et redéfini le champ des possibles en NLP.

Qu’est‑ce qu’un modèle transformer ?

Le transformer est une architecture de réseau de neurones particulièrement adaptée aux tâches de modélisation du langage. Elle a été présentée pour la première fois dans l’article « Attention is All You Need » en 2017. Cet article décrit les transformers comme une architecture conçue pour exécuter efficacement des tâches séquence‑à‑séquence tout en gérant aisément les dépendances à longue portée. Les transformers se sont rapidement imposés comme l’architecture de référence en NLP.

Le mécanisme séquence‑à‑séquence (Seq2Seq) est l’épine dorsale des transformers. Il transforme une séquence d’éléments (par exemple, les mots d’une phrase) en une autre séquence (par exemple, la même phrase dans une autre langue), ce qui le rend particulièrement adapté à la traduction. Google Translate utilise depuis fin 2016 une architecture similaire en production.

Source : billet « The Illustrated Transformer » de Jay Alammar

Les modèles Seq2Seq comportent deux parties : un encodeur et un décodeur. On peut les comparer à deux traducteurs humains qui ne maîtrisent chacun que deux langues. Chacun a une langue maternelle différente ; disons que l’encodeur est natif chinois et le décodeur natif anglais. Ils partagent une seconde langue, le japonais. Pour traduire du chinois vers l’anglais, l’encodeur convertit la phrase chinoise en japonais. Cette phrase en japonais, appelée « contexte », est transmise au décodeur. Comme le décodeur comprend le japonais, il peut maintenant traduire du japonais vers l’anglais.

Autre composant clé des transformers : le mécanisme d’« attention ». Il s’inspire de l’attention cognitive, c’est‑à‑dire la manière dont notre cerveau se focalise sur les éléments importants d’une phrase pour en saisir le sens global. Par exemple, en lisant cette phrase, vous vous concentrez sur le mot courant tout en gardant en mémoire les mots clés qui apportent le contexte.

Le mécanisme d’attention parcourt la séquence d’entrée morceau par morceau et détermine, à chaque étape, quelles autres parties de la séquence sont pertinentes. Il aide ainsi le transformer à filtrer le bruit et à se concentrer sur l’essentiel, en reliant des mots apparentés qui ne portent pas nécessairement d’indices évidents les uns vers les autres.

Les modèles transformers bénéficient d’architectures plus vastes et de quantités de données accrues. Ils comprennent mieux le contexte des mots dans une phrase que tout autre type de réseau de neurones, ce qui explique leur impact majeur sur l’apprentissage automatique. À mesure qu’ils évoluent, leur influence ira croissant, et vous pouvez commencer à expérimenter avec les LLM en quelques étapes simples.

Bien démarrer avec GPT-3

Explorer l’API OpenAI

Même si GPT-3 est l’un des modèles de langage les plus sophistiqués au monde, ses capacités sont accessibles via une interface « texte en entrée, texte en sortie » très simple. Première étape pour commencer avec GPT-3 : obtenir un accès à l’API OpenAI. Vous pouvez en faire la demande ici et, en quelques minutes, votre compte sera prêt.

Une fois votre compte développeur OpenAI activé, rendez‑vous dans le Playground, un bac à sable privé, accessible depuis le web, qui permet d’expérimenter l’API et de comprendre comment ses différents composants interagissent.

Composants de l’API OpenAI

Voici un aperçu des composants de l’API et de leurs fonctions :

• Moteur d’exécution : il détermine le modèle de langage utilisé. Le bon choix d’engin conditionne les capacités du modèle et, en conséquence, la qualité de la sortie.
• Longueur de réponse : fixe une limite à la quantité de texte générée par l’API pour une complétion. Comme la facturation OpenAI dépend du volume de texte produit par appel API, ce paramètre est crucial si vous avez un budget à respecter. Plus la réponse est longue, plus cela coûte.
• Température : la température contrôle l’aléa de la réponse, sur une échelle de 0 à 1. Plus elle est faible, plus le modèle renverra la première option plausible ; plus elle est élevée, plus il évaluera diverses possibilités compatibles avec le contexte avant de produire un résultat.
• Top P : Top P contrôle combien de résultats aléatoires potentiels le modèle considère pour la complétion, comme suggéré par la température, et définit donc l’étendue de la créativité. Sa valeur va de 0 à 1. Plus elle est basse, plus la créativité est limitée ; plus elle est haute, plus l’horizon s’élargit.
• Pénalités de fréquence et de présence : la pénalité de fréquence réduit la probabilité que le modèle répète textuellement la même ligne en le « sanctionnant ». La pénalité de présence augmente la probabilité qu’il aborde de nouveaux sujets.
• Best of : ce paramètre permet de spécifier le nombre de complétions (n) à générer côté serveur et renvoie la meilleure des « n » complétions.
• Séquence d’arrêt : une séquence d’arrêt est un ensemble de caractères qui indique à l’API quand cesser de générer.
• Texte d’injection début & reprise : ces paramètres permettent d’insérer du texte au début ou à la fin de la complétion, respectivement.
• Afficher les probabilités : cette option permet de déboguer l’invite en affichant la probabilité des jetons que le modèle peut générer pour une entrée donnée.

L’API OpenAI propose quatre moteurs d’exécution, qui diffèrent par leur nombre de paramètres, leurs performances et leur prix. Par ordre croissant de capacité et de taille : Ada (d’après Ada Lovelace), Babbage (Charles Babbage), Curie (Marie Curie) et Davinci (Léonard de Vinci).

À partir de ces quatre modèles principaux, OpenAI a lancé une série de modèles améliorés, InstructGPT, plus performants pour comprendre et suivre des instructions afin de produire la sortie spécifique dont vous avez besoin. Il vous suffit d’indiquer au modèle ce que vous attendez, et il fera de son mieux pour s’y conformer. Le fait de rédiger ces instructions pour GPT-3 s’appelle le prompt engineering.

Prompt engineering

GPT-3 est conçu pour être agnostique vis‑à‑vis des tâches. Autrement dit, il peut potentiellement accomplir un grand nombre de tâches, à condition de recevoir l’invite (prompt) adéquate. Créer des solutions d’IA n’a jamais été simple, mais avec GPT-3, il suffit souvent d’une invite claire en anglais courant.

Source : tweet d’Andrej Karpathy du 18 juin 2020

Le premier élément à soigner lorsque vous créez une application avec GPT-3 est la conception et le contenu de l’invite. C’est l’étape la plus déterminante pour « amorcer » le modèle et obtenir une réponse pertinente et contextuelle.

Le prompt est le texte que vous fournissez en entrée afin que le modèle génère la sortie désirée. Concevoir un bon prompt, c’est donner suffisamment de contexte sur la tâche à réaliser. GPT-3 examine l’entrée et tente de répondre par le texte qui complète au mieux ce qui a été fourni.

En un sens, concevoir un prompt, c’est comme jouer au jeu du charade !

Le secret d’une bonne invite consiste à comprendre ce que GPT-3 « sait » du monde et comment l’amener à mobiliser ces connaissances pour produire des résultats utiles. Au charade, l’objectif est de donner juste assez d’indices pour que les joueurs devinent le mot grâce à leur intelligence. De la même façon, il faut fournir à GPT-3 juste ce qu’il faut de contexte pour qu’il repère les motifs et exécute la tâche. Trop d’informations peuvent perturber son « flux » d’intelligence ; trop peu peuvent conduire à des résultats inexacts.

En règle générale, visez une réponse zero‑shot lorsque vous concevez votre prompt. Si ce n’est pas possible, fournissez quelques exemples plutôt qu’un corpus complet. Le processus standard de conception d’invite devrait ressembler à :

Zero‑shot → Few‑shot → Amorçage par corpus

Si, dans votre saisie, le modèle voit la lettre « Q » suivie d’une question, il tentera d’écrire une réponse, mais pas nécessairement celle que vous attendez. Sans contexte, il peut supposer, par exemple, que vous rédigez une liste de questions avec de mauvaises réponses. Pour obtenir la meilleure réponse, indiquez à GPT-3 le type de réponses attendu.

Au lieu de demander à GPT-3 de compléter cette entrée :

Q:
A:

Dont la première complétion obtenue fut :

Q:
A:

Q:
A:

Améliorez nettement la qualité des questions en utilisant un prompt de ce type (à adapter selon la nature des questions voulues) :

Write a few trivia questions.

Q:
A:

Ce qui nous a donné, dès le premier essai :

What is the name of the longest river in Africa?
The Nile

What are the top 5 most spoken languages in the world?
Mandarin, Spanish, English, Hindi, Arabic

De simples consignes comme ci‑dessus suffisent à faire comprendre à GPT-3 qu’il doit fournir des réponses conformes à votre intention ; ici, plusieurs questions de culture générale. Vous pouvez aussi utiliser « Factual answer: » au lieu de « A: » pour améliorer le résultat.

Write a few trivia questions.

Question:
Factual answer:

Pour cette invite, nous avons obtenu la complétion suivante :

1. What is the world’s largest desert?

The Sahara desert.

2. What is the world’s deepest Ocean?

The Pacific Ocean.

GPT-3 Sandbox — utiliser l’API OpenAI avec Python

Dans cette section, nous vous guidons dans GPT-3 Sandbox, un outil open source qui permet de concrétiser vos idées avec quelques lignes de code Python. Nous vous montrons comment l’utiliser et l’adapter à votre cas d’usage. L’objectif est de vous permettre de créer des applications web pertinentes, quel que soit votre bagage technique.

Suivez cette série de vidéos pas à pas pour créer et déployer une application GPT-3. Vous aurez besoin de la pile technique suivante :

• Python 3.7+
• Un IDE, comme VS Code

Clonez le code depuis ce référentiel en ouvrant un nouveau terminal dans votre IDE et en exécutant la commande suivante :

git clone https://github.com/Shubhamsaboo/kairos_gpt3

Tout le nécessaire pour créer et déployer une application web est déjà présent. Il vous suffit d’ajuster quelques fichiers pour adapter le bac à sable à votre besoin. Créez d’abord un environnement virtuel Python. Après sa création, installez les dépendances requises :

pip install -r requirements.txt

Vous pouvez maintenant personnaliser le code. Le premier fichier à modifier est training_data.py. Ouvrez‑le et remplacez le prompt par défaut par celui que vous souhaitez utiliser. Servez‑vous du Playground GPT-3 pour tester différents prompts (voir le chapitre 2 du livre et cette vidéo pour aller plus loin).

Vous êtes prêt à ajuster les paramètres de l’API (Maximum tokens, Execution Engine, Temperature, Top-p, Frequency Penalty, Stop Sequence). Nous vous recommandons d’expérimenter différentes valeurs dans le Playground pour votre prompt, puis de reporter les réglages satisfaisants dans le fichier training_service.py.

Et voilà ! Votre application web basée sur GPT-3 est prête. Exécutez‑la en local avec la commande suivante :

streamlit run gpt_app.py

Vous pouvez utiliser le partage Streamlit pour déployer l’application et la diffuser à plus grande échelle. Suivez cette vidéo pour un guide complet de déploiement.

Que pouvez‑vous créer avec GPT-3 ?

Avant GPT-3, la plupart des interactions du grand public avec l’IA se limitaient à des tâches spécifiques, comme demander à Alexa de jouer une chanson ou utiliser Google Translate pour converser dans une autre langue. Avec l’essor des LLM, on assiste à un véritable changement de paradigme. En augmentant l’échelle des modèles, les applications d’IA se révèlent capables d’accomplir des tâches créatives et complexes, proches de l’humain.

GPT-3 alimente une nouvelle vague de start‑ups en mettant la bonne technologie au service d’entrepreneurs créatifs. Dès la sortie de l’API par OpenAI, l’écosystème s’est enrichi d’entreprises s’appuyant dessus pour résoudre des problèmes concrets. Explorons ce paysage dynamique en passant en revue quelques start‑ups qui placent GPT-3 au cœur de leur produit, dans des domaines comme la création artistique, l’analyse de données, les chatbots, la rédaction marketing et les outils développeurs.

1. Applications créatives de GPT-3 : Fable Studio

L’une des capacités les plus enthousiasmantes de GPT-3 est la narration. Vous pouvez lui donner un thème et lui demander d’écrire une histoire en zero‑shot. Les possibilités offertes incitent les auteurs à repousser les limites de leur imagination. Par exemple, la pièce AI, mise en scène par Jennifer Tang et développée avec Chinonyerem Odimba et Nina Segal, illustre une collaboration inédite entre esprit humain et machine grâce à GPT-3.

Fable Studio exploite ces capacités de narration. L’entreprise a adapté le livre pour enfants de Neil Gaiman et Dave McKean, Wolves in the Walls, en une expérience VR primée aux Emmy. Lucy, l’héroïne, peut converser naturellement grâce à des dialogues générés par GPT-3. Selon l’entreprise, avec les prochaines itérations du modèle, il sera possible de créer un conteur IA aussi habile et créatif que les meilleurs auteurs humains.

2. Applications d’analyse de données : Viable

Viable est un outil d’agrégation de feedback qui identifie thèmes, émotions et sentiments dans des enquêtes, tickets d’assistance, historiques de chat et avis clients, puis en fournit un résumé en quelques secondes. Par exemple, à la question « Qu’est‑ce qui frustre nos clients dans l’expérience de paiement ? », Viable pourrait répondre : « Les clients sont frustrés par le parcours de paiement car le chargement est trop long. Ils souhaitent aussi pouvoir modifier leur adresse à la caisse et enregistrer plusieurs moyens de paiement. »

Comme on peut s’y attendre d’un spécialiste du feedback client, Viable propose un pouce levé/baissé à côté de chaque réponse générée. Ces retours alimentent le réentraînement. Des humains interviennent aussi : une équipe d’annotation construit des jeux d’entraînement pour les modèles internes et pour le fine‑tuning de GPT-3. La version fine‑tunée sert à générer des sorties que des humains évaluent ensuite. Si le résultat est incohérent ou inexact, ils le réécrivent. Une fois une liste de sorties jugées satisfaisantes établie, elle est réinjectée dans l’itération suivante du jeu d’entraînement.

3. Applications chatbot : Quickchat

Emerson AI est la persona chatbot de la société Quickchat, reconnue pour sa culture générale, son support multilingue et sa capacité à tenir une conversation. Emerson AI illustre ce que permettent les chatbots propulsés par GPT-3 et incite les utilisateurs à collaborer avec Quickchat pour en déployer dans leur entreprise. L’offre de Quickchat est une IA conversationnelle généraliste capable de parler de n’importe quel sujet. Les clients peuvent la personnaliser en ajoutant des informations propres à leur produit. Les cas d’usage vont de l’automatisation du support client à la recherche dans une base de connaissances interne via une persona IA.

À l’inverse des fournisseurs de chatbots classiques, Quickchat ne construit ni arbres de conversation ni scénarios rigides, et n’a pas besoin « d’enseigner » au bot comment répondre. Le processus client est simple : vous copiez‑collez le texte contenant les informations que votre IA doit connaître, vous cliquez sur « retrain », quelques secondes suffisent pour assimiler le contenu, et c’est tout. Formé sur vos données, le chatbot est prêt pour une conversation de test.

4. Applications marketing : Copysmith

Parmi les usages les plus populaires de GPT-3 figure la génération de contenu créatif à la volée. Copysmith est un exemple de plateforme de génération de contenus. Elle s’appuie sur GPT-3 pour produire des prompts qui sont ensuite transformés en textes pour l’e‑commerce. GPT-3 excelle en marketing, où il aide à générer, collaborer et lancer des contenus de qualité à grande vitesse. Grâce au modèle, les PME en ligne rédigent de meilleurs appels à l’action et descriptions produits, et font monter en puissance leur marketing.

5. Applications pour le code : Stenography

Bram Adams, OpenAI Community Ambassador, a créé Stenography, un programme qui utilise GPT-3 et Codex pour automatiser la rédaction de documentation de code.

Stenography a connu un succès immédiat, se classant produit n° 1 sur ProductHunt. Pour Adams, la documentation est un moyen de s’adresser à ses coéquipiers, à son « moi » futur ou à tout curieux tombant sur un projet GitHub. L’objectif de Stenography est de rendre un projet compréhensible par autrui.

Pour en savoir plus sur l’écosystème GPT-3, consultez le chapitre 4 (GPT-3 comme tremplin pour la prochaine génération de start‑ups) et le chapitre 5 (GPT-3 pour les entreprises) de notre livre à paraître chez O’Reilly.

Conclusion

• GPT-3 marque une étape clé dans l’histoire de l’IA. Il s’inscrit aussi dans une tendance plus large des LLM qui continuera de s’amplifier. L’accès via API a ouvert la voie au modèle économique « model‑as‑a‑service ».
• Les capacités générales de GPT-3 en matière de langage ouvrent la voie à des produits innovants. Il est particulièrement performant pour la génération de texte, le résumé, la classification et la conversation.
• De nombreuses entreprises prospères s’appuient en grande partie, voire entièrement, sur GPT-3. Nos cas d’usage préférés : narration créative, analyse de données, chatbots, rédaction marketing et outils pour développeurs.