Qu'est-ce que Prompt Engineering ? Un guide détaillé pour 2024

Qu'est-ce que Prompt Engineering ?

Au fond, l'ingénierie d'accompagnement s'apparente à l'enseignement dispensé à un enfant par le biais de questions. Tout comme une question bien formulée peut guider le processus de réflexion d'un enfant, une invite bien rédigée peut orienter un modèle d'IA, en particulier un modèle de langage étendu (LLM), vers un résultat spécifique. Examinons ce concept plus en détail.

Définition et concepts de base

L'ingénierie des messages-guides est la pratique qui consiste à concevoir et à affiner les messages-guides - questions ou instructions - afin d'obtenir des réponses spécifiques de la part des modèles d'IA. Considérez-le comme l'interface entre l'intention humaine et le résultat de la machine.

Dans le vaste domaine de l'IA, où les modèles sont entraînés sur d'énormes ensembles de données, la bonne invite peut faire la différence entre un modèle qui comprend votre demande et un autre qui l'interprète mal.

Par exemple, si vous avez déjà interagi avec des assistants vocaux tels que Siri ou Alexa, vous vous êtes livré à une forme élémentaire d'ingénierie de la demande. La façon dont vous formulez votre demande - "Jouez de la musique relaxante" ou "Jouez la symphonie de Beethoven" - peut donner des résultats très différents.

L'aspect technique de l'ingénierie rapide

L'ingénierie de la promptitude, bien qu'enracinée dans l'art du langage, est profondément imbriquée dans les complexités techniques des modèles d'IA. Voici un examen plus approfondi de l'aspect technique :

• Modèles d'architecture. Les grands modèles linguistiques (LLM) tels que GPT (Generative Pre-trained Transformer) et PaLM2 (Powering Bard) de Google sont construits sur des architectures de transformateurs. Ces architectures permettent aux modèles de traiter de grandes quantités de données et de comprendre le contexte grâce à des mécanismes d'auto-attention. Pour concevoir des messages-guides efficaces, il faut souvent comprendre ces architectures sous-jacentes.
• Données de formation et symbolisation. Les LLM sont formés sur de vastes ensembles de données, en transformant les données d'entrée en petits morceaux (tokens) à des fins de traitement. Le choix de la tokenisation (par mot, par paire d'octets, etc.) peut influencer la manière dont un modèle interprète une invite. Par exemple, un mot tokenisé différemment peut produire des résultats variés.
• Paramètres du modèle. Les LLM ont des millions, voire des milliards, de paramètres. Ces paramètres, affinés au cours du processus de formation, déterminent la manière dont le modèle répond à une invite. La compréhension de la relation entre ces paramètres et les résultats du modèle peut aider à élaborer des messages-guides plus efficaces.
• Température et échantillonnage Top-k. Lorsqu'ils génèrent des réponses, les modèles utilisent des techniques telles que le réglage de la température et l'échantillonnage top-k pour déterminer le caractère aléatoire et la diversité des résultats. Par exemple, une température plus élevée peut donner lieu à des réponses plus variées (mais potentiellement moins précises). Les ingénieurs de Prompt ajustent souvent ces paramètres pour optimiser les résultats du modèle.
• Fonctions de perte et gradients. À un niveau plus profond, le comportement du modèle pendant la réponse rapide est influencé par ses fonctions de perte et ses gradients. Ces constructions mathématiques guident le processus d'apprentissage du modèle. Bien que les ingénieurs d'intervention ne les ajustent généralement pas directement, la compréhension de leur impact peut donner des indications sur le comportement du modèle.

Pour ceux qui souhaitent comprendre le fonctionnement interne de ces modèles, notre tutoriel Transformers et Hugging Face propose une plongée en profondeur dans les mécanismes qui sous-tendent les LLM les plus populaires.

Pourquoi l'ingénierie rapide est-elle importante ?

À une époque où les solutions pilotées par l'IA deviennent omniprésentes - des chatbots dans le service client aux générateurs de contenu alimentés par l'IA - l'ingénierie de la promptitude est le pont qui garantit une communication efficace entre l'homme et l'IA. Il ne s'agit pas seulement d'obtenir la bonne réponse, mais de s'assurer que l'IA comprend le contexte, les nuances et l'intention derrière chaque requête.

L'évolution des messages d'encouragement à l'ingénierie

Bien qu'il s'agisse d'une discipline relativement récente, l'ingénierie des prompts est profondément ancrée dans l'histoire plus large du traitement du langage naturel (NLP) et de l'apprentissage automatique. Comprendre son évolution permet de situer son importance actuelle.

Les débuts de la PNL

Les origines de la PNL remontent au milieu du 20e siècle, avec l'avènement des ordinateurs numériques. Les premiers efforts en matière de NLP étaient basés sur des règles, élaborées manuellement, et des algorithmes simples. Ces systèmes étaient rigides et se débattaient avec les complexités et les nuances du langage humain.

NLP statistique et apprentissage automatique

Avec l'augmentation de la puissance de calcul et des ensembles de données, la fin du 20e siècle et le début du 21e siècle ont été marqués par une évolution vers les méthodes statistiques. Les algorithmes d'apprentissage automatique ont commencé à jouer un rôle essentiel, permettant de créer des modèles linguistiques plus souples et fondés sur des données. Toutefois, ces modèles présentent encore des limites en ce qui concerne la compréhension du contexte et la production de textes longs et cohérents.

L'essor des modèles basés sur les transformateurs

L'introduction de l'architecture des transformateurs dans l'article "Attention is All You Need" en 2017 a marqué un tournant important. Les transformateurs, avec leurs mécanismes d'auto-attention, peuvent traiter de grandes quantités de données et saisir des modèles de langage complexes. Cela a conduit au développement de modèles tels que le BERT de Google, qui a révolutionné des tâches telles que la classification des textes et l'analyse des sentiments.

L'impact du GPT d'OpenAI

La série Generative Pre-trained Transformer (GPT) d'OpenAI, en particulier GPT-2 et GPT-3, a fait passer les transformateurs au niveau supérieur. Ces modèles, avec leurs milliards de paramètres, ont démontré une capacité sans précédent à générer des textes cohérents, pertinents d'un point de vue contextuel et souvent impossibles à distinguer des textes humains. L'essor des modèles GPT a souligné l'importance de l'ingénierie des invites, la qualité des résultats dépendant fortement de la précision et de la clarté des invites.

Ingénierie rapide aujourd'hui

Avec l'adoption généralisée de modèles basés sur des transformateurs dans l'industrie, la recherche et les applications quotidiennes, l'ingénierie rapide est devenue une discipline cruciale. C'est le pont qui permet d'exploiter efficacement ces modèles puissants et de rendre les outils d'IA plus accessibles et plus conviviaux.

Qu'il s'agisse de débloquer la créativité avec l'IA générative ou d'utiliser le ChatGPT pour des projets de science des données, il est de plus en plus important de comprendre le fonctionnement des invites.

L'art et la science de l'élaboration d'idées directrices

La rédaction d'un message efficace est à la fois un art et une science. C'est un art parce qu'il requiert de la créativité, de l'intuition et une compréhension approfondie de la langue. Il s'agit d'une science parce qu'elle est fondée sur les mécanismes de traitement et de génération de réponses par les modèles d'IA.

Les subtilités de l'incitation

Chaque mot d'un message a son importance. Une légère modification de la formulation peut entraîner des résultats radicalement différents de la part d'un modèle d'IA. Par exemple, si vous demandez à un modèle de "décrire la Tour Eiffel" ou de "raconter l'histoire de la Tour Eiffel", vous obtiendrez des réponses différentes. Le premier peut fournir une description physique, tandis que le second se penche sur sa signification historique.

Il est essentiel de comprendre ces nuances, en particulier lorsque vous travaillez avec des diplômés de l'enseignement supérieur. Ces modèles, entraînés sur de vastes ensembles de données, peuvent générer un large éventail de réponses en fonction des indices qu'ils reçoivent. Il ne s'agit pas seulement de poser une question, mais de la formuler de manière à ce qu'elle corresponde au résultat souhaité.

Nous l'avons vu dans notre guide sur l 'utilisation de Midjourney pour créer des visuels - la différence entre l'ajout de poids à vos invites pour le terme "vaisseau spatial" peut donner des images de vaisseaux spatiaux de science-fiction ou d'un vaisseau naviguant dans l'espace.

Source de l'image

Éléments clés d'un message-guide

Examinons les éléments constitutifs d'un bon message :

• Instruction. Il s'agit de la directive principale de l'invite. Il indique au modèle ce que vous voulez qu'il fasse. Par exemple, "Résumez le texte suivant" fournit une action claire pour le modèle.
• Contexte. Le contexte fournit des informations supplémentaires qui aident le modèle à comprendre le scénario ou le contexte général. Par exemple, "Compte tenu de la récession économique, fournir des conseils en matière d'investissement" donne au modèle une toile de fond pour encadrer sa réponse.
• Données d'entrée. Il s'agit des informations ou des données spécifiques que vous souhaitez que le modèle traite. Il peut s'agir d'un paragraphe, d'une série de chiffres ou même d'un simple mot.
• Indicateur de sortie. Particulièrement utile dans les scénarios de jeu de rôle, cet élément guide le modèle sur le format ou le type de réponse souhaité. Par exemple, "Dans le style de Shakespeare, réécrivez la phrase suivante" donne au modèle une orientation stylistique.

Dans notre guide consacré spécifiquement à l'ingénierie des invites du ChatGPT, nous avons examiné quelques exemples spécifiques de bonnes invites pour l'outil.

ChatGPT : l'ingénierie prompte au travail

Pour une approche pratique, le cours de DataCamp sur la construction de chatbots en Python propose des exercices sur l'élaboration d'invites pour les interactions avec les chatbots.

Techniques d'ingénierie rapide

L'élaboration d'un message parfait passe souvent par l'expérimentation. Voici quelques techniques qui peuvent vous aider :

Techniques de base

Il s'agit de conseils que l'utilisateur moyen peut utiliser pour améliorer ses invites.

• Jeu de rôle. En faisant agir le modèle comme une entité spécifique, comme un historien ou un scientifique, vous pouvez obtenir des réponses sur mesure. Par exemple, "En tant que nutritionniste, évaluez le régime alimentaire suivant" peut donner lieu à une réponse fondée sur la science nutritionnelle.
• Raffinement itératif. Commencez par une question générale et affinez-la progressivement en fonction des réponses du modèle. Ce processus itératif permet d'affiner le message jusqu'à la perfection.
• Boucles de rétroaction. Utilisez les résultats du modèle pour informer et ajuster les messages suivants. Cette interaction dynamique garantit que les réponses du modèle s'alignent de plus en plus sur les attentes de l'utilisateur au fil du temps.

Techniques avancées

Nous voyons ici des stratégies plus complexes qui nécessitent une compréhension plus approfondie du comportement du modèle.

• Invitation à ne pas faire d'erreur. Cette technique consiste à fournir au modèle une tâche qu'il n'a pas vue au cours de sa formation. Il teste la capacité du modèle à se généraliser et à produire des résultats pertinents sans s'appuyer sur des exemples antérieurs.
• Quelques messages-guides/apprentissage en contexte. Ici, le modèle reçoit quelques exemples (clichés) pour guider sa réponse. En fournissant un contexte ou des exemples antérieurs, le modèle peut mieux comprendre et générer les résultats souhaités. Par exemple, montrez à un modèle plusieurs exemples de phrases traduites avant de lui demander d'en traduire une nouvelle.
• Chaîne de pensée (CoT). Cette technique avancée consiste à guider le modèle à travers une série d'étapes de raisonnement. En décomposant une tâche complexe en étapes intermédiaires ou "chaînes de raisonnement", le modèle permet une meilleure compréhension du langage et des résultats plus précis. C'est un peu comme si vous guidiez quelqu'un pas à pas dans un problème mathématique complexe.

Pour ceux qui souhaitent approfondir la méthode derrière ces techniques, notre cours sur la PNL avancée avec spaCy propose des exercices pratiques et des exemples du monde réel.

L'équilibre entre spécificité et ouverture

Si la spécificité d'une question peut conduire à des réponses plus précises, il est également utile de laisser les questions ouvertes. Cela permet au modèle de puiser dans sa vaste formation et de fournir des informations ou des réponses qui pourraient ne pas être immédiatement évidentes. Par exemple, la question "Dites-moi quelque chose d'intéressant sur le système solaire" est ouverte mais peut donner lieu à des informations fascinantes sur le modèle.

Avec des outils comme Google Bard, vous pouvez être aussi précis ou ouvert que vous le souhaitez.

Comment fonctionne Prompt Engineering

La rédaction du message initial n'est qu'un début. Pour vraiment exploiter la puissance des modèles d'IA et s'assurer qu'ils s'alignent sur l'intention de l'utilisateur, il est essentiel d'affiner et d'optimiser les messages-guides. Ce processus itératif est un mélange d'art et de science, qui nécessite à la fois de l'intuition et des connaissances fondées sur des données.

1. Créer une invite adéquate

Dans un autre article, nous avons exploré certains messages-guides du ChatGPT pour le marketing. Nous avons également compilé une fiche d'aide pour le ChatGPT qui couvre de nombreuses spécificités de cet outil particulier. Cependant, de nombreux outils (tels que LlamaIndex et Langchain ) nécessitent des invites. Voici quelques règles générales pour la création d'invites pour les outils d'intelligence artificielle :

• La clarté est essentielle. Veillez à ce que le message soit clair et sans ambiguïté. Évitez le jargon, sauf s'il est nécessaire dans le contexte.
• Essayez les jeux de rôle. Comme nous l'avons vu précédemment, le fait de faire assumer au modèle un rôle spécifique peut permettre d'obtenir des réponses plus adaptées.
• Contraintes d'utilisation. La définition de limites ou de contraintes peut aider à orienter le modèle vers le résultat souhaité. Par exemple, la question "Décrivez la Tour Eiffel en trois phrases" impose une contrainte de longueur claire.
• Évitez les questions suggestives. Les questions orientées peuvent fausser les résultats du modèle. Il est essentiel de rester neutre pour obtenir une réponse impartiale.

Pour les personnes intéressées par des exercices pratiques sur l'affinage des messages-guides, le didacticiel sur l'affinement du GPT-3 offre des indications pratiques.

2. Répéter et évaluer

Le processus d'affinage des messages-guides est itératif. Voici un exemple de flux de travail typique :

• Rédigez l'invite initiale. En fonction de la tâche à accomplir et du résultat souhaité.
• Testez l'invite. Utilisez le modèle d'IA pour générer une réponse.
• Évaluez le résultat. Vérifiez si la réponse s'aligne sur l'intention et répond aux critères.
• Affinez l'invitation. Procéder aux ajustements nécessaires sur la base de l'évaluation.
• Répétez. Poursuivez ce processus jusqu'à ce que vous obteniez la qualité de sortie souhaitée.

Au cours de ce processus, il est également essentiel de prendre en compte différents éléments et scénarios afin de garantir l'efficacité du message dans un large éventail de situations.

3. Étalonnage et réglage fin

Au-delà de l'affinement du message lui-même, il est également possible de calibrer ou d'affiner le modèle d'IA. Il s'agit d'ajuster les paramètres du modèle pour mieux l'adapter à des tâches ou à des ensembles de données spécifiques. Bien qu'il s'agisse d'une technique plus avancée, elle peut améliorer de manière significative les performances du modèle pour des applications spécialisées.

Pour approfondir la calibration et la mise au point du modèle, notre cours sur les concepts LLM couvre les techniques de mise au point et la formation.

Le rôle d'un ingénieur rapide

Alors que l'IA continue de façonner les industries et de redéfinir la façon dont nous interagissons avec la technologie, un nouveau rôle est apparu au premier plan : celui d'ingénieur d'intervention. Ce rôle est essentiel pour combler le fossé entre l'intention humaine et la compréhension de la machine, en veillant à ce que les modèles d'IA communiquent efficacement et produisent des résultats pertinents.

Une nouvelle carrière dans l'IA ?

Les progrès rapides du traitement du langage naturel (NLP) et l'adoption généralisée des grands modèles de langage (LLM) ont créé une niche, mais une demande cruciale d'experts capables de concevoir des messages-guides efficaces. Ces personnes, connues sous le nom d'ingénieurs d'assistance, ne sont pas de simples techniciens mais des artistes qui comprennent les nuances du langage, du contexte et du comportement de l'IA.

Comme le rapporte notamment Time Magazine, les entreprises, qu'il s'agisse de géants de la technologie ou de startups, reconnaissent la valeur des fonctions spécialisées d'ingénierie rapide. Alors que les solutions basées sur l'IA sont de plus en plus intégrées dans les produits et services, l'expertise d'un ingénieur Prompt garantit que ces solutions sont efficaces, conviviales et adaptées au contexte.

Des sites d'emploi comme Indeed et LinkedIn répertorient déjà des milliers d'offres d'emploi d'ingénieurs rapides rien qu'aux États-Unis, avec des salaires allant de 50 000 à plus de 150 000 dollars par an.

Prompt engineer jobs advertised on Indeed

Compétences techniques pour l'ingénierie rapide

En fonction du rôle exact et de son degré de technicité, un ingénieur rapide doit posséder des bases solides dans plusieurs domaines techniques :

• Compréhension de la PNL. Une connaissance approfondie des techniques et algorithmes de traitement du langage naturel est essentielle.
• Familiarité avec les LLM. Expérience des modèles tels que GPT, PaLM2 et d'autres modèles émergents et de leurs architectures sous-jacentes.
• Expérimentation et itération. Possibilité de tester, d'affiner et d'optimiser les messages-guides en fonction des résultats du modèle.
• Analyse des données. Analyser les réponses des modèles, identifier les modèles et prendre des décisions fondées sur des données.

Pour ceux qui cherchent à acquérir ou à affiner leurs compétences techniques, notre cursus de compétences Natural Language Processing in Python offre un programme d'études complet adapté aux aspirants ingénieurs prompts.

Compétences non techniques pour l'ingénierie rapide

Si les prouesses techniques sont essentielles, un ingénieur rapide doit également disposer d'un ensemble de compétences non techniques :

• Communication. Capacité à transmettre des idées, à collaborer avec des équipes et à comprendre les besoins des utilisateurs.
• Expertise en la matière. Selon l'application, les connaissances spécifiques à un domaine peuvent s'avérer inestimables.
• Compétences linguistiques. Maîtrise de la langue, de la grammaire et de la sémantique pour rédiger des messages efficaces.
• Pensée critique. Évaluer les résultats des modèles, identifier les biais et garantir des pratiques éthiques en matière d'intelligence artificielle.
• Créativité. Sortir des sentiers battus, expérimenter de nouveaux styles d'intervention et trouver des solutions innovantes.

Ces compétences non techniques, combinées à l'expertise technique, rendent le rôle d'un ingénieur rapide à la fois stimulant et gratifiant, ouvrant la voie à une nouvelle ère de collaboration entre l'homme et l'intelligence artificielle.

L'avenir de l'ingénierie rapide

À l'aube d'une ère axée sur l'IA, l'ingénierie rapide est appelée à jouer un rôle essentiel dans l'élaboration de l'avenir des interactions entre l'homme et l'IA. Ce domaine, bien que relativement nouveau, est extrêmement prometteur et offre un potentiel de croissance considérable.

Recherche et développement en cours

Le monde de l'IA est dynamique, la recherche et les innovations se succédant à un rythme rapide. Dans le contexte de l'ingénierie rapide :

• L'incitation à l'adaptation. Les chercheurs étudient des moyens permettant aux modèles de générer de manière adaptative leurs propres messages-guides en fonction du contexte, réduisant ainsi la nécessité d'une saisie manuelle.
• Invitations multimodales. Avec l'essor des modèles d'IA multimodaux capables de traiter à la fois du texte et des images, le champ d'application de l'ingénierie d'aide s'élargit pour inclure les indices visuels.
• Incitation à l'éthique. À mesure que l'éthique de l'IA gagne en importance, l'accent est mis sur l'élaboration de messages-guides qui garantissent l'équité, la transparence et l'atténuation des préjugés.

Pour ceux qui souhaitent se tenir au courant des derniers développements, notre article sur l'éthique dans l'IA générative couvre certaines des grandes questions auxquelles nous sommes actuellement confrontés. Vous pouvez également explorer les compétences de l'ingénieur en IA et les points de recoupement avec l'ingénierie rapide dans un guide séparé. 

La valeur et la pertinence à long terme

L'ingénierie rapide n'est pas une tendance éphémère. À mesure que les modèles d'IA deviennent plus complexes et s'intègrent à diverses applications - des soins de santé aux loisirs -, la nécessité d'une communication efficace devient primordiale. Des ingénieurs prompts seront les chevilles ouvrières qui veilleront à ce que ces modèles soient accessibles, conviviaux et adaptés au contexte.

En outre, à mesure que l'IA se démocratise et que de plus en plus de personnes sans expertise technique commencent à interagir avec ces modèles, le rôle de l'ingénieur d'assistance évoluera. Ils seront chargés de créer des interfaces intuitives, d'élaborer des messages-guides conviviaux et de veiller à ce que l'IA reste un outil qui renforce les capacités humaines.

Défis et opportunités

Comme tout domaine émergent, l'ingénierie des prompts s'accompagne de son lot de défis :

• Complexité des modèles. Au fur et à mesure que les modèles gagnent en taille et en complexité, il devient de plus en plus difficile d'élaborer des messages-guides efficaces.
• Partialité et équité. Veiller à ce que les messages-guides n'introduisent pas ou n'amplifient pas par inadvertance des biais dans les résultats des modèles.
• Collaboration interdisciplinaire. L'ingénierie de la promptitude se situe à l'intersection de la linguistique, de la psychologie et de l'informatique, ce qui nécessite une collaboration entre les disciplines.

Toutefois, ces défis présentent également des opportunités. Ils stimulent l'innovation, favorisent la collaboration interdisciplinaire et ouvrent la voie à la prochaine génération d'outils et de solutions d'IA.

Réflexions finales

Le domaine de l'intelligence artificielle est vaste, complexe et en constante évolution. Au fur et à mesure que nous parcourons les subtilités de l'ingénierie d'assistance, il devient évident que ce domaine est plus qu'un simple effort technique : c'est un pont entre l'intention humaine et la compréhension de la machine. C'est l'art subtil de poser les bonnes questions pour obtenir les réponses souhaitées.

L'ingénierie des prompts, bien qu'il s'agisse d'une discipline relativement nouvelle, est la clé qui permettra d'exploiter tout le potentiel des modèles d'IA, en particulier des modèles de langage de grande taille (Large Language Models). Ces modèles étant de plus en plus intégrés dans notre vie quotidienne, on ne saurait trop insister sur l'importance d'une communication efficace. Qu'il s'agisse d'un assistant vocal qui vous aide dans vos tâches quotidiennes, d'un chatbot qui fournit une assistance à la clientèle ou d'un outil d'IA qui aide les chercheurs, la qualité de l'interaction dépend des messages-guides qui les guident.

Pour les passionnés de données, les professionnels et même le grand public, la compréhension de l'ingénierie rapide ne se limite pas à une meilleure communication avec l'IA. Il s'agit d'envisager un avenir où l'IA s'intègre parfaitement dans nos vies, en augmentant nos capacités et en enrichissant nos expériences.

À ce stade, l'avenir de l'ingénierie rapide est prometteur, plein de défis à relever et d'étapes à franchir. Pour ceux qui sont intrigués par ce domaine, le voyage ne fait que commencer. Découvrez comment apprendre l'IAdans notre guide séparé, ou apprenez à former votre propre LLM avec PyTorch dans notre tutoriel.