Zero-shot prompting : exemples, théorie, cas d’usage

Qu’est-ce que le zero-shot prompting ?

Le zero-shot prompting est une technique qui exploite la capacité de généralisation des LLMs pour aborder de nouvelles tâches sans entraînement préalable spécifique ni exemples.

Elle s’appuie sur le pré-entraînement massif des LLMs sur de grands jeux de données diversifiés, ce qui leur permet de mobiliser leurs connaissances générales pour de nouvelles tâches à partir d’instructions claires et concises. Bien que très efficace, la réussite dépend de la complexité de la tâche et de la qualité du prompt.

En résumé, vous décrivez la tâche à réaliser sans fournir d’exemples. Le modèle puise alors dans ses vastes connaissances pré-entraînées pour générer une réponse pertinente.

Cette approche s’oppose au one-shot ou au few-shot prompting, où vous fournissez un ou quelques exemples pour guider la sortie du modèle.

Le zero-shot prompting met en lumière l’impressionnante capacité des LLMs à généraliser leur compréhension sur des domaines variés. Avec une simple instruction claire, vous pouvez exploiter la base de connaissances du modèle pour générer du contenu créatif, informatif ou orienté tâche, sans entraînement supplémentaire.

Voyons un exemple rapide :

Prompt : Classifiez l’animal en fonction de ses caractéristiques. Animal : cette créature a huit pattes, tisse des toiles et mange souvent des insectes.

Sortie : Araignée.

Dans cet exemple, le prompt ne fournit aucun exemple de classification ni de catégories. Il définit clairement la tâche (classer l’animal) à partir de caractéristiques fournies.

Le grand modèle de langage mobilise ses connaissances sur les animaux et leurs traits pour effectuer la classification et identifie correctement l’araignée à partir des caractéristiques clés. Il fournit uniquement la classification demandée, preuve de sa capacité à suivre des instructions précises.

Le zero-shot prompting supprime le besoin d’un affinement spécifique à la tâche, étend considérablement l’éventail des tâches réalisables par un modèle et rend des capacités avancées plus accessibles aux utilisateurs non techniques.

Comment fonctionne le zero-shot prompting

Pour comprendre son fonctionnement, il faut clarifier deux points : le pré-entraînement des LLMs et la conception des prompts.

Pré-entraînement des modèles de langage

Les LLMs subissent un pré-entraînement intensif sur des jeux de données massifs, qui fonde leurs capacités zero-shot. Le processus de pré-entraînement se déroule ainsi :

1. Collecte des données : les LLMs sont entraînés sur des textes variés issus de multiples sources, pouvant représenter des centaines de milliards de mots.
2. Tokenisation : le texte est décomposé en unités plus petites appelées tokens : mots, sous-mots ou caractères.
3. Architecture de réseau de neurones : le modèle, généralement basé sur une architecture Transformer, traite ces tokens au travers de multiples couches.
4. Entraînement prédictif : le modèle apprend à prédire le prochain token d’une séquence à partir des tokens précédents.
5. Reconnaissance de motifs : au fil du processus, le modèle apprend la grammaire, la syntaxe et les relations sémantiques.
6. Acquisition de connaissances : le modèle constitue une vaste base de connaissances couvrant de nombreux sujets et domaines.
7. Compréhension contextuelle : le modèle apprend à comprendre le contexte et à générer des réponses adaptées.

Cela confère aux LLMs les connaissances, la compréhension et l’adaptabilité nécessaires au zero-shot prompting. Ce pré-entraînement étendu permet d’exécuter des tâches non prévues explicitement, en comprenant et en répondant à des prompts en langage naturel.

Conception des prompts

Une bonne conception de prompt est cruciale pour réussir en zero-shot. Elle fait le lien entre l’intention de l’utilisateur et les capacités du modèle. Comment s’assurer de leur efficacité ? Voici quelques stratégies :

Instructions claires

Le prompt doit fournir des consignes explicites et non ambiguës sur la tâche attendue par le LLM.

Exemple : "Traduisez la phrase anglaise suivante en français :" Ce prompt précise clairement la tâche (traduction) et les langues source (anglais) et cible (français), évitant toute ambiguïté.

Cadrage de la tâche

Cadrez la tâche pour tirer parti des connaissances et capacités préexistantes du modèle.

Exemple : "Classez le sentiment de cette critique de film en positif, négatif ou neutre :" Ce prompt présente la tâche comme une classification à catégories définies, en phase avec l’entraînement des modèles en classification de texte.

Fourniture de contexte

Ajoutez un contexte pertinent pour faciliter la compréhension des exigences et contraintes de la tâche.

Exemple : "Sachant que ‘Python’ désigne ici le langage de programmation, expliquez ce qu’est Python :" Ce prompt précise le sens attendu (langage, et non serpent) pour orienter le modèle.

Spécification du format de sortie

Définissez clairement le format de réponse attendu.

Exemple : "Dressez la liste des trois principales causes du changement climatique, chacune sur une puce séparée." Le prompt précise le nombre d’éléments (trois) et le format (puces) pour une sortie structurée.

Éviter l’ambiguïté

Employez un langage précis et évitez les consignes vagues ou trop ouvertes, sources de contre-sens.

Exemple : "Décrivez les étapes précises du cycle de l’eau, en commençant par l’évaporation." Le vocabulaire spécifique et le point de départ réduisent les risques d’interprétation.

Utiliser un langage naturel

Formulez des prompts naturels et conversationnels.

Exemple : "Imaginez que vous êtes conseiller carrière. Quels conseils donneriez-vous à un jeune diplômé cherchant son premier emploi ?" Le ton conversationnel et le scénario concret encouragent une réponse plus naturelle et engageante.

Affiner de façon itérative

Si les premiers résultats sont insuffisants, affinez le prompt en ajoutant de la spécificité ou en ajustant le langage.

Exemple : Prompt initial : "Parlez-moi des énergies renouvelables." Prompt affiné : "Expliquez les trois types d’énergies renouvelables les plus courants, leurs bénéfices et les défis actuels de mise en œuvre." Cela illustre comment un prompt large peut être resserré pour obtenir une réponse plus ciblée et exhaustive.

Les avantages du zero-shot prompting

Le zero-shot prompting présente des avantages notables par rapport à d’autres techniques.

Le premier est sa grande flexibilité. Elle permet aux LLMs de s’adapter à de multiples tâches sans données d’entraînement spécifiques. C’est essentiel car un même modèle peut couvrir des tâches variées, de la traduction à l’analyse de sentiment en passant par la génération de contenu. Il s’adapte rapidement à de nouvelles tâches, sans réentraînement ni affinage chronophages.

De plus, les modèles zero-shot gèrent des situations ou tâches nouvelles non envisagées initialement. Vous pouvez aussi personnaliser le comportement du modèle selon vos besoins en ajustant simplement le prompt, sans modifier le modèle lui-même.

Au fur et à mesure que les connaissances générales du modèle s’étoffent, sa capacité à traiter des tâches diverses progresse naturellement, sans intervention spécifique à la tâche.

Le zero-shot prompting offre aussi des gains d’efficacité substantiels, en temps et en ressources. Il évite de constituer de vastes jeux de données spécifiques, coûteux et longs à rassembler.

Il supprime également la nécessité de données étiquetées, réduisant les coûts et les biais potentiels liés à l’annotation humaine. Sans affinage spécifique à la tâche, les besoins de calcul diminuent fortement. Le déploiement d’applications s’accélère, sans attendre la collecte de données et l’entraînement. Un seul modèle peut couvrir de nombreuses tâches, évitant de multiplier les modèles spécialisés. Le prompt engineering permet des itérations rapides, sans réentraînement.

Comparons le processus traditionnel et le zero-shot prompting pour développer un outil d’analyse de sentiment :

Cette comparaison met en évidence les économies de temps et de ressources rendues possibles par le zero-shot prompting, pour un développement et un déploiement de l’IA plus rapides dans divers domaines.

Applications du zero-shot prompting

Le zero-shot prompting a donné lieu à de nombreux usages dans différents secteurs. Voici quelques domaines où cette technique fait la différence.

Génération de texte

Le zero-shot est très performant en génération de texte, permettant de produire des contenus variés sans entraînement spécifique : résumés, écriture créative, traduction, etc. Exemples :

Classification et analyse de sentiment

Le zero-shot prompting s’applique à divers problèmes de classification, dont la classification thématique, l’analyse de sentiment et la détection d’intention, sans données étiquetées.

Questions-réponses

Le zero-shot permet aux modèles de répondre à une grande variété de questions – factuelles, explicatives, comparatives – en s’appuyant sur leurs connaissances générales et leur compréhension du langage.

Limites du zero-shot prompting

Malgré ses atouts, le zero-shot prompting comporte des limites et des défis qu’il faut connaître.

Précision

Le zero-shot, bien que puissant, peut être moins précis que des modèles spécialement entraînés pour une tâche donnée, pour plusieurs raisons :

• Absence d’optimisation spécifique à la tâche : les modèles affinés bénéficient d’un entraînement ciblé sur des données spécifiques, gage d’une meilleure précision.
• Variabilité d’interprétation : l’interprétation du prompt par le modèle ne correspond pas toujours parfaitement à l’intention de l’utilisateur.
• Gestion de la complexité : des tâches très spécialisées peuvent requérir une finesse que le zero-shot seul n’offre pas.

Sensibilité au prompt

Les performances en zero-shot dépendent fortement du libellé du prompt.

• Variations de formulation : de légères modifications de vocabulaire ou de structure peuvent changer l’interprétation de la tâche.
• Clarté des consignes : des instructions ambiguës ou imprécises peuvent mener à des résultats inattendus ou incohérents.
• Dépendance au contexte : l’efficacité d’un prompt peut varier selon l’entrée ou le contexte d’application.

Voyons un exemple concret avec un même texte, et expliquons les résultats selon chaque prompt pour illustrer l’impact de nuances de formulation.

Voici le texte :

Texte d’exemple : "La révolution industrielle, qui s’est déroulée du 18e au 19e siècle, a vu des sociétés majoritairement agraires et rurales en Europe et en Amérique devenir industrielles et urbaines. Avant la révolution industrielle, qui a débuté en Grande-Bretagne à la fin des années 1700, la fabrication se faisait souvent à domicile, à l’aide d’outils manuels ou de machines de base. L’industrialisation a marqué un passage à des machines motorisées, spécialisées, des usines et la production de masse. Les industries du fer et du textile, ainsi que le développement de la machine à vapeur, ont joué un rôle central, tandis que les systèmes de transport, de communication et bancaires se sont améliorés."

Appliquons maintenant trois prompts :

Prompt 1 : "Résumez ce texte en une phrase :"

Résultat 1 : La révolution industrielle, aux 18e et 19e siècles, a transformé les sociétés européennes et américaines d’agraires en industrielles, avec l’essor des usines, de la production de masse et des avancées technologiques en fabrication, transport et communication.

Cette réponse propose un résumé concis en une phrase, couvrant période, lieux et caractéristiques clés.

Prompt 2 : "Fournissez un bref résumé de ce qui suit :"

Résultat 2 : La révolution industrielle est une période majeure de transformation, du 18e au 19e siècle, touchant surtout l’Europe et l’Amérique. Elle marque le passage de sociétés rurales et agraires à des sociétés industrielles et urbaines. Avant, la fabrication était souvent domestique avec des outils simples. La révolution introduit des machines motorisées, les usines et la production de masse. Les secteurs du fer et du textile et l’invention de la machine à vapeur y jouent un rôle clé. La période voit aussi des progrès en transport, communication et systèmes bancaires, bouleversant l’économie et la société.

Cette réponse, plus longue, couvre davantage d’aspects, le modèle ayant interprété « bref résumé » comme autorisant plusieurs phrases et une couverture plus large.

Prompt 3 : "Quelle est l’idée principale de ce passage ?"

Résultat 3 : L’idée principale est le basculement d’une société agraire vers une société industrielle pendant la révolution industrielle, avec les mutations majeures des méthodes de fabrication, des technologies et du développement urbain en Europe et en Amérique du 18e au 19e siècle.

Ici, la réponse cible le thème central plutôt qu’un résumé exhaustif, en identifiant la transformation clé sans entrer dans les détails (fer, textile, vapeur).

Biais

Les modèles pré-entraînés utilisés en zero-shot peuvent refléter des biais présents dans leurs données d’entraînement, conduisant à des sorties problématiques :

• Biais démographiques : race, genre, âge ou autres facteurs peuvent influencer les résultats.
• Biais culturels : des perspectives culturelles peuvent être favorisées au détriment d’autres.
• Biais de récence : les informations plus fréquentes dans les données (souvent récentes) peuvent être surreprésentées.
• Stéréotypes : le modèle peut renforcer des stéréotypes présents dans ses données d’entraînement.

Comprendre ces limites est essentiel pour utiliser le zero-shot de manière efficace : être vigilant sur les imprécisions, soigner la conception des prompts et évaluer de façon critique les sorties pour détecter déventuels biais.

Si ce sujet vous intéresse, consultez ce cours sur l’éthique de l’IA.

Conclusion

Dans ce tutoriel, nous avons vu que le zero-shot prompting offre un moyen puissant et flexible de traiter de nombreuses tâches de langage sans données spécifiques ni affinage du modèle.

Il permet aux LLMs de réaliser diverses tâches, comme la génération de texte, la classification ou les questions-réponses, via des prompts bien conçus.

Il élimine le besoin de collecter des données spécifiques et d’entraîner des modèles dédiés, réduisant fortement le temps et les ressources nécessaires pour déployer des solutions d’IA.

Cette méthode rend des capacités avancées plus accessibles aux personnes non techniques : il suffit de décrire les tâches en langage naturel.

Cependant, le zero-shot présente des limites en termes de précision, de sensibilité au prompt et de biais potentiels. Les comprendre est crucial pour un usage responsable et efficace.

Il est maintenant temps de passer à la pratique ! Nous vous encourageons à expérimenter le zero-shot prompting dans vos propres projets et à tester différents prompts et tâches. Amusez-vous et explorez tout le potentiel de cette technique dans votre travail !