Qu’est-ce que l’annotation de données et pourquoi est-elle indispensable à l’IA ?

De bons algorithmes d’IA reposent sur des données de haute qualité. Malgré les mathématiques complexes mises en jeu, la véritable force de l’IA, c’est la donnée.

Sans jeux de données exacts, fiables et complets, les systèmes d’IA n’atteignent pas leur plein potentiel : « Garbage in, garbage out », comme le disent les praticiens. Une grande partie de la magie de l’IA tient à la qualité des données, d’où l’accent mis sur l’importance de l’annotation.

Dans cet article, nous allons approfondir :

• Ce qu’est l’annotation de données
• Pourquoi l’annotation est nécessaire pour l’IA
• Les techniques d’annotation
• Les défis de l’annotation de données
• Les bonnes pratiques d’annotation

Comprendre l’annotation de données

L’annotation de données consiste à identifier et à étiqueter des échantillons de données, généralement utilisés pour entraîner des modèles d’apprentissage automatique (ML). Autrement dit, l’annotation fournit au modèle ML le contexte dont il a besoin pour apprendre.

Par exemple, un jeu de données annoté peut indiquer si une personne est éligible à un prêt, ce qu’elle a dit dans un enregistrement audio, ou si une radiographie contient une tumeur.

L’annotation de données en IA recouvre de nombreux usages. Parmi les cas d’usage généraux :

• Annotation d’images : identifier et baliser des éléments précis dans une image.

• Annotation de texte : affecter des étiquettes à un document texte ou à différents éléments de son contenu pour caractériser les phrases.

• Transcription audio : convertir la parole d’un fichier audio en texte écrit.

• Annotation vidéo : annoter ou baliser des séquences vidéo pour entraîner des modèles de vision par ordinateur à détecter ou identifier des objets.

Pourquoi l’annotation de données est nécessaire pour l’IA

Étant donné que de nombreux cas d’usage actuels les plus concrets de l’apprentissage automatique reposent sur des données, l’annotation joue un rôle majeur dans le domaine de l’IA.

L’apprentissage supervisé est une branche du ML qui s’appuie sur des jeux de données annotés pour entraîner des modèles à prédire des résultats et à reconnaître des motifs. Sans données étiquetées, la plupart des modèles supervisés sont incapables d’apprendre les correspondances entrée–sortie nécessaires pour décider et généraliser à de nouveaux cas.

Dès qu’un algorithme supervisé reçoit un jeu de données annoté, il peut commencer à apprendre les structures sous-jacentes des données : c’est la phase d’entraînement du modèle.

Si les données sont mal annotées, le modèle apprendra de mauvais schémas. La qualité du modèle dépend donc fortement de l’exactitude de la vérité terrain attribuée lors de l’annotation.

En annotant précisément les échantillons, on donne au modèle ML toutes les chances d’apprendre des motifs pertinents et d’améliorer la qualité de ses prédictions.

Techniques et outils d’annotation de données

L’une des premières décisions d’un chef de projet IA consiste à définir comment les données seront annotées. Malgré certaines nuances, les approches se classent le plus souvent en trois catégories.

• Annotation manuelle
• Annotation semi-automatisée
• Annotation automatisée

Choisir l’approche la plus efficace suppose d’en comprendre le fonctionnement, les avantages et les limites.

Annotation manuelle

La méthode classique pour constituer un jeu d’entraînement est l’annotation manuelle. Elle consiste à mobiliser des experts du domaine pour examiner chaque donnée et lui affecter une étiquette à la main.

L’annotation manuelle est très efficace lorsque l’enjeu d’erreur est élevé. Par exemple, demander à des médecins d’annoter manuellement des radiographies pour entraîner un modèle de détection de cancer améliore la fiabilité des données.

Avantages :

• Capacité à couvrir les cas limites
• Des annotateurs experts fournissent des étiquettes précises et cohérentes
• Meilleure assurance qualité des données

Inconvénients :

• Très chronophage et exigeant
• Coûts élevés liés au recours à des annotateurs professionnels

À noter : l’annotation manuelle peut être externalisée (intérimaires, prestataires), on parle alors de crowdsourcing.

Annotation semi-automatisée

Allier l’expertise humaine et l’efficacité des machines, c’est l’annotation semi-automatisée.

Concrètement, on exploite le ML pour annoter rapidement, puis des annotateurs humains relisent et corrigent les erreurs de l’algorithme.

Ce processus accélère fortement l’annotation tout en préservant la qualité. Des outils comme Labelbox et SuperAnnotate l’ont largement facilité.

Avantages :

• Intervention d’experts là où la machine atteint ses limites
• Réduction sensible des coûts et des délais par rapport au tout manuel

Inconvénients :

• Risque de bruit, d’ambiguïté et d’incohérences si les étiquettes initiales sont imprécises ou inadaptées
• Le besoin d’une supervision, de retours et d’itérations peut peser sur la scalabilité et l’efficacité

Annotation automatisée

Dans l’annotation automatisée, les humains sont complètement hors boucle. Les modèles s’auto-entraînent à partir des données pour en déduire des règles d’annotation et les appliquer aux instances non annotées.

Avantages :

• Vitesse de traitement très élevée
• Économique
• Étiquetage cohérent
• Très forte montée en charge

Inconvénients :

• Difficultés sur des données inédites
• Une erreur d’annotation peut en entraîner d’autres par propagation

Comparatif des techniques d’annotation

Le tableau ci-dessous compare les différentes techniques d’annotation sur la base des éléments précédents :

Défis et points d’attention de l’annotation

Le processus d’annotation présente plusieurs défis susceptibles d’affecter fortement les performances et la fiabilité des systèmes d’IA.

Passer à l’échelle sur de grands jeux de données

L’annotation manuelle devient pratiquement infaisable à mesure que le volume augmente, du fait du coût croissant des annotateurs et des délais peu réalistes.

Dans ces cas, l’annotation automatisée devient nécessaire, avec ses propres défis : diversité des types de données et maintien d’une cohérence d’annotation.

Gérer des données non structurées et bruyantes

Les données réelles sont rarement ordonnées. Elles sont souvent bruyantes, incomplètes, voire hors sujet. Un prétraitement approfondi est requis avant l’annotation pour les rendre exploitables.

Image créée par l’auteur avec Midjourney

Bien que cela allonge le projet, c’est indispensable : des annotateurs, même expérimentés, peuvent être induits en erreur par des données désordonnées et produire des étiquettes inexactes.

L’idée clé est que le nettoyage et le prétraitement des données sont des étapes incontournables du pipeline d’annotation, mais déjà difficiles en soi.

Coûts et contraintes budgétaires

L’annotation manuelle est l’une des approches les plus répandues. Elle permet de capter l’expertise métier, de couvrir les cas limites et d’assurer la cohérence des étiquettes, mais elle est aussi exigeante et longue.

Image créée par l’auteur avec Midjourney

Comme évoqué, les coûts liés au recours à des annotateurs qualifiés croissent avec la taille des données. Ce processus se met difficilement à l’échelle.

Ambiguïté et subjectivité

Un obstacle majeur est la subjectivité de certaines tâches d’annotation. Deux annotateurs peuvent interpréter différemment une même scène, générant des incohérences, par exemple en reconnaissance d’images.

Ces écarts peuvent dégrader la qualité des données annotées et introduire du bruit, au détriment de la robustesse et de la précision des modèles.

Applications concrètes de l’annotation

Nous avons établi que l’annotation est essentielle pour permettre aux modèles d’apprentissage automatique de bien fonctionner.

Voici quelques applications réelles où l’annotation est centrale :

• Véhicules autonomes : l’annotation est indispensable pour entraîner les véhicules autonomes. Grâce aux données annotées issues de capteurs, caméras et systèmes Lidar, ils détectent et interprètent objets, piétons, panneaux, etc., pour une conduite sûre et fiable.
• Santé : l’annotation est cruciale pour de nombreux cas d’usage. L’annotation d’images médicales facilite le diagnostic et la planification des traitements en repérant tumeurs et anomalies sur IRM et radiographies. Les dossiers médicaux électroniques s’appuient sur des données patients annotées pour aider la décision clinique.
• e-commerce : les systèmes de recommandation reposent fortement sur l’annotation, qui aide à comprendre comportements, préférences et descriptions produits. Des étiquettes pertinentes stimulent l’engagement et les ventes via des recommandations adaptées.
• Médias sociaux : l’annotation fonde la modération de contenus. Les contenus offensants ou nuisibles sont signalés dans les posts et commentaires, rendant le web plus sûr et plus simple d’usage.
• Services financiers : des transactions annotées servent à l’évaluation des risques et à la détection de fraude. L’annotation protège consommateurs et institutions en identifiant les schémas inhabituels.
• Traduction automatique : l’annotation de textes permet des traductions plus précises. Les modèles de traduction s’améliorent grâce à des jeux de données de traductions annotés.

Bonnes pratiques pour vos projets d’annotation

Voici quelques bonnes pratiques pour aider les équipes IA à viser qualité, cohérence et efficacité dans leur processus d’annotation.

Définir des consignes d’annotation claires et précises

Les consignes d’annotation indiquent comment étiqueter les données. Avant d’annoter des images, par exemple, il faut préciser ce qui fait qu’un échantillon relève d’une catégorie donnée, comment traiter les objets partiels ou occultés, et comment gérer les éléments de fond non pertinents.

Avec des consignes détaillées, on améliore l’exactitude et la fiabilité des étiquettes tout en réduisant la subjectivité et la variabilité du processus.

Former et suivre les annotateurs

Les annotateurs doivent être formés et suivis pour respecter les consignes et produire des étiquettes de qualité. Cela garantit la cohérence du processus.

La formation fournit contexte, exemples, retours et accompagnement pour bien comprendre la tâche. Le suivi consiste à mesurer et évaluer les performances des annotateurs (précision, rapidité, taux d’accord et de rétention) et à lever les obstacles rencontrés.

Valider et améliorer les étiquettes

Une fois l’annotation terminée, les données doivent être validées pour vérifier qu’elles répondent aux exigences de l’équipe IA ; sinon, les améliorer.

La validation examine précision, complétude, diversité, couverture et cohérence des étiquettes, ainsi que la fiabilité et l’accord entre annotateurs. Cela permet d’identifier les données utiles, d’écarter les autres et d’évaluer robustesse et performance des modèles.

Enjeux éthiques de l’annotation

Pour garantir des pratiques impartiales et équitables, il est essentiel de maîtriser les enjeux éthiques liés à l’annotation.

Repérer et corriger les biais potentiels, comprendre l’impact des données biaisées sur les algorithmes, et traiter des questions comme le consentement, la vie privée et l’équité sont des étapes clés pour des pratiques responsables.

Faire passer l’éthique des données au premier plan est indispensable pour concevoir des systèmes d’IA plus justes et fiables.

Vie privée

La vie privée est un enjeu majeur. Lors de l’annotation de données sensibles (noms, adresses, etc.), il faut procéder avec soin. Des mécanismes de consentement éclairé doivent être en place pour autoriser l’annotation et l’usage ultérieur des données.

Biais

Des biais introduits au cours de l’annotation peuvent compromettre l’intégrité et l’équité des jeux de données. Ils peuvent provenir des préjugés des annotateurs (genre, origine, statut socio-économique, etc.).

Ces biais risquent de déformer les étiquettes et d’entretenir discrimination et inégalités.

Des données biaisées, annotées sans précautions éthiques, dégradent les performances et les résultats des algorithmes. Les modèles risquent de refléter et d’amplifier des préjugés sociaux.

Équité

L’équité d’annotation implique de traiter chaque personne et chaque groupe de manière égale. En diversifiant les points de vue, en remettant en cause les stéréotypes et en considérant des approches nouvelles, on réduit les risques d’annotation injuste.

Il faut évaluer avec soin l’impact des choix d’annotation sur différentes communautés, et corriger tout biais ou traitement inéquitable.

Conclusion

L’annotation de données est une étape essentielle pour créer des modèles d’apprentissage automatique performants. En pratique, c’est une tâche exigeante. Les entreprises doivent arbitrer entre plusieurs paramètres et techniques pour choisir la bonne stratégie. Une évaluation approfondie de la complexité de la tâche, ainsi que de la taille, de la portée et de la durée du projet, est recommandée, car chaque méthode d’annotation a ses atouts et ses limites.

Pour aller plus loin sur l’IA et l’importance de l’annotation, explorez ces ressources DataCamp :

• AI Fundamentals skill track
• What is unlabeled data?
• Handling machine learning categorical data with Python