Ces dernières années, l’IA a connu une forte montée en puissance dans les organisations, tant en termes d’usage que d’efficacité. Ses applications vont de l’analyse prédictive, pour des opérations plus efficientes et plus précises, à la vision par ordinateur pour interagir directement avec le monde réel, en passant par le traitement du langage naturel (NLP) pour des échanges plus fluides avec la technologie. Accenture rapporte que 84 % des dirigeants interrogés estiment devoir s’appuyer sur l’IA pour atteindre leurs objectifs de croissance.
Cette croissance rapide d’une technologie encore jeune et en maturation s’accompagne de responsabilités et d’enjeux éthiques considérables. Capgemini a constaté que 70 % des clients attendent transparence et équité dans leurs interactions avec l’IA. Parallèlement, les régulateurs renforcent les exigences en matière de transparence et d’équité. L’Union européenne a récemment publié un ensemble de règles visant à limiter les effets néfastes des systèmes d’IA, et la FTC a annoncé son intention d’agir contre les entreprises commercialisant des algorithmes biaisés (MIT Tech Review).
La montée des préoccupations éthiques est légitime, portée par des cas d’usage de plus en plus sensibles, notamment en santé, justice et finance. Sans réglage adéquat ni compréhension des risques, l’IA peut reproduire et amplifier des biais et discriminations historiques. Par exemple, ProPublica a enquêté sur l’algorithme COMPAS, utilisé pour éclairer les décisions de condamnation en estimant la probabilité de récidive. Il en est ressorti que les prévenus noirs recevaient beaucoup plus souvent des faux positifs (prédits comme récidivistes à tort), tandis que les prévenus blancs recevaient plus souvent des faux négatifs.
De même, le modèle transformeur NLP GPT-3 d’OpenAI, doté de 175 milliards de paramètres, a montré des biais notables dans la génération de phrases liées à la religion. Le modèle présente également des biais envers d’autres groupes, notamment en matière de genre et de race, comme discuté dans l’article d’origine.
À mesure que l’IA se généralise, il devient crucial d’en garantir un usage responsable. Si nous voulons leur confier des décisions sensibles, ces systèmes ne doivent pas être biaisés ni véhiculer de stéréotypes historiques.
Qu’est-ce que le biais algorithmique ?
Le biais algorithmique occupe une place importante dans l’actualité, comme l’illustrent le biais de genre dans des outils de recrutement favorisant les hommes, des publicités en ligne reproduisant des schémas de ségrégation spatiale (discrimination au logement), ou encore des algorithmes de santé intégrant des biais raciaux. Dans tous ces cas, un groupe est traité différemment d’un autre par le modèle.
De nombreux indicateurs existent pour définir formellement le biais algorithmique. Au sens le plus simple, un algorithme traite différemment des groupes présents dans les données. Les groupes qui nous préoccupent — par exemple la race, le genre, la religion, la grossesse ou le statut d’ancien combattant — sont appelés caractéristiques protégées ou sensibles. Lors de l’analyse d’un algorithme, il faut identifier les groupes potentiellement les plus vulnérables aux impacts négatifs du modèle.
On distingue deux grandes familles de métriques pour évaluer biais et équité d’un algorithme : l’équité par représentation et l’équité par l’erreur.
Équité par représentation
Ces métriques évaluent les résultats produits par le modèle pour différents groupes. Par exemple, on peut comparer la proportion d’hommes rappelés pour un entretien à celle des femmes dans un algorithme de recrutement.
Équité par l’erreur
Ces métriques observent les écarts de taux d’erreur selon les groupes. Dans l’exemple de COMPAS mentionné plus haut, le taux de faux positifs pour les prévenus noirs était nettement plus élevé, et le taux de faux négatifs pour les prévenus blancs nettement plus faible.
Causes du biais algorithmique
Le biais d’un algorithme provient des données sous-jacentes. Qu’il s’agisse de modèles simples comme la régression linéaire ou de modèles transformeurs avancés, ils ne sont pas biaisés en eux-mêmes : ils produisent des sorties à partir des données fournies. Voici cinq sources fréquentes de biais dans les données.
- Jeu de données déséquilibré : des proportions différentes d’exemples par groupe, ou des exemples d’entraînement inégaux, peuvent conduire à des sorties biaisées.
- Exemples « contaminés » : les labels peuvent être peu fiables, ou des biais historiques peuvent être présents dans les données.
- Caractéristiques limitées : certaines variables collectées peuvent être peu fiables ou peu informatives pour des groupes spécifiques à cause de mauvaises pratiques de collecte.
- Taille d’échantillon : les algorithmes d’IA peinent avec des jeux de données trop restreints.
- Variables proxy : certaines variables peuvent révéler indirectement des informations sur des caractéristiques protégées, même si ces dernières ne figurent pas explicitement dans les données. Des recherches ont montré que le code postal, la pratique sportive ou l’université fréquentée peuvent renseigner indirectement un modèle sur des variables protégées et entraîner des biais.
Quelles techniques de mitigation utiliser ?
Nous disposons désormais d’un cadre formel pour comprendre le biais algorithmique et ses causes. Deux voies complémentaires permettent de le réduire : des techniques techniques et la gouvernance de l’IA. Dans la pratique, une combinaison des deux donne les meilleurs résultats pour atténuer les biais.
Techniques de mitigation techniques
On distingue trois approches : le prétraitement, qui réduit les biais dans les données avant l’entraînement ; l’« in-processing », qui les atténue pendant l’entraînement ; et le post-traitement, qui ajuste les prédictions pour réduire les biais.
Cet article décrit quatre techniques de prétraitement courantes :
- Suppression : supprimer une variable corrélée à une caractéristique sensible.
- Massaging : requalifier certaines observations à l’aide d’un classificateur par rang pour éliminer la discrimination dans les données d’entrée.
- Reweighting : attribuer des poids aux tuples d’entraînement pour supprimer la discrimination.
- Échantillonnage : échantillonner dans chaque groupe pour obtenir une représentation plus équilibrée, via un échantillonnage uniforme ou préférentiel (duplication ou exclusion d’observations).
D’autres approches, comme la formulation probabiliste de cet article et celui-ci qui propose deux « procédures de réparation », offrent également de bons moyens d’atténuer les biais au stade du prétraitement.
Les techniques d’« in-processing » visent à supprimer les biais pendant l’entraînement, souvent via des contraintes d’équité intégrées au problème d’optimisation, pour des résultats plus équitables. Parmi les références : ces travaux sur les contraintes d’équité et ceux sur la classification sensible à l’équité.
Enfin, les algorithmes de post-traitement modifient les sorties du modèle pour réduire les biais. Ils peuvent ajuster les prédictions pour des groupes privilégiés ou non privilégiés, comme le montrent Pleiss et al. et Hardt et al., ou réduire les biais quand la sortie se situe près de la frontière de décision (zone d’incertitude), comme dans cet article de théorie de la décision.
Quelle que soit la technique, il est essentiel d’échanger avec l’ensemble des parties prenantes sur les arbitrages en matière de précision et sur les risques liés à la modification des données ou des sorties du modèle. Ces méthodes peuvent conduire à des résultats qui ne reflètent pas les historiques observés.
Gouvernance et responsabilité
L’IA apporte de nombreux bénéfices aux organisations. Toutefois, comme illustré dans cet article, les risques éthiques se traduisent en risques pour l’entreprise, notamment réputationnels, donc financiers. Aucune société ne souhaite faire la une pour avoir utilisé un algorithme biaisé ayant pénalisé un groupe de clients ou de collaborateurs.
Une bonne gouvernance de l’IA repose sur une gestion des risques rigoureuse. Il faut identifier précisément le cas d’usage et évaluer l’impact pour chaque partie prenante. Comprendre les risques financiers et humains est primordial. Une fois l’ampleur de chaque risque correctement estimée pour chaque partie prenante, il convient d’en évaluer la probabilité.
Les bonnes pratiques de gouvernance de l’IA incluent des check-lists complètes pour les parties prenantes, des tests automatisés et manuels, des tests de conformité aux standards métier, des rapports détaillés et des attestations émanant des responsables directs du modèle. Pour en savoir plus, téléchargez notre livre blanc.
Une IA responsable repose sur la culture des données
Déployer l’IA responsable à l’échelle exige de développer la culture des données au sein de l’organisation. Une gouvernance réussie de l’IA implique plusieurs parties prenantes réunies autour d’un cadre commun. Maîtriser le périmètre des projets, leurs modes de déploiement et de gouvernance, ainsi que leurs impacts et risques potentiels est indispensable à une IA responsable pour toutes les parties concernées. Accenture soutient que la culture des données favorise la confiance et permet une IA responsable grâce à la diversité des points de vue, gage de meilleurs résultats.
En renforçant la culture des données de base dans l’entreprise, les experts métier qui n’interagissent pas quotidiennement avec les systèmes d’IA peuvent y intégrer leur expertise et dialoguer plus efficacement avec les équipes techniques. Cette communication améliorée accroît la confiance à tous les niveaux.
Les piliers de la culture des données qui soutiennent une IA responsable incluent : la compréhension du flux de travail en data science et apprentissage automatique, la connaissance des différents rôles data, la circulation des données dans l’organisation, la distinction entre les types de systèmes d’IA, et les métriques d’évaluation des modèles d’apprentissage automatique.
Renforcez la culture des données pour généraliser l’IA responsable
Former l’ensemble des parties prenantes de l’organisation est indispensable pour promouvoir une IA responsable. Réduire les risques liés aux biais algorithmiques est une condition pour tirer pleinement parti des atouts de l’IA dans les contextes business. La culture des données est la clé d’une communication efficace entre parties prenantes, d’une confiance interne renforcée et de l’exploration de solutions diverses pour une IA responsable. L’UE consacre 1,1 billion d’euros à sa Skills Agenda, avec un fort accent sur les compétences en IA et la culture des données pour les régulateurs, preuve de l’importance de ces leviers en entreprise. De nombreux programmes enseignent les fondamentaux de la culture des données. Pour découvrir comment la culture des données peut soutenir une IA responsable, consultez notre dernier livre blanc.
