Gouvernance de l'IA : cadres, outils, bonnes pratiques

Qu'est-ce que la gouvernance de l'IA ?

La gouvernance de l'IA désigne les mesures et méthodes systématiques conçues pour guider et superviser le développement et les usages de l'IA. Elle garantit l'alignement de l'IA sur des principes éthiques et les valeurs de la société. Cela inclut des lois, des réglementations et des lignes directrices qui s'adressent autant aux concepteurs qu'aux utilisateurs de l'IA.

Pour atteindre cet objectif, la gouvernance de l'IA cherche à préserver des principes tels que :

• Minimisation des risques : éviter les biais et les dommages potentiels
• Équité et transparence : promouvoir des systèmes d'IA compréhensibles
• Responsabilité : établir qui est responsable des résultats produits par l'IA
• Confiance du public : la manière dont la société perçoit les technologies d'IA

Pourquoi une IA équitable est-elle importante ?

Le développement d'applications d'IA mobilise de nombreux rôles et pratiques. Le plus souvent, ces applications reposent sur des données. La collecte, le traitement et la gestion des données sont en eux-mêmes des sujets délicats et sensibles.

Parallèlement, les produits d'IA sont utilisés dans de multiples secteurs, parfois à très grande échelle. Par exemple, ChatGPT est utilisé chaque semaine par plus de 200 millions d'utilisateurs actifs, selon DemandSage.

Compte tenu du grand nombre d'acteurs impliqués dans la conception de solutions fondées sur l'IA et de l'ampleur de leur diffusion, on mesure la complexité de l'IA et la multiplicité des problèmes potentiels.

Pour vous situer, imaginez candidater à un emploi dont le processus de recrutement s'appuie sur un système d'IA évaluant votre adéquation. Ce système analyse les candidats à partir de leur CV et de leur profil et écarte ceux qu'il ne juge pas adaptés au poste.

Mais si cet algorithme comporte des biais ou des failles, il peut discriminer injustement certains groupes selon l'âge, le genre ou l'origine ethnique. Si un tel système était largement adopté par les entreprises, les conséquences seraient considérables.

Ce scénario illustre pourquoi l'équité en IA est cruciale : garantir l'équité, la transparence et la responsabilité dans des systèmes susceptibles d'avoir un impact majeur sur la vie des personnes.

De manière surprenante, ces discriminations ne sont pas rares non plus chez les humains. Des chercheurs ont montré qu'il existe une discrimination illégale et systémique fondée sur le nom des personnes lors des candidatures. Les noms issus de minorités ethniques, à CV égal, ont moins de chances de succès.

Ainsi, si l'équivalent humain d'un système d'IA peut tomber dans ces pièges, utiliser l'IA pour une prise de décision impartiale reste exigeant, mais aussi porteur.

Gouvernance de l'IA : principes clés et cadres

Une gouvernance efficace de l'IA repose sur les valeurs humaines et sociétales. Des principes guident les experts pour évaluer l'alignement de leurs systèmes. Parmi eux :

• Transparence : donner de la clarté sur les mécanismes, la collecte des données et les algorithmes de décision.
• Équité : garantir un traitement et des prédictions impartiaux en identifiant et en atténuant les biais tout au long du développement et du déploiement.
• Responsabilité : définir clairement les responsabilités, y compris des protocoles en cas de dommage.
• Conception centrée sur l'humain : placer les valeurs humaines et le bien-être au premier plan.
• Vie privée : respecter les droits individuels grâce à des mesures robustes de protection des données.
• Sûreté et sécurité : prioriser la sécurité des utilisateurs et la sécurité des systèmes contre les usages malveillants et les effets inattendus.

Principaux cadres de gouvernance de l'IA

Plusieurs organisations ont élaboré des cadres pour guider les pratiques de gouvernance de l'IA. Parmi les plus notables :

1. NIST AI Risk Management Framework : développé par le National Institute of Standards and Technology (États-Unis), le NIST propose une approche pour identifier, évaluer et maîtriser les risques liés aux systèmes d'IA tout au long de leur cycle de vie.
2. Principes de l'OCDE sur l'IA : l'Organisation de coopération et de développement économiques a établi des principes pour une IA digne de confiance, mettant l'accent sur des valeurs centrées sur l'humain, l'équité, la transparence, la robustesse et la responsabilité.
3. IEEE Ethically Aligned Design : l'Institute of Electrical and Electronics Engineers a élaboré un cadre proposant des lignes directrices pour la conception et la mise en œuvre éthiques des systèmes autonomes et intelligents.
4. Lignes directrices de l'UE pour une IA digne de confiance : l'Union européenne fournit des recommandations en matière de robustesse technique, de protection de la vie privée, de transparence, de diversité, de non-discrimination, de bien-être sociétal et de responsabilité.
5. Cadres sectoriels : divers secteurs ont développé des cadres de gouvernance de l'IA adaptés à leurs besoins et contraintes spécifiques. Par exemple :
• Santé : les orientations de l'OMS sur l'éthique et la gouvernance de l'IA en santé
• Finance : les principes FEAT (Fairness, Ethics, Accountability, Transparency) de la Monetary Authority of Singapore
• Automobile : le cadre Safety First for Automated Driving

Ces cadres constituent des garde-fous précieux pour les organisations souhaitant mettre en place une gouvernance de l'IA, en combinant principes de haut niveau et recommandations pratiques.

L'IA trouve des applications dans de nombreux domaines, notamment la santé. L'interprétabilité et la transparence y sont essentielles. L'image ci-dessous illustre un système d'IA détectant des infections au COVID-19 :

Source : Peng et al., 2022

Bonnes pratiques pour mettre en œuvre la gouvernance de l'IA

Passer de la théorie à la pratique nécessite une approche holistique, impliquant divers acteurs et dimensions de l'organisation. Voici quelques bonnes pratiques pour opérationnaliser la gouvernance de l'IA :

Engagement de la direction et culture d'entreprise

L'engagement de la direction et l'ancrage culturel sont essentiels. Les dirigeants doivent soutenir activement et faire respecter les standards éthiques en matière d'IA, et veiller à leur diffusion dans toute l'organisation.

Cela suppose de créer et maintenir des lignes directrices claires et documentées pour chaque phase du cycle de vie : développement, tests, déploiement et surveillance, afin d'intégrer les considérations éthiques à chaque étape.

Formation et sensibilisation

La formation continue et la sensibilisation sont tout aussi importantes. Tous les collaborateurs concernés doivent être formés régulièrement aux enjeux d'éthique et d'équité de l'IA, pour rester à jour sur les bonnes pratiques et les nouveaux défis.

Les dirigeants doivent également être formés à l'impact et à la portée des technologies d'IA. Pour les développeurs, des formations adaptées à leurs rôles et projets garantissent les connaissances nécessaires à un développement et une mise en œuvre responsables.

Surveillance des systèmes d'IA

On ne saurait trop insister sur l'importance de la surveillance des systèmes d'IA. Mettez en place un suivi continu des performances et des prédictions. Cela permet d'identifier et de corriger rapidement tout biais ou effet non désiré.

Des évaluations régulières garantissent que les systèmes fonctionnent comme prévu et respectent les standards requis.

Documentation

Une documentation rigoureuse est indispensable pour la transparence et la responsabilité. Conservez des traces détaillées de chaque étape : sources de données, architectures de modèles, métriques de performance.

Établissez un cadre de décision éthique, via des politiques internes ou des standards externes reconnus, pour soutenir des pratiques claires et responsables tout au long du cycle de vie.

Implication des parties prenantes

L'implication des parties prenantes est essentielle pour aligner les systèmes d'IA sur des besoins et valeurs divers. Communiquez activement avec les utilisateurs, les communautés et les experts pour s'assurer que la conception et les objectifs des systèmes sont compris et répondent aux attentes de chacun.

Valoriser des points de vue variés aide à prévenir les préjudices non intentionnels et favorise l'inclusion et l'équité.

Amélioration continue

L'amélioration continue est clé pour maintenir des standards élevés. Définissez et suivez des indicateurs liés à l'éthique et aux biais pour évaluer les performances et itérer en conséquence.

Recueillez et intégrez les retours des utilisateurs et des parties prenantes afin de garantir l'alignement sur les standards éthiques.

Outils et technologies pour la gouvernance de l'IA

À mesure que la gouvernance de l'IA évolue, un écosystème d'outils et de technologies se développe pour aider les organisations à mettre en place les bonnes pratiques. Ces outils couvrent de multiples aspects, de la détection des biais à l'explicabilité et à la gestion des risques.

1. Détection et atténuation des biais :
• IBM AI Fairness 360 : une boîte à outils open source qui « permet d'examiner, de rendre compte et d'atténuer la discrimination et les biais dans les modèles d'apprentissage automatique tout au long du cycle de vie des applications d'IA ».
• Aequitas : un outil open source d'évaluation des biais et de l'équité pour les développeurs ML et les analystes de données.
2. Explicabilité et interprétabilité :
• LIME (Local Interpretable Model-agnostic Explanations) : une technique qui explique les prédictions de tout modèle d'apprentissage automatique « boîte noire ».
• SHAP (SHapley Additive exPlanations) : une approche issue de la théorie des jeux pour expliquer la sortie d'un modèle en analysant l'importance de chaque variable et leurs interactions.
3. Évaluation et gestion des risques :
• AI Risk Management Framework Navigator : un autre outil du NIST pour aider les organisations à identifier et atténuer les risques liés au déploiement et à l'exploitation des systèmes d'IA
4. Vie privée :
• OpenMined : un projet open source pour concevoir des systèmes d'apprentissage automatique où la confidentialité est plus cruciale que jamais
• TensorFlow Privacy : une bibliothèque pour entraîner des modèles d'apprentissage automatique préservant la confidentialité des données d'entraînement
5. Documentation des modèles :
• Model Cards : un cadre proposé par HuggingFace pour documenter de manière transparente les informations sur les modèles d'IA
• FactSheets : l'approche d'IBM pour renforcer la confiance et la transparence en IA

TensorFlow Privacy. (Source : TensorFlow)

Ces outils et technologies contribuent à une gestion responsable des systèmes d'IA. Différents services et métiers ont leurs propres outils et critères en matière de gouvernance. Mais il est important de rappeler que les outils ne suffisent pas : ils doivent s'adosser à des processus robustes et à une supervision efficace.

Étude de cas : l'IA responsable chez Microsoft

De nombreuses entreprises ont pris des mesures concrètes pour mettre en œuvre la gouvernance de l'IA. L'exemple du programme Responsible AI de Microsoft est parlant. Acteur majeur de l'IA aujourd'hui, Microsoft a aussi connu des échecs, notamment Tay.

Lancé en 2016, Tay était un chatbot censé apprendre et interagir sur Twitter. Faute de garde-fous, en moins de 24 heures, des utilisateurs lui ont appris à devenir fasciste, offensant et raciste. Tay apprenait sans barrière ce qu'il devait assimiler ou éviter. Le service a été fermé, mais l'épisode a servi de leçon.

Microsoft a renforcé ses pratiques de gouvernance via son programme Responsible AI. Un aspect notable est sa structure opérationnelle : un comité d'éthique de l'IA, l'Aether Committee (AI, Ethics, and Effects in Engineering and Research), examine les projets pour identifier des risques éthiques potentiels. Ce comité réunit des experts de divers domaines pour évaluer les impacts sociétaux et fournir des orientations.

En complément, Microsoft a développé et publié des outils et cadres pour aider les développeurs à appliquer au quotidien des pratiques responsables. Le Responsible AI Toolbox en est un exemple, utile pour évaluer et améliorer l'équité des systèmes d'IA.

Le paysage réglementaire et des politiques publiques

Réglementation et gouvernance, bien que distinctes, s'alimentent mutuellement. Partout dans le monde, les pouvoirs publics et régulateurs élaborent de nouvelles politiques pour encadrer le développement et l'usage de l'IA. Comprendre ce paysage en mouvement est indispensable pour les organisations qui déploient des pratiques de gouvernance.

L'AI Act de l'UE

L'une des avancées majeures est le règlement européen sur l'intelligence artificielle (EU AI Act). Ses points clés incluent :

1. Approche fondée sur le risque : catégorisation des systèmes d'IA selon leur niveau de risque, avec des exigences différenciées.
2. Pratiques interdites : certains usages, comme le score social par les gouvernements, sont proscrits.
3. Systèmes à haut risque : exigences strictes pour les systèmes utilisés dans des domaines critiques comme la santé, l'éducation ou le maintien de l'ordre.
4. Transparence : obligation d'informer les utilisateurs quand et sous quelle forme ils interagissent avec un système d'IA.

Autres réglementations émergentes

Si l'AI Act est sans doute le cadre le plus complet à ce jour, d'autres juridictions avancent également.

Le Canada a proposé l'Artificial Intelligence and Data Act (AIDA) dans le cadre d'une réforme plus large de la vie privée, tandis que le projet de loi californien sur la sécurité de l'IA, SB 1047, est, à la date de rédaction, en passe de devenir loi.

Implications pour les entreprises

Ce paysage réglementaire évolutif a des implications majeures pour les organisations développant des systèmes d'IA :

1. Conformité : s'assurer que les systèmes respectent les réglementations, ce qui peut nécessiter d'importants ajustements des pratiques de développement et de déploiement.
2. Documentation et transparence : accent sur la traçabilité des processus de développement et sur l'explicabilité des décisions automatisées, avec un degré d'exigence variable selon les lois.
3. Gestion des risques : nécessité d'évaluations robustes, en particulier pour les systèmes susceptibles d'être classés « à haut risque ».
4. Dimension internationale : pour les organisations multi-juridictionnelles, prise en compte d'exigences potentielles contradictoires.
5. Considérations éthiques : nombre de textes intègrent des principes éthiques, amenant les organisations à examiner explicitement les implications de leurs systèmes.

Le fait que votre organisation soit soumise ou non à ces lois dépend de votre juridiction, de la nature de votre produit et du niveau de risque associé.

Le débat sur la régulation de l'IA : pour et contre

La régulation est l'un des sujets les plus débattus en IA. Si la majorité du milieu s'accorde à dire qu'« un certain » niveau de régulation est souhaitable, le consensus n'existe ni sur sa nature, ni sur son étendue, ni sur l'acteur chargé de l'appliquer.

La complexité du sujet nourrit des échanges passionnés entre industrie, monde académique, pouvoirs publics et société civile, chacun débattant des bénéfices et limites des cadres réglementaires. Comprendre ces arguments est nécessaire pour se forger une perspective juste et équilibrée.

Arguments en faveur de la régulation de l'IA

Les partisans estiment que des règles sont indispensables pour protéger le public et que des textes bien conçus peuvent contenir les risques de l'IA : atteintes à la vie privée, biais, remplacement d'emplois, etc. Un corpus clair de lois et de standards évite une « course au moins-disant » en matière d'éthique et contribue à instaurer la confiance du public.

Autre argument : l'impact sociétal large de l'IA. À mesure qu'elle influence l'emploi, les interactions sociales et les processus démocratiques, une supervision réglementaire apparaît nécessaire pour gérer ces effets de façon responsable.

Arguments contre la régulation de l'IA

Les critiques pointent des effets négatifs potentiels. Un risque majeur serait de freiner l'innovation par des règles trop strictes, ralentissant des avancées bénéfiques en santé, climat ou recherche. Le rythme rapide de l'IA peut aussi rendre des textes vite obsolètes, voire contre-productifs.

Autre préoccupation : la charge de conformité pour les petites entreprises et startups. Le coût, les ressources et la complexité pourraient les pénaliser, réduisant la concurrence et l'innovation, et favorisant une concentration de l'IA entre les mains de quelques grands acteurs disposant des moyens nécessaires.

Beaucoup d'experts questionnent l'idée de réguler l'IA au niveau de la technologie plutôt que des usages. Comme l'électricité ou Internet, l'IA n'est pas intrinsèquement malveillante : tout dépend des applications, comme le souligne cet article, la sûreté relevant d'abord des applications plus que des modèles eux-mêmes.

Responsabilité des développeurs

Il est également important de rappeler que les valeurs qui rendent un système d'IA sûr — équité, absence de biais, transparence — ont certes des racines sociétales et éthiques, mais sont aussi des enjeux techniques.

Il faut reconnaître qu'un modèle biaisé est aussi techniquement défaillant. Par définition, il ne reflète ni ne traite fidèlement l'ensemble des données qu'il doit appréhender.

Cette faiblesse technique dégrade les performances, fausse les prédictions et rend les résultats peu fiables. Traiter les biais et promouvoir l'équité n'est donc pas seulement un impératif éthique, mais un défi technique fondamental qui conditionne la qualité des systèmes que nous construisons.

Ces valeurs doivent être respectées et intégrées par les développeurs, même en l'absence d'obligations légales. Les travaux sur l'équité et l'atténuation des biais sont souvent profondément techniques.

Prenons un système d'IA conçu pour aider des employés de banque à évaluer des demandes de prêt. Si, du fait de biais historiques, les données d'entraînement reflètent un schéma où certains groupes raciaux ont été plus souvent refusés ou moins bien servis, et que le système apprend à associer la race au score des candidats, alors ce système est « techniquement mauvais » avant même d'être « éthiquement inacceptable ». D'où la nécessité technique, autant qu'éthique, de traiter les biais.

Les organisations et les individus peuvent recourir à la transparence et à la documentation tout au long du cycle de développement afin de répondre aux préoccupations et de favoriser la confiance. Cette « transparence algorithmique » inclut une communication claire de la finalité du modèle, des sources de données, de la méthodologie et des limites potentielles. En tant que développeur, soyez explicite sur :

• Le processus d'entraînement du modèle
• Les détails du jeu de données utilisé
• Les étapes de prétraitement
• L'algorithme retenu

Cette transparence facilite la détection et la correction des défauts techniques, tout en témoignant d'un engagement éthique, ce qui renforce la confiance du public.

Conclusion

Nous avons exploré la nature de la gouvernance de l'IA, ses considérations éthiques, ses cadres réglementaires et ses mises en œuvre techniques. Son importance tient à sa capacité à anticiper les risques, instaurer la confiance et orienter la puissance de l'IA au service du bien commun.

Nous avons également passé en revue les outils et technologies disponibles, des initiatives d'entreprise et un paysage réglementaire en mutation, ainsi que le débat en cours autour de la régulation, en présentant les arguments des deux côtés.

Au final, la responsabilité d'un développement éthique et responsable ne repose pas seulement sur les autorités, mais aussi sur les entreprises et les individus qui créent ces technologies. Comme nous l'avons vu, traiter les biais et l'équité n'est pas qu'un enjeu moral : c'est une nécessité technique.