AI-governance: raamwerken, tools, best practices

Wat is AI-governance?

AI-governance verwijst naar de maatregelen en systematische methoden die zijn ontworpen om de ontwikkeling en toepassingen van AI te sturen en te monitoren. Het zorgt ervoor dat AI in lijn is met ethische principes en maatschappelijke waarden. Dit omvat wetten, regelgeving en richtlijnen die zowel makers als gebruikers van AI aansturen.

Om dit te bereiken, wil AI-governance de volgende principes waarborgen:

• Risico’s minimaliseren: bias en potentiële schade vermijden
• Eerlijkheid en transparantie: inzetten op begrijpelijke AI-systemen
• Verantwoording: verantwoordelijkheid vastleggen voor AI-uitkomsten
• Publiek vertrouwen: hoe de samenleving AI-technologieën ziet

Waarom is eerlijke AI belangrijk?

De ontwikkeling van AI-toepassingen is het resultaat van vele rollen en praktijken. Vaak zijn AI-toepassingen gebouwd op een fundament van data. Het verzamelen, verwerken en omgaan met data is op zichzelf al delicaat en gevoelig.

Tegelijkertijd worden AI-producten gebruikt in uiteenlopende domeinen en sectoren, soms op zeer grote schaal. Zo wordt ChatGPT wekelijks gebruikt door meer dan 200 miljoen actieve gebruikers, volgens DemandSage.

Gegeven het grote aantal mensen dat betrokken is bij het ontwikkelen van AI-oplossingen en het brede bereik aan gebruikers, wordt de complexiteit en verfijning van AI goed zichtbaar. Er zijn talloze potentiële problemen die kunnen ontstaan.

Om perspectief te krijgen: stel je voor dat je solliciteert naar een baan waarbij het selectieproces steunt op een AI-systeem dat beoordeelt of je geschikt bent. Dit systeem bekijkt kandidaten op basis van hun cv en profiel en filtert degenen die niet geschikt worden geacht voor de functie.

Maar als dit AI-systeem inherente vooringenomenheden of gebreken in het algoritme heeft, kan het bepaalde groepen mensen oneerlijk discrimineren op basis van factoren zoals leeftijd, geslacht of etniciteit. Als zo’n AI-systeem breed zou worden ingezet door bedrijven, zouden de gevolgen aanzienlijk zijn.

Dit scenario toont waarom eerlijkheid in AI cruciaal is—om eerlijkheid, transparantie en verantwoording te waarborgen in AI-systemen die grote impact kunnen hebben op het leven van mensen.

Opvallend genoeg zijn zulke vormen van discriminatie ook onder mensen niet zeldzaam. Onderzoekers hebben vastgesteld dat er systematische illegale discriminatie bestaat op basis van iemands naam in het sollicitatieproces. Namen van etnische minderheden hebben, zelfs met hetzelfde cv als andere kandidaten, minder succes met hun sollicitatie.

Dus als de menselijke tegenhangers van een AI-systeem al in zulke valkuilen kunnen trappen, betekent dat dat AI inzetten voor onbevooroordeelde besluitvorming uitdagend maar ook waardevol is.

AI-governance: kernprincipes en raamwerken

Effectieve AI-governance steunt op maatschappelijke en menselijke waarden. Principes die experts helpen hun systemen te toetsen op alignment. Deze principes omvatten:

• Transparantie: AI-systemen moeten helderheid bieden met duidelijke inzichten in hun mechanismen, dataverzameling en besluitvormingsalgoritmen.
• Eerlijkheid: Onpartijdige behandeling en voorspellingen waarborgen door bias te identificeren en te beperken tijdens de ontwikkeling en uitrol van AI-systemen.
• Verantwoording: Duidelijke verantwoordelijkheden vastleggen voor AI-systemen, inclusief protocollen voor wanneer er schade optreedt.
• Mensgerichte ontwerpprincipes: Menselijke waarden en welzijn boven alles stellen.
• Privacy: Individuele privacyrechten respecteren met robuuste databeveiligingsmaatregelen.
• Veiligheid en beveiliging: Focus op gebruikerveiligheid en systeembeveiliging tegen kwaadwillige en onbedoelde gevolgen.

Toonaangevende AI-governanceraamwerken

Verschillende organisaties hebben raamwerken ontwikkeld om AI-governance in goede banen te leiden. Enkele van de meest opvallende zijn:

1. NIST AI Risk Management Framework: Ontwikkeld door het Amerikaanse National Institute of Standards and Technology. NIST biedt een aanpak om risico’s van AI-systemen doorheen hun levenscyclus te herkennen, te evalueren en te beheersen.
2. OECD AI Principles: De Organisatie voor Economische Samenwerking en Ontwikkeling (OESO) heeft principes opgesteld voor betrouwbare artificiële intelligentie. Deze geven prioriteit aan mensgerichte waarden, eerlijkheid, transparantie, robuustheid en verantwoording.
3. IEEE Ethically Aligned Design: Het Institute of Electrical and Electronics Engineers (IEEE) heeft een kader ontwikkeld met richtlijnen voor het ethisch ontwerp en de implementatie van autonome en intelligente systemen.
4. EU Ethics Guidelines for Trustworthy AI: De Europese Unie heeft richtlijnen opgesteld voor technische robuustheid, privacy, transparantie, diversiteit, non-discriminatie, maatschappelijk welzijn en verantwoordelijkheid.
5. Sectorspecifieke raamwerken: Diverse sectoren hebben eigen AI-governanceraamwerken ontwikkeld, afgestemd op hun specifieke behoeften en uitdagingen. Bijvoorbeeld:
• Zorg: WHO-richtlijnen over ethiek en governance van AI voor de gezondheidszorg
• Financiële sector: FEAT-principes (Fairness, Ethics, Accountability, and Transparency) van de Monetary Authority of Singapore
• Automotive: het Safety First for Automated Driving-raamwerk

Deze raamwerken bieden waardevolle vangrails voor organisaties die AI-governance willen invoeren, met zowel principes op hoog niveau als praktische aanbevelingen.

AI kent toepassingen in veel domeinen, waaronder de gezondheidszorg. Interpretatie en transparantie zijn twee belangrijke eigenschappen van zulke systemen. De onderstaande afbeelding is een voorbeeld van een AI-systeem dat COVID-19-infecties herkent:

Bron: Peng et al., 2022

Best practices voor het implementeren van AI-governance

AI-governance in de praktijk brengen vraagt om een holistische aanpak waarbij verschillende stakeholders en onderdelen van een organisatie samenwerken. Dit zijn enkele best practices om AI-governance in actie te brengen:

Leiderschap en culturele betrokkenheid

Leiderschap en culturele betrokkenheid zijn essentieel. Leiders moeten actief ethische standaarden in AI-ontwikkeling steunen en uitdragen, en ervoor zorgen dat deze principes in de hele organisatie worden toegepast.

Dit houdt in dat er duidelijke, goed gedocumenteerde richtlijnen zijn voor elke fase van het beheer van AI-systemen—ontwikkeling, testen, uitrol en monitoring—zodat ethische overwegingen in de hele AI-levenscyclus zijn ingebed.

Training en educatie

Doorlopende training en educatie zijn net zo belangrijk. Al het relevante personeel zou regelmatig training moeten krijgen over AI-ethiek en eerlijkheid om bij te blijven met best practices en opkomende uitdagingen.

Ook het leiderschap moet worden bijgespijkerd over de impact en het belang van AI-technologieën. Voor AI-ontwikkelaars zorgt gespecialiseerde training, afgestemd op hun specifieke rollen en projecten, dat ze de kennis hebben voor verantwoorde ontwikkeling en implementatie.

AI-systemen monitoren

Het belang van AI-systemen monitoren kan ik niet genoeg benadrukken. Voer continue monitoringsystemen in om AI-prestaties en voorspellingen te volgen. Dit helpt om bias of onbedoelde gevolgen snel te identificeren en te corrigeren.

Regelmatige evaluatie zorgt ervoor dat AI-systemen werken zoals bedoeld en voldoen aan de vereiste standaarden.

Documentatie

Grondige documentatie is essentieel voor transparantie en verantwoording in AI-ontwikkeling. Houd gedetailleerde verslagen bij van elke stap in het AI-ontwikkelproces, inclusief databronnen, modelarchitecturen en prestatienormen.

Stel een kader op voor ethische besluitvorming, via interne beleidslijnen of erkende externe standaarden, om heldere en verantwoorde praktijken te ondersteunen doorheen de AI-levenscyclus.

In gesprek met stakeholders

In gesprek gaan met stakeholders is belangrijk om AI-systemen af te stemmen op diverse behoeften en waarden. Communiceer actief met gebruikers, gemeenschappen en experts om ervoor te zorgen dat de ontwerpkeuzes en waarden van AI-systemen goed worden begrepen en aansluiten bij de behoeften van alle betrokkenen.

Het waarderen van diverse perspectieven helpt onbedoelde schade te voorkomen en zorgt dat AI-systemen inclusief en eerlijk zijn.

Continue verbetering

Continue verbetering is cruciaal om hoge standaarden in AI-ontwikkeling te behouden. Definieer en volg metrics rond ethiek en bias om de prestaties van AI-systemen te beoordelen en iteratieve verbeteringen door te voeren op basis van die data.

Vraag en verwerk feedback van gebruikers en stakeholders om zeker te zijn dat de AI-systemen in lijn zijn met ethische standaarden.

Tools en technologieën voor AI-governance

Naarmate AI-governance evolueert, ontstaat er een groeiend ecosysteem van tools en technologieën om organisaties te ondersteunen bij het toepassen van de juiste governancepraktijken. Deze tools richten zich op meerdere aspecten van AI-governance, van het detecteren van bias tot verklaarbaarheid en risicobeheer.

1. Detectie en mitigatie van bias:
• IBM AI Fairness 360: Een open-sourcetoolkit die “can helpen om discriminatie en bias in machinelearningmodellen te onderzoeken, rapporteren en mitigeren doorheen de levenscyclus van AI-toepassingen.”
• Aequitas: Een open-source toolkit voor bias- en eerlijkheidsbeoordeling voor ML-ontwikkelaars en data-analisten.
2. Verklaarbaarheid en interpreteerbaarheid:
• LIME (Local Interpretable Model-agnostic Explanations): Een techniek die de voorspellingen van elk black-box machinelearningmodel verklaart.
• SHAP (SHapley Additive exPlanations): Een speltheoretische aanpak om de output van elk machinelearningmodel te verklaren door het belang van elke feature en hun onderlinge relaties te analyseren.
3. Risicobeoordeling en –beheer:
• AI Risk Management Framework Navigator: Nog een tool van NIST om organisaties te helpen de risico’s rond de uitrol en werking van AI-systemen te identificeren en te mitigeren
4. Privacy:
• OpenMined: Een open-sourceproject voor het bouwen van machinelearningsystemen waarbij privacy vaker cruciaal is dan gedacht
• TensorFlow Privacy: Een bibliotheek om machinelearningmodellen te trainen met privacy voor trainingsdata
5. Modeldocumentatie:
• Model Cards: Een kader van HuggingFace voor transparante rapportage van AI-modelinformatie
• FactSheets: IBM’s aanpak om vertrouwen en transparantie in AI te vergroten

TensorFlow Privacy. (Bron: TensorFlow)

Deze tools en technologieën helpen ervoor te zorgen dat AI-systemen op een verantwoorde manier worden beheerd en onderhouden. Verschillende afdelingen en rollen binnen een organisatie hebben hun eigen tools en criteria rond AI-governance. Belangrijk is echter dat tools op zich niet voldoende zijn. Ze moeten hand in hand gaan met robuuste processen en toezicht om effectief te zijn.

Case study: Microsoft’s Responsible AI

Verschillende bedrijven hebben praktische stappen gezet om AI-governance te implementeren. Een voorbeeld is Microsofts Responsible AI-programma. Microsoft is een leidende speler in AI vandaag, maar heeft ook zijn deel aan mislukte AI-projecten gehad—waaronder vooral Tay.

Tay, oorspronkelijk uitgebracht door Microsoft in 2016, was een chatbot die moest leren en interageren op Twitter. Door een gebrek aan veiligheidsmaatregelen leerden Twitter-gebruikers Tay binnen 24 uur fascistische, beledigende en racistische uitingen aan. Tay leerde van hen zonder vangrails voor wat het wel of niet moest leren. Tay is uiteindelijk stilgelegd, maar het werd een waardevolle les.

Microsoft heeft werk gemaakt van het ontwikkelen en invoeren van AI-governancepraktijken via het Responsible AI-programma. Een opvallend aspect is de operationele structuur. Het bedrijf heeft een AI-ethiekcommissie opgericht, de Aether Committee (AI, Ethics, and Effects in Engineering and Research), die AI-projecten beoordeelt op mogelijke ethische zorgen. Deze commissie brengt experts uit diverse vakgebieden samen om de impact van AI-technologieën op de samenleving te beoordelen en richtlijnen te geven.

Daarnaast heeft Microsoft verschillende tools en raamwerken ontwikkeld en vrijgegeven om ontwikkelaars te helpen verantwoorde AI-praktijken in hun dagelijkse werk te implementeren. De Responsible AI Toolbox is daar een voorbeeld van en helpt de eerlijkheid van AI-systemen te beoordelen en te verbeteren.

Het regelgevende en beleidslandschap

Regelgeving en governance, hoewel verschillend in definitie, hebben invloed op elkaar. Overheden en toezichthouders wereldwijd ontwikkelen nieuwe beleidslijnen en regels om de ontwikkeling en het gebruik van AI te reguleren. Inzicht in dit evoluerende landschap is nodig voor organisaties die AI-governance in hun workflows implementeren.

De EU AI Act

Een van de belangrijkste ontwikkelingen in AI-regulering is de Europese Artificial Intelligence Act (EU AI Act). Belangrijke punten uit deze wet zijn onder meer:

1. Risicogebaseerde aanpak: AI-systemen worden ingedeeld op basis van hun risiconiveau, met verschillende vereisten per categorie.
2. Verboden AI-praktijken: Bepaalde AI-toepassingen, zoals social scoring door overheden, zijn verboden.
3. Hoogrisico-AI-systemen: Strenge vereisten voor AI-systemen in kritieke domeinen zoals zorg, onderwijs en rechtshandhaving.
4. Transparantievereisten: De plicht om gebruikers te informeren wanneer en in welke vorm ze met AI-systemen interageren.

Andere opkomende regelgeving

Hoewel de EU AI Act wellicht de meest omvattende AI-wetgeving tot nu toe is, werken andere partijen ook aan eigen benaderingen.

Canada heeft de Artificial Intelligence and Data Act (AIDA) voorgesteld als onderdeel van een bredere privacyhervorming, terwijl Californiës AI-veiligheidswet, SB 1047, op het moment van schrijven op weg is om wet te worden.

Gevolgen voor bedrijven

Het evoluerende regelgevingslandschap heeft grote gevolgen voor organisaties die AI-systemen ontwikkelen:

1. Compliancevereisten: Organisaties moeten ervoor zorgen dat hun AI-systemen aan de regels voldoen. Deze kunnen botsen met huidige praktijken, wat uiteindelijk forse aanpassingen aan ontwikkel- en uitrolprocessen kan vereisen.
2. Documentatie en transparantie: Meer nadruk op het documenteren van AI-ontwikkelprocessen en het geven van uitleg bij door AI gestuurde beslissingen. De mate van vereiste transparantie verschilt uiteraard per wet.
3. Risicobeheer: Behoefte aan robuuste risicobeoordeling, zeker voor AI-systemen die als „hoog risico” kunnen worden geclassificeerd.
4. Mondiale overwegingen: Organisaties die in meerdere rechtsgebieden actief zijn, moeten mogelijk conflicterende eisen in kaart brengen en adresseren.
5. Ethische overwegingen: Veel regels nemen ethische principes op, waardoor organisaties explicieter de ethische implicaties van hun AI-systemen moeten meenemen.

Of jouw organisatie of team onder deze wetten valt, hangt af van je rechtsgebied, het type product dat je bouwt en het risiconiveau van het product.

Het debat over AI-regels: voor en tegen

Regelgeving is een van de meest bediscussieerde onderwerpen binnen AI. Hoewel het merendeel van de AI-gemeenschap het erover eens is dat “iets” van regulering nuttig is, lijkt er weinig overeenstemming over de aard, de reikwijdte en wie deze wetten moet dragen.

De complexiteit van dit vraagstuk leidt tot vurige discussies in industrie, academie, overheid en het maatschappelijk middenveld, waarbij men de potentiële voor- en nadelen van regelgevende kaders afweegt. Inzicht in deze argumenten is nodig om een juiste en onbevooroordeelde kijk te ontwikkelen.

Argumenten vóór AI-regelgeving

Voorstanders van AI-regelgeving stellen dat richtlijnen essentieel zijn om het publiek te beschermen en dat goed ontworpen regels de potentiële schade van AI kunnen beteugelen. Privacyinbreuken, bias en baanverlies zijn enkele van die potentiële schadeposten. Ze menen dat een set van duidelijke wetten en standaarden een „race naar de bodem” op het gebied van ethiek kan voorkomen. Bovendien kunnen deze standaarden een cruciale rol spelen in het opbouwen van publiek vertrouwen in AI-technologieën.

Een ander argument voor regulering is de brede maatschappelijke impact van AI. Nu deze technologieën steeds meer invloed hebben op werk, sociale interacties en democratische processen, stellen pleitbezorgers dat toezicht nodig is om te waarborgen dat deze effecten worden meegenomen en verantwoordelijk worden beheerd.

Argumenten tegen AI-regelgeving

Critici van AI-regelgeving uiten verschillende zorgen over negatieve effecten. Een primair argument tegen strikte regels is de vrees dat ze innovatie uiteindelijk kunnen fnuiken. Ze vrezen dat te beperkende regels AI vertragen en zo rem zetten op nuttige vooruitgang in domeinen als gezondheidszorg, klimaat en wetenschap, terwijl de snelle ontwikkeling van AI ertoe kan leiden dat regels snel verouderen en zo irrelevant of zelfs contraproductief worden.

Een andere grote zorg zijn de compliance-uitdagingen voor kleinere bedrijven en startups. De kosten, mankracht en complexiteit van uitgebreide regelgeving kunnen drukkend zijn, waardoor concurrentie en innovatie afnemen. Dit kan ertoe leiden dat AI-ontwikkeling wordt geconcentreerd bij enkele grote technologiebedrijven die voldoende middelen hebben om met complexe regelgeving om te gaan.

Veel AI-experts betwijfelen of reguleren op technologieniveau, in plaats van op toepassingsniveau, de juiste aanpak is. Ze stellen dat AI, net als elektriciteit en het internet, niet intrinsiek kwaadaardig is. Het gebruik kan kwaadwillig of constructief zijn. AI-veiligheid is een eigenschap van toepassingen, niet van de technologie zelf, zoals ook wordt aangehaald in dit artikel.

Verantwoordelijkheid van ontwikkelaars

Het is ook belangrijk te benadrukken dat waarden die AI-systemen veilig maken—zoals eerlijkheid, bias en transparantie—naast hun wortels in de samenleving en ethiek ook een technische component hebben.

Het is cruciaal te erkennen dat bevooroordeelde AI-modellen ook technisch gebrekkig zijn. Een model dat bias vertoont, representeert of verwerkt per definitie niet het volledige spectrum aan data waarvoor het bedoeld is.

Dit technische tekort kan leiden tot lagere prestaties, onnauwkeurige voorspellingen en onbetrouwbare uitkomsten. Vanuit dit standpunt is bias aanpakken en eerlijkheid bevorderen niet alleen een ethische kwestie, maar een fundamentele technische uitdaging die direct de kwaliteit van de AI-systemen beïnvloedt die we bouwen.

Deze waarden moeten door de ontwikkelaars die AI-systemen bouwen worden gerespecteerd en ingebouwd, ook zonder wettelijke verplichting of regulatoire standaarden. Onderzoekers en ontwikkelaars die aan eerlijkheid en biasmitigatie werken, doen vaak diepgaand technisch werk.

Denk aan een AI-systeem dat bankmedewerkers ondersteunt bij het beoordelen van leningaanvragen. Als door historische vooringenomenheid in kredietverlening de trainingsdata een patroon weerspiegelen waarbij bepaalde raciale groepen onevenredig vaak werden geweigerd of slechtere voorwaarden kregen, en het AI-systeem leert ras te koppelen aan aanvragerscores, dan is dit systeem “technisch slecht” nog vóórdat het “ethisch onaanvaardbaar” is. Dit voorbeeld toont dat bias in AI aanpakken niet alleen een ethische drijfveer is, maar ook een technische noodzaak.

Organisaties en individuen kunnen transparantie en documentatie door de hele AI-levenscyclus gebruiken om zorgen en publiek vertrouwen aan te pakken. Deze “algoritmische transparantie” omvat heldere communicatie over het doel van een model, databronnen, methodologie en mogelijke beperkingen van het systeem. Als ontwikkelaar kun je helder en transparant zijn door te communiceren over:

• Het trainingsproces van het model
• Details over de gebruikte dataset
• Alle datapreprocessingstappen
• Het gekozen algoritme

Deze transparantie helpt niet alleen technische fouten te identificeren en te corrigeren, maar toont ook betrokkenheid bij ethische AI-ontwikkeling, wat het publiek vertrouwen in de technologie vergroot.

Conclusie

Dit artikel heeft de aard van AI-governance, ethische overwegingen, regelgevende kaders en technische implementaties verkend. Het belang van AI-governance ligt in het vermogen om risico’s te identificeren voordat ze problemen veroorzaken, publiek vertrouwen te winnen en de kracht van AI te sturen voor maatschappelijk nut en het goede.

We hebben ook verschillende aspecten van AI-governance bekeken, waaronder beschikbare tools en technologieën, bedrijfsinitiatieven en het evoluerende regelgevingslandschap. We hebben bovendien het lopende debat rond AI-regelgeving besproken, met argumenten voor en tegen toezicht.

Uiteindelijk rust de verantwoordelijkheid voor ethische en verantwoorde AI-ontwikkeling niet alleen op toezichthouders, maar ook op de bedrijven en individuen die deze technologieën maken. Zoals we zagen, is het aanpakken van zaken als bias en eerlijkheid in AI-systemen niet louter een ethische kwestie, maar een technische noodzaak.