De afgelopen jaren is AI binnen organisaties sterk gegroeid in gebruik en effectiviteit. Toepassingen variëren van voorspellende analyses voor efficiëntere en nauwkeurigere bedrijfsvoering tot machine vision voor directe interactie met de wereld en natural language processing (NLP) voor effectievere interactie met technologie via taal. Accenture meldt dat 84% van de ondervraagde executives gelooft dat ze AI moeten inzetten om hun groeidoelstellingen te halen.
Bij zo’n snelle groei van een relatief nieuwe en volwassen wordende technologie komt veel verantwoordelijkheid en zijn er de nodige ethische zorgen. Capgemini constateerde dat 70% van de klanten transparantie en eerlijkheid verwacht in hun AI-interacties. Daarnaast scherpen toezichthouders de regels rond transparantie en eerlijkheid van AI aan. De Europese Unie heeft recent een set AI-regelgevingen uitgebracht die gericht zijn op het minimaliseren van schadelijke effecten van AI-systemen, en de FTC kondigde plannen aan om op te treden tegen bedrijven die bevooroordeelde algoritmen verkopen (MIT Tech Review).
De toename in ethische zorgen is gerechtvaardigd en wordt aangejaagd door AI-toepassingen in steeds gevoeliger contexten zoals de gezondheidszorg, het rechtssysteem en de financiële sector. Zonder goede afstemming en begrip van de mogelijke ethische risico’s kan AI zorgen voor het reproduceren en versterken van historische vooroordelen en discriminatie. Zo onderzocht ProPublica het COMPAS-algoritme, dat werd gebruikt om straffen te informeren door de kans te voorspellen dat iemand zou recidiveren. Ze ontdekten dat zwarte verdachten aanzienlijk vaker fout-positieve aanbevelingen kregen die suggereerden dat ze opnieuw de fout in zouden gaan terwijl dat niet zo was, terwijl witte verdachten vaker fout-negatieve aanbevelingen kregen die suggereerden dat ze niet zouden recidiveren.
Evenzo heeft OpenAI’s GPT-3 NLP-transformermodel met 175 miljard parameters aanzienlijke bias laten zien bij het genereren van zinnen die religie bevatten. Het model toont ook vooroordelen ten aanzien van andere groepen, waaronder gender en ras, wat wordt besproken in het oorspronkelijke paper.
Naarmate AI alomtegenwoordiger wordt, is het cruciaal om te zorgen voor verantwoord gebruik van AI. Als we deze systemen willen vertrouwen om belangrijke en gevoelige beslissingen te informeren, mogen ze niet bevooroordeeld zijn of historische stereotypen bevatten.
Wat is algoritmische bias?
Algoritmische bias komt vaak in het nieuws, zoals te zien is bij genderbias in wervingsbeslissingen in het voordeel van mannen, online advertenties die roodliniëring op een kaart reproduceren (discriminatie op de woningmarkt), en zorgalgoritmen die raciaal vooroordeel bevatten. Al deze voorbeelden tonen duidelijk aan dat een groep anders wordt behandeld door het model dan een andere groep.
Er bestaan veel metriek om algoritmische bias formeel te definiëren. De basisdefinitie is dat een algoritme groepen in de data verschillend behandelt. De groepen waar we ons zorgen om maken, zoals ras, gender, religie en zwangerschap- of veteranenstatus, worden beschermde of gevoelige kenmerken genoemd. Bij het analyseren van een algoritme is het nodig te begrijpen welke groepen mogelijk het meest kwetsbaar zijn voor schadelijke effecten van het model.
Er zijn twee categorieën metriek om de bias en eerlijkheid van een algoritme te bepalen: fairness by representation en fairness by error.
Fairness by Representation
Deze metriek evalueren de uitkomsten van het model voor verschillende groepen. Zo kunnen ze bijvoorbeeld kijken naar het aandeel mannen dat wordt teruggebeld voor een sollicitatiegesprek versus vrouwen bij een wervingsalgoritme.
Fairness by Error
Fairness-by-error-metriek bekijken het verschil in het aandeel foutpercentages per groep. In het hierboven beschreven COMPAS-voorbeeld was het percentage fout-positieven voor zwarte verdachten bijvoorbeeld significant hoger dan voor andere groepen, en het percentage fout-negatieven voor witte verdachten significant lager.
Oorzaken van algoritmische bias
Bias in een algoritme wordt veroorzaakt door de onderliggende data. Eenvoudige modellen zoals lineaire regressie en complexere transformermodellen zijn niet uit zichzelf bevooroordeeld; ze produceren uitkomsten op basis van de data die ze krijgen. Hieronder staan vijf oorzaken van bias in data.
- Scheve dataset: Een dataset kan verschillende verhoudingen data per groep of trainingsvoorbeelden per groep hebben, wat kan leiden tot bevooroordeelde modeluitkomsten.
- Besmette voorbeelden: De data kan onbetrouwbare labels bevatten of er kan historische bias aanwezig zijn in de data.
- Beperkte features: De verzamelde kenmerken kunnen onbetrouwbaar zijn of niet informatief voor specifieke groepen door slechte dataverzamelingspraktijken.
- Steekproefgrootte: AI-algoritmen hebben moeite om goed te presteren met kleinere datasets.
- Proxyfeatures: Sommige kenmerken kunnen informatie lekken over beschermde variabelen, zelfs als de beschermde variabele niet in de data is opgenomen. Onderzoek toont aan dat variabelen zoals postcode, sportactiviteit en de universiteit waar iemand heeft gestudeerd indirect een model kunnen informeren over beschermde variabelen, wat kan leiden tot algoritmische bias.
Welke mitigatietechnieken kun je gebruiken?
We hebben nu een goed formeel begrip van wat algoritmische bias is en waardoor het wordt veroorzaakt. Er zijn twee mogelijke routes om algoritmische bias te mitigeren: technische technieken en AI-governance. Waarschijnlijk levert een combinatie van deze twee de beste resultaten op om de aanwezigheid van bias in een algoritme te verminderen.
Technische mitigatietechnieken
Binnen technische technieken zijn er drie benaderingen: pre-processingtechnieken die bias in de oorspronkelijke data verminderen vóór training, in-processingmethoden die bias beperken tijdens het trainen van het model, en post-processingalgoritmen die bias verminderen door voorspellingen aan te passen.
Dit paper beschrijft in de inleiding vier gangbare pre-processingtechnieken uit de literatuur:
- Suppressie: verwijder een variabele die het sterkst correleert met een gevoelig kenmerk
- Massaging: Herlabel efficiënt enkele observaties in de data met een ranker om discriminatie in de invoerdata te verwijderen
- Herverwegen: Ken gewichten toe aan elke tuple in de trainingsdata om discriminatie te verwijderen
- Sampling: Neem steekproeven uit elke groep voor een evenwichtigere vertegenwoordiging van elke groep, met uniforme sampling of preferentiële sampling door observaties te dupliceren of over te slaan.
Andere technieken zoals de probabilistische formulering in dit paper en dit paper, dat twee “reparatieprocedures” beschrijft, bieden ook goede methoden om bias te verwijderen in de pre-processingfase.
In-processingtechnieken richten zich op het verwijderen van bias tijdens de training. Deze technieken bevatten doorgaans fairness-constraints die het optimalisatieprobleem beïnvloeden en tot eerlijkere resultaten leiden. Voorbeelden van in-processmethoden zijn onder meer dit werk over fairness-constraints en dit werk over fairness-aware classificatie.
Tot slot passen post-processingalgoritmen modeluitkomsten aan om bias te verminderen. Deze algoritmen kunnen voorspellingen wijzigen voor geprivilegieerde of niet-geprivilegieerde groepen, zoals te zien is bij Pleiss et al. en Hardt et al., of ze verminderen bias wanneer een algoritme-uitkomst dicht bij de beslissingsgrens ligt (waar de uitkomst onzekerder is), zoals beschreven in dit paper over beslissingstheorie.
Voor elk van deze technieken is het essentieel om met alle betrokken stakeholders de trade-offs in nauwkeurigheid en de risico’s te bespreken die gepaard gaan met het wijzigen van de onderliggende data of modelresultaten. Deze technieken kunnen leiden tot voorspellingen die historisch niet zijn waargenomen of niet in de data voorkomen.
Governance en verantwoording
Het gebruik van AI in organisaties heeft veel voordelen. Maar zoals in deze blogpost te zien is, leiden de ethische risico’s van AI-systemen tot organisatierisico’s zoals reputatieschade, met omzetverlies tot gevolg. Geen enkel bedrijf wil een kop waarin staat dat het een bevooroordeeld algoritme gebruikte om zakelijke beslissingen te nemen die een groep klanten of medewerkers negatief troffen.
Goede AI-governance wordt uitgevoerd via uitgebreid risicobeheer. De specifieke usecase van de AI-beslissing en de bijbehorende impactbeoordeling voor elke stakeholder moeten worden geïdentificeerd. Het is belangrijk om de potentiële financiële en menselijke risico’s van de usecase te begrijpen. Zodra de omvang van elk risico voor elke stakeholder nauwkeurig is beoordeeld, moet de waarschijnlijkheid van deze gevolgen worden berekend.
Best practices voor AI-governance omvatten uitgebreide checklists voor stakeholders, geautomatiseerde en handmatige tests, compliance-tests met bedrijfsstandaarden, gedetailleerde rapporten en verklaringen van individuen en groepen die direct verantwoordelijk zijn voor het model. Voor meer details: download zeker onze whitepaper.
Verantwoorde AI steunt op datageletterdheid
Om verantwoorde AI op te schalen binnen organisaties is het nodig om datageletterdheid te ontwikkelen. Succesvolle AI-governance omvat meerdere stakeholders die één kader gebruiken en omarmen. Begrijpen wat de reikwijdte van projecten is, hoe ze worden uitgerold en beheerd, en hun impact en potentiële risico’s, is een vereiste voor verantwoorde AI voor alle betrokken stakeholders. Accenture stelt dat datageletterdheid vertrouwen opbouwt en verantwoorde AI mogelijk maakt door diverse perspectieven te betrekken, wat consequent leidt tot betere uitkomsten.
Door de basis-datageletterdheid in een organisatie te verhogen, kunnen inhoudsexperts die niet voortdurend met AI-systemen werken hun expertise in deze systemen inbrengen en effectiever communiceren met technische stakeholders. Deze verbeterde communicatie leidt tot meer vertrouwen binnen de organisatie voor alle betrokkenen.
Belangrijke aspecten van datageletterdheid om verantwoorde AI in een organisatie te bevorderen zijn onder meer begrip van de volgende gebieden: de data science- en machine learning-workflow, verschillende datarollen, de datastroom door een organisatie, het onderscheid tussen verschillende typen AI-systemen en evaluatiemetriek voor machinelearningmodellen.
Verhoog de basis-datageletterdheid om verantwoorde AI op te schalen
Het trainen van alle stakeholders in een organisatie is noodzakelijk om verantwoorde AI te bevorderen. Het vermijden van de bijbehorende risico’s van algoritmische bias is nodig om een organisatie succesvol te laten profiteren van de vele voordelen van AI in zakelijke contexten. Datageletterdheid is de sleutel tot succesvolle communicatie tussen stakeholders, vertrouwen binnen de organisatie en het verkennen van diverse oplossingen voor verantwoorde AI. De EU reserveert €1,1 biljoen voor de Skills Agenda, met een sterke nadruk op AI-vaardigheden en datageletterdheid voor toezichthouders, wat het belang van deze instrumenten binnen organisaties aantoont. Er zijn veel programma’s die de basis van datageletterdheid onderwijzen. Voor meer details over hoe datageletterdheid verantwoorde AI kan aanjagen — bekijk onze nieuwste whitepaper.
