Negli ultimi anni, l’AI ha visto una crescita significativa nell’adozione e nell’efficacia all’interno delle organizzazioni. Le sue applicazioni spaziano dall’analisi predittiva per operazioni aziendali più efficienti e accurate, alla visione artificiale per interazioni dirette con il mondo, fino al natural language processing (NLP) per interagire in modo più efficace con la tecnologia attraverso il linguaggio. Accenture riporta che l’84% dei dirigenti intervistati ritiene di dover sfruttare l’AI per raggiungere i propri obiettivi di crescita.
A questa crescita rapida di una tecnologia relativamente nuova e in maturazione si accompagnano molte responsabilità e preoccupazioni etiche. Capgemini ha rilevato che il 70% dei clienti si aspetta trasparenza ed equità nelle proprie interazioni con l’AI. Inoltre, i regolatori stanno iniziando a inasprire le norme su trasparenza ed equità dell’AI. L’Unione Europea ha recentemente pubblicato un insieme di regolamenti sull’AI volti a minimizzare gli impatti dannosi dei sistemi di AI, e la FTC ha annunciato l’intenzione di perseguire le aziende che vendono algoritmi distorti (MIT Tech Review).
L’aumento delle preoccupazioni etiche è giustificato ed è alimentato da casi d’uso dell’AI che coinvolgono sempre più spesso contesti altamente sensibili come sanità, giustizia e finanza. Senza un’adeguata messa a punto e senza comprendere i potenziali rischi etici, l’AI può riprodurre e amplificare bias e discriminazioni storiche. Per esempio, ProPublica ha indagato sull’algoritmo COMPAS, utilizzato per informare le sentenze penali prevedendo la probabilità che una persona commetta un nuovo reato. È emerso che gli imputati neri avevano probabilità significativamente maggiori di ricevere raccomandazioni di falso positivo che suggerivano una recidiva quando in realtà non avrebbero recidivato, mentre gli imputati bianchi avevano probabilità maggiori di ricevere raccomandazioni di falso negativo che suggerivano il contrario.
Allo stesso modo, il modello NLP transformer GPT-3 di OpenAI con 175 miliardi di parametri ha mostrato bias significativi nella generazione di frasi che includono la religione. Il modello ha inoltre mostrato bias verso altri gruppi, tra cui genere e razza, come discusso nel paper originale.
Man mano che l’AI diventa più ubiqua, è fondamentale garantirne l’uso responsabile. Se dobbiamo fidarci di questi sistemi per informare decisioni importanti e sensibili, non possono essere distorti o incorporare stereotipi storici.
Che cos’è il bias algoritmico?
Il bias algoritmico è spesso al centro delle cronache, come si è visto nel bias di genere nelle decisioni di assunzione a favore degli uomini, nelle inserzioni online che riproducono pratiche di redlining su una mappa (discriminazione abitativa), e negli algoritmi sanitari che includono bias razziali. Tutti questi esempi mostrano chiaramente che un gruppo viene trattato in modo diverso dal modello rispetto a un altro.
Esistono molte metriche per definire formalmente il bias algoritmico. La definizione di base è che un algoritmo tratta in modo diverso i gruppi presenti nei dati. I gruppi che ci interessano, come razza, genere, religione e stato di gravidanza o di veterano, sono chiamati caratteristiche protette o sensibili. Quando si analizza un algoritmo, è necessario capire quali gruppi sono potenzialmente più vulnerabili agli impatti dannosi del modello.
Ci sono due categorie di metriche per determinare il bias e l’equità di un algoritmo: fairness per rappresentazione e fairness per errore.
Fairness per rappresentazione
Queste metriche valutano gli esiti del modello per gruppi differenti. Ad esempio, possono esaminare la percentuale di uomini che ricevono una richiamata per un colloquio rispetto alle donne in un algoritmo di selezione del personale.
Fairness per errore
Le metriche di fairness per errore osservano la differenza nella proporzione dei tassi di errore commessi per ciascun gruppo. Per esempio, nel caso del bias dell’algoritmo COMPAS descritto sopra, il tasso di falsi positivi per gli imputati neri era significativamente più alto rispetto ad altri gruppi, e il tasso di falsi negativi per gli imputati bianchi era significativamente più basso.
Cause del bias algoritmico
Il bias in un algoritmo è causato dai dati sottostanti. Modelli semplici come la regressione lineare e modelli transformer più complessi non sono di per sé distorti; producono output in base ai dati forniti. Di seguito sono riportate cinque cause di bias nei dati.
- Dataset sbilanciato: Un dataset può avere proporzioni diverse di dati per ciascun gruppo o esempi di training per ciascun gruppo, il che può portare a output distorti del modello.
- Esempi contaminati: I dati possono avere etichette inaffidabili o possono contenere bias storici.
- Feature limitate: Le feature raccolte possono essere inaffidabili o poco informative per specifici gruppi a causa di pratiche di raccolta dati scorrette.
- Dimensione del campione: Gli algoritmi di AI faticano a performare bene con dataset di piccole dimensioni.
- Feature proxy: Alcune feature possono far trapelare informazioni su variabili protette, anche se la variabile protetta non è inclusa nei dati. La ricerca ha mostrato che variabili come il CAP, l’attività sportiva e l’università frequentata possono informare indirettamente un modello sulle variabili protette, portando a bias algoritmici.
Quali tecniche di mitigazione si possono utilizzare?
Ora abbiamo una buona comprensione formale di cosa sia il bias algoritmico e da cosa sia causato. Ci sono due possibili strade per mitigarlo: tecniche tecniche e governance dell’AI. Con tutta probabilità, una combinazione di queste due soluzioni darà i risultati migliori nel ridurre la presenza di bias in un algoritmo.
Tecniche di mitigazione tecniche
Nell’ambito delle tecniche tecniche, esistono tre approcci: metodi di pre-processing che riducono il bias nei dati originali prima dell’addestramento, metodi in-processing che mitigano il bias durante l’addestramento del modello e algoritmi di post-processing che riducono il bias modificando le predizioni.
Questo paper descrive nell’introduzione quattro comuni tecniche di pre-processing utilizzate in letteratura:
- Suppression: rimuovere una variabile che è maggiormente correlata a una variabile sensibile
- Massaging: Rietichettare alcune osservazioni nei dati in modo efficiente utilizzando un ranker per rimuovere la discriminazione nei dati in input
- Reweighting: Assegnare pesi a ciascuna tupla nei dati di training per rimuovere la discriminazione
- Sampling: Campionare da ciascun gruppo per ottenere una rappresentazione più bilanciata di ogni gruppo utilizzando campionamento uniforme o preferenziale, duplicando o saltando osservazioni.
Altre tecniche, come la formulazione probabilistica di questo paper e questo lavoro, che descrive due “procedure di riparazione”, offrono buoni metodi per rimuovere il bias anche nella fase di pre-processing.
Le tecniche in-processing si concentrano sulla rimozione del bias durante l’addestramento. Queste tecniche includono tipicamente vincoli di fairness che influenzano il problema di ottimizzazione e portano a risultati più equi. Esempi che trattano metodi in-processing includono questo studio sui vincoli di fairness e questo sulla classificazione fairness-aware.
Infine, gli algoritmi di post-processing modificano gli output del modello per ridurre il bias. Questi algoritmi possono cambiare le predizioni per gruppi privilegiati o non privilegiati come mostrato da Pleiss et al. e Hardt et al., oppure riducono il bias quando l’output di un algoritmo è vicino alla decision boundary (dove il modello è meno sicuro del risultato), come illustrato in questo paper sulla teoria delle decisioni.
Per qualsiasi di queste tecniche, è fondamentale discutere con tutte le parti interessate i compromessi in termini di accuratezza e i rischi che si assumono modificando i dati sottostanti o i risultati del modello. Queste tecniche possono portare a prevedere esiti che storicamente non si sono osservati o che non compaiono nei dati.
Governance e responsabilità
L’uso dell’AI nelle organizzazioni porta molti benefici. Tuttavia, come visto in questo post, i rischi etici posti dai sistemi di AI comportano rischi organizzativi, come danni reputazionali, che a loro volta causano perdite di ricavi. Nessuna azienda vuole finire in prima pagina per aver usato un algoritmo distorto per prendere decisioni di business che hanno avuto un impatto negativo su un gruppo di clienti o dipendenti.
Una corretta governance dell’AI si realizza attraverso una gestione del rischio completa. È necessario identificare lo specifico caso d’uso della decisione basata su AI e la valutazione dell’impatto associato per ciascun stakeholder. È importante comprendere i potenziali rischi economici e umani associati al caso d’uso. Una volta valutata accuratamente l’entità di ciascun rischio per ogni stakeholder, si dovrebbe calcolare la probabilità che tali ricadute si verifichino.
Le migliori pratiche di governance dell’AI includono checklist complete per gli stakeholder, test automatici e manuali, verifiche di conformità agli standard di business, report dettagliati e dichiarazioni da parte delle persone e dei gruppi direttamente responsabili del modello. Per ulteriori dettagli, assicurati di scaricare il nostro white paper.
L’AI responsabile si basa sulla data literacy
Scalare l’AI responsabile nelle organizzazioni richiede lo sviluppo della data literacy all’interno dell’azienda. Una governance dell’AI efficace coinvolge più stakeholder che adottano un unico framework. Comprendere l’ambito dei progetti, come vengono distribuiti e governati, il loro impatto e i potenziali rischi è un requisito dell’AI responsabile per tutti gli stakeholder coinvolti. Accenture sostiene che la data literacy genera fiducia e consente un’AI responsabile grazie all’inclusione di prospettive diverse, che portano a risultati costantemente migliori.
Aumentando la data literacy di base in un’organizzazione, gli esperti di dominio che non interagiscono costantemente con i sistemi di AI possono contribuire con la propria competenza a questi sistemi e comunicare in modo più efficace con gli stakeholder tecnici. Questa comunicazione migliorata porta a maggiore fiducia in tutta l’organizzazione per tutti gli stakeholder coinvolti.
Gli aspetti importanti della data literacy per promuovere un’AI responsabile in un’organizzazione includono la comprensione delle seguenti aree: il workflow di data science e machine learning, i diversi ruoli dei dati, il flusso dei dati all’interno di un’organizzazione, la distinzione tra vari tipi di sistemi di AI e le metriche di valutazione dei modelli di machine learning.
Aumenta la data literacy di base per scalare l’AI responsabile
Formare tutti gli stakeholder in un’organizzazione è necessario per promuovere un’AI responsabile. Evitare i rischi associati al bias algoritmico è essenziale per consentire a un’organizzazione di sfruttare con successo i molti benefici dell’AI nei contesti di business. La data literacy è la chiave per una comunicazione efficace tra gli stakeholder, per la fiducia all’interno dell’organizzazione e per esplorare soluzioni diversificate a supporto dell’AI responsabile. L’UE sta stanziando 1,1 trilioni di € per la sua Skills Agenda, con un forte accento sulle competenze in AI e sulla data literacy per i regolatori, a dimostrazione dell’importanza di questi strumenti nelle organizzazioni. Esistono molti programmi che insegnano le basi della data literacy. Per ulteriori dettagli su come la data literacy può alimentare l’AI responsabile — dai un’occhiata al nostro ultimo white paper.
