In den letzten Jahren hat KI in Unternehmen stark an Verbreitung und Wirksamkeit gewonnen. Die Einsatzfelder reichen von Predictive Analytics für effizientere und präzisere Geschäftsabläufe über maschinelles Sehen für die direkte Interaktion mit der Welt bis hin zu Natural Language Processing (NLP), um Technologien natürlicher per Sprache zu bedienen. Accenture berichtet, dass 84 % der befragten Führungskräfte KI nutzen müssen, um ihre Wachstumsziele zu erreichen.
Mit diesem rasanten Wachstum einer vergleichsweise neuen, reifenden Technologie steigen Verantwortung und ethische Fragestellungen. Capgemini fand heraus, dass 70 % der Kundinnen und Kunden Transparenz und Fairness in der Interaktion mit KI erwarten. Gleichzeitig verschärfen Aufsichtsbehörden die Regeln rund um Transparenz und Fairness. Die Europäische Union hat kürzlich ein Regelwerk für KI vorgelegt, das schädliche Auswirkungen von KI-Systemen minimieren soll, und die FTC kündigte an, gegen Unternehmen mit voreingenommenen Algorithmen vorzugehen (MIT Tech Review).
Die wachsenden ethischen Bedenken sind berechtigt und werden durch KI-Einsatzszenarien in hochsensiblen Bereichen wie Gesundheitswesen, Justiz und Finanzwesen befeuert. Ohne sorgfältige Abstimmung und ein Verständnis der potenziellen ethischen Risiken können KI-Systeme bestehende Vorurteile und Diskriminierung reproduzieren und verstärken. So hat ProPublica den COMPAS-Algorithmus untersucht, der zur Einschätzung von Rückfallrisiken bei Strafgefangenen genutzt wurde. Ergebnis: Schwarze Angeklagte erhielten signifikant häufiger fälschlich positive Empfehlungen (Prognose: Rückfall, tatsächliches Verhalten: kein Rückfall), während weiße Angeklagte häufiger fälschlich negative Empfehlungen erhielten.
Ähnlich zeigte OpenAIs GPT-3-NLP-Transformermodell mit 175 Milliarden Parametern deutliche Verzerrungen bei der Textgenerierung zu Themen wie Religion. Das Modell weist zudem gegenüber anderen Gruppen, etwa in Bezug auf Geschlecht und Ethnie, Bias auf, wie im Originalpaper diskutiert.
Je allgegenwärtiger KI wird, desto wichtiger ist ihr verantwortungsvoller Einsatz. Wenn wir diesen Systemen sensible und weitreichende Entscheidungen anvertrauen, dürfen sie nicht voreingenommen sein oder historische Stereotype reproduzieren.
Was ist algorithmischer Bias?
Algorithmischer Bias ist in den Medien präsent, etwa bei geschlechtsspezifischer Voreingenommenheit in Recruiting-Algorithmen zugunsten von Männern, bei Online-Anzeigen, die Redlining-Muster reproduzieren (Diskriminierung am Wohnungsmarkt), oder bei Gesundheitsalgorithmen mit rassistischen Verzerrungen. In all diesen Fällen behandelt das Modell eine Gruppe anders als eine andere.
Es gibt zahlreiche Metriken, um algorithmischen Bias formal zu definieren. Grundsätzlich gilt: Ein Algorithmus behandelt Gruppen in den Daten unterschiedlich. Die besonders schützenswerten Merkmale, etwa Ethnie, Geschlecht, Religion, Schwangerschafts- oder Veteranenstatus, nennen wir geschützte oder sensitive Merkmale. Bei der Analyse eines Algorithmus ist zu klären, welche Gruppen besonders anfällig für schädliche Auswirkungen sind.
Zur Beurteilung von Bias und Fairness eines Algorithmus gibt es zwei Kategorien von Metriken: Fairness durch Repräsentation und Fairness durch Fehlerbewertung.
Fairness durch Repräsentation
Diese Metriken vergleichen die Ergebnisse des Modells für unterschiedliche Gruppen. Beispiel: Wie groß ist der Anteil der Männer, die zu einem Vorstellungsgespräch eingeladen werden, im Vergleich zu Frauen – bei einem Einstellungsalgorithmus.
Fairness durch Fehler
Hier geht es um Unterschiede in den Fehlerraten zwischen Gruppen. Beim oben beschriebenen COMPAS-Algorithmus war die Falsch-Positiv-Rate für schwarze Angeklagte deutlich höher als für andere Gruppen, die Falsch-Negativ-Rate für weiße Angeklagte deutlich niedriger.
Ursachen von algorithmischem Bias
Bias in einem Algorithmus entsteht durch die zugrunde liegenden Daten. Ob einfache Modelle wie lineare Regression oder komplexe Transformermodelle – an sich sind sie nicht voreingenommen; sie liefern Ergebnisse basierend auf den Daten. Fünf typische Ursachen für Bias in Daten sind:
- Unausgewogenes Dataset: Unterschiedliche Anteile oder ungleiche Anzahl an Trainingsbeispielen je Gruppe können zu verzerrten Modellausgaben führen.
- Verunreinigte Beispiele: Unzuverlässige Labels oder historisch gewachsene Verzerrungen in den Daten.
- Begrenzte Merkmale: Erhobene Features sind unzuverlässig oder für bestimmte Gruppen wenig aussagekräftig – oft wegen mangelhafter Datenerhebung.
- Stichprobengröße: KI-Modelle tun sich mit sehr kleinen Datensätzen schwer.
- Proxy-Features: Manche Merkmale verraten indirekt geschützte Variablen, selbst wenn diese nicht im Datensatz stehen. Forschungen zeigen, dass z. B. Postleitzahl, Sportaktivität oder besuchte Universität Rückschlüsse auf geschützte Merkmale zulassen und so Bias begünstigen.
Welche Maßnahmen zur Minderung gibt es?
Wir wissen nun, was algorithmischer Bias ist und wodurch er entsteht. Es gibt zwei Ansatzpunkte, um ihn zu mindern: technische Verfahren und KI-Governance. In der Praxis liefert die Kombination meist die besten Ergebnisse.
Technische Minderungsmaßnahmen
Technische Verfahren gliedern sich in drei Ansätze: Preprocessing-Techniken, die Bias vor dem Training in den Originaldaten reduzieren, In-Processing-Methoden, die Bias während des Trainings mindern, und Postprocessing-Algorithmen, die Vorhersagen im Nachhinein anpassen.
Dieses Paper beschreibt vier gängige Preprocessing-Techniken:
- Suppression: Entfernen der Variablen, die am stärksten mit einem sensitiven Merkmal korreliert
- Massaging: Effizientes Umetikettieren einiger Beobachtungen mithilfe eines Rankers, um Diskriminierung in den Eingabedaten zu verringern
- Reweighting: Gewichten der Trainingsdaten-Tupel, um Diskriminierung auszugleichen
- Sampling: Ausgewogenes Ziehen aus allen Gruppen – per Uniform- oder bevorzugtem Sampling durch Duplizieren oder Auslassen von Beobachtungen
Weitere Ansätze wie die probabilistische Formulierung in diesem Paper oder die zwei „Repair Procedures“ in dieser Arbeit bieten ebenfalls wirksame Preprocessing-Methoden zur Bias-Reduktion.
In-Processing-Techniken greifen während des Trainings ein. Häufig kommen Fairness-Constraints zum Einsatz, die das Optimierungsproblem beeinflussen und fairere Ergebnisse bewirken. Beispiele sind Arbeiten zu Fairness-Constraints und zu Fairness-aware Classification.
Postprocessing-Algorithmen passen schließlich Modellausgaben an, um Bias zu reduzieren. Sie können Vorhersagen für privilegierte oder benachteiligte Gruppen verändern, wie bei Pleiss et al. und Hardt et al., oder Verzerrungen verringern, wenn Vorhersagen nahe an der Entscheidungsgrenze liegen, wie in dieser Arbeit zur Entscheidungstheorie.
Bei allen Verfahren gilt: Besprich mit allen Stakeholdern die Abwägungen zwischen Genauigkeit und Risiken, die durch Änderungen an Daten oder Modellergebnissen entstehen. Solche Techniken können zu Resultaten führen, die historisch so nicht vorkamen oder in den Daten nicht sichtbar sind.
Governance und Verantwortlichkeit
KI bringt Unternehmen viele Vorteile. Wie in diesem Beitrag gezeigt, bergen die ethischen Risiken von KI-Systemen jedoch handfeste Unternehmensrisiken – bis hin zu Reputationsschäden und Umsatzeinbußen. Kein Unternehmen möchte Schlagzeilen machen, weil ein voreingenommener Algorithmus Geschäftsentscheidungen traf, die Kundinnen, Kunden oder Mitarbeitende benachteiligen.
Wirksame KI-Governance entsteht durch umfassendes Risikomanagement. Der konkrete Anwendungsfall und die Auswirkungen auf alle Stakeholder müssen identifiziert werden. Es gilt, monetäre und menschliche Risiken des Use Cases zu verstehen. Nach der genauen Bewertung der Schadenshöhe je Stakeholder sollte die Eintrittswahrscheinlichkeit berechnet werden.
Best Practices der KI-Governance umfassen umfassende Checklisten für Stakeholder, automatisierte und manuelle Tests, Prüfungen auf Einhaltung geschäftlicher Standards, detaillierte Reports sowie verbindliche Erklärungen der für das Modell Verantwortlichen. Für weitere Details lade dir unser Whitepaper herunter.
Verantwortungsvolle KI braucht Datenkompetenz
Um verantwortungsvolle KI im Unternehmen zu skalieren, muss die Datenkompetenz im gesamten Unternehmen gestärkt werden. Erfolgreiche KI-Governance bedeutet, dass mehrere Stakeholder in einem gemeinsamen Rahmen zusammenarbeiten. Wer verantwortungsvoll mit KI umgeht, muss den Umfang von Projekten, ihre Bereitstellung und Steuerung sowie ihre Wirkung und potenziellen Risiken verstehen – über alle beteiligten Stakeholder hinweg. Accenture argumentiert, dass Datenkompetenz Vertrauen schafft und verantwortungsvolle KI ermöglicht, weil vielfältige Perspektiven zu konsistent besseren Resultaten führen.
Steigt die Basis-Datenkompetenz in einer Organisation, können Fachexpertinnen und -experten, die nicht täglich mit KI-Systemen arbeiten, ihr Wissen besser einbringen und effektiver mit technischen Stakeholdern kommunizieren. Diese verbesserte Kommunikation stärkt das Vertrauen aller Beteiligten im gesamten Unternehmen.
Wichtige Bausteine der Datenkompetenz für verantwortungsvolle KI sind das Verständnis von: Data-Science- und Machine-Learning-Workflows, unterschiedlichen Datenrollen, dem Datenfluss im Unternehmen, den Unterschieden zwischen KI-Systemtypen sowie Metriken zur Bewertung von ML-Modellen.
Mit mehr Datenkompetenz verantwortungsvolle KI skalieren
Damit KI verantwortungsvoll eingesetzt wird, müssen alle Stakeholder im Unternehmen geschult werden. Nur wenn algorithmischer Bias und seine Risiken adressiert werden, kann ein Unternehmen die Vorteile von KI im Geschäftsalltag wirklich ausschöpfen. Datenkompetenz ist der Schlüssel für gute Stakeholder-Kommunikation, Vertrauen im Unternehmen und für vielfältige Lösungsansätze in der verantwortungsvollen KI. Die EU stellt €1,1 Billionen für ihre Skills Agenda bereit – mit starkem Fokus auf KI-Kompetenzen und Datenkompetenz für Regulierer. Das unterstreicht die Bedeutung dieser Fähigkeiten in Organisationen. Viele Programme vermitteln die Grundlagen der Datenkompetenz. Wie Datenkompetenz verantwortungsvolle KI voranbringt, erfährst du im aktuellen Whitepaper.
