En los últimos años, la IA ha crecido con fuerza en uso y efectividad dentro de las organizaciones. Sus aplicaciones van desde la analítica predictiva para operaciones más eficientes y precisas, hasta la visión por computador para interactuar con el mundo real, y el procesamiento del lenguaje natural (NLP) para comunicarnos de forma más efectiva con la tecnología mediante el lenguaje. Accenture informa de que el 84% de los ejecutivos encuestados cree que necesita aprovechar la IA para alcanzar sus objetivos de crecimiento.
Con este crecimiento acelerado en una tecnología relativamente nueva y aún en maduración, llegan también grandes responsabilidades y preocupaciones éticas. Capgemini detectó que el 70% de los clientes espera transparencia y equidad en sus interacciones con sistemas de IA. Además, los reguladores empiezan a endurecer las normas en torno a la transparencia y la equidad en IA. La Unión Europea ha publicado recientemente un conjunto de normativas de IA que buscan minimizar los impactos dañinos de estos sistemas, y la FTC ha anunciado planes para actuar contra empresas que vendan algoritmos sesgados (MIT Tech Review).
El aumento de las preocupaciones éticas está justificado y viene impulsado por casos de uso de IA en entornos especialmente sensibles como la salud, la justicia y las finanzas. Sin una calibración adecuada y sin entender bien los posibles riesgos éticos, la IA puede reproducir y amplificar sesgos y discriminaciones históricas. Por ejemplo, ProPublica investigó el algoritmo COMPAS, utilizado para apoyar decisiones de condena prediciendo la probabilidad de reincidencia de una persona. Descubrieron que los acusados negros tenían muchas más probabilidades de recibir falsos positivos que sugerían que reincidirían cuando no lo harían, mientras que los acusados blancos tenían más probabilidades de recibir falsos negativos que sugerían que no reincidirían.
De forma similar, el modelo transformador de NLP GPT-3 de OpenAI, con 175.000 millones de parámetros, ha mostrado sesgos significativos al generar frases que incluyen religión. El modelo también ha evidenciado sesgos hacia otros grupos, incluidos género y raza, como se explica en el artículo original.
A medida que la IA se vuelve más ubicua, es crucial garantizar su uso responsable. Si vamos a confiar en estos sistemas para informar decisiones importantes y sensibles, no pueden estar sesgados ni arrastrar estereotipos históricos.
¿Qué es el sesgo algorítmico?
El sesgo algorítmico aparece con frecuencia en las noticias, como en el sesgo de género en decisiones de contratación que favorecían a los hombres, los anuncios online que reproducen la exclusión residencial en un mapa (discriminación en vivienda), o algoritmos sanitarios con sesgo racial. Todos estos ejemplos muestran claramente que un grupo recibe un trato diferente por parte del modelo frente a otro.
Existen muchas métricas para definir formalmente el sesgo algorítmico. La definición básica es que un algoritmo trata de forma distinta a grupos presentes en los datos. Los grupos que nos preocupan, como raza, género, religión o estado de embarazo o de veterano, se denominan características protegidas o sensibles. Al analizar un algoritmo, es necesario entender qué grupos son potencialmente más vulnerables a impactos dañinos del modelo.
Hay dos categorías de métricas para determinar el sesgo y la equidad de un algoritmo: equidad por representación y equidad por error.
Equidad por representación
Estas métricas evalúan los resultados del modelo para distintos grupos. Por ejemplo, podrían analizar la proporción de hombres que reciben una llamada para entrevista frente a mujeres en un algoritmo de selección.
Equidad por error
Las métricas de equidad por error observan la diferencia en las tasas de error para cada grupo. Por ejemplo, en el sesgo del algoritmo COMPAS descrito arriba, la tasa de falsos positivos para acusados negros era significativamente mayor que la de otros grupos, y la tasa de falsos negativos para acusados blancos era significativamente menor.
Causas del sesgo algorítmico
El sesgo de un algoritmo lo provoca el conjunto de datos subyacente. Modelos sencillos como la regresión lineal y modelos más complejos como los transformadores no son sesgados por sí mismos; producen salidas en función de los datos que reciben. Estas son cinco causas de sesgo en los datos.
- Conjunto de datos desbalanceado: Puede haber proporciones distintas de datos o ejemplos de entrenamiento para cada grupo, lo que puede generar salidas sesgadas.
- Ejemplos contaminados: Los datos pueden tener etiquetas poco fiables o arrastrar sesgos históricos.
- Características limitadas: Las variables recopiladas pueden ser poco fiables o poco informativas para ciertos grupos por malas prácticas de recogida de datos.
- Tamaño de muestra: Los algoritmos de IA tienen dificultades para rendir bien con conjuntos de datos pequeños.
- Variables proxy: Algunas variables pueden filtrar información sobre características protegidas, incluso si la característica protegida no está incluida en los datos. La investigación ha mostrado que variables como el código postal, la práctica deportiva o la universidad a la que asistió una persona pueden informar indirectamente a un modelo sobre variables protegidas y dar lugar a sesgo algorítmico.
¿Qué técnicas de mitigación se pueden utilizar?
Ya tenemos una buena comprensión formal de qué es el sesgo algorítmico y qué lo provoca. Hay dos vías potenciales para mitigarlo: técnicas técnicas y gobernanza de IA. Lo más probable es que una combinación de ambas ofrezca los mejores resultados a la hora de reducir la presencia de sesgos en un algoritmo.
Técnicas de mitigación técnicas
Dentro de las técnicas técnicas, hay tres enfoques: preprocesamiento para reducir el sesgo en los datos originales antes del entrenamiento, métodos en proceso que mitigan el sesgo durante el entrenamiento del modelo, y algoritmos de postprocesamiento que reducen el sesgo modificando las predicciones.
Este artículo describe en su introducción cuatro técnicas de preprocesamiento comunes en la literatura:
- Supresión: eliminar una variable que más se correlaciona con una variable sensible
- Massaging: volver a etiquetar algunas observaciones en los datos de forma eficiente usando un ranker para eliminar la discriminación en los datos de entrada
- Reponderación: asignar pesos a cada tupla en los datos de entrenamiento para eliminar la discriminación
- Muestreo: muestrear de cada grupo para lograr una representación más equilibrada mediante muestreo uniforme o preferente, duplicando u omitiendo observaciones.
Otras técnicas como la formulación probabilística de este trabajo y este otro, que describe dos «procedimientos de reparación», también ofrecen buenos métodos para eliminar sesgos en la fase de preprocesamiento.
Las técnicas en proceso se centran en eliminar el sesgo durante el entrenamiento. Suelen incluir restricciones de equidad que afectan al problema de optimización y conducen a resultados más justos. Ejemplos de métodos en proceso incluyen este trabajo sobre restricciones de equidad y este sobre clasificación con conciencia de equidad.
Por último, los algoritmos de postprocesamiento modifican las salidas del modelo para reducir el sesgo. Pueden cambiar predicciones para grupos privilegiados o no privilegiados, como muestran Pleiss et al. y Hardt et al., o reducir el sesgo cuando la salida del algoritmo está cerca del umbral de decisión (donde la predicción es menos segura), como se ve en este trabajo sobre teoría de la decisión.
Para cualquiera de estas técnicas, es esencial debatir con todas las partes interesadas los sacrificios en precisión y los riesgos que se asumen al cambiar los datos subyacentes o los resultados del modelo. Estas técnicas pueden llevar a predecir resultados que históricamente no se habían observado o que no aparecen en los datos.
Gobernanza y rendición de cuentas
La IA aporta muchos beneficios a las organizaciones. Sin embargo, como se ha visto a lo largo del artículo, los riesgos éticos que plantean los sistemas de IA derivan en riesgos organizativos, como el daño reputacional, que a su vez implica pérdidas de ingresos. Ninguna empresa quiere ver un titular que diga que utilizó un algoritmo sesgado para tomar decisiones de negocio que perjudicaron a un grupo de clientes o empleados.
La gobernanza adecuada de la IA se lleva a cabo mediante una gestión integral del riesgo. Es necesario identificar el caso de uso específico de la decisión basada en IA y la evaluación de impacto asociada para cada parte interesada. Es importante comprender los riesgos económicos y humanos potenciales asociados al caso de uso. Una vez valorada con precisión la magnitud de cada riesgo para cada stakeholder, debe calcularse la probabilidad de que se materialicen.
Las buenas prácticas de gobernanza de IA incluyen listas de verificación completas para las partes interesadas, pruebas automáticas y manuales, verificación de cumplimiento de estándares de negocio, informes detallados y declaraciones de las personas y equipos directamente responsables del modelo. Para más detalles, asegúrate de descargar nuestro white paper.
La IA responsable depende de la competencia en datos
Escalar la IA responsable en las organizaciones exige desarrollar la competencia en datos dentro de la propia organización. Una buena gobernanza de IA implica a múltiples partes interesadas que adopten y trabajen con un marco común. Entender el alcance de los proyectos, cómo se despliegan y gobiernan, y su impacto y riesgos potenciales es un requisito para una IA responsable por parte de todos los implicados. Accenture sostiene que la competencia en datos genera confianza y permite una IA responsable al incluir perspectivas diversas que conducen a resultados consistentemente mejores.
Al elevar la competencia básica en datos en una organización, las personas expertas en la materia que no interactúan de forma constante con sistemas de IA pueden aportar su conocimiento a estos sistemas y comunicarse con los perfiles técnicos de forma más efectiva. Esta mejora en la comunicación genera más confianza en toda la organización para todas las partes implicadas.
Los aspectos clave de la competencia en datos para promover la IA responsable en una organización incluyen comprender: el flujo de trabajo de data science y machine learning, los distintos roles de datos, el recorrido de los datos dentro de la organización, la diferencia entre varios tipos de sistemas de IA y las métricas de evaluación de modelos de machine learning.
Aumenta la competencia básica en datos para escalar la IA responsable
Formar a todas las partes interesadas de una organización es imprescindible para impulsar una IA responsable. Evitar los riesgos asociados al sesgo algorítmico es necesario para que una organización pueda aprovechar con éxito los numerosos beneficios de incorporar IA en contextos de negocio. La competencia en datos es la clave para una comunicación efectiva entre stakeholders, la confianza dentro de la organización y la exploración de soluciones diversas para una IA responsable. La UE está destinando 1,1 billones de € a su Skills Agenda, con un fuerte énfasis en habilidades de IA y competencia en datos para reguladores, lo que demuestra la importancia de estas capacidades en las organizaciones. Existen muchos programas que enseñan los fundamentos de la competencia en datos. Si quieres más detalles sobre cómo la competencia en datos puede impulsar una IA responsable, consulta nuestro último white paper.
