Nos últimos anos, a IA passou por um crescimento expressivo no uso e na eficácia dentro das organizações. As aplicações vão de análises preditivas para operações mais eficientes e precisas, à visão computacional para interações diretas com o mundo, e ao processamento de linguagem natural (NLP) para uma comunicação mais fluida com a tecnologia por meio da linguagem. A Accenture relata que 84% dos executivos pesquisados acreditam que precisam alavancar IA para alcançar seus objetivos de crescimento.
Com esse crescimento acelerado em uma tecnologia relativamente nova e em amadurecimento, vêm muitas responsabilidades e preocupações éticas. A Capgemini constatou que 70% dos clientes esperam transparência e equidade em suas interações com IA. Além disso, órgãos reguladores estão começando a apertar as regras em torno de transparência e justiça na IA. A União Europeia publicou recentemente um conjunto de regulações para minimizar impactos nocivos de sistemas de IA, e a FTC anunciou planos para agir contra empresas que vendem algoritmos enviesados (MIT Tech Review).
O aumento das preocupações éticas é justificável e impulsionado por casos de uso de IA em contextos altamente sensíveis, como saúde, justiça e finanças. Sem a calibração adequada e o entendimento dos riscos éticos potenciais, a IA pode reproduzir e amplificar vieses e discriminações históricas. Por exemplo, a ProPublica investigou o algoritmo COMPAS, usado para informar penas criminais ao prever a probabilidade de reincidência. Descobriu-se que réus negros tinham uma probabilidade significativamente maior de receber recomendações de falso positivo sugerindo que reincidiriam, quando não reincidiriam, enquanto réus brancos tinham maior chance de receber falsos negativos indicando que não reincidiriam.
De forma semelhante, o modelo transformador de NLP GPT-3, da OpenAI, com 175 bilhões de parâmetros, demonstrou viés significativo ao gerar sentenças que envolvem religião. O modelo também mostrou viés em relação a outros grupos, incluindo gênero e raça, conforme discutido no artigo original.
À medida que a IA se torna mais onipresente, é crucial garantir seu uso responsável. Se vamos confiar nesses sistemas para informar decisões importantes e sensíveis, eles não podem ser enviesados nem reforçar estereótipos históricos.
O que é viés algorítmico?
O viés algorítmico tem aparecido bastante nas notícias, como em casos de viés de gênero em decisões de contratação favorecendo homens, anúncios online que reproduzem redlining em mapas (discriminação habitacional) e algoritmos de saúde com viés racial. Todos esses exemplos mostram claramente um grupo sendo tratado de forma diferente pelo modelo em relação a outro.
Existem muitas métricas para definir formalmente o viés algorítmico. A definição básica é que um algoritmo trata grupos presentes nos dados de maneira diferente. Os grupos que nos preocupam — como raça, gênero, religião e status de gestação ou de veterano — são chamados de características protegidas ou sensíveis. Ao avaliar um algoritmo, é necessário entender quais grupos estão potencialmente mais vulneráveis a impactos nocivos do modelo.
Há duas categorias de métricas para determinar o viés e a equidade de um algoritmo: justiça por representação e justiça por erro.
Justiça por representação
Essas métricas avaliam os resultados do modelo para diferentes grupos. Por exemplo, podem analisar a proporção de homens chamados para entrevista em comparação com mulheres em um algoritmo de contratação.
Justiça por erro
As métricas de justiça por erro observam a diferença nas taxas de erro para cada grupo. Por exemplo, no viés do algoritmo COMPAS descrito acima, a taxa de falso positivo para réus negros era significativamente maior do que para outros grupos, e a taxa de falso negativo para réus brancos era significativamente menor.
Causas do viés algorítmico
O viés em um algoritmo é causado pelos dados subjacentes. Modelos simples, como regressão linear, e modelos mais complexos, como transformadores, não são enviesados por si só; eles produzem saídas com base nos dados fornecidos. Abaixo estão cinco causas de viés nos dados.
- Conjunto de dados distorcido: pode haver proporções diferentes de dados ou exemplos de treino por grupo, o que pode levar a resultados enviesados.
- Exemplos contaminados: os dados podem ter rótulos pouco confiáveis ou conter viés histórico.
- Features limitadas: as variáveis coletadas podem ser pouco confiáveis ou pouco informativas para grupos específicos devido a práticas ruins de coleta.
- Tamanho de amostra: algoritmos de IA têm dificuldade para performar bem com conjuntos de dados pequenos.
- Features de proxy: algumas variáveis podem vazar informação sobre atributos protegidos, mesmo que o atributo protegido não esteja incluído nos dados. Pesquisas mostram que CEP, atividade esportiva e a universidade frequentada podem informar indiretamente um modelo sobre variáveis protegidas, levando a viés algorítmico.
Quais técnicas de mitigação podem ser usadas?
Agora temos um entendimento formal do que é viés algorítmico e do que o causa. Existem dois caminhos principais para mitigar o viés: técnicas técnicas e governança de IA. Na prática, a combinação dessas abordagens tende a trazer os melhores resultados na redução do viés em um algoritmo.
Técnicas técnicas de mitigação
Dentro das técnicas técnicas, existem três abordagens: pré-processamento, que reduz o viés nos dados antes do treino; in-process, que mitiga o viés durante o treinamento do modelo; e pós-processamento, que reduz o viés ajustando as previsões.
Este artigo descreve, na introdução, quatro técnicas comuns de pré-processamento usadas na literatura:
- Suppression (supressão): remover a variável que mais se correlaciona com uma variável sensível
- Massaging (ajuste de rótulos): reclassificar algumas observações de forma eficiente usando um rankeador para reduzir a discriminação nos dados de entrada
- Reweighting (reponderação): atribuir pesos a cada tupla nos dados de treino para remover a discriminação
- Sampling (amostragem): amostrar de cada grupo para obter uma representação mais equilibrada, usando amostragem uniforme ou preferencial ao duplicar ou pular observações.
Outras técnicas, como a formulação probabilística deste artigo e este trabalho, que descreve dois “procedimentos de reparo”, também oferecem bons métodos para remover viés na etapa de pré-processamento.
Técnicas in-process focam na remoção do viés durante o treinamento. Geralmente, incluem restrições de justiça que afetam o problema de otimização e levam a resultados mais equitativos. Exemplos incluem este estudo sobre restrições de equidade e este sobre classificação com consciência de justiça.
Por fim, algoritmos de pós-processamento modificam as saídas do modelo para reduzir o viés. Eles podem alterar previsões para grupos privilegiados ou não privilegiados, como em Pleiss et al. e Hardt et al., ou reduzir o viés quando a saída do algoritmo está próxima ao limiar de decisão (onde a incerteza é maior), como mostra este artigo sobre teoria da decisão.
Para qualquer uma dessas técnicas, é essencial discutir com todas as partes envolvidas os trade-offs em acurácia e os riscos assumidos ao mudar os dados subjacentes ou os resultados do modelo. Essas abordagens podem levar a prever resultados que não aparecem historicamente ou nos dados coletados.
Governança e accountability
Há muitos benefícios em usar IA nas organizações. Porém, como vimos ao longo deste post, os riscos éticos trazidos por sistemas de IA geram riscos organizacionais, como danos à reputação e, consequentemente, perda de receita. Nenhuma empresa quer estampar a manchete de que usou um algoritmo enviesado para tomar decisões de negócio que prejudicaram um grupo de clientes ou colaboradores.
Uma boa governança de IA é feita por meio de uma gestão de riscos abrangente. É preciso identificar o caso de uso específico da decisão com IA e a avaliação de impacto associada para cada stakeholder. Entender os potenciais riscos financeiros e humanos do caso de uso é fundamental. Uma vez dimensionada com precisão a magnitude de cada risco para cada parte interessada, deve-se calcular a probabilidade desses efeitos ocorrerem.
Boas práticas de governança de IA incluem checklists completos para stakeholders, testes automatizados e manuais, verificação de conformidade com padrões de negócio, relatórios detalhados e declarações de indivíduos e grupos diretamente responsáveis pelo modelo. Para mais detalhes, não deixe de baixar nosso white paper.
IA responsável depende de letramento em dados
Escalar a IA responsável nas organizações exige desenvolver o letramento em dados internamente. Uma governança de IA bem-sucedida envolve múltiplos stakeholders adotando e operando dentro de um único framework. Entender o escopo dos projetos, como são implantados e governados, seus impactos e riscos potenciais é requisito para uma IA responsável entre todos os envolvidos. A Accenture argumenta que o letramento em dados constrói confiança e viabiliza uma IA responsável ao incluir perspectivas diversas, o que leva a resultados consistentemente melhores.
Ao elevar o nível básico de letramento em dados na organização, especialistas de negócio que não interagem continuamente com sistemas de IA podem incorporar sua expertise nesses sistemas e se comunicar de forma mais eficaz com stakeholders técnicos. Essa comunicação aprimorada aumenta a confiança em toda a organização para todos os envolvidos.
Os aspectos importantes de letramento em dados para promover IA responsável incluem o entendimento de: workflow de data science e machine learning, diferentes funções em dados, o fluxo de dados na organização, a distinção entre vários tipos de sistemas de IA e as métricas de avaliação para modelos de machine learning.
Aumente o letramento em dados básico para escalar a IA responsável
Treinar todos os stakeholders de uma organização é essencial para promover a IA responsável. Evitar os riscos associados ao viés algorítmico é necessário para que a empresa aproveite com sucesso os muitos benefícios de aplicar IA em contextos de negócio. O letramento em dados é a chave para a comunicação eficaz entre as partes interessadas, para a confiança interna e para a exploração de soluções diversas em prol de uma IA responsável. A UE está destinando € 1,1 trilhão para a sua Skills Agenda, com forte ênfase em habilidades de IA e letramento em dados para reguladores, demonstrando a importância desses instrumentos nas organizações. Muitos programas ensinam os fundamentos do letramento em dados. Para saber como o letramento em dados pode impulsionar a IA responsável — confira nosso white paper mais recente.
