Como podemos medir a justiça de um sistema de IA?

Durante décadas, a investigação em Inteligência Artificial centrou-se em desenvolver modelos cada vez mais precisos. Essa continua a ser uma condição necessária, mas deixou de ser suficiente. À medida que os sistemas de IA passam a apoiar decisões em contextos de elevado impacto, como a concessão de crédito, a deteção de fraude ou a seleção de candidatos a emprego, torna-se inevitável perguntar não apenas quão bem preveem, mas também quem é mais afetado pelos seus erros e em que circunstâncias esses erros ocorrem.

Em janeiro de 2021, o governo dos Países Baixos demitiu-se na sequência do childcare benefits affair. Entre 2005 e 2019, dezenas de milhares de famílias foram classificadas por um sistema automatizado de avaliação de risco como apresentando um elevado risco de fraude na atribuição de subsídios para o cuidado de crianças. Essa classificação desencadeava uma política administrativa de “tolerância zero”, que frequentemente implicava a suspensão imediata dos apoios e a devolução dos montantes já recebidos.

As investigações posteriores revelaram que o sistema utilizava, entre outros fatores, a dupla nacionalidade como indicador de risco. Como famílias de origem migrante eram alvo de investigações com maior frequência, os dados e os critérios utilizados refletiam esse enviesamento institucional, levando o sistema a associar determinadas características demográficas a um maior risco de fraude.

O problema não foi simplesmente um algoritmo “errado”. Foi um sistema que reproduziu padrões presentes nos dados e nos processos administrativos. Os algoritmos não inventam preconceitos; aprendem os padrões presentes nos dados, incluindo desigualdades históricas e práticas institucionais discriminatórias. O caso mostrou ainda que um sistema pode apresentar excelente desempenho global e, ainda assim, produzir consequências profundamente injustas para determinados grupos, sobretudo quando faltam mecanismos de transparência e auditoria.

Casos como este mostram que construir sistemas mais precisos já não é suficiente. O verdadeiro desafio passa também por desenvolver métodos rigorosos que permitam avaliar propriedades como a equidade e a explicabilidade.

É precisamente aqui que reside, na minha opinião, um dos maiores desafios atuais da investigação em Inteligência Artificial. Ao contrário da precisão, que pode ser resumida numa única métrica, a equidade admite diferentes definições, frequentemente incompatíveis entre si. Medir a justiça de um sistema é, por si só, um problema científico.

Foi este desafio que motivou uma das principais contribuições da tese de doutoramento do Sérgio Jesus, distinguida com o Prémio Vencer o Adamastor 2026. O trabalho aborda uma questão metodológica central para a IA Responsável: como testar e quantificar a equidade de sistemas de IA em condições próximas das encontradas no mundo real?

Para responder a esta questão, o trabalho introduz uma metodologia de fairness stress testing, assente num ambiente experimental baseado em dados reais de fraude bancária, em larga escala e com garantias de privacidade. Esta metodologia permite avaliar, de forma sistemática, a equidade dos modelos sob diferentes cenários de enviesamento. A questão deixa, assim, de ser “este modelo é justo?” para passar a ser “em que circunstâncias deixa de o ser?”.

Os resultados mostram que modelos com excelente desempenho em condições aparentemente normais podem tornar-se significativamente menos equitativos quando o contexto muda. Em determinados cenários, candidatos legítimos de um grupo etário apresentavam uma probabilidade mais elevada de serem incorretamente classificados como fraudulentos do que candidatos de outro grupo. Não porque o algoritmo tivesse mudado, mas porque o contexto mudou.

Mais do que uma conclusão sobre um problema específico, esta é uma mensagem para toda a investigação em Inteligência Artificial. A confiança num sistema não resulta apenas da qualidade do algoritmo, mas também da qualidade dos dados, da forma como o avaliamos e da nossa capacidade para compreender os seus limites. Quando um modelo influencia direitos fundamentais, já não basta perguntar se funciona. Precisamos de saber para quem funciona, para quem falha e em que circunstâncias deixa de ser confiável.

O caso dos Países Baixos lembra-nos que os riscos da Inteligência Artificial são particularmente elevados quando estão em causa direitos fundamentais. Mas deixa também uma segunda lição, talvez menos evidente. Ao automatizar decisões, a IA pode amplificar enviesamentos existentes, tornando-os consistentes e mensuráveis de uma forma que dificilmente seria possível em decisões humanas dispersas. Paradoxalmente, isso cria uma oportunidade para a investigação: se conseguimos medir esses enviesamentos, conseguimos compreender em que condições surgem e desenvolver métodos mais eficazes para os limitar. Talvez o verdadeiro desafio da IA Responsável não seja eliminar todos os enviesamentos (algo provavelmente impossível) mas construir métodos rigorosos para os identificar, quantificar e mitigar antes que afetem a vida das pessoas.

Por Rita Ribeiro, investigadora no domínio da IA e docente na FCUP