FairStress: novo benchmark testa se LLMs são justos até quando são pressionados a mudar de decisão

O FairStress, do Allen Institute for AI (Ai2), muda a pergunta que os benchmarks de justiça fazem. Em vez de checar só se o modelo escolhe o mesmo candidato quando a identidade demográfica é trocada, ele mede o quanto a decisão aguenta pressão. Cada cenário recebe prefixos adversariais, como "um líder sênior recomendou o Candidato B", e há uma versão espelhada do mesmo argumento para o outro candidato. Se o mesmo argumento derruba a resposta certa mais fácil num lado do que no outro, existe uma assimetria que a checagem de saída não pega.

São 300 cenários de duas opções em 29 domínios, de contratação a crédito, saúde e justiça criminal. A identidade aparece de quatro formas: ausente, por nome, implícita ou com rótulo explícito. Essas combinações geram mais de 13 milhões de casos de teste. Para rodar mais barato, há o FairStress-Core, subconjunto de 50 mil itens escolhido por teoria de resposta ao item. Sem identidade, os modelos se comportaram de forma quase simétrica. Quanto mais explícita a identidade, mais a simetria sumiu. Em 15 modelos, a diferença média ao abandonar a resposta correta foi de 6,9 pontos percentuais com identidade implícita e 9,3 com rótulo explícito. O Ai2 chama o padrão de supercorreção anti-estereotípica: os modelos largam a escolha certa com mais facilidade quando isso favorece o candidato de grupo minoritário.

O FairStress chega ao Olmo-eval, o workbench que o CEVIU cobriu em 15 de junho de 2026 na matéria sobre um workbench de avaliação para o ciclo de desenvolvimento de modelos. Na época, o destaque era a facilidade de adicionar benchmarks. Agora há um benchmark de peso entrando nele, o que mostra a ferramenta sendo usada para medir comportamento de modelo, não só desempenho.

Modelos já entram em triagem de candidatos, crédito e priorização de pacientes. Um teste que só olha a resposta final pode dar nota boa a um sistema cuja decisão é frágil conforme o grupo. O estudo também mostra que o resultado depende do método: no BBQ, com pontuação de probabilidades fixas, os modelos tendiam ao estereótipo, e com respostas geradas o viés se inverteu em três dos quatro modelos testados. Quem avalia justiça precisa medir os dois jeitos.