Em março de 2026, um hospital em São Paulo suspendeu o uso de um sistema de triagem baseado em IA após descobrir que o algoritmo priorizava pacientes de planos de saúde privados em detrimento de usuários do SUS. O caso, que repercutiu internacionalmente, escancarou uma verdade incômoda: por trás da promessa de eficiência, os algoritmos podem reproduzir — e até amplificar — os preconceitos mais profundos da sociedade.

Não é um problema novo. Desde que sistemas de machine learning começaram a ser usados em decisões de crédito, contratação e justiça criminal, pesquisadores alertam para o viés algorítmico. Mas 2026 marca um ponto de virada: com a disseminação maciça de IAs generativas em setores críticos como saúde, direito e educação, a discussão deixou os círculos acadêmicos e ganhou as ruas — e os tribunais.

A União Europeia saiu na frente com o AI Act, que entrou em vigor em agosto de 2025, classificando sistemas de IA por nível de risco e impondo exigências rigorosas de transparência e supervisão humana. O Brasil, por sua vez, avançou com o Marco Legal da IA (PL 2338/2023), aprovado no final de 2025, que estabelece princípios como não discriminação, explicabilidade e prestação de contas.

O problema não é a máquina ser racista. O problema é a máquina aprender a ser racista a partir de dados históricos que já eram racistas.

Para entender a dificuldade técnica por trás da regulação, basta olhar para um modelo de linguagem como o que você está lendo agora. Estes sistemas são treinados com bilhões de documentos da internet — um recorte que super-representa visões ocidentais, anglófonas e privilegiadas. Mesmo com técnicas de fine-tuning e RLHF (Reinforcement Learning from Human Feedback), o viés de base nunca é completamente eliminado.

Detectando viés na prática

Uma das ferramentas mais úteis para auditores de IA é a biblioteca Fairlearn, da Microsoft, que permite avaliar métricas de equidade em modelos preditivos. Veja um exemplo simples de como verificar disparidade de tratamento:

from fairlearn.metrics import (
    demographic_parity_difference,
    equalized_odds_difference
)

# y_true: valor real, y_pred: predição do modelo
# sensitive_features: grupo protegido (ex: gênero)

dpd = demographic_parity_difference(
    y_true, y_pred,
    sensitive_features=genero
)

eod = equalized_odds_difference(
    y_true, y_pred,
    sensitive_features=genero
)

print(f"Diferença de paridade: {dpd:.3f}")
print(f"Diferença de odds: {eod:.3f}")
# Valores próximos de 0 indicam maior equidade

Empresas como a Anthropic têm adotado uma abordagem proativa, publicando relatórios de impacto e submetendo seus modelos a auditorias externas antes do lançamento. A Methodical Alignment, técnica que permite ajustar o comportamento do modelo em tempo de inferência sem retreinamento caro, é uma das inovações mais promissoras nessa área.

Mas a regulação não pode ser apenas técnica. É preciso um debate social amplo sobre quais valores queremos embutir em nossas máquinas. A quem cabe decidir o que é justo? O algoritmo deve refletir a média estatística ou o ideal normativo de uma sociedade? São perguntas que não têm resposta no código — e talvez nunca tenham.

O que fica claro é que não podemos mais tratar a ética em IA como um "departamento" dentro das empresas de tecnologia. Ela precisa ser a fundação sobre a qual todos os sistemas são construídos. Do contrário, estaremos apenas automatizando desigualdades em escala industrial.