IA E MACHINE LEARNING

Fairness algorítmica

Subárea de ML que estuda viés e discriminação em sistemas algorítmicos, com critérios formais (parity demográfica, igualdade de oportunidades, calibração) frequentemente em tensão matemática entre si. Barocas, Hardt e Narayanan (2019) consolidaram a referência.

Definição estendida

Fairness algorítmica (algorithmic fairness) é a subárea interdisciplinar de ML que estuda viés e discriminação em sistemas algorítmicos, articulando critérios formais para medir e mitigar disparidades entre grupos definidos por atributos protegidos (raça, gênero, idade, deficiência). Barocas, Hardt e Narayanan (2019, Fairness and Machine Learning: Limitations and Opportunities, online em fairmlbook.org) consolidaram a referência teórica contemporânea; Mehrabi et al. (2021, ACM Computing Surveys) ofereceram revisão completa de tipos de viés e métodos de mitigação. Critérios formais centrais incluem: parity demográfica (proporções iguais de classificações positivas entre grupos), igualdade de oportunidades (mesma taxa de verdadeiros positivos), igualdade de odds (mesma TPR e FPR), calibração por grupo (probabilidade prevista corresponde à frequência real em cada grupo). Resultado fundamental (Chouldechova 2017; Kleinberg, Mullainathan, Raghavan 2016): com prevalência diferente entre grupos, é matematicamente impossível satisfazer simultaneamente parity, igualdade de odds e calibração, exceto em casos triviais — escolhas valorativas são inevitáveis. Mitigação em três pontos do pipeline: pré-processamento (resampling, reweighting), in-processing (constraints na função de perda, modelos adversariais), pós-processamento (ajuste de thresholds por grupo).

Quando se aplica

Fairness algorítmica aplica-se em qualquer sistema de ML que toma ou suporta decisões com impacto humano substantivo: crédito, seguros, contratação, justiça criminal, alocação de recursos públicos, diagnóstico médico, moderação de conteúdo. É exigência regulatória crescente — EU AI Act (2024), Lei de Crédito Igual nos EUA, regulamentações específicas por setor. Aplica-se em pesquisa publicada quando dados ou modelo podem refletir vieses sistemáticos: NeurIPS, FAccT (ACM Conference on Fairness, Accountability, and Transparency) exigem declaração de impacto. Aplica-se em revisão crítica de sistemas em produção: auditoria de fairness é prática emergente em organizações grandes. Aplica-se em pesquisa de ML científico onde dados de treino têm sub-representação de grupos relevantes (ex.: imagens médicas com dominância de pele clara).

Quando NÃO se aplica

Não se aplica como solução técnica isolada para problemas estruturais sociais: viés algorítmico reflete vieses na sociedade e nos dados; correção exclusivamente técnica é insuficiente sem mudança de processo, política e dados. Não se aplica como conjunto único de critérios universalmente válidos: critério apropriado depende de contexto, valores, e trade-offs aceitáveis pela comunidade afetada. Não substitui auditoria humana e participativa: stakeholders dos grupos afetados devem ser envolvidos na definição de critérios. Não se aplica em problemas onde atributo protegido é causalmente apropriado para o desfecho (raros casos): cuidado em distinguir associação espúria de relação causal genuína. Em sistemas onde tomada de decisão final é humana, fairness algorítmica é parte da auditoria mas não esgota responsabilidade ética.

Aplicações por área

Justiça criminal: sistemas como COMPAS sob escrutínio em ProPublica (2016), Angwin et al.; pesquisa subsequente em equity-aware risk assessment. — Crédito e finanças: modelos com paridade entre grupos demográficos exigida por reguladores; FICO score sob auditoria. — Saúde: ML clínico com dados sub-representativos pode amplificar disparidades; auditoria por raça, gênero, classe socioeconômica. — Recursos humanos: sistemas de triagem de currículos com viés de gênero documentado (Amazon 2018); pesquisa em hiring algorithms.

Armadilhas comuns

A primeira armadilha é tentar satisfazer simultaneamente todos os critérios formais: impossibilidade matemática (Chouldechova 2017) implica escolhas valorativas; transparência sobre escolha é melhor que ilusão de neutralidade técnica. A segunda é remover atributo protegido dos features (“fairness through unawareness”) sem perceber que features correlacionadas (CEP, nome, instituição educacional) atuam como proxies. A terceira é confiar em métricas agregadas sem desagregação: modelo com 90% de accuracy global pode ter 60% em subgrupo crítico; análise por grupo é essencial. A quarta é tratar fairness como caixa de seleção de compliance: implementação técnica sem mudança organizacional e processual produz teatro de fairness, não fairness real. A quinta é não envolver stakeholders afetados na definição de critérios: definição puramente técnica imposta por desenvolvedores reproduz hierarquias existentes.

Última atualização —