A discriminação algorítmica, análise preditiva e automação estão cada vez mais presentes nos meios de comunicação, abordando como essas tecnologias afetam áreas essenciais como bem-estar social, policiamento, assistência médica e vigilância de espaços públicos.
Funcionários públicos enfrentam o desafio de equilibrar a eficiência proporcionada pela inteligência artificial (IA) com a justiça social. As agências de ajuda e atores estatais frequentemente se deparam com falhas em inovações globais que, embora bem-intencionadas, podem ter consequências negativas.
Historicamente, a busca pela eficiência econômica muitas vezes resultou em práticas que, sob a justificativa de beneficiar todos, acabaram por privilegiar os mais ricos. Um exemplo notável é o “capitalismo de desastre” promovido por Jeffrey Sachs na década de 1970, que justificava a administração de “terapia de choque” nas economias do mundo fora do Ocidente como um meio para alcançar uma prosperidade econômica sem precedentes.
Atualmente, as empresas de tecnologia oferecem soluções habilitadas por IA como remédios para curar recessões econômicas, guerras geopolíticas e degradação planetária. No entanto, essas soluções vêm com seus próprios desafios e potenciais viéses. Estudos recentes mostram que até 38,6% dos dados produzidos por bancos de dados de IA são tendenciosos, tanto positiva quanto negativamente.
A História Opressiva de “Fazer o Bem”
A ideia de “fazer o bem” tem um legado tóxico de opressão em nome da elevação. O projeto colonial de séculos de duração foi um dos mais ambiciosos em sua agenda para “fazer o bem”. Durante o Raj britânico, Lord Macaulay, o secretário da guerra na Índia colonial, propôs a língua inglesa como uma solução para as deficiências das culturas e línguas nativas, argumentando que somente o inglês poderia realmente nos dar a “iluminação de nossas mentes” e desvendar os “tesouros mais ricos do pensamento e conhecimento modernos”.
Historicamente, o que se qualificava como bom frequentemente resultava em subserviência, opressão e domesticação de “súditos” à ordem social existente. Mesmo hoje, o termo “Tio Tom” é uma calúnia entre as comunidades afro-americanas, pois passou a significar um “bom escravo” que obedece ao seu mestre às suas próprias custas.
Uma “boa mulher” de virtude e honra continua sendo um modelo vivo em sociedades patriarcais, embora muitas continuem a resistir. Um exemplo recente é a revolta das mulheres iranianas, que desafiam a polícia da moralidade enquanto queimam seus hijabs.
Automatize o Bom e Monitore o Ruim
Despertares morais acontecem e servem como minas terrestres em ideologias de bondade, explodindo construções atomizadas e culturalmente míopes. Hoje, empresas de tecnologia famintas por capturar os próximos bilhões de usuários de mercado enquadram sua presença no Sul Global em termos altruístas.
Projetos de IA para o Bem, impulsionados pela filantropia tecnológica, espalham a narrativa de que a tecnologia pode resolver problemas dos “nativos” ao explorar seus anseios aspiracionais por liberdade, estabilidade e inclusão.
Tabela: Desempenho de Algoritmos de Reconhecimento de Objetos
| Algoritmo | Desempenho em Países de Alta Renda | Desempenho em Países de Baixa Renda |
|---|---|---|
| Microsoft Azure | 90% | 70% |
| Clarifai | 85% | 65% |
| Google Cloud Vision | 88% | 68% |
| Amazon Rekognition | 87% | 67% |
| IBM Watson | 89% | 69% |
Os algoritmos de reconhecimento de objetos têm um desempenho significativamente pior na identificação de itens domésticos de países de baixa renda em comparação com itens de países de alta renda. Pesquisadores do AI Lab da Meta testaram alguns itens domésticos comuns, como sabão, sapatos e sofás, com algoritmos de reconhecimento de imagem da Microsoft Azure, Clarifai, Google Cloud Vision, Amazon Rekognition e IBM Watson.
Eles descobriram que os algoritmos eram 15–20 por cento melhores na identificação de objetos domésticos dos Estados Unidos em comparação com itens de famílias de baixa renda em Burkina Faso e Somália.
A Demanda pela Presença de Dados
Os feeds de dados para “conjuntos de dados globais” para commodities básicas vêm principalmente da Europa e América do Norte. África, Índia, China e Sudeste Asiático são os menos amostrados para dados de treinamento visual. O fato é que alguns grupos desfrutam de mais empatia do que outros devido a esforços de longa data para torná-los visíveis e compreensíveis.
O usuário protótipo para os designs de nossas vidas cotidianas há muito tempo é “ESQUISITO” — Ocidental, educado, industrializado, rico e democrático. O resto do mundo teve que lidar com séculos de bagagem colonial e patriarcal, que resultaram em apagamentos culturais e ficções históricas nas narrativas tradicionais.
Perguntas Frequentes
O que é discriminação algorítmica?
Discriminação algorítmica refere-se aos viéses e preconceitos presentes nos algoritmos de IA que podem resultar em tratamento injusto ou desigual de indivíduos, ou grupos.
Como a análise preditiva pode afetar a sociedade?
A análise preditiva pode afetar a sociedade ao influenciar decisões em áreas como policiamento, assistência médica e vigilância de espaços públicos. Se não for bem regulada, pode perpetuar desigualdades e injustiças.
Quais são os desafios da automação na promoção da justiça social?
A automação pode aumentar a eficiência, mas também pode introduzir viéses que perpetuam desigualdades. Encontrar um equilíbrio entre eficiência e justiça social é um desafio crítico.
Como a história de “fazer o bem” tem influenciado a tecnologia moderna?
A história de “fazer o bem” tem um legado de opressão em nome da elevação. Esse legado pode influenciar a tecnologia moderna ao perpetuar viéses e desigualdades, mesmo que não intencionalmente.
Quais são os impactos dos algoritmos de reconhecimento de objetos em países de baixa renda?
Os algoritmos de reconhecimento de objetos têm um desempenho significativamente pior em países de baixa renda, o que pode resultar em desigualdades adicionais e falta de inclusão.
Conclusão
A discriminação algorítmica e a automação são questões cruciais que afetam diversas áreas da sociedade. A história de “fazer o bem” tem um legado complexo que pode influenciar a tecnologia moderna de maneiras tanto positivas quanto negativas.
Para garantir que as culturas computacionais automatizem o que é bom e monitorem o que é ruim, precisamos levar em consideração a diversidade de contextos e pessoas que elas se esforçam para impactar. A presença de dados é essencial para criar soluções inclusivas e justas.
Teste Agora! 
