Cada vez mais, algoritmos e ferramentas de inteligência artificial afetam aspectos importantes de nossas vidas — de forma transparente ou sem que tenhamos conhecimento. Podemos escolher o ChatGPT para redigir um texto, por exemplo, mas não temos qualquer gerência sobre sistemas sofisticados que selecionam os “melhores” para um emprego a partir de pilhas de currículos ou sobre bancos de dados que “preveem” quem tem mais probabilidade de dar calote em um empréstimo bancário.
Em busca de eficiência e escala, muitos processos vêm sendo automatizados nas últimas décadas. Há aspectos positivos inegáveis em vários deles; mas também desafios e até violências que precisam ser discutidas mais amplamente, como no caso de preconceitos e discriminação perpetuados por modelos matemáticos.
Pesquisadores da Universidade de Chicago e do MIT relataram há mais de 20 anos como sistemas automáticos de análise de currículos tinham preferência por candidatos com nomes tipicamente atribuídos a pessoas brancas nos Estados Unidos, como Emily Walsh e Brendan Baker, em detrimento daqueles com nomes mais associados a afro-americanos, como Lakisha Washington e Jamaal Jones. Este é um dos exemplos narrados pela cientista de dados Cathy O’Neil em seu livro “Armas de Destruição Matemática” (o título em inglês — Weapons of Math Destruction — faz uma alusão ao termo “weapons of MASS destruction”, ou seja, armas de destruição em massa).
“Os dados não vão desaparecer. Nem os computadores e muito menos a matemática. Modelos preditivos são, cada vez mais, as ferramentas com as quais contaremos para comandar nossas instituições, alocar nossos recursos e gerenciar nossas vidas”, cita a autora. “Mas esses modelos são construídos não apenas a partir de dados, mas também de escolhas que fazemos sobre quais dados devemos considerar — e quais não. Essas escolhas não são apenas sobre logística, lucro e eficiência. Elas são fundamentalmente uma questão moral.”
É preciso lembrar que racismo, capacitismo, homofobia e outras formas de preconceito não nasceram com a inteligência artificial. Mas é igualmente importante compreender a escala que podem adquirir com esses sistemas.
“O racismo algorítmico é uma espécie de atualização do racismo estrutural, sua ponta de lança na era da datificação da sociedade”, afirmou o pesquisador Tarcízio Silva, autor de “Racismo algorítmico: inteligência artificial e discriminação nas redes digitais”, em entrevista ao Centro de Estudos Estratégicos da Fiocruz no início deste ano. “Racismo algorítmico não é uma questão de programação ou engenharia. Mais importante que as linhas de código é saber quais são as relações de poder e quais decisões são habilitadas pela implementação de alguma tecnologia.”
Daí a necessidade de ampliar o debate sobre letramento algorítmico e dar mais visibilidade a grupos de pesquisa que discutem o tema à luz da justiça e da equidade social.
Um desses grupos é o Center for Critical Race + Digital Studies, que produz pesquisas e sensibiliza a sociedade sobre como raça e identidade moldam e são moldadas pelas tecnologias digitais. Seus pesquisadores chamam atenção para o fato de que algoritmos não são neutros porque carregam valores e escolhas de seus programadores, instituições, da própria cultura e de nossa história.
Eles apontam que só é possível entender o conceito de viés algorítmico a partir da compreensão das estruturas sociais das quais fazemos parte, em que grupos são marginalizados por conta de sua cor, gênero ou opção sexual. E classificam seis tipos de viés, entre os quais o histórico — que surge quando há um desalinhamento entre o mundo tal como é e os valores ou objetivos a serem codificados e propagados num modelo — e o de representação — em que uma população é sub ou mal representada no momento de treinar o modelo.
“Não escaparemos dos horrores do viés algorítmico até que nossa cultura adote um quadro de desenvolvimento tecnológico – um ethos – que enfrente as injustiças históricas e atuais e dê prioridade ao fortalecimento das comunidades”, argumentam.
Por isso, da mesma forma como a educação antirracista deve extrapolar a efeméride do Dia da Consciência Negra e fazer parte do dia a dia das escolas além de projetos em torno da data de 20 de novembro, também o letramento algorítmico precisa conquistar mais espaços na formação de crianças e adolescentes. É assim que a sociedade poderá se preparar para usufruir da tecnologia, ao mesmo tempo em que combate preconceitos e discriminação.
