Algoritmos sempre foram usados pelas pessoas, mas agora passaram a ser aplicados em todos os serviços e atividades da sociedade de forma cada vez mais ampla, gerando desconforto para quem é afetado por eles. Para Cathy O’Neil, autora do best-seller "Algoritmos de destruição em massa”, a sociedade precisa entender que os algoritmos têm um componente de opinião, e não somente dados.

“No fim do dia, os algoritmos tratam de opinião embutida na matemática, uma opinião que aqueles por trás do algoritmo não querem que você veja para que acredite que ele é um instrumento objetivo. Imagine que isso serve para te intimidar”, afirmou a pesquisadora em painel de encerramento do quarto dia do ANBIMA Summit. “Sugiro que você pense na dinâmica de poder na próxima vez que alguém falar de algoritmos”.

Os algoritmos servem às pessoas diariamente, nas suas tarefas mais cotidianas, como, por exemplo, decidir o que cozinhar para seus filhos de forma a oferecer uma refeição saudável e atraente. Seres humanos pegam suas experiências do passado para tomar decisões do presente de forma mais efetiva.

Atualmente, todo tipo de empresa usa algoritmos, seja para influenciar consumidores a demandar seus produtos em maior escala ou para definir como lidar com cada tipo de consumidor, por exemplo. “Toda vez que a gente transforma memórias do passado em uma base de dados formal, a gente muda a natureza dos algoritmos e os torna mais simples e mais estúpidos”, disse Cathy. Para ela, os algoritmos estão sendo usados como fonte de poder em que as pessoas afetadas por eles não têm controle ou conhecimento de suas construções.

Perpetuando desvantagens sistêmicas - Ela citou exemplos de situações em que as pessoas são afetadas, muitas vezes negativamente, sem que possam reagir a isso. Uma delas envolve uma provedora de seguros saúde que usou algoritmos para determinar quais clientes tinham condições mais complicadas para que fosse oferecido um serviço mais eficiente, reduzindo os custos da empresa. Ao desenhar o algoritmo, usaram uma base de dados que indicava quais clientes haviam usado mais os serviços médicos.

No entanto, historicamente os negros americanos recebem menos cuidados médicos do que pessoas brancas nas mesmas condições de saúde. Com isso, o algoritmo deixou de considerar pessoas negras com quadros graves de saúde, se tornando ineficiente em oferecer os serviços especiais a eles.

“Ninguém sabe por que estão recebendo ou deixam de receber a oferta de um serviço”, afirmou Cathy. “E com isso, essa empresa deu continuidade à desvantagem histórica dos negros nos cuidados com sua saúde”.

 + ANBIMA Summit: confira a programação completa e cadastre-se para participar gratuitamente

Algoritmos dão errado - A pesquisadora também destacou um algoritmo desenvolvido pela gigante Amazon, que definia como selecionar engenheiros em processos de contratação de profissionais. A base de dados considerava alguns elementos para definir o sucesso, como as ofertas feitas no passado, quantos anos permaneceram no trabalho, número de promoções e aumentos de salário.

Atualmente se sabe que esses avanços aconteciam por decisões com viés de gênero que favoreciam homens brancos em larga escala. Com o passar do tempo, a empresa notou que o algoritmo trazia barreiras que impediam a contratação de mulheres. “Decisões sexistas do passado passaram a se propagar no presente e no futuro”, comentou.

Rankings falhos - Cathy destacou casos em que rankings desconsideram elementos importantes no momento em que um consumidor escolhe um produto ou serviço. Um exemplo é a classificação das melhores universidades americanas, que movimenta muito dinheiro e esforço das famílias em oferecer as melhores oportunidades de estudo para seus filhos. Ela apontou que estas listas avaliam a qualidade do ensino, mas desconsideram um dos elementos de maior relevância para a decisão: o valor das anuidades.

Essa falha permitiu que faculdades e universidades pudessem agir ativamente para elevar suas posições nos rankings. Como consequência, o valor dos cursos aumentou significativamente, sem que a qualidade real do ensino evoluísse na mesma proporção.

“Estes algoritmos estão destruindo a vida de pessoas que precisam passar pela burocracia que eles impõem”, alertou a especialista. “É preciso fazer mais e melhor em nível internacional. Eles precisam se mostrar úteis e seguros antes de serem usados, como são as vacinas”.

+ Veja também: Mais tecnologia não vai resolver prejuízos causados por algoritmos, diz Cathy O’Neil