Os algoritmos de reconhecimento facial geralmente são testados usando faces brancas, o que resulta na tecnologia sendo incapaz de diferenciar entre indivíduos racializados. (ShutterStock)
A polícia de Detroit prendeu injustamente Robert Julian-Borchak Williams em janeiro de 2020 por um incidente de furto em uma loja ocorrido dois anos antes. Mesmo que Williams não tenha nada a ver com o incidente, a tecnologia de reconhecimento facial usada pela Polícia do Estado de Michigan "combinou" seu rosto com uma imagem granulada obtida de um vídeo de vigilância em uma loja mostrando outro afro-americano pegando US $ 3,800 em relógios.
Duas semanas depois, o caso foi encerrado a pedido da promotoria. No entanto, contando com a combinação defeituosa, a polícia já havia algemado e prendido Williams na frente de sua família, forçado-o a fornecer uma foto da polícia, impressões digitais e uma amostra de seu DNA, interrogou-o e o prendeu durante a noite.
Os especialistas sugerem que Williams não está sozinho e que outros foram submetidos a injustiças semelhantes. A controvérsia em curso sobre o uso policial de Clearview AI certamente ressalta os riscos de privacidade representados pela tecnologia de reconhecimento facial. Mas é importante perceber que nem todos nós assumimos esses riscos igualmente.
Algoritmos racistas de treinamento
Tecnologia de reconhecimento facial que é treinado e sintonizado com rostos caucasianos sistematicamente identifica e rotula erroneamente indivíduos racializados: vários estudos relatam que a tecnologia de reconhecimento facial é “imperfeito e tendencioso, com taxas de erro significativamente mais altas quando usado contra pessoas de cor. "
Esta mina a individualidade e a humanidade das pessoas racializadas que são mais propensos a serem identificados incorretamente como criminosos. A tecnologia - e os erros de identificação que ela comete - reflete e fortalece ainda mais as divisões sociais de longa data que estão profundamente emaranhadas com racismo, sexismo, homofobia, colonialismo e outras opressões que se cruzam.
{vembed Y = vSuDE6wvQlU}
Uma investigação da France24 sobre o preconceito racial na tecnologia de reconhecimento facial.
Como a tecnologia categoriza os usuários
Em seu livro revolucionário de 1993, O tipo panóptico, o estudioso Oscar Gandy advertiu que “tecnologia complexa [que] envolve a coleta, processamento e compartilhamento de informações sobre indivíduos e grupos que são geradas em suas vidas diárias ... é usada para coordenar e controlar seu acesso aos bens e serviços que definem a vida em a economia capitalista moderna. ” A aplicação da lei usa para retirar suspeitos do público em geral, e organizações privadas usam para determinar se temos acesso a coisas como bancário e emprego.
Gandy profeticamente advertiu que, se deixada sem controle, esta forma de "triagem cibernética" prejudicaria exponencialmente os membros de comunidades que buscam a igualdade - por exemplo, grupos que são racializados ou socioeconomicamente desfavorecidos - tanto em termos do que seria alocado a eles e como eles podem vir a se entender.
Cerca de 25 anos depois, agora vivemos com o tipo panóptico que toma esteróides. E os exemplos de seus efeitos negativos nas comunidades que buscam a igualdade são abundantes, como a falsa identificação de Williams.
Viés pré-existente
Essa classificação usando algoritmos se infiltra nos aspectos mais fundamentais da vida cotidiana, ocasionando violência direta e estrutural em seu rastro.
A violência direta experimentada por Williams é imediatamente evidente nos eventos que cercam sua prisão e detenção, e os danos individuais que ele sofreu são óbvios e podem ser atribuídos às ações da polícia que escolheu confiar na “compatibilidade” da tecnologia para fazer uma prisão. Mais insidioso é o violência estrutural perpetrado por meio de tecnologia de reconhecimento facial e outras tecnologias digitais que classificam, combinam, categorizam e classificam os indivíduos de maneiras que ampliam os padrões discriminatórios pré-existentes.
Os danos da violência estrutural são menos óbvios e menos diretos, e causam danos aos grupos que buscam a igualdade por meio da negação sistemática de poder, recursos e oportunidades. Simultaneamente, aumenta o risco direto e os danos aos membros individuais desses grupos.
Usos de policiamento preditivo processamento algorítmico de dados históricos para prever quando e onde novos crimes podem ocorrer, atribui recursos policiais em conformidade e incorpora vigilância policial aprimorada às comunidades, geralmente em bairros de baixa renda e racializados. Isso aumenta as chances de que qualquer atividade criminosa - incluindo atividades criminosas menos graves que, de outra forma, não levariam à resposta da polícia - seja detectada e punida, limitando as chances de vida das pessoas que vivem naquele ambiente.
E a evidência de desigualdades em outros setores continua a aumentar. Centenas de estudantes no Reino Unido protestou em 16 de agosto contra os resultados desastrosos de Ofqual, um algoritmo falho que o governo do Reino Unido usou para determinar quais alunos se qualificariam para a universidade. Em 2019, o serviço de anúncio de microssegmentação do Facebook ajudou dezenas de empregadores do setor público e privado impedir que pessoas recebam anúncios de emprego com base na idade e no sexo. A pesquisa realizada pela ProPublica documentou discriminação de preços baseada em raça para produtos online. E os motores de busca produzem regularmente resultados racistas e sexistas.
Perpetuando opressão
Esses resultados são importantes porque perpetuam e aprofundam as desigualdades pré-existentes com base em características como raça, gênero e idade. Eles também são importantes porque afetam profundamente o modo como nos conhecemos e conhecemos o mundo ao nosso redor, às vezes por pré-selecionar as informações recebemos de maneiras que reforçam percepções estereotipadas. Até as próprias empresas de tecnologia reconhecem o urgência de impedir algoritmos de perpetuar a discriminação.
Até o momento, o sucesso das investigações ad hoc, conduzidas pelas próprias empresas de tecnologia, tem sido inconsistente. Ocasionalmente, empresas envolvidas na produção de sistemas discriminatórios os retiram do mercado, como quando A Clearview AI anunciou que não ofereceria mais tecnologia de reconhecimento facial no Canadá. Mas muitas vezes essas decisões resultam de escrutínio regulatório ou clamor público apenas depois de membros de comunidades que buscam a igualdade já foram prejudicados.
É hora de dar às nossas instituições regulatórias as ferramentas de que precisam para resolver o problema. As proteções de privacidade simples que dependem da obtenção de consentimento individual para permitir que os dados sejam capturados e reutilizados por empresas não podem ser separadas dos resultados discriminatórios desse uso. Isso é especialmente verdadeiro em uma época em que a maioria de nós (incluindo as próprias empresas de tecnologia) não consegue entender totalmente o que os algoritmos fazem ou por que eles produzem resultados específicos.
A privacidade é um direito humano
Parte da solução envolve quebrar os silos regulatórios atuais que tratam a privacidade e os direitos humanos como questões separadas. Contar com um modelo de proteção de dados baseado em consentimento vai contra o princípio básico de que privacidade e igualdade são direitos humanos que não podem ser retirados por contrato.
Mesmo Carta Digital do Canadá - a última tentativa do governo federal de responder às deficiências do estado atual do ambiente digital - mantém essas distinções conceituais. Ele trata o ódio e o extremismo, o controle e o consentimento e a democracia forte como categorias separadas.
Para lidar com a discriminação algorítmica, devemos reconhecer e enquadrar a privacidade e a igualdade como direitos humanos. E devemos criar uma infraestrutura que seja igualmente atenta e especialista em ambos. Sem esses esforços, o brilho da matemática e da ciência continuará a camuflar os preconceitos discriminatórios da IA, e pode-se esperar que as travestis como a infligida a Williams se multipliquem.
Sobre os autores
Jane Bailey, professora de direito e co-líder do The eQuality Project, Universidade de Ottawa / Universidade de Ottawa; Jacquelyn Burkell, vice-presidente associado de pesquisa, western University, e Valerie Steeves, Professora Titular, Universidade de Ottawa / Universidade de Ottawa
Este artigo foi republicado a partir de A Conversação sob uma licença Creative Commons. Leia o artigo original.
Livros sobre desigualdade da lista dos mais vendidos da Amazon
"Caste: As origens de nossos descontentamentos"
por Isabel Wilkerson
Neste livro, Isabel Wilkerson examina a história dos sistemas de castas nas sociedades de todo o mundo, inclusive nos Estados Unidos. O livro explora o impacto da casta nos indivíduos e na sociedade e oferece uma estrutura para entender e abordar a desigualdade.
Clique para mais informações ou para encomendar
"A cor da lei: uma história esquecida de como nosso governo segregou a América"
por Richard Rothstein
Neste livro, Richard Rothstein explora a história das políticas governamentais que criaram e reforçaram a segregação racial nos Estados Unidos. O livro examina o impacto dessas políticas em indivíduos e comunidades e oferece uma chamada à ação para lidar com a desigualdade em curso.
Clique para mais informações ou para encomendar
"A soma de nós: o que o racismo custa a todos e como podemos prosperar juntos"
por Heather McGhee
Neste livro, Heather McGhee explora os custos econômicos e sociais do racismo e oferece uma visão para uma sociedade mais igualitária e próspera. O livro inclui histórias de indivíduos e comunidades que desafiaram a desigualdade, bem como soluções práticas para criar uma sociedade mais inclusiva.
Clique para mais informações ou para encomendar
"O Mito do Déficit: Teoria Monetária Moderna e o Nascimento da Economia Popular"
por Stephanie Kelton
Neste livro, Stephanie Kelton desafia as ideias convencionais sobre os gastos do governo e o déficit nacional e oferece uma nova estrutura para a compreensão da política econômica. O livro inclui soluções práticas para lidar com a desigualdade e criar uma economia mais equitativa.
Clique para mais informações ou para encomendar
"O novo Jim Crow: encarceramento em massa na era do daltonismo"
por Michelle Alexander
Neste livro, Michelle Alexander explora as maneiras pelas quais o sistema de justiça criminal perpetua a desigualdade e a discriminação racial, principalmente contra os negros americanos. O livro inclui uma análise histórica do sistema e seu impacto, bem como um apelo à ação para a reforma.
