Como a tecnologia de reconhecimento facial é falha e tendenciosa racialmente

Como a tecnologia de reconhecimento facial é falha e tendenciosa racialmente
Os algoritmos de reconhecimento facial geralmente são testados usando faces brancas, o que resulta na tecnologia sendo incapaz de diferenciar entre indivíduos racializados. (ShutterStock)

A polícia de Detroit prendeu injustamente Robert Julian-Borchak Williams em janeiro de 2020 por um incidente de furto em uma loja ocorrido dois anos antes. Mesmo que Williams não tenha nada a ver com o incidente, a tecnologia de reconhecimento facial usada pela Polícia do Estado de Michigan "combinou" seu rosto com uma imagem granulada obtida de um vídeo de vigilância em uma loja mostrando outro afro-americano pegando US $ 3,800 em relógios.

Duas semanas depois, o caso foi encerrado a pedido da promotoria. No entanto, contando com a combinação defeituosa, a polícia já havia algemado e prendido Williams na frente de sua família, forçado-o a fornecer uma foto da polícia, impressões digitais e uma amostra de seu DNA, interrogou-o e o prendeu durante a noite.

Os especialistas sugerem que Williams não está sozinho e que outros foram submetidos a injustiças semelhantes. A controvérsia em curso sobre o uso policial de Clearview AI certamente ressalta os riscos de privacidade representados pela tecnologia de reconhecimento facial. Mas é importante perceber que nem todos nós assumimos esses riscos igualmente.

Algoritmos racistas de treinamento

Tecnologia de reconhecimento facial que é treinado e sintonizado com rostos caucasianos sistematicamente identifica e rotula erroneamente indivíduos racializados: vários estudos relatam que a tecnologia de reconhecimento facial é “imperfeito e tendencioso, com taxas de erro significativamente mais altas quando usado contra pessoas de cor. "

O curso mina a individualidade e a humanidade das pessoas racializadas que são mais propensos a serem identificados incorretamente como criminosos. A tecnologia - e os erros de identificação que ela comete - reflete e fortalece ainda mais as divisões sociais de longa data que estão profundamente emaranhadas com racismo, sexismo, homofobia, colonialismo e outras opressões que se cruzam.


Uma investigação da France24 sobre o preconceito racial na tecnologia de reconhecimento facial.

Como a tecnologia categoriza os usuários

Em seu livro revolucionário de 1993, O tipo panóptico, o estudioso Oscar Gandy advertiu que “tecnologia complexa [que] envolve a coleta, processamento e compartilhamento de informações sobre indivíduos e grupos que são geradas em suas vidas diárias ... é usada para coordenar e controlar seu acesso aos bens e serviços que definem a vida em a economia capitalista moderna. ” A aplicação da lei usa para retirar suspeitos do público em geral, e organizações privadas usam para determinar se temos acesso a coisas como bancário e nos emprego.


Receba as últimas notícias do InnerSelf


Gandy profeticamente advertiu que, se deixada sem controle, esta forma de "triagem cibernética" prejudicaria exponencialmente os membros de comunidades que buscam a igualdade - por exemplo, grupos que são racializados ou socioeconomicamente desfavorecidos - tanto em termos do que seria alocado a eles e como eles podem vir a se entender.

Cerca de 25 anos depois, agora vivemos com o tipo panóptico que toma esteróides. E os exemplos de seus efeitos negativos nas comunidades que buscam a igualdade são abundantes, como a falsa identificação de Williams.

Viés pré-existente

Essa classificação usando algoritmos se infiltra nos aspectos mais fundamentais da vida cotidiana, ocasionando violência direta e estrutural em seu rastro.

A violência direta experimentada por Williams é imediatamente evidente nos eventos que cercam sua prisão e detenção, e os danos individuais que ele sofreu são óbvios e podem ser atribuídos às ações da polícia que escolheu confiar na “compatibilidade” da tecnologia para fazer uma prisão. Mais insidioso é o violência estrutural perpetrado por meio de tecnologia de reconhecimento facial e outras tecnologias digitais que classificam, combinam, categorizam e classificam os indivíduos de maneiras que ampliam os padrões discriminatórios pré-existentes.

Os danos da violência estrutural são menos óbvios e menos diretos, e causam danos aos grupos que buscam a igualdade por meio da negação sistemática de poder, recursos e oportunidades. Simultaneamente, aumenta o risco direto e os danos aos membros individuais desses grupos.

Usos de policiamento preditivo processamento algorítmico de dados históricos para prever quando e onde novos crimes podem ocorrer, atribui recursos policiais em conformidade e incorpora vigilância policial aprimorada às comunidades, geralmente em bairros de baixa renda e racializados. Isso aumenta as chances de que qualquer atividade criminosa - incluindo atividades criminosas menos graves que, de outra forma, não levariam à resposta da polícia - seja detectada e punida, limitando as chances de vida das pessoas que vivem naquele ambiente.

E a evidência de desigualdades em outros setores continua a aumentar. Centenas de estudantes no Reino Unido protestou em 16 de agosto contra os resultados desastrosos de Ofqual, um algoritmo falho que o governo do Reino Unido usou para determinar quais alunos se qualificariam para a universidade. Em 2019, o serviço de anúncio de microssegmentação do Facebook ajudou dezenas de empregadores do setor público e privado impedir que pessoas recebam anúncios de emprego com base na idade e no sexo. A pesquisa realizada pela ProPublica documentou discriminação de preços baseada em raça para produtos online. E os motores de busca produzem regularmente resultados racistas e sexistas.

Perpetuando opressão

Esses resultados são importantes porque perpetuam e aprofundam as desigualdades pré-existentes com base em características como raça, gênero e idade. Eles também são importantes porque afetam profundamente o modo como nos conhecemos e conhecemos o mundo ao nosso redor, às vezes por pré-selecionar as informações recebemos de maneiras que reforçam percepções estereotipadas. Até as próprias empresas de tecnologia reconhecem o urgência de impedir algoritmos de perpetuar a discriminação.

Até o momento, o sucesso das investigações ad hoc, conduzidas pelas próprias empresas de tecnologia, tem sido inconsistente. Ocasionalmente, empresas envolvidas na produção de sistemas discriminatórios os retiram do mercado, como quando A Clearview AI anunciou que não ofereceria mais tecnologia de reconhecimento facial no Canadá. Mas muitas vezes essas decisões resultam de escrutínio regulatório ou clamor público apenas depois de membros de comunidades que buscam a igualdade já foram prejudicados.

É hora de dar às nossas instituições regulatórias as ferramentas de que precisam para resolver o problema. As proteções de privacidade simples que dependem da obtenção de consentimento individual para permitir que os dados sejam capturados e reutilizados por empresas não podem ser separadas dos resultados discriminatórios desse uso. Isso é especialmente verdadeiro em uma época em que a maioria de nós (incluindo as próprias empresas de tecnologia) não consegue entender totalmente o que os algoritmos fazem ou por que eles produzem resultados específicos.

A privacidade é um direito humano

Parte da solução envolve quebrar os silos regulatórios atuais que tratam a privacidade e os direitos humanos como questões separadas. Contar com um modelo de proteção de dados baseado em consentimento vai contra o princípio básico de que privacidade e igualdade são direitos humanos que não podem ser retirados por contrato.

Mesmo Carta Digital do Canadá - a última tentativa do governo federal de responder às deficiências do estado atual do ambiente digital - mantém essas distinções conceituais. Ele trata o ódio e o extremismo, o controle e o consentimento e a democracia forte como categorias separadas.

Para lidar com a discriminação algorítmica, devemos reconhecer e enquadrar a privacidade e a igualdade como direitos humanos. E devemos criar uma infraestrutura que seja igualmente atenta e especialista em ambos. Sem esses esforços, o brilho da matemática e da ciência continuará a camuflar os preconceitos discriminatórios da IA, e pode-se esperar que as travestis como a infligida a Williams se multipliquem.A Conversação

Sobre os Autores

Jane Bailey, professora de direito e co-líder do The eQuality Project, Universidade de Ottawa / Universidade de Ottawa; Jacquelyn Burkell, vice-presidente associado de pesquisa, western University, e Valerie Steeves, Professora Titular, Universidade de Ottawa / Universidade de Ottawa

Este artigo foi republicado a partir de A Conversação sob uma licença Creative Commons. Leia o artigo original.

enafarzh-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

siga InnerSelf on

facebook-icontwitter-iconrss-icon

Receba as últimas por e-mail

{Emailcloak = off}

DOS EDITORES

Boletim InnerSelf: outubro 18, 2020
by Funcionários Innerself
Atualmente, vivemos em mini-bolhas ... em nossas próprias casas, no trabalho e em público e, possivelmente, em nossa própria mente e com nossas próprias emoções. No entanto, vivendo em uma bolha, ou sentindo que estamos ...
Boletim InnerSelf: outubro 11, 2020
by Funcionários Innerself
A vida é uma viagem e, como a maioria das viagens, vem com seus altos e baixos. E assim como o dia sempre segue a noite, nossas experiências pessoais diárias vão da escuridão para a luz, e para frente e para trás. Contudo,…
Boletim InnerSelf: outubro 4, 2020
by Funcionários Innerself
Seja o que for que estejamos passando, tanto individual quanto coletivamente, devemos lembrar que não somos vítimas indefesas. Podemos recuperar nosso poder de curar nossas vidas, espiritual e emocionalmente, também ...
Boletim informativo InnerSelf: Setembro 27, 2020
by Funcionários Innerself
Uma das grandes forças da raça humana é nossa capacidade de ser flexível, criativo e pensar inovador. Para ser outra pessoa que não éramos ontem ou anteontem. Nós podemos mudar...…
O que funciona para mim: "Para o bem mais elevado"
by Marie T. Russell, InnerSelf
O motivo pelo qual compartilho "o que funciona para mim" é que pode funcionar para você também. Se não for exatamente como eu faço, já que somos todos únicos, alguma variação de atitude ou método pode muito bem ser algo ...