Como os algoritmos podem ser mais justos que os humanos

Amazon recentemente começou a oferecer entrega no mesmo dia em áreas metropolitanas selecionadas. Isso pode ser bom para muitos clientes, mas o lançamento mostra como a tomada de decisão informatizada também pode fornecer uma forte dose de discriminação.

Sensivelmente, a empresa começou seu serviço em áreas onde os custos de entrega seriam menores, identificando códigos CEP de lugares densamente povoados para muitos clientes Amazon existentes com níveis de renda altos o suficiente para fazer compras freqüentes de produtos disponíveis para entrega no mesmo dia. A empresa forneceu uma página da web permitindo que os clientes digitassem seu CEP para ver se a entrega no mesmo dia os atendia. Jornalistas investigativos da Bloomberg News usaram essa página para criar mapas da área de serviço da Amazon para entrega no mesmo dia.

A análise da Bloomberg revelou que muitas áreas urbanas pobres foram excluídas da área de serviço, enquanto áreas mais prósperas foram incluídas. Muitas dessas áreas pobres excluídas eram predominantemente habitadas por minorias. Por exemplo, todo o Boston estava coberto, exceto Roxbury; A cobertura da cidade de Nova York incluía quase todos os quatro distritos, mas excluía completamente o Bronx; A cobertura de Chicago deixou de fora o empobrecido South Side, ao mesmo tempo em que se estendia substancialmente aos afluentes subúrbios do norte e do oeste.

Embora seja tentador acreditar que as decisões baseadas em dados são imparciais, pesquisa e discussão acadêmica estão começando a demonstrar que injustiça e discriminação permanecem. No meu curso online sobre ética de dados, os alunos aprendem que algoritmos podem discriminar. Mas pode haver um pouco de esperança: como sugere a pesquisa da Bloomberg, basear decisões em dados também pode facilitar a detecção de vieses.

O viés pode ser involuntário

Injustiça como aquela na política de entrega da Amazon pode surgir por muitas razões, incluindo preconceitos ocultos - como suposições de que as populações são distribuídas uniformemente. Os projetistas de algoritmos provavelmente não pretendem discriminar e podem nem perceber que um problema se instalou.


innerself assinar gráfico


A Amazon disse à Bloomberg que não tinha intenção discriminatória, e há todos os motivos para acreditar nessa afirmação. Em resposta ao relatório da Bloomberg, cidade funcionários e outros políticos chamado na Amazon para corrigir esse problema. A empresa movido rapidamente para adicionar os CEPs urbanos pobres originalmente excluídos para sua área de serviço.

Uma questão semelhante tem sido perguntou da Uber, que parece fornecer um melhor serviço para áreas habitadas por maiores proporções de pessoas brancas. É provável que haja mais exemplos de discriminações algorítmicas não intencionais descobertas no futuro pela indústria de serviços e de varejo.

Perguntando muito sobre algoritmos?

Devemos parar um momento para considerar se estamos exigindo indevidamente decisões algorítmicas. As empresas que operam lojas físicas tomam decisões de localização o tempo todo, levando em conta critérios não tão diferentes dos da Amazon. As lojas tentam ter locais que sejam convenientes para um grande grupo de clientes potenciais com dinheiro para gastar.

Em consequência, poucas lojas optam por se localizar em bairros pobres do centro da cidade. Particularmente no contexto das mercearias, esse fenômeno tem sido estudado extensivamente, e o termo “deserto de comida”Tem sido usado para descrever áreas urbanas cujos moradores não têm acesso conveniente a alimentos frescos. este viés de localização é menos estudado para as lojas de varejo em geral.

Como um exemplo indicativo, eu olhei para os locais da Target da 55 Michigan, uma grande cadeia de varejo abrangente. Quando classifiquei todos os CEPs de Michigan com base em se sua renda média estava na metade superior ou inferior em todo o estado, descobri que apenas 16 das lojas da Target (29 por cento) estavam em CEPs do grupo de renda mais baixa. Mais do que o dobro, as lojas 39 estavam localizadas em CEPs da metade mais abastada.

Identificando a discriminação

Além disso, não há lojas Target na cidade de Detroit, embora existam vários em seus subúrbios (mais ricos). No entanto, não houve protestos populares alegando que a Target discrimina injustamente as pessoas pobres em suas decisões de localização de lojas. Há duas razões principais pelas quais as preocupações com a Amazônia são justificadas: rigidez e dominância.

A rigidez tem a ver com os processos de tomada de decisão do varejista on-line e com o resultado. A Amazon decide quais CEPs estão em sua área de serviço. Se um cliente mora do outro lado da rua, a partir do limite definido pela Amazon, ela está fora da área de serviço e pouco pode fazer a respeito. Por outro lado, alguém que vive em um CEP sem uma loja da Target ainda pode comprar na Target, embora demore mais para chegar lá.

Também importa o quão dominante um varejista está nas mentes dos consumidores. Enquanto a Target é apenas uma das muitas cadeias de lojas físicas, a Amazon domínio do mercado como um varejista da webe, portanto, atrai mais atenção. Tal dominância é uma característica dos dias atuais vencedor leva tudo empresas da web.

Embora sua rigidez e dominância possam nos causar maior preocupação com os negócios on-line, também somos mais capazes de detectar sua discriminação do que em lojas de tijolo e cimento. Para uma cadeia de lojas tradicional, precisamos adivinhar até onde os consumidores estão dispostos a viajar. Nós também podemos precisar estar cientes do tempo: cinco milhas até a próxima saída da auto-estrada não é a mesma coisa que cinco milhas através de ruas congestionadas para o outro lado da cidade. Além disso, o próprio tempo de viagem pode variar muito dependendo da hora do dia. Depois de identificar as áreas prováveis ​​que uma loja atende, elas podem não ser mapeadas ordenadamente em unidades geográficas para as quais temos estatísticas sobre raça ou renda. Em suma, a análise é confusa e requer muito esforço.

Em contraste, teria levado jornalistas da Bloomberg apenas algumas horas para desenvolver um mapa da área de serviço da Amazon e correlacioná-lo com renda ou raça. Se a Amazon fizesse isso internamente, eles poderiam ter feito a mesma análise em apenas alguns minutos - e talvez percebessem os problemas e os corrigissem antes mesmo que o serviço no mesmo dia começasse.

Como os humanos se comparam?

Vejamos um exemplo bem diferente para ver como os mesmos pontos se aplicam amplamente. Recentemente, a ProPublica publicou uma excelente análise da discriminação racial por um algoritmo que prevê a probabilidade de um criminoso ofender novamente. O algoritmo considera dezenas de fatores e calcula uma estimativa de probabilidade. A análise da ProPublica encontrou viés racial sistemático significativo, mesmo que a raça não estivesse entre os fatores específicos considerados.

Sem o algoritmo, um juiz humano faria uma estimativa semelhante, como parte de uma sentença ou decisão de liberdade condicional. A decisão humana pode considerar um conjunto mais rico de fatores, como o comportamento do tribunal do criminoso. Mas nós sabemos, de estudos em psicologia, Que tomada de decisão humana está repleta de preconceito, mesmo quando tentamos o nosso melhor para ser justo.

Mas quaisquer erros que resultem do viés nas decisões dos juízes humanos provavelmente serão diferentes entre os juízes e até mesmo para decisões diferentes tomadas pelo mesmo juiz. No agregado, pode haver discriminação racial devido a viés subconsciente, mas estabelecer isso conclusivamente é complicado. Um estudo do Departamento de Justiça dos EUA encontrou fortes evidências de disparidades na condenação de condenados brancos e negros, mas não pôde determinar claramente se a raça em si era um fator nessas decisões.

Em contraste, o mesmo algoritmo que o ProPublica analisou é usado em milhares de casos em muitos estados. Sua rigidez e o grande volume facilitam o trabalho de determinar se ele discrimina - e pode oferecer maneiras de corrigir com eficiência o problema.

O uso da tecnologia da informação parece tornar as linhas mais brilhantes, diferenças mais detalhadas e dados sobre tudo isso muito mais facilmente disponível. O que poderia ser escovado sob o tapete ontem agora clama por atenção. À medida que encontramos mais e mais usos para algoritmos orientados por dados, ainda não é comum analisar sua imparcialidade, particularmente antes da implantação de um novo serviço baseado em dados. Fazê-lo assim irá percorrer um longo caminho para medir e melhorar a justiça desses cálculos computadorizados cada vez mais importantes.

Sobre o autorA Conversação

HV Jagadish, Bernard A Galler Professor Colegiado de Engenharia Elétrica e Ciência da Computação, Universidade de Michigan

Este artigo foi originalmente publicado em A Conversação. Leia o artigo original.

Livros relacionados

at InnerSelf Market e Amazon