As pessoas que solicitam um empréstimo de um banco ou de uma operadora de cartão de crédito e são recusadas, devem ter uma explicação do motivo pelo qual isso aconteceu. É uma boa ideia - porque pode ajudar a ensinar as pessoas a reparar o crédito danificado - e é uma lei federal, a Ato de oportunidade de crédito igual. Obter uma resposta não foi um grande problema nos anos passados, quando os humanos tomavam essas decisões. Hoje, porém, à medida que os sistemas de inteligência artificial ajudam ou substituem cada vez mais as pessoas que tomam decisões de crédito, obter essas explicações tornou-se muito mais difícil.

Tradicionalmente, um oficial de empréstimo que rejeitou um pedido poderia dizer a um possível tomador que havia um problema com seu nível de renda, ou histórico de emprego, ou seja qual for o problema foi. Mas sistemas computadorizados que usam sistemas complexos aprendizado de máquina modelos são difíceis de explicar, mesmo para especialistas.

As decisões de crédito ao consumidor são apenas uma das maneiras pelas quais esse problema surge. Preocupações semelhantes Existir em assistência médica, marketing online e até mesmo Justiça Criminal. Meu interesse nessa área começou quando um grupo de pesquisa do qual eu fazia parte descobriu viés de gênero em como os anúncios on-line foram segmentados, mas não conseguiu explicar por que isso aconteceu.

Todas essas indústrias, e muitas outras, que usam o aprendizado de máquina para analisar processos e tomar decisões, têm pouco mais de um ano para explicar melhor como os sistemas funcionam. Em maio 2018, o novo Regulamento Geral de Proteção de Dados da União Européia entra em vigor, incluindo uma seção que dá às pessoas o direito de obter uma explicação para decisões automatizadas que afetam suas vidas. Que forma essas explicações devem tomar e podemos realmente fornecê-las?

Identificando as principais razões

Uma maneira de descrever por que uma decisão automatizada saiu da maneira como o fez foi identificar os fatores que mais influenciaram a decisão. Quanto de uma decisão de negação de crédito foi porque o requerente não ganhou dinheiro suficiente, ou porque ele não pagou empréstimos no passado?

Meu grupo de pesquisa na Universidade Carnegie Mellon, incluindo o estudante de doutorado Shayak Sen e o pós-doutorado Yair Zick criaram uma maneira de medir a influência relativa de cada fator. Nós chamamos isso de Influência de Entrada Quantitativa.

Além de dar uma melhor compreensão de uma decisão individual, a medição também pode esclarecer um grupo de decisões: um algoritmo negou crédito principalmente por causa de preocupações financeiras, como quanto um solicitante já deve a outras dívidas? Ou o código postal do candidato era mais importante - sugerindo que dados demográficos mais básicos, como raça, poderiam ter entrado em ação?

Capturando a causação

Quando um sistema toma decisões com base em múltiplos fatores, é importante identificar quais fatores causam as decisões e sua contribuição relativa.

Por exemplo, imagine um sistema de decisão de crédito que receba apenas duas entradas, a relação dívida-renda do candidato e sua raça, e tenha demonstrado aprovar empréstimos apenas para caucasianos. Saber quanto cada fator contribuiu para a decisão pode nos ajudar a entender se é um sistema legítimo ou se é discriminatório.

Uma explicação poderia apenas olhar para as entradas e os resultados e observar a correlação - os não caucasianos não obtiveram empréstimos. Mas esta explicação é simplista demais. Suponha que os não caucasianos aos quais foram negados empréstimos também tivessem rendimentos muito mais baixos do que os caucasianos cujas candidaturas foram bem sucedidas. Então, essa explicação não pode nos dizer se a razão dos candidatos ou a relação entre a dívida e a renda causaram as recusas.

Nosso método pode fornecer essa informação. Contar a diferença significa que podemos descobrir se o sistema está discriminando injustamente ou analisando critérios legítimos, como as finanças dos candidatos.

Para medir a influência da raça em uma decisão de crédito específica, refazemos o processo de candidatura, mantendo a relação dívida-renda igual, mas alterando a carreira do candidato. Se mudar a corrida afeta o resultado, sabemos que a corrida é um fator decisivo. Se não, podemos concluir que o algoritmo está olhando apenas para as informações financeiras.

Além de identificar fatores que são causas, podemos medir sua influência causal relativa em uma decisão. Fazemos isso variando aleatoriamente o fator (por exemplo, raça) e medindo a probabilidade de o resultado mudar. Quanto maior a probabilidade, maior a influência do fator.

Influência agregadora

Nosso método também pode incorporar vários fatores que funcionam juntos. Considere um sistema de decisão que conceda crédito a candidatos que atendam a dois dos três critérios: pontuação de crédito acima de 600, propriedade de um carro e se o solicitante reembolsou integralmente um empréstimo imobiliário. Digamos que uma candidata, Alice, com uma pontuação de crédito de 730 e nenhum empréstimo de carro ou casa, tenha o crédito negado. Ela se pergunta se o status de propriedade do carro ou o histórico de pagamento do empréstimo é o principal motivo.

Uma analogia pode ajudar a explicar como analisamos essa situação. Considere um tribunal onde as decisões são tomadas pelo voto da maioria de um painel de três juízes, onde um é um conservador, um liberal e o terceiro um voto decisivo, alguém que pode estar do lado de um de seus colegas. Em uma decisão conservadora 2-1, o juiz de swing teve uma influência maior no resultado do que o juiz liberal.

Os fatores em nosso exemplo de crédito são como os três juízes. O primeiro juiz geralmente vota a favor do empréstimo, porque muitos candidatos têm uma pontuação de crédito alta o suficiente. O segundo juiz quase sempre vota contra o empréstimo porque muito poucos candidatos já pagaram uma casa. Portanto, a decisão se resume ao juiz do balanço, que no caso de Alice rejeita o empréstimo porque ela não possui um carro.

Podemos fazer esse raciocínio com precisão usando teoria dos jogos cooperativos, um sistema de analisar mais especificamente como diferentes fatores contribuem para um único resultado. Em particular, combinamos nossas medidas de influência causal relativa com o Valor de Shapley, que é uma maneira de calcular como atribuir influência a múltiplos fatores. Juntos, estes formam a nossa medida de Influência de Entrada Quantitativa.

Até agora, avaliamos nossos métodos em sistemas de decisão criados por meio do treinamento de algoritmos comuns de aprendizado de máquina com conjuntos de dados do mundo real. Avaliar algoritmos no trabalho no mundo real é um tópico para trabalhos futuros.

Um desafio aberto

Nosso método de análise e explicação de como os algoritmos tomam decisões é mais útil em contextos nos quais os fatores são prontamente compreendidos pelos seres humanos - como a relação dívida / renda e outros critérios financeiros.

No entanto, explicar o processo de tomada de decisão de algoritmos mais complexos continua sendo um desafio significativo. Tomemos, por exemplo, um sistema de reconhecimento de imagem, como aqueles que detectar e rastrear tumores. Não é muito útil explicar a avaliação de uma determinada imagem com base em pixels individuais. Idealmente, gostaríamos de uma explicação que fornecesse uma visão adicional sobre a decisão - como identificar características específicas do tumor na imagem. De fato, projetar explicações para essas tarefas automatizadas de tomada de decisão está mantendo muitos pesquisadores ocupado.

Sobre o autor

Anupam Datta, Professor Associado de Ciência da Computação e Engenharia Elétrica e de Computação, Carnegie Mellon University

Este artigo foi originalmente publicado em A Conversação. Leia o artigo original.

Livros relacionados

at InnerSelf Market e Amazon