Precisamos conhecer os algoritmos que o governo usa para tomar decisões sobre nós

Precisamos conhecer os algoritmos que o governo usa para tomar decisões sobre nós

Nos sistemas de justiça criminal, mercados de crédito, arenas de emprego, processos de admissão em ensino superior e até mesmo redes de redes sociaisalgoritmos orientados por dados agora impulsionar a tomada de decisão de maneiras que afetam nossas vidas econômicas, sociais e cívicas. Esses sistemas de software classificam, classificam, associam ou filtram informações, usando regras criadas pelo homem ou induzidas por dados que permitem um tratamento consistente em grandes populações.

Mas, embora possa haver ganhos de eficiência dessas técnicas, eles também podem vieses do porto contra grupos desfavorecidos or reforçar a discriminação estrutural. Em termos de justiça criminal, por exemplo, é justo fazer julgamentos sobre a liberdade condicional de um indivíduo com base em tendências estatísticas medidas em um amplo grupo de pessoas? A discriminação poderia surgir da aplicação de um modelo estatístico desenvolvido para a população de um estado para outro, população demograficamente diferente?

O público precisa entender o viés e o poder dos algoritmos usados ​​na esfera pública, inclusive por agências governamentais. Um esforço com o qual estou envolvido, chamado responsabilização algorítmica, procura tornar as influências desses tipos de sistemas mais claras e mais amplamente compreendidas.

As técnicas de transparência existentes, quando aplicadas a algoritmos, podem permitir que as pessoas monitorem, auditem e critiquem como esses sistemas estão funcionando - ou não, conforme o caso. Infelizmente, as agências governamentais parecem despreparadas para investigações sobre algoritmos e seus usos em decisões que afetam significativamente indivíduos e o público em geral.

Abrindo algoritmos para o escrutínio público

No ano passado, o governo federal começou a estudar os prós e contras de usar a análise computadorizada de dados para ajudar a determinar a probabilidade de reincidência dos reclusos após a libertação. A classificação de indivíduos como de risco baixo, médio ou alto pode ajudar nas decisões de moradia e tratamento, identificando pessoas que podem ser seguramente enviadas para uma prisão de segurança mínima ou até mesmo uma “casa intermediária” ou que se beneficiariam de um determinado tipo de risco. atendimento psicológico.

Essa informação pode tornar o processo de justiça mais eficiente e menos dispendioso, e até reduzir o apinhamento nas prisões. O tratamento de infratores de baixo risco como infratores de alto risco foi demonstrado em alguns estudos para levá-los a internalizar ser um criminoso “doente” e precisar de tratamento para seu comportamento desviante. Separá-los pode, assim, reduzir o desenvolvimento de comportamentos negativos que levariam à reincidência após a liberação.

Dados e algoritmos de pontuação do risco de reincidência dos reclusos já são usado extensivamente por estados para administrar a prisão preventiva, liberdade vigiada, liberdade condicional e até sentença. Mas é fácil para eles passarem despercebidos - eles geralmente se parecem com uma papelada burocrática despretensiosa.

Normalmente, os algoritmos são resumidos em folhas de pontuação simplificadas preenchidas por servidores públicos com pouca compreensão dos cálculos subjacentes. Por exemplo, um trabalhador do caso pode avaliar um preso usando um formulário em que o responsável pelo caso declara que o preso foi condenado por um crime violento, era jovem no momento da primeira prisão e não se formou no ensino médio ou obteve GED Esses fatores e outras características sobre a pessoa e o crime resultam em uma pontuação que sugere se o detento pode ser qualificado para a revisão da condicional.

A forma em si, assim como seu sistema de pontuação, geralmente revela características importantes sobre o algoritmo, como as variáveis ​​em consideração e como elas se juntam para formar uma pontuação geral de risco. Mas o que também é importante para a transparência algorítmica é saber como essas formas foram projetadas, desenvolvidas e avaliadas. Só então o público pode saber se os fatores e cálculos envolvidos na obtenção da pontuação são justos e razoáveis, ou desinformados e tendenciosos.

Usando o Freedom of Information Act

Nossa principal ferramenta para colocar as mãos nesses formulários e em seu material de apoio é a lei e, especificamente, as leis de liberdade de informação. Eles estão entre os mecanismos mais poderosos que o público tem à sua disposição para garantir a transparência no governo. No nível federal, o Lei de Liberdade de Informação (FOIA) permite que o público solicite formalmente - e espere receber em retorno - documentos do governo federal. Existem estatutos análogos para cada estado.

Promulgada no 1966, FOIA foi criada antes do uso difundido da computação, e bem antes de grandes quantidades de dados serem rotineiramente usados ​​em sistemas de software para gerenciar indivíduos e fazer previsões. Houve alguma pesquisa inicial para saber se a FOIA é capaz de facilitar a divulgação do código-fonte do software. Mas permanece uma questão sobre se as leis atuais respondem às necessidades do público do século 21st: podemos algoritmos FOIA?

Um estudo de caso em transparência de algoritmo

Eu decidi responder a esta pergunta no Philip Merrill College of Journalism na Universidade de Maryland, onde sou professor assistente. No outono de 2015, trabalhando com a aula de direito de mídia do meu colega Sandy Banisky, orientamos os alunos a enviar solicitações FOIA para cada um dos estados 50. Solicitamos documentos, descrições matemáticas, dados, avaliações de validação, contratos e código-fonte relacionados a algoritmos usados ​​na justiça criminal, como por exemplo, para liberdade condicional e liberdade condicional, fiança ou decisões de condenação.

Como um projeto de um semestre, o esforço foi necessariamente limitado pelo tempo, com muitos obstáculos e relativamente poucos sucessos. Tal como acontece com as investigações de muitos jornalistas, até mesmo descobrir quem perguntar - e como - foi um desafio. Agências diferentes podem ser responsáveis ​​por diferentes áreas do sistema de justiça criminal (a condenação pode ser feita pelos tribunais, mas o gerenciamento de condicional feito por um Departamento de Correções).

Mesmo depois de identificar a pessoa certa, os estudantes descobriram que funcionários do governo usavam uma terminologia diferente que dificultava a comunicação das informações que desejavam. Às vezes, os estudantes precisavam se esforçar para explicar os “algoritmos de justiça criminal” para um servidor público não muito conhecedor de dados. Em retrospecto, pode ter sido mais eficaz pedir por “ferramentas de avaliação de risco”, já que esse é um termo frequentemente usado pelos governos estaduais.

Manipulando as respostas

Alguns estados, como o Colorado, recusaram o nosso pedido, dizendo que os algoritmos estavam contidos em software, o que não era considerado um “documento” que leis governamentais abertas exigiam que as autoridades tornassem públicas. Diferentes estados têm regras diferentes sobre a divulgação do uso de software. Isso às vezes tem surgido nos tribunais, como um 2004 terno contra a cidade de Detroit sobre se a fórmula para calcular taxas de água cobradas em uma cidade adjacente deve ser tornada pública.

Em nossos próprios esforços, recebemos apenas uma descrição matemática de um algoritmo de justiça criminal: o estado de Oregon divulgou as variáveis ​​16 e seus pesos em um modelo usado para prever a reincidência. O estado de Dakota do Norte divulgou uma planilha do Excel mostrando a equação usada para determinar as datas em que os detentos seriam elegíveis para serem considerados para liberdade condicional. De Idaho e Novo México recebemos documentos com algumas descrições das avaliações de risco de reincidência usadas por esses estados, mas nenhum detalhe sobre como eles foram desenvolvidos ou validados.

Nove estados basearam sua recusa em divulgar detalhes sobre seus algoritmos de justiça criminal na alegação de que a informação era realmente de propriedade de uma empresa. Essa implicação é que liberar o algoritmo prejudicaria a empresa que o desenvolveu. Um questionário comum de risco-recidiva, chamado de LSI-R, acaba por ser um produto comercial, protegido por direitos autorais. Estados como Havaí e Maine alegaram que impediram sua divulgação ao público.

A Louisiana disse que seu contrato com o desenvolvedor de uma nova técnica de avaliação de risco impedia a divulgação das informações solicitadas por seis meses. O estado de Kentucky citou seu contrato com um fundação filantrópica como a razão não poderia divulgar mais detalhes. Preocupações sobre informações proprietárias podem ser legítimas, mas dado que o governo contrata rotineiramente empresas privadas, como podemos equilibrar essas preocupações com um sistema judicial justificável e justificável?

Fazendo melhorias

A reforma da FOIA é muito necessária atualmente sob deliberação pelo Congresso. Isso fornece uma oportunidade para a lei ser modernizada, mas as mudanças propostas ainda fazem pouco para acomodar o crescente uso de algoritmos no governo. Informação de transparência algorítmica pode ser codificado em relatórios que o governo gera e divulga regularmente, como parte dos negócios de sempre.

Como sociedade, devemos exigir que os oficiais de informação pública sejam treinados para que sejam alfabetizados e, de fato, fluentes na terminologia que podem encontrar quando o público está solicitando algoritmos. O governo federal poderia até criar uma nova posição para um "czar de algoritmos", um ouvidor de quem seria a tarefa de se comunicar e investigar em campo a automação do governo.

Nenhum dos documentos que recebemos em nossa pesquisa nos contou como os formulários de avaliação de risco de justiça criminal foram desenvolvidos ou avaliados. À medida que os algoritmos governam cada vez mais nossas vidas, os cidadãos precisam - e precisam exigir - maior transparência.

Sobre o autor

diakopoulos nicholasNicholas Diakopoulos, bolsista da Tow, Centro Tow para Jornalismo Digital na Columbia University; Professor Assistente de Jornalismo da Universidade de Maryland. Sua pesquisa é em jornalismo computacional e de dados, com ênfase em responsabilização algorítmica, visualização de dados narrativos e computação social nas notícias.

Este artigo foi originalmente publicado em A Conversação. Leia o artigo original.

Livros relacionados

{amazonWS: searchindex = Livros, palavras-chave = privacidade digital; maxresults = 3}

enafarzh-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

siga InnerSelf on

facebook-icontwitter-iconrss-icon

Receba as últimas por e-mail

{Emailcloak = off}