A classificação por algoritmos nos coloca em caixas. Como sabemos que são os corretos? gerado, CC BY

A sociedade parece definida em um curso até um ponto em que nossas vidas estão sujeitas ao escrutínio de algoritmos de computador. Os dados que geramos são examinados e analisados, seja por governos para segurança nacional ou empresas para fins lucrativos, e é improvável que isso mude - o poder e o apelo da análise de dados, uma vez encontrados, não serão abandonados facilmente.

Mas na verdade me pergunto se estou mais preocupado com o fato de nossos dados estarem sendo coletados ou pelo fato de não sabermos nada sobre os algoritmos que nos pronunciam.

O nível de detalhes sobre nossas vidas e hábitos que podem ser retirados dos dados que deixamos para trás já foi discutido antes, e está tendo uma nova veiculação como parte do debate em torno do esboço do Reino Unido. Investigatory Powers Bill. Sabemos, pelo menos, algo sobre quais dados são coletados e por quanto tempo são armazenados, alguns dos quais são regidos pelas leis do Reino Unido e da Europa.

No texto do projeto de leiPor exemplo, sabemos que o governo do Reino Unido "exigirá" (injustificadamente) o acesso a metadados de comunicações, cabeçalhos e assuntos de e-mails e registros de ligações telefônicas. Mas também sabemos como os metadados reveladores sozinhos podem ser: dê uma olhada no Projeto de Imersão do MIT Media Lab para um exemplo poderoso de quanto detalhe pode ser determinado a partir dele. É certamente não é de todo comparável a uma conta de telefone discriminados, como reivindicado.

Então, para melhor ou pior nós, o público, temos alguma pista sobre o que está sendo gravado. Mas não temos absolutamente nenhuma ideia de quais ferramentas e técnicas analíticas estão sendo aplicadas a esses dados - e o significado disso não deve ser subestimado.

O que tritura os números?

Nós podemos fazer suposições educadas. Agências de segurança nacionais provavelmente usam nossos metadados para gerar redes sociais entre pessoas e lugares, entre outras coisas, unindo-nos. Essas redes de relacionamento serão então analisadas para determinar se somos uma pessoa de interesse, determinada por como você se compara a outras pessoas de interesse e como você se conecta a pessoas de interesse existentes ou àquelas relacionadas a elas.

Pesquisadores que usam essas técnicas entendem suas limitações e que os algoritmos que as potencializam podem conter erros ou suposições subjacentes que têm um efeito profundo em sua produção. Neste caso, isso pode significar se você é rotulado de terrorista ou não, ou se você se qualifica para um empréstimo ou hipoteca.

Também não é exatamente claro onde nas áreas de fronteira difusa a existência de relacionamento é definida. Simplesmente visitar o mesmo site de um terrorista implica valores compartilhados ou andar na mesma rota de ônibus todos os dias sugere que você converse regularmente com terroristas? É bem possível visitar sites freqüentados por terroristas conhecidos por muitas razões legítimas. Se você receber as notícias dos mesmos sites que os terroristas, é mais provável que você seja um terrorista? Discriminação e preconceito pode ser introduzido no ponto de coleta de dados e, novamente, quando são tomadas decisões sobre como analisar esses dados. Algoritmos também podem discriminar.

Limites desfocados

A possibilidade de que os algoritmos introduzam tendências indesejáveis ​​é muito real. Por exemplo, aqueles usados ​​pelos serviços de segurança são treinados em conjuntos de dados de terroristas conhecidos e não-terroristas conhecidos. Isso significa que, como a maioria dos terroristas conhecidos são homens com idades entre 20-30, é mais provável que você seja classificado como terrorista por ser meramente masculino e ter mais ou menos o 20-30, independentemente de seus outros atributos ?. Em caso afirmativo, isso tem um efeito significativo sobre como os dados são usados?

O problema decorre do fato de que eu e outros pesquisadores acadêmicos, usando técnicas complexas de análise de redes, aprendizado de máquina, correspondência de padrões ou inteligência artificial, utilizamos essas técnicas publicamente revisadas por pares para determinar a força das técnicas e a validade das conclusões; serviços de segurança do governo e organizações do setor privado não. Não temos ideia da qualidade de seus métodos e como eles são implantados. Existe uma solução para isso?

Aqueles de outro campo de segurança, a criptografia, aprenderam há muito tempo que a melhor maneira de melhorar a qualidade e, portanto, a segurança de seus algoritmos era torná-los públicos. Implementações criptográficas e cifras são publicadas, e pesquisadores são encorajados a tentar encontrar erros ou falhas, ao fazê-lo, melhorando a segurança para todos que os utilizam. Além disso, qualquer implementação de algoritmos criptogáficos fechados (não públicos) é geralmente vistos com desconfiança. Se eles forem pronunciar julgamentos que mudam nossa vida - sejam rotulados como terroristas ou financeiramente indignos - o mesmo modelo deve ser aplicado a algoritmos de segurança.

Um argumento contra tal movimento é que algoritmos abertos e transparentes podem levar terroristas a modificar seu comportamento no mundo real para evitar serem detectados. Isso significaria alterar coisas como suas interações, associações, hábitos de navegação e possíveis movimentos. Mas isso, se os algoritmos estão funcionando corretamente, significa que eles essencialmente deixam de agir como terroristas. Se nossa segurança, liberdade e segurança futuras dependerem desses algoritmos, devemos ter certeza de como e como funcionam.

Sobre o autor

Philip Garnett, professor da Universidade de York.

Este artigo foi originalmente publicado em A Conversação. Leia o artigo original.

Livro relacionados:

at

Obrigado pela visita InnerSelf.com, onde existem 20,000+ artigos que alteram vidas promovendo "Novas Atitudes e Novas Possibilidades". Todos os artigos são traduzidos para Mais de 30 idiomas. Subscrever à InnerSelf Magazine, publicada semanalmente, e ao Daily Inspiration de Marie T Russell. Revista Innerself é publicado desde 1985.