Napoleão poderia ter aprendido com o passado. pintura de Adolph Northen/wikipedia

É um clichê que não conhecer a história faz com que a repita. Como muitas pessoas também apontaram, a única coisa que aprendemos com a história é que raramente aprendemos alguma coisa com a história. As pessoas se envolvem em guerras terrestres na Ásia de novo e de novo. Eles também repetem os mesmos erros de namoro, de novo e de novo. Mas por que isso acontece? E a tecnologia vai acabar com isso?

Uma questão é o esquecimento e “miopia”: não vemos como os eventos passados ​​são relevantes para os atuais, negligenciando o padrão em desenvolvimento. Napoleão deveria ter notado as semelhanças entre sua marcha sobre Moscou e o rei sueco A tentativa fracassada de Carlos XII de fazer o mesmo aproximadamente um século antes dele.

Nós também somos ruim em aprender quando as coisas dão errado. Em vez de determinar por que uma decisão foi errada e como evitar que isso aconteça novamente, muitas vezes tentamos ignorar a embaraçosa virada dos acontecimentos. Isso significa que da próxima vez que uma situação semelhante ocorrer, não veremos a semelhança – e repetiremos o erro.

Ambos revelam problemas de informação. No primeiro caso, deixamos de lembrar informações pessoais ou históricas. No segundo, deixamos de codificar a informação quando ela está disponível.

Dito isso, também cometemos erros quando não podemos deduzir com eficiência o que vai acontecer. Talvez a situação seja muito complexa ou muito demorada para se pensar. Ou somos tendenciosos para interpretar mal o que está acontecendo.

O poder irritante da tecnologia

Mas certamente a tecnologia pode nos ajudar? Agora podemos armazenar informações fora de nossos cérebros e usar computadores para recuperá-las. Isso deve facilitar o aprendizado e a memorização, certo?

Armazenar informações é útil quando elas podem ser bem recuperadas. Mas lembrar não é a mesma coisa que recuperar um arquivo de um local ou data conhecida. Lembrar envolve identificar semelhanças e trazer coisas à mente.

Uma inteligência artificial (IA) também precisa ser capaz de trazer semelhanças espontaneamente à nossa mente – muitas vezes semelhanças indesejadas. Mas se ele é bom em perceber possíveis semelhanças (afinal, ele poderia pesquisar toda a internet e todos os nossos dados pessoais), muitas vezes também notará falsos.

Para encontros fracassados, pode-se observar que todos envolveram jantar. Mas nunca foi o jantar que foi o problema. E foi por pura coincidência que havia tulipas na mesa – não há razão para evitá-las. Muitas vezes repetimos erros de namoro. 

Isso significa que ele nos avisará sobre coisas com as quais não nos importamos, possivelmente de uma forma irritante. Diminuir sua sensibilidade significa aumentar o risco de não receber um aviso quando necessário.

Este é um problema fundamental e se aplica tanto a qualquer conselheiro: o conselheiro cauteloso vai chorar com muita frequência, o conselheiro otimista perderá os riscos.

Um bom conselheiro é alguém em quem confiamos. Eles têm o mesmo nível de cautela que nós, e sabemos que eles sabem o que queremos. Isso é difícil de encontrar em um conselheiro humano e ainda mais em uma IA.

Onde a tecnologia impede os erros? Trabalhos à prova de idiotas. As máquinas de corte exigem que você segure os botões, mantendo as mãos longe das lâminas. Um “interruptor de homem morto” para uma máquina se o operador ficar incapacitado.

Os fornos de microondas desligam a radiação quando a porta é aberta. Para lançar mísseis, duas pessoas precisam girar as chaves simultaneamente em uma sala. Aqui, um design cuidadoso torna os erros difíceis de cometer. Mas não nos importamos o suficiente com situações menos importantes, tornando o design muito menos à prova de idiotas.

Quando a tecnologia funciona bem, muitas vezes confiamos demais nela. Os pilotos de linha aérea têm menos horas de voo verdadeiras hoje do que no passado devido à incrível eficiência dos sistemas de piloto automático. Isso é uma má notícia quando o piloto automático falha e o piloto tem menos experiência para corrigir a situação.

o primeiro de um nova geração de plataforma de petróleo (Sleipnir A) afundou porque os engenheiros confiaram no cálculo do software das forças que atuam sobre ele. O modelo estava errado, mas apresentava os resultados de maneira tão convincente que pareciam confiáveis.

Grande parte da nossa tecnologia é incrivelmente confiável. Por exemplo, não percebemos como pacotes de dados perdidos na internet são constantemente encontrados nos bastidores, como códigos corretores de erros removem ruídos ou como fusíveis e redundância tornam os aparelhos seguros.

Mas quando empilhamos nível após nível de complexidade, parece muito pouco confiável. Percebemos quando o vídeo do Zoom fica lento, o programa de IA responde errado ou o computador trava. No entanto, pergunte a qualquer pessoa que usou um computador ou carro há 50 anos como eles realmente funcionavam e você notará que eles eram menos capazes e menos confiáveis.

Tornamos a tecnologia mais complexa até que se torne muito irritante ou insegura de usar. À medida que as peças se tornam melhores e mais confiáveis, geralmente optamos por adicionar novos recursos interessantes e úteis, em vez de nos limitarmos ao que funciona. Isso acaba tornando a tecnologia menos confiável do que poderia ser.

Erros serão cometidos

É também por isso que a IA é uma faca de dois gumes para evitar erros. A automação geralmente torna as coisas mais seguras e eficientes quando funciona, mas quando falha torna o problema muito maior. Autonomia significa que o software inteligente pode complementar nosso pensamento e nos aliviar, mas quando não está pensando como queremos, pode se comportar mal.

Quanto mais complexo for, mais fantásticos podem ser os erros. Qualquer pessoa que tenha lidado com estudiosos altamente inteligentes sabe como eles podem bagunçar as coisas com grande engenhosidade quando seu bom senso falha - e a IA tem muito pouco senso comum humano.

Esse também é um motivo profundo para se preocupar com a tomada de decisão que orienta a IA: eles cometem novos tipos de erros. Nós, humanos, conhecemos os erros humanos, o que significa que podemos tomar cuidado com eles. Mas máquinas inteligentes podem cometer erros que nunca poderíamos imaginar.

Além disso, os sistemas de IA são programados e treinados por humanos. E há muitos exemplos de tais sistemas tornando-se tendencioso e até fanático. Eles imitam os preconceitos e repetem os erros do mundo humano, mesmo quando as pessoas envolvidas explicitamente tentam evitá-los.

No final, os erros continuarão acontecendo. Existem razões fundamentais pelas quais estamos errados sobre o mundo, por que não nos lembramos de tudo o que deveríamos e por que nossa tecnologia não pode nos ajudar perfeitamente a evitar problemas.

Mas podemos trabalhar para reduzir as consequências dos erros. O botão de desfazer e o salvamento automático salvaram inúmeros documentos em nossos computadores. O Monumento em Londres, pedras do tsunami no Japão e outros monumentos servem para nos lembrar de certos riscos. Boas práticas de design tornam nossas vidas mais seguras.

Em última análise, é possível aprender algo com a história. Nosso objetivo deve ser sobreviver e aprender com nossos erros, não impedir que eles aconteçam. A tecnologia pode nos ajudar com isso, mas precisamos pensar cuidadosamente sobre o que realmente queremos dela – e projetar de acordo.

Sobre o autor

Anders Sandberg, James Martin Research Fellow, Future of Humanity Institute e Oxford Martin School, Universidade de Oxford

Este artigo foi republicado a partir de A Conversação sob uma licença Creative Commons. Leia o artigo original.