Quando as coisas dão errado em um mundo automatizado, ainda saberíamos o que fazer?

Nós vivemos em um mundo que é cada vez mais complexo e automatizado. Então, assim como estamos tendo que lidar com problemas mais complexos, a automação está levando a uma atrofia de habilidades humanas que podem nos deixar mais vulneráveis ​​ao responder a situações inesperadas ou quando as coisas dão errado. A Conversação

Considere o minutos finais do voo da Air France 447que caiu no Atlântico em maio 2009 depois de deixar o Rio de Janeiro, Brasil, para Paris, França.

Seu gravador de vôo revelou confusão total no cockpit. O avião foi inclinado para cima em 15º com uma voz automatizada repetidamente chamando "stall, stall". No entanto, os pilotos estavam se recuperando, um deles exclamando: “[...] não entendemos nada”.

Este não é o lugar para entrar nos meandros desse malfadado vôo, além de notar que qualquer sistema projetado para lidar automaticamente com contingências na maior parte do tempo deixa uma base de habilidades degradada para a minoria de situações que os projetistas poderiam ter. prever.

Falando para Vanity FairNadine Sarter, engenheira industrial da Universidade de Michigan, relembra uma conversa com cinco engenheiros envolvidos na construção de uma aeronave em particular.


innerself assinar gráfico


Comecei a perguntar: "Bem, como isso ou aquilo funciona?" E eles não poderiam concordar com as respostas. Então eu estava pensando, se esses cinco engenheiros não podem concordar, o pobre piloto, se ele encontrar essa situação em particular ... bem, boa sorte.

Com efeito, a complexidade de voar aviões de alta tecnologia criteriosamente pilotados foi terceirizada para um robô, com engenheiros de vôo para todos os efeitos pretendidos dos cockpits. Apenas pilotos mais antigos e ex-pilotos da força aérea mantêm essas habilidades detalhadas.

De volta à terra firme, em um mundo de condução autônoma, pode haver gerações futuras inteiras sem nenhuma experiência prática dirigindo e navegando um veículo.

Já estamos vendo uma indicação de o que pode dar errado quando os humanos deixam o controle para sistemas autônomos.

Uma investigação sobre o acidente fatal de um Tesla Model S com piloto automático observou que a empresa forneceu informações sobre “limitações do sistema” aos motoristas. Nesse caso, ainda cabe aos pilotos prestar atenção.

Mas que chance uma pessoa teria de assumir controles se as coisas começassem a dar errado no futuro? veículo totalmente autônomo. Será que eles sabem como identificar os primeiros sinais de um desastre iminente?

Perdendo o nosso caminho?

Dirigir isso é um determinismo tecnológico que acredita que toda e qualquer inovação é intrinsecamente boa. Embora as tecnologias emergentes ainda possam definir o que é ser humano, o desafio é reconhecer o risco e o que fazer para garantir que as coisas não dêem errado.

Isso está ficando mais difícil à medida que aumentamos a complexidade, especialmente com a condução autônoma de trens suburbanos, táxis aéreos e drones de entrega.

Os projetistas de sistemas têm construído sistemas maiores e mais interligados para compartilhar a carga de processamento do computador, embora isso faça com que suas criações sejam as principais candidatas para o desmembramento. Eles estão ignorando o fato de que, uma vez que tudo esteja conectado, os problemas podem se espalhar tão facilmente quanto as soluções, às vezes até mais.

A crescente e imensa complexidade de um mundo automatizado apresenta riscos semelhantes.

Pontos de perigo

Em retrospectiva, o que é necessário é uma capacidade de cortar redes livres quando há pontos de falha, ou pelo menos para selar partes de uma única rede quando há pontos de falha em outro lugar dentro dela.

Esse “ilhamento” é uma característica das redes elétricas inteligentes que oferecem espaço para dividir a rede em fragmentos capazes de auto-sustentar sua demanda de energia interna. A modelagem mostrou que menos conexões podem levar a mais segurança.

Poderia a ciência da complexidade emergente ajudar a identificar onde os pontos de perigo poderiam estar em redes altamente interconectadas? Marten Scheffer e colegas pensei isso. Ele havia visto semelhanças entre o comportamento de seus sistemas naturais e sistemas econômicos e financeiros.

Seu trabalho anterior em lagos, recifes de corais, mares, florestas e campos, descobriram que ambientes sujeitos a mudanças graduais como clima, carga de nutrientes e perda de habitat podem atingir pontos de inflexão que os transformam em um estado inferior às vezes irreversível.

Será que os banqueiros e economistas que lutam com a estabilidade dos mercados financeiros podem aprender com os pesquisadores em ecologia, epidemiologia e climatologia para desenvolver marcadores da proximidade com os limites críticos e a quebra do sistema?

Em fevereiro 2016 tudo isso veio em forma de um artigo sobre teoria da complexidade e regulamentação financeira co-autoria de uma ampla gama de especialistas, incluindo um economista, banqueiro, físico, climatologista, ecologista, zoólogo, veterinário e epidemiologista.

Eles recomendaram uma integração online de dados, métodos e indicadores, alimentando-se em testes de estresse para sistemas socioeconômicos e financeiros globais em tempo quase real. O primeiro é semelhante ao que foi alcançado ao lidar com outros sistemas complexos, como o clima.

Podemos começar a ver como nosso exemplo de um mundo de condução autônoma se debruça sobre questões de estabilidade de rede. Imagine uma rede altamente interconectada de veículos autônomos.

Há uma clara necessidade de saber como detectar e isolar possíveis pontos de falha em tal rede, antes que as coisas corram mal com conseqüências potencialmente trágicas. Isso é mais do que apenas proteger motorista e passageiro de qualquer falha do sistema em um único veículo autônomo.

É hora de pensar como poderíamos usar esses avanços multidisciplinares na compreensão da estabilidade de tais redes de larga escala para evitar consequências drásticas.

Sobre o autor

Peter Fisher, Professor Adjunto de Estudos Globais, Urbanos e Sociais, RMIT University

Este artigo foi originalmente publicado em A Conversação. Leia o artigo original.

Livros relacionados

at InnerSelf Market e Amazon