Os especialistas entenderam tudo de forma catastroficamente errada, de acordo com Dominic Cummings, ex-conselheiro-chefe do primeiro-ministro do Reino Unido, Boris Johnson. Cummings argumentou que o parecer científico oficial do governo do Reino Unido, em Março de 2020, compreendeu enormemente mal a forma como a pandemia se iria desenrolar, levando a um atraso no confinamento que custou milhares de vidas.

De acordo com Cummings, foram alguns especialistas com menos conhecimento sobre pandemias ou medicina – como o cientista de dados Ben Warner, o investigador de inteligência artificial Demis Hassabis da DeepMind e o matemático Tim Gowers – que deram previsões mais precisas neste momento.

Cummings também é conhecido por ser um ventilador of Superprevisão de Philip Tetlock, um livro sobre pessoas que prevêem eventos futuros de forma mais confiável do que a maioria. Alguns superprevisores foram elogiados pelas suas previsões sobre a pandemia, enquanto outros também foram crítico dos especialistas registro.

Então, deveriam os governos fazer maior uso de superprevisores em vez de confiar em especialistas científicos? A evidência não é tão clara. Mas certamente parece haver coisas que os governos poderiam aprender com as superprevisões.

Em um artigo do famoso estudo americano nos superprevisores publicados em 2014, eles eram uma tripulação de elite. Apenas os 2% dos principais candidatos tiveram um desempenho suficientemente bom num torneio de previsão geopolítica para ganhar o título. A tarefa deles era atribuir probabilidades a possíveis respostas a dezenas de perguntas.

Os pesquisadores fornecem alguns exemplos ilustrativos. Quem seria o presidente da Rússia em 2012? A Coreia do Norte detonará outra arma nuclear nos próximos três meses? Quantos refugiados fugirão da Síria no próximo ano?

É claro que só porque alguém se sai bem em um ano não prova que seja mais habilidoso do que qualquer outra pessoa. Talvez eles apenas tenham tido sorte. Temos que ver o quão bem eles se saíram nos anos seguintes para avaliar o quão “super” eles realmente são.

Impressionantemente, estes superprevisores mantiveram a sua vantagem à medida que o torneio se prolongava por mais três anos. Na verdade, depois de serem combinados em “equipas de superprevisão” contendo apenas outros desempenhos de topo, o seu desempenho aumentou por uma margem substancial. Os investigadores também descobriram que trabalhar em equipa e receber formação relevante melhorou o desempenho de outros previsores, em comparação com os previsores numa condição de controlo.

Equipes e treinamento

Quer acreditemos ou não na palavra de Cummings de que o planeamento pandémico do Reino Unido sofreu uma “bolha clássica de pensamento de grupo”, sabemos que as equipas nem sempre tomam decisões sábias. O que fez com que as equipes tivessem mais sucesso no estudo dos EUA?

É difícil dizer com certeza, mas os investigadores encorajaram especificamente as equipas a fazer perguntas precisas para encorajar um pensamento mais claro sobre as evidências que apoiam uma previsão específica, a “procurar evidências que contradizem a sua previsão atual” e a introduzir construtivamente pontos de vista alternativos. .

Tal debate pode muito bem melhorar o julgamento coletivo e proteja-se contra o pensamento de grupo. Nem os membros da equipe foram obrigados a chegar a um consenso. Embora compartilhassem informações e opiniões, ainda faziam previsões individuais que eram combinadas por algoritmo. As equipes de superprevisores, em particular, foram altamente engajado, frequentemente compartilhando informações e fazendo perguntas a outros membros da equipe.

Outro estudo analisou mais de perto quais técnicas de treinamento específicas pareciam ajudar mais. Três técnicas foram particularmente associadas a maior precisão. A primeira foi a utilização das chamadas classes de comparação.

Por exemplo, se estou tentando prever a probabilidade de Benedict Cumberbatch e Sophie Hunter ainda estarem juntos daqui a cinco anos, pode ser útil pensar em outras “classes” que sejam relevantes – digamos, a classe dos casamentos de celebridades, ou mesmo casamentos em geral. Isto permite-me olhar para a história para informar as minhas previsões: que percentagem de casamentos de celebridades termina num determinado período de cinco anos?

A segunda foi fazer uso de modelos matemáticos e estatísticos, quando disponíveis, para ajudar a informar as opiniões de cada um. A terceira foi “selecionar as perguntas certas” – uma recomendação para gastar mais tempo prevendo respostas para perguntas sobre as quais você sabe mais do que outros sobre o assunto, ou sobre as quais pesquisas adicionais provavelmente serão recompensadoras. No entanto, os pesquisadores enfatizaram que todos os componentes do o treinamento pode ter contribuído holisticamente para um melhor desempenho.

A pesquisa também mostrou que a precisão melhora quando acompanhamos nosso desempenho anterior - mas o tipo de feedback é importante. Os resultados que você pensava que aconteceriam 20% das vezes realmente aconteceram 20% das vezes? E os resultados que você pensou que aconteceriam 90% das vezes? O desempenho melhora para quem recebe esse tipo de informação.

Os governos podem fazer melhor?

Poderia o governo do Reino Unido ter feito melhor em relação à COVID-19, solicitando a contribuição de equipas de superprevisores? É possível. Superprevisores em Bom Julgamento Aberto e previsores experientes em Metáculo (do qual participei) cada um parece ter se saído bem no COVID-19, com Metaculus afirmando ter especialistas superados em junho de 2020. Dito isto, em um série recente das previsões relacionadas com a COVID-19, os previsores treinados nem sempre foram mais precisos do que os especialistas. Os investigadores por detrás do inquérito estão a experimentar formas de combinar previsões de especialistas no domínio e analistas treinados numa “previsão de consenso”.

Também parece plausível que mesmo a formação que ajudou os não-supers a fazer melhores previsões teria sido útil. Por exemplo, Cummings afirmou que, embora tenha havido muita atenção aos modelos epidemiológicos, as evidências que contradiziam os pressupostos dos modelos – como os dados comunicados pelas unidades de cuidados intensivos – foram ignoradas. Certamente parece plausível que alguém treinado para “procurar evidências que contradigam a sua previsão atual” possa ter percebido isso antes.

É claro que nem todas as recomendações da literatura são práticas em ambientes governamentais. Em teoria, os governos poderiam testar essas recomendações por si próprios, adoptando aquelas que parecessem benéficas. Infelizmente, você não pode melhorar o que não mede.

In Superprevisão, Tetlock enfatiza que qualquer organização que queira seriamente melhorar as suas previsões deve atribuir-lhes números concretos, pelo menos internamente. Uma frase como “possibilidade séria” pode significar 20% de chance para uma pessoa e 80% de chance para outra.

É quase certo que é a isso que Cummings estava se referindo quando ele disse: “Um cara chamado Phil Tetlock escreveu um livro e nesse livro ele disse que você não deveria usar palavras como razoável e provável e provável, porque isso confunde a todos.” Talvez não nos devesse surpreender se as organizações que não fazem previsões de uma forma que possam ser avaliadas não estejam equipadas para aprender como melhorá-las. Para melhorar, primeiro você precisa tentar.