Para entender se um novo tratamento para uma doença é realmente melhor do que os tratamentos mais antigos, os médicos e os investigadores procuram a melhor evidência disponível. Os profissionais de saúde querem uma "última palavra" em evidência para resolver questões sobre o que os melhores modos de tratamento são.

Mas nem todas as evidências médicas são criadas iguais. E há uma clara hierarquia de evidências: a opinião de especialistas e relatos de casos sobre eventos individuais estão no nível mais baixo, e ensaios controlados randomizados bem conduzidos estão próximos do topo. No topo desta hierarquia estão meta-análises - estudos que combinam os resultados de vários estudos que fizeram a mesma pergunta. E o mesmo muito topo desta hierarquia são meta-análises realizadas por um grupo chamado o Colaboração Cochrane.

Para ser um membro da Colaboração Cochrane, pesquisadores individuais ou grupos de pesquisa são obrigados a aderir a diretrizes muito rígidas sobre como as metanálises devem ser relatadas e conduzidas. É por isso que as revisões Cochrane são geralmente consideradas as melhores metanálises.

No entanto, ninguém nunca perguntou se os resultados em meta-análises realizadas pela Cochrane Collaboration são diferentes das metanálises de outras fontes. Teoricamente, se você comparasse uma metanálise Cochrane e não Cocrhane, ambas publicadas dentro de um período de tempo similar, você tenderia a esperar que elas tivessem escolhido os mesmos estudos para analisar, e que seus resultados e interpretação seriam mais ou menos corresponder.

Nossa equipe na Escola de Saúde Pública da Universidade de Boston decidiu descobrir. E surpreendentemente, isso não é o que encontramos.

O que é uma meta-análise, afinal?

Imagine que você tenha cinco pequenos testes clínicos que encontraram um benefício geralmente positivo para, digamos, tomar aspirina para prevenir ataques cardíacos. Mas como cada um dos estudos tinha apenas um pequeno número de sujeitos do estudo, nenhum poderia afirmar com segurança que os efeitos benéficos não eram simplesmente devidos ao acaso. Em termos estatísticos, tais estudos seriam considerados “sem poder”.

Existe uma boa maneira de aumentar o poder estatístico desses estudos: combinar esses cinco estudos menores em um. Isso é o que uma metaanálise faz. Combinar vários estudos menores em uma análise e tomar a média desses estudos pode, às vezes, inclinar a balança e deixar a comunidade médica saber com confiança se uma dada intervenção funciona ou não.

As metanálises são eficientes e baratas porque não exigem a execução de novos testes. Em vez disso, é uma questão de encontrar todos os estudos relevantes que já foram publicados, e isso pode ser surpreendentemente difícil. Os pesquisadores precisam ser persistentes e metódicos em suas pesquisas. Encontrar estudos e decidir se eles são bons o suficiente para confiar é onde a arte - e erro - desta ciência se torna uma questão crítica.

Essa é, na verdade, a principal razão pela qual a Cochrane Collaboration foi fundada. Archie Cochrane, pesquisador de serviços de saúde, reconheceu o poder das metanálises, mas também a tremenda importância de fazê-las corretamente. As meta-análises da Cochrane Collaboration devem aderir a padrões muito elevados de transparência, rigor metodológico e reprodutibilidade.

Infelizmente, poucos podem comprometer o tempo e esforço para se juntar a Colaboração Cochrane, e isso significa que a grande maioria das meta-análises não são conduzidos pela Colaboração, e não são obrigados a aderir às suas normas. Mas será que isso realmente importa?

Quão diferentes podem ser duas metanálises?

Para descobrir isso, começamos por identificar pares de 40 de meta-análises, um de Cochrane e não um, que cobriam a mesma intervenção (por exemplo, aspirina) eo resultado (por exemplo, ataques cardíacos), e, em seguida, comparados e contrastados eles.

Primeiro, descobrimos que quase 40 por cento das meta-análises Cochrane e não-Cochrane discordaram em suas respostas estatísticas finais. Isso significa que leitores, médicos ou formuladores de políticas de saúde típicos, por exemplo, chegariam a uma interpretação fundamentalmente diferente se a intervenção era efetiva ou não, dependendo de quais metanálises eles tivessem lido.

Em segundo lugar, estas diferenças parecia ser sistemática. Os comentários não-Cochrane, em média, tendem a sugerir que as intervenções que estavam testando foram mais potentes, mais provavelmente para curar a doença ou evitar alguma complicação médica do que as revisões Cochrane sugeriu. Ao mesmo tempo, as avaliações não-Cochrane eram menos precisos em sua precisão, o que significa que houve uma maior chance de que as descobertas eram meramente devido ao acaso.

Uma meta-análise nada mais é do que apenas uma média ponderada de seus estudos de componentes. Ficamos surpresos ao descobrir que aproximadamente 63 por cento dos estudos incluídos eram exclusivos para um ou outro conjunto de metanálises. Em outras palavras, apesar do fato de que os dois conjuntos de metanálises presumivelmente procurariam os mesmos artigos, usando critérios de busca similares, em um período de tempo similar e de bancos de dados similares, apenas cerca de um terço dos artigos incluídos foram os mesmos.

Parece provável que a maioria ou todas essas diferenças se reduzam ao fato de que Cochrane insiste em critérios mais rígidos. Uma meta-análise é tão boa quanto os estudos que ela inclui, e a média de pesquisas ruins pode levar a um resultado ruim. Como diz o ditado, "entra lixo, sai lixo".

Curiosamente, as análises que relataram tamanhos muito mais elevadas efeito teve tendência para se citados novamente em outros trabalhos a uma taxa muito mais elevada do que as análises informar o tamanho menor efeito. Esta é uma forma de realização de estatística do velho ditado jornalística "Se ele sangra, ele leva." Grandes e em negrito efeitos receber mais atenção do que os resultados que mostram resultados marginais ou equivocadas. A comunidade médica é, afinal, apenas humano.

Por que isso importa?

Em seu nível mais básico, isso mostra que Archie Cochrane estava absolutamente correto. A consistência metodológica e o rigor e transparência são essenciais. Sem isso, existe o risco de concluir que algo funciona quando isso não acontece, ou até mesmo apenas benefícios exagerados.

Mas em um nível mais alto isso nos mostra, mais uma vez, como é muito difícil gerar uma interpretação unificada da literatura médica. Meta-análises são frequentemente usadas como a palavra final sobre um determinado assunto, como os árbitros da ambigüidade.

Claramente esse papel é desafiado pelo fato de que duas meta-análises, ostensivamente sobre o mesmo tema, pode chegar a conclusões diferentes. Se vemos a meta-análise de como o "padrão ouro" em nossa era atual de "medicina baseada em evidências", como é o médico média ou formulador de políticas ou mesmo paciente a reagir quando dois padrões de ouro contradizem uns aos outros? caveat.emptor.

Sobre o autor

Christopher J. Gill, Professor Associado do Departamento de Saúde Global; Especialista em Doenças Infecciosas, Universidade de Boston.

Este artigo foi originalmente publicado em A Conversação. Leia o artigo original.

Livro relacionados:

at InnerSelf Market e Amazon