Sciam
Clique e assine Sciam
Notícias

Ciências Sociais sofrem com severo viés de publicações

Resultados não publicados implicam desperdício de tempo de cientistas

Shutterstock
Massas de resultados experimentais jazem abandonadas em gavetas de cientistas sociais, potencialmente alterando a confiabilidade dos trabalhos que são publicados.

 

 
Por Mark Peplow e Revista Nature

Quando um experimento não produz um efeito interessante, pesquisadores frequentemente engavetam os dados e começam a trabalhar em outro problema. Mas a não-divulgação de resultados nulos prejudica a literatura de uma área, e é particularmente preocupante para a medicina clínica e as ciências sociais.

Agora pesquisadores da Stanford University, na Califórnia, mediram a extensão do problema, descobrindo que a maior parte dos resultados nulos em uma amostra de estudos de ciências sociais nunca foi publicada. Esse viés de publicação pode fazer com que outros pesquisadores desperdicem tempo repetindo o trabalho, ou escondam tentativas fracassadas de replicar pesquisas publicadas.

Ainda que isso já seja reconhecido como problema, “é algo difícil de provar, já que é difícil encontrar resultados não publicados”, aponta Neil Malhotra, cientista político de Stanford que conduziu o estudo.

Sua equipe investigou o destino de 221 estudos sociológicos conduzidos entre 2002 e 2012, que foram registrados pelo TESS (Experimentos de Compartilhamento de Tempo para as Ciências Sociais, em tradução literal), um projeto dos Estados Unidos que ajuda cientistas sociais a realizar pesquisas de grande escala sobre as opiniões das pessoas.

Apenas 48% dos estudos completados foram publicados. Então a equipe contatou os autores restantes para descobrir se eles haviam escrito seus resultados, ou se os tinham enviado para periódicos ou conferências. Eles também perguntaram se os resultados apoiavam a hipótese original dos pesquisadores.

De todos os estudos nulos, apenas 20% apareceram em um periódico, e 65% sequer foram escritos.

Em contraste, aproximadamente 60% dos estudos com evidências fortes foram publicados. Muitos dos pesquisadores contatatos pela equipe de Malhotra declararam não ter escrito seus resultados nulos por acreditarem que periódicos não fossem publicá-los, ou que as descobertas não eram interessantes e nem importantes o suficiente para merecerem qualquer esforço adicional.

“Quando eu apresento esse trabalho, as pessoas me dizem: “Essas descobertas são óbvias; tudo o que você fez foi quantificar o que já sabíamos informalmete”, conta Malhotra. Ele adiciona que cientistas sociais frequentemente subestimam a magnitude do viés, ou acusam editores de periódicos e revisores por rejeitar estudos nulos. As descobertas de sua equipe foram publicadas em 28 de agosto, na Science.

Envenenados pelo sucesso

O problema pode ser maior do que sugere a amostra do TESS. Cada pesquisa proposta ao TESS é revisada por pares, para garantir que tem poder estatístico suficiente para testar um hipótese interessante; estudos mais fracos nessas áreas provavelmente teriam uma taxa ainda mais baixa de publicação. “É muito provável que esse estudo subestime a verdadeira extensão do problema”, comenta Daniele Fanelli, biólogo evolutivo que estuda viés de publicações e má conduta, e atualmente é professor visitante da University of Montreal, no Canadá.

Em 2010, Fanelli analisou o viés de publicação de várias disciplinas, e descobriu que psicologia e psiquiatria têm a maior tendência de publicar resutlados positivos. “Mas esse não é apenas um problema das ciências sociais – ele também é comum nas ciências biomédicas”, declara Hal Pashler, psicólogo da University of California, San Diego, em La Jolla. “Ambas realmente foram envenenadas por só ouvir histórias de sucesso”.

Cientistas sociais já estão tentando enfrentar o viés de publicação. Malhotra está envolvido na Iniciativa para Transparência nas Ciências Sociais, de Berkeley, que defende várias estratégias para fortalecer a pesquisa em ciências sociais.

Uma das opções é registrar todos os estudos de ciências sociais em um banco de dados que acompanhe seus resultados – um modelo que já é usado para ajudar a garantir que resultados nulos de testes com medicamentos vejam a luz do dia.

Enquanto isso, Pashler criou um website, o PsychFileDrawer, para capturar resultados nulos produzidos por tentativas de replicar descobertas em psicologia experimental. 

Mas essas medidas não são universalmente aceitas. “Estamos vendo muitas reações”, declara Malhotra. Alguns cientistas sociais estão preocupados: talvez manter-se fiel a um plano de estudos registrado não lhes permita fazer descobertas aleatórias a partir de correlações inesperadas nos dados, por exemplo. Mas a maioria aceita a necessidade de mudança, adiciona Pashler: “Todos estamos despertando para esse problema”.

Este artigo foi reproduzido com permissão e foi publicado pela primeira vez em 28 de agosto de 2014.

sciam1set2014