A revisão por pares impede a publicação de má ciência?

Postagem do Mês: Outubro de 2010

por
Steve Carlip 

Assunto:    | A qualidade (e quantidade) da ciência (médica) moderna.
Data:       | 18 out 2010
Message-ID: | i9i7oa$7dm$1@speranza.aioe.org

O post abre com comentários selecionados encontrados por Erwin Moller:
> From november 2010 issue of The Atlantic:
> Quote:
> ===========================================================
> Though scientists and science journalists are constantly talking
> up the value of the peer-review process, researchers admit among
> themselves that biased, erroneous, and even blatantly fraudulent
> studies easily slip through it. Nature, the grande dame of science
> journals, stated in a 2006 editorial, "Scientists understand that
> peer review per se provides only a minimal assurance of quality,
> and that the public conception of peer review as a stamp of
> authentication is far from the truth."

[...]

> Por clareza: não pretendo alimentar criacionistas ou
> algo semelhante. Mas se Ioannidis tem razão, é hora de
> repensar seriamente os sistemas de revisão por pares e/ou concessão de subsídios, creio.
> Opiniões?

Steve Carlip começa:
As someone who referees a lot of papers, and who has been on several journal editorial boards, let me make a few comments:

Primeiro, os padrões de revisão por pares variam de campo para campo. Em algumas áreas da matemática, espera-se que os revisores verifiquem cada passo de uma prova, e a revisão por pares pode chegar bastante perto de uma confirmação de uma alegação. No outro extremo, em algumas áreas da física experimental, não há como um revisor verificar muitas coisas, a menos que se gaste alguns bilhões de dólares para refazer um experimento. Um detector no Grande Colisor de Hádrons, por exemplo, é tão complexo que é extremamente improvável que alguém que não esteja realmente envolvido no experimento possa julgar algumas alegações (por exemplo, quanto peso estatístico atribuir a várias observações). Em situações como essa, é frequentemente a própria colaboração experimental que realiza a revisão mais rigorosa. Eles têm um forte incentivo – há mais de um detector, e seria muito embaraçoso fazer uma forte alegação apenas para vê-la refutada pela sua concorrência.

O meu campo da física teórica está em algum lugar no meio. Os revisores não são esperados para confirmar fortemente que um artigo está correto. Eles basicamente devem procurar por:

– erros óbvios ("O autor afirma que a relatividade especial é refutada pela observação X, mas na verdade a teoria prevê exatamente o resultado observado," ou "O autor afirma que a relatividade especial é refutada pela observação X, mas parece não estar ciente de que este efeito já foi testado nos artigos A, B e C com mil vezes mais precisão do que a do autor; se ele quer afirmar que essas outras observações estão erradas, deveria pelo menos reconhecer sua existência," ou "O modelo apresentado aqui é inconsistente – é fácil ver que a única solução da equação (11) é x=0, o que contradiz a equação (14)," ou "Na seção 4, os autores mostram que o efeito que estão procurando é muito pequeno para ser medido; então, por que dizem na conclusão que encontraram um novo teste importante para o seu modelo?");

– lacunas notáveis ("O autor fornece fortes evidências para a hipótese X, mas nada no artigo parece apoiar sua afirmação muito mais forte Y," ou "A equação (7) é dita seguir da equação (6), e pode seguir, mas eu, pelo menos, não vejo como, e como sou quase tão brilhante quanto a maioria dos leitores desta revista, espero que eles também não vejam; uma explicação muito mais cuidadosa é necessária");

– sobrepor-se a resultados existentes ("Se o autor tivesse se dado ao trabalho de ler a literatura, ele veria que sua alegação é apenas um caso especial dos resultados gerais do [meu] artigo A, discutidos em detalhes na seção 2 desse artigo," ou "A seção 4 é um novo resultado interessante, mas a seção 3 reproduz o material que estou atualmente ensinando a partir do livro didático X");

– referências ausentes ("A seção 3 deste artigo baseia-se nos resultados do experimento A, mas estes tornaram-se obsoletos pelo muito mais preciso experimento B do ano passado; o autor deve verificar se seu modelo é consistente com os novos dados," ou "Este é um novo resultado, mas grande parte dele é uma extensão do artigo C, que deveria ser citado," ou – este último que recebi uma vez em um relatório de parecerista sobre um dos meus próprios artigos – "Uma discussão geral sobre esta questão apareceu em um artigo obscuro de Poincaré em 1905; veja se consegue que alguém o traduza e cite-o onde for apropriado");

– escrita incoerente ("O parágrafo 2 parece fazer sentido apenas se os autores estiverem usando a palavra "energia" para significar "entropia" e a palavra "massa" para significar "momento", ou "trabalhei em um tópico muito relacionado, mas acho este papel incompreensível; os autores nunca definem seus símbolos, e parecem assumir que qualquer leitor já terá memorizado os detalhes de seu papel anterior A");

– nível de interesse ("Este resultado já foi demonstrado para os dez tipos de buracos negros mais comuns; é verdade que ninguém parece ter verificado este décimo primeiro tipo, bastante obscuro, mas isso é realmente importante o suficiente para ser publicado?" ou "Tenho certeza que existe alguma revista por aí – talvez a Revista de Resultados Mediocres – que gostaria de publicar isso, mas não parece atender aos padrões de importância exigidos pela Revista de Física de Alto Prestígio");

– adequadeza ("Por que os autores enviaram um artigo de biofísica para uma revista de física de partículas de alta energia?").

Claramente, mesmo se os revisores forem cuidadosos – e às vezes não o são – os erros passarão, e o sistema certamente não foi desenhado para detectar fraudes deliberadas. Além disso, há tanta proliferação de revistas atualmente que um autor dedicado pode geralmente encontrar *algum lugar* para publicar quase qualquer coisa. Mas, pelo menos para as revistas decentes, a revisão por pares elimina a maioria dos artigos realmente ruins. As taxas típicas de aceitação na minha área variam de cerca de 30% a cerca de 60%, e, com base nos artigos que revisei, diria com alguma confiança que a maioria dos artigos rejeitados realmente merecia ser rejeitada.

(Como um ponto de calibração, servi em uma comissão editorial de uma revista para a qual eu lidava com recursos de autores cujos artigos foram rejeitados. Do número relativamente grande de recursos que recebi, decidi que os revisores estavam errados em cerca de 5% das vezes – para esses casos, eu recomendava a publicação, às vezes após revisões – e que cerca de 10% dos casos eram ambíguos o suficiente para serem enviados para uma nova revisão. Isso certamente não é perfeito, mas é um registro bastante bom para uma revista altamente seletiva. É claro, você pode acreditar ou não acreditar no meu julgamento...)

No entanto, pelo menos tão importante, a revisão por pares leva a artigos melhorados. Muitas submissões são inicialmente devolvidas aos autores para revisão, e na minha experiência com os meus próprios artigos, isso tem geralmente sido uma coisa boa. Isso levou-me, pelo menos, a uma escrita mais clara, a menos lacunas e a menos suposições sobre o que os leitores sabem ou não sabem, a menos referências perdidas e, em alguns casos, a melhorias significativas no conteúdo. Tive algumas experiências ruins com revisores que simplesmente não compreenderam o ponto, mas essas foram exceções relativamente raras.

Steve Carlip