¿La revisión por pares previene la publicación de mala ciencia?

Publicación del mes: octubre de 2010

por
Steve Carlip 

Asunto:    | La calidad (y la cantidad) de la ciencia moderna (médica).
Fecha:     | 18 de octubre de 2010
Mensaje-ID: | i9i7oa$7dm$1@speranza.aioe.org

La publicación comienza con comentarios seleccionados encontrados por Erwin Moller:
> De la edición de noviembre de 2010 de The Atlantic:
> Cita:
> ===========================================================
> Aunque los científicos y periodistas científicos hablan constantemente
> de la importancia del proceso de revisión por pares, los investigadores
> reconocen entre ellos que estudios sesgados, erróneos e incluso
> abiertamente fraudulentos pasan fácilmente por ese filtro. Nature, la
> gran dama de las revistas científicas, declaró en un editorial de 2006:
> "Los científicos entienden que la revisión por pares en sí misma solo
> proporciona una garantía mínima de calidad, y que la idea popular de la
> revisión por pares como un sello de autenticación está muy lejos de
> la verdad."

[...]

> Para mayor claridad: no quiero alimentarte a creacionistas ni algo
> parecido. Pero si Ioannidis tiene razón, ya es hora de repensar
> en serio la revisión por pares y/o los sistemas de subvenciones, me
> parece. ¿Opiniones?

Steve Carlip comienza:
Como persona que revisa muchos artículos y que ha estado en varios
consejos editoriales de revistas, permítanme hacer algunos comentarios:

En primer lugar, los estándares de revisión por pares varían según el campo. En algunas ramas de las matemáticas, se espera que los revisores revisen cada paso de una demostración, y la revisión por pares puede aproximarse bastante a una confirmación de una afirmación. En el otro extremo, en algunas ramas de la física experimental no hay manera de que un revisor compruebe muchas cosas, salvo gastando miles de millones de dólares para repetir un experimento. Un detector del Large Hadron Collider, por ejemplo, es lo bastante complejo como para que sea extraordinariamente improbable que alguien que no participe realmente en el experimento pueda juzgar ciertas afirmaciones (por ejemplo, cuánto peso estadístico debe atribuirse a diversas observaciones). En situaciones como esa, suele ser la propia colaboración experimental la que realiza la revisión más rigurosa. Tienen un fuerte incentivo — hay más de un detector, y sería muy embarazoso hacer una afirmación contundente para luego verla refutada por tu competencia.

Mi campo, la física teórica, está en algún punto intermedio. No se espera que los revisores confirmen con firmeza que un artículo sea correcto. Básicamente se les pide que busquen:

– errores obvios ("El autor afirma que la relatividad especial es refutada por la observación X, pero en realidad la teoría predice exactamente el resultado observado", o "El autor afirma que la relatividad especial es refutada por la observación X, pero aparentemente ignora que este efecto se ha probado en los artículos A, B y C con una precisión mil veces mayor que la del autor; si quiere afirmar que esas otras observaciones son erróneas, al menos debería reconocer su existencia", o "El modelo presentado aquí es inconsistente — es fácil ver que la única solución de la ecuación (11) es x=0, lo que contradice la ecuación (14)", o "En la sección 4, los autores muestran que el efecto que están buscando es demasiado pequeño para medirse; ¿por qué, entonces, dicen en la conclusión que han encontrado una prueba importante y nueva de su modelo?");

– vacíos llamativos ("El autor aporta pruebas sólidas de la hipótesis X, pero nada en el artículo parece apoyar su afirmación Y mucho más fuerte", o "Se dice que la ecuación (7) se deduce de la ecuación (6), y quizá sea así, pero yo, por lo menos, no veo cómo, y como soy casi tan inteligente como la mayoría de los lectores de esta revista, espero que ellos tampoco; se necesita una explicación mucho más cuidadosa");

– solapamientos con resultados existentes ("Si el autor se hubiera tomado la molestia de leer la literatura, vería que su afirmación es solo un caso especial de los resultados generales del artículo A [mío], discutidos en detalle en la sección 2 de ese trabajo", o "La sección 4 es un resultado interesante y nuevo, pero la sección 3 reproduce el material que actualmente estoy enseñando en el libro de texto X");

– referencias faltantes ("La sección 3 de este artículo se basa en los resultados del experimento A, pero estos quedaron obsoletos por el experimento B, mucho más preciso, del año pasado; el autor debería comprobar que su modelo es coherente con los datos nuevos", o "Este es un resultado nuevo, pero gran parte de él es una extensión del artículo C, que debería ser citado", o — esta la recibí alguna vez en un informe de revisión de uno de mis propios artículos — "Una discusión general de este tema apareció en un artículo poco conocido de Poincare en 1905; vea si puede conseguir que alguien lo traduzca y lo cite donde corresponda");

– redacción incoherente ("El párrafo 2 solo parece tener sentido si los autores están usando la palabra "energía" para significar "entropía" y la palabra "masa" para significar "momento", o "He trabajado en un tema muy cercano, pero encuentro este artículo incomprensible; los autores nunca definen sus símbolos, y parece que suponen que cualquier lector ya habrá memorizado los detalles de su artículo anterior A");

– nivel de interés ("Este resultado ya se ha mostrado para los diez tipos más comunes de agujeros negros; es cierto que nadie parece haber revisado este undécimo tipo bastante oscuro, pero ¿es esto realmente lo suficientemente importante como para publicarlo?", o "Estoy seguro de que hay alguna revista ahí — tal vez el Journal of Mediocre Results — que querría publicarlo, pero no parece cumplir con los estándares de importancia exigidos por el Journal of High Prestige Physics");

– idoneidad ("¿Por qué los autores enviaron un artículo de biofísica a una revista de física de partículas de alta energía?").

Claramente, incluso si los revisores son cuidadosos — y a veces no lo son — los errores se cuelan, y el sistema no está diseñado para detectar el fraude deliberado. Además, hoy en día hay tal proliferación de revistas que un autor dedicado suele encontrar *algún lugar* donde publicar casi cualquier cosa. Pero para las revistas decentes, al menos, la revisión por pares sí filtra la mayoría de los artículos realmente malos. Las tasas de aceptación típicas en mi campo oscilan entre aproximadamente 30 % y 60 %, y por los trabajos que he revisado diría con cierta confianza que la mayoría de los artículos rechazados realmente merecían ser rechazados.

(Como referencia de calibración, he estado en el consejo editorial de una revista para la que gestioné apelaciones de autores cuyos artículos habían sido rechazados. De la cantidad bastante grande de apelaciones que recibí, decidí que los revisores simplemente se habían equivocado cerca del 5 % de las veces — en esos casos recomendé la publicación, a veces después de revisiones — y que alrededor del 10 % de los casos eran lo suficientemente ambiguos como para enviarlos a revisión adicional. Eso ciertamente no es perfecto, pero es un expediente bastante bueno para una revista muy selectiva. Por supuesto, puedes creer o no creer en mi juicio...)

Al menos igual de importante, sin embargo, la revisión por pares mejora los artículos. Muchos envíos se devuelven inicialmente a los autores para revisión, y, en mi experiencia con mis propios artículos, esto suele haber sido algo positivo. Me ha llevado, al menos, a una redacción más clara, a menos vacíos y menos suposiciones sobre lo que los lectores saben o no saben, menos referencias omitidas y, en algunos casos, a mejoras importantes en el contenido. He tenido un par de malas experiencias con revisores que simplemente no captaron el punto, pero esos han sido bastante raros.

Steve Carlip