L'évaluation par les pairs empêche-t-elle la publication d’une mauvaise science ?

Poste du mois : octobre 2010

par
Steve Carlip 

Subject:    | The quality (and quantity) of modern (medical) science.
Date:       | 18 Oct 2010
Message-ID: | i9i7oa$7dm$1@speranza.aioe.org

L'article débute avec des commentaires sélectionnés trouvés par Erwin Moller :
> Issu du numéro de novembre 2010 de The Atlantic :
> Quote:
> ===========================================================
> Bien que les scientifiques et les journalistes scientifiques fassent > constamment l'éloge du processus d'évaluation par les pairs, les chercheurs > reconnaissent entre eux que des études biaisées, erronées et même > ouvertement frauduleuses y passent facilement. Nature, la grande dame > des revues scientifiques, a déclaré dans un éditorial de 2006 : « Les > scientifiques comprennent que l'évaluation par les pairs, en elle-même, > offre seulement une assurance minimale de qualité, et que la conception > publique de cette évaluation comme un sceau d'authentification est loin > d'être la réalité. »

[...]

> Pour la clarté : je n'ai pas l'intention de nourrir des créationnistes ou > quelque chose comme ça. Mais si Ioannidis a raison, il est temps de > repenser sérieusement l'évaluation par les pairs et/ou les systèmes de > financement, me semble-t-il. Avis ?

Steve Carlip commence :
En tant que personne qui évalue un grand nombre d'articles et qui a siégé à plusieurs comités éditoriaux de revues, laissez-moi faire quelques remarques :

D’abord, les standards d'évaluation par les pairs varient selon les disciplines. Dans certains domaines des mathématiques, les rapporteurs sont censés vérifier chaque étape d'une preuve, et l'évaluation par les pairs peut ainsi s'approcher assez près d'une confirmation d'une affirmation. À l'autre extrême, dans certains domaines de la physique expérimentale, il n'est pas possible pour un rapporteur de vérifier de nombreuses choses, sans dépenser plusieurs milliards de dollars pour refaire une expérience. Un détecteur au Grand collisionneur de hadrons, par exemple, est suffisamment complexe que c'est extrêmement improbable que quelqu'un qui ne participe pas effectivement à l'expérience puisse juger certaines affirmations (par exemple, le poids statistique à attribuer à différentes observations). Dans des situations de ce type, c'est souvent la collaboration expérimentale elle-même qui fait la revue la plus rigoureuse. Ils ont un fort incitatif à la rigueur – il existe plus d'un détecteur, et il serait très embarrassant de formuler une affirmation forte pour se faire ensuite démentir par la concurrence.

Mon domaine de la physique théorique se situe quelque part entre les deux. Les rapporteurs n'ont pas l'obligation de confirmer fortement qu'un article est correct. Ils sont essentiellement censés chercher :

– erreurs évidentes (« L'auteur affirme que la relativité spéciale est réfutée par l'observation X, alors qu'en fait la théorie prédit exactement le résultat observé », ou « L'auteur affirme que la relativité spéciale est réfutée par l'observation X, mais il semble apparemment ignorer que cet effet a été testé dans les articles A, B et C à mille fois la précision de l'auteur ; s'il veut prétendre que ces autres observations sont fausses, il devrait au moins en reconnaître l'existence », ou « Le modèle présenté ici est incohérent – il est facile de voir que la seule solution de l'équation (11) est x=0, ce qui contredit l'équation (14) », ou « Dans la section 4, les auteurs montrent que l'effet recherché est trop petit pour être mesuré ; pourquoi, alors, disent-ils dans la conclusion qu'ils ont trouvé un nouveau test important de leur modèle ? »);

– lacunes évidentes (« L'auteur apporte des preuves solides pour l'hypothèse X, mais rien dans l'article ne semble soutenir son affirmation bien plus forte Y », ou « Il est dit que l'équation (7) suit de l'équation (6), et il se peut bien que ce soit le cas, mais je ne vois pas, en tout cas, et comme je suis presque aussi intelligent que la plupart des lecteurs de cette revue, je m'attends à ce qu'eux non plus ne voient pas ; une explication beaucoup plus soignée est nécessaire »);

– chevauchements avec des résultats existants (« Si l'auteur avait pris la peine de lire la littérature, il verrait que son affirmation n'est qu'un cas particulier des résultats généraux de [mon] article A, discutés en détail dans la section 2 de cet article », ou « La section 4 constitue un résultat intéressant, mais la section 3 reproduit le matériel que j'enseigne actuellement à partir du manuel X »);

– références manquantes (« La section 3 de cet article est fondée sur les résultats de l'expérience A, mais celles-ci ont été rendues obsolètes par l'expérience B de l'année dernière, bien plus précise ; l'auteur devrait vérifier que son modèle est cohérent avec les nouvelles données », ou « Il s'agit là d'un nouveau résultat, mais une grande part de ce résultat est une extension de l'article C, qui devrait être cité », ou – celui-ci, je l'ai déjà reçu dans un rapport de révision sur l'un de mes propres articles – « Une discussion générale de cette question est apparue dans un article obscur de Poincaré en 1905 ; voyez si vous pouvez faire traduire ce texte par quelqu'un, et le citer là où c'est approprié »);

– écriture incohérente (« Le paragraphe 2 semble avoir un sens seulement si les auteurs utilisent le mot “énergie” pour signifier “entropie” et le mot “masse” pour signifier “quantité de mouvement”, ou « J'ai travaillé sur un sujet très proche, mais je trouve cet article incompréhensible ; les auteurs ne définissent jamais leurs symboles, et ils semblent supposer que tout lecteur aura déjà mémorisé les détails de leur article précédent A »);

– niveau d'intérêt (« Ce résultat a déjà été démontré pour les dix types de trous noirs les plus courants ; il est vrai que personne ne semble avoir vérifié ce onzième type plus obscur, mais cela est-il vraiment assez important pour être publié ? » ou « Je suis sûr qu'il existe bien une revue qui voudrait le publier – peut-être le Journal of Mediocre Results – mais il ne me semble pas qu'il réponde aux standards d'importance requis par le Journal of High Prestige Physics »);

– pertinence (« Pourquoi ont-ils soumis un article de biophysique à une revue de physique des particules à haute énergie ? »).

Il est clair que, même si les rapporteurs sont prudents – et parfois ils ne le sont pas – des erreurs passeront, et le système n'est certainement pas conçu pour déceler la fraude délibérée. En outre, il existe aujourd'hui une telle prolifération de revues qu'un auteur motivé peut généralement trouver *quelque part* pour publier presque n'importe quoi. Mais pour les revues correctes, au moins, l'évaluation par les pairs filtre la plupart des très mauvais articles. Les taux d'acceptation typiques dans mon domaine varient d'environ 30 % à environ 60 %, et d'après les articles que j'ai évalués, je dirais avec une certaine confiance que la plupart des articles rejetés méritaient vraiment d'être rejetés.

(À titre de point de repère, j'ai siégé au comité éditorial d'une revue pour laquelle j'ai traité des appels d'auteurs dont les articles avaient été rejetés. Parmi le nombre assez élevé d'appels que j'ai reçus, j'ai estimé que les rapporteurs avaient eu tort dans environ 5 % des cas – pour ces cas-là, j'ai recommandé la publication, parfois après révision – et qu'environ 10 % des cas étaient suffisamment ambigus pour être renvoyés à une nouvelle révision. Ce n'est certainement pas parfait, mais c'est un excellent bilan pour une revue très sélective. Bien sûr, vous pouvez croire ou ne pas croire mon jugement...)

Au moins aussi important, cependant, le peer review aboutit à des articles améliorés. De nombreuses soumissions sont d'abord renvoyées aux auteurs pour révision, et dans mon expérience avec mes propres articles, cela a généralement été une bonne chose. Cela m'a conduit, au moins, à une écriture plus claire, à moins de lacunes et à moins d'hypothèses sur ce que les lecteurs savent ou ne savent pas, à moins de références omises, et, dans quelques cas, à des améliorations majeures du contenu. J'ai eu quelques mauvaises expériences avec des rapporteurs qui manquaient le point, mais celles-ci ont été des exceptions assez rares.

Steve Carlip