Verhindert Peer Review die Veröffentlichung von schlechter Wissenschaft?

Beitrag des Monats: Oktober 2010

von
Steve Carlip 

Betreff:    | Die Qualität (und Quantität) der modernen (medizinischen) Wissenschaft.
Datum:      | 18. Okt. 2010
Message-ID: | i9i7oa$7dm$1@speranza.aioe.org

Der Beitrag beginnt mit ausgewählten Kommentaren, die von Erwin Moller gefunden wurden:
> From november 2010 issue of The Atlantic:
> Quote:
> ===========================================================
> Though scientists and science journalists are constantly talking
> up the value of the peer-review process, researchers admit among
> themselves that biased, erroneous, and even blatantly fraudulent
> studies easily slip through it. Nature, the grande dame of science
> journals, stated in a 2006 editorial, "Scientists understand that
> peer review per se provides only a minimal assurance of quality,
> and that the public conception of peer review as a stamp of
> authentication is far from the truth."

[...]

> Zum Zwecke der Klarheit: Ich beabsichtige nicht, Kreationisten oder Ähnliches zu füttern. Aber wenn Ioannidis recht hat, ist es an der Zeit, die Begutachtung durch Peers und/oder das Grant-System ernsthaft zu überdenken, meiner Meinung nach. Meinungen?

Steve Carlip beginnt:
As someone who referees a lot of papers, and who has been on several journal editorial boards, let me make a few comments:

Zunächst variieren die Standards der Peer-Review von Fachgebiet zu Fachgebiet. In einigen Bereichen der Mathematik wird erwartet, dass Prüfer jeden Schritt eines Beweises überprüfen, und die Peer-Review kann einer Bestätigung einer Behauptung sehr nahekommen. Am anderen Ende des Spektrums gibt es in einigen Bereichen der experimentellen Physik für einen Prüfer keine Möglichkeit, viele Dinge zu überprüfen, außer wenn man einige Milliarden Dollar ausgibt, um ein Experiment erneut durchzuführen. Ein Detektor am Large Hadron Collider ist beispielsweise so komplex, dass es extrem unwahrscheinlich ist, dass jemand, der nicht tatsächlich am Experiment beteiligt ist, einige Behauptungen beurteilen kann (z. B., wie viel statistisches Gewicht man verschiedenen Beobachtungen zuschreiben soll). In solchen Situationen führt oft die experimentelle Zusammenarbeit selbst die rigoroseste Überprüfung durch. Sie haben einen starken Anreiz – es gibt mehr als einen Detektor, und es wäre sehr peinlich, eine starke Behauptung aufzustellen, die dann von der Konkurrenz widerlegt wird.

Mein Fachgebiet der theoretischen Physik liegt irgendwo dazwischen. Gutachter sind nicht erwartet, eine Arbeit stark zu bestätigen, dass sie korrekt ist. Sie sollen im Grunde nach Folgendem suchen:

– offensichtliche Fehler („Der Autor behauptet, dass die spezielle Relativitätstheorie durch Beobachtung X widerlegt wird, aber tatsächlich sagt die Theorie genau das beobachtete Ergebnis voraus," oder „Der Autor behauptet, dass die spezielle Relativitätstheorie durch Beobachtung X widerlegt wird, ist aber anscheinend nicht bewusst, dass dieser Effekt in den Arbeiten A, B und C bis zu tausendmal genauer als die des Autors getestet wurde; wenn er behaupten will, dass diese anderen Beobachtungen falsch sind, sollte er zumindest deren Existenz anerkennen," oder „Das hier vorgestellte Modell ist inkonsistent – es ist leicht zu erkennen, dass die einzige Lösung der Gleichung (11) x=0 ist, was der Gleichung (14) widerspricht," oder „In Abschnitt 4 zeigen die Autoren, dass der Effekt, den sie suchen, zu klein ist, um gemessen zu werden; warum sagen sie dann im Fazit, dass sie einen wichtigen neuen Test ihres Modells gefunden haben?");

– offensichtliche Lücken („Der Autor liefert starke Belege für Hypothese X, aber nichts in der Arbeit scheint ihre viel stärkere Behauptung Y zu stützen," oder „Es wird behauptet, dass Gleichung (7) aus Gleichung (6) folgt, und das könnte es sein, aber ich sehe wenigstens nicht, wie das geht, und da ich fast so schlau bin wie die meisten Leser dieser Zeitschrift, erwarte ich, dass sie es auch nicht sehen; eine viel sorgfältigere Erklärung ist erforderlich");

– überschneidet sich mit bestehenden Ergebnissen („Wenn der Autor sich die Mühe gemacht hätte, die Literatur zu lesen, hätte er gesehen, dass seine Behauptung nur ein Spezialfall der allgemeinen Ergebnisse von [meinem] Papier A ist, die in Abschnitt 2 dieses Papiers ausführlich diskutiert werden," oder „Abschnitt 4 ist ein interessantes neues Ergebnis, aber Abschnitt 3 wiederholt das Material, das ich derzeit aus Lehrbuch X unterrichte");

– fehlende Referenzen („Abschnitt 3 dieses Papiers basiert auf den Ergebnissen von Experiment A, doch diese wurden durch das viel genauere Experiment B im letzten Jahr obsolet; der Autor sollte überprüfen, ob sein Modell mit den neuen Daten übereinstimmt," oder „Dies ist ein neues Ergebnis, doch ein Großteil davon ist eine Erweiterung von Papier C, das zitiert werden sollte," oder – dieses hier habe ich einmal in einem Gutachten zu einem meiner eigenen Papiere erhalten – „Eine allgemeine Diskussion dieses Themas erschien in einem obskuren Papier von Poincaré aus dem Jahr 1905; versuchen Sie, jemanden zu finden, der es übersetzt, und zitieren Sie es dort, wo es angebracht ist");

– inkohärente Schreibweise („Absatz 2 scheint nur Sinn zu ergeben, wenn die Autoren das Wort „Energie" im Sinne von „Entropie" und das Wort „Masse" im Sinne von „Impuls" verwenden, oder „Ich habe an einem sehr eng verwandten Thema gearbeitet, aber ich finde diesen Artikel unverständlich; die Autoren definieren ihre Symbole nie, und sie scheinen anzunehmen, dass jeder Leser die Details ihres früheren Artikels A bereits auswendig gelernt hat");

– Interesse ("Dieses Ergebnis wurde bereits für die zehn häufigsten Schwarzen-Loch-Typen gezeigt; es ist zwar wahr, dass niemand diesen eher obskuren elften Typ überprüft zu haben scheint, aber ist das wirklich wichtig genug, um veröffentlicht zu werden?" oder "Ich bin mir sicher, dass es eine Zeitschrift gibt – vielleicht die Zeitschrift für mittelmäßige Ergebnisse –, die dies veröffentlichen möchte, aber es scheint nicht die von der Zeitschrift für Hochprestige-Physik geforderten Standards der Wichtigkeit zu erfüllen");

– Angemessenheit ("Warum haben die Autoren ein Biophysik-Papier in einem Fachjournal für Hochenergie-Teilchenphysik eingereicht?").

Offensichtlich werden selbst bei sorgfältigen Gutachtern – und manchmal sind sie es nicht – Fehler durchkommen, und das System ist sicher nicht darauf ausgelegt, vorsätzliche Fälschungen aufzudecken. Darüber hinaus gibt es heutzutage eine solche Proliferation von Zeitschriften, dass ein engagierter Autor fast alles *irgendwo* veröffentlichen kann. Aber bei den anständigen Zeitschriften zumindest filtert die Peer-Review den Großteil der wirklich schlechten Artikel heraus. Die typischen Akzeptanzraten in meinem Fachgebiet liegen zwischen etwa 30 % und etwa 60 %, und basierend auf den Artikeln, die ich begutachtet habe, würde ich mit einiger Sicherheit sagen, dass die meisten abgelehnten Artikel es wirklich verdient hatten, abgelehnt zu werden.

(Eine Kalibrierungspunkt: Ich habe in der Redaktion eines Fachzeitschriften gedient, für die ich Berufungen von Autoren bearbeitet habe, deren Manuskripte abgelehnt wurden. Von der recht großen Anzahl der Berufungen, die ich erhielt, entschied ich, dass die Gutachter in etwa 5 % der Fälle einfach falsch lagen – für diese Fälle empfahl ich die Veröffentlichung, manchmal nach Überarbeitungen – und dass etwa 10 % der Fälle mehrdeutig genug waren, um einer weiteren Prüfung zugeleitet zu werden. Das ist sicherlich nicht perfekt, aber es ist ein ziemlich guter Rekord für eine hochselektive Zeitschrift. Natürlich können Sie mein Urteil glauben oder nicht glauben...)

Doch mindestens ebenso wichtig ist, dass die Peer-Review zu verbesserten Manuskripten führt. Viele Einreichungen werden zunächst an die Autoren zur Überarbeitung zurückgesandt, und meine Erfahrung mit meinen eigenen Manuskripten zeigt, dass dies in der Regel eine gute Sache ist. Es hat mich zumindest dazu geführt, klarer zu schreiben, weniger Lücken und weniger Annahmen darüber, was Leser wissen oder nicht wissen, weniger verpasste Referenzen und in einigen Fällen sogar zu wesentlichen Verbesserungen im Inhalt. Ich hatte ein paar negative Erfahrungen mit Gutachtern, die den Punkt verpasst haben, aber diese waren relativ seltene Ausnahmen.

Steve Carlip