Es geht um Lesevorlieben, auch in der Wissenschaft, die doch darüber erhaben sein sollte: Arbeiten, die nicht repliziert werden können, werden 153 Mal häufiger zitiert, wohl, weil ihre Ergebnisse interessant sind, so eine neue Studie der UC San Diego. Es scheint mir, dass Thomas Manns Aussage, “dass schöpferische, Genie sprudelnde Krankheit, Krankheit, die hoch zu Roß die Hindernisse nimmt, in kühnem Rausch von Fels zu Felsen springt, ihm tausendmal lieber ist als die zu Fuß latschende Gesundheit.” Er sagte das über Dostojewski; ich wende es mal auf die Wissenschaftler, die ihre Veröffentlichungen auf tönerne Füße stellen, indem sie gern Ergebnisse zitieren, die ihre Verlässlichkeit nicht bewiesen haben.
Im folgenden eine Pressemeldung der University of California in San Diego vom 21. Mai 2021, übersetzt mithilfe von DeepL.
Eine neue Replikationskrise: Forschung, die weniger wahrscheinlich wahr ist, wird mehr zitiert
Veröffentlichungen in führenden Psychologie-, Wirtschafts- und Wissenschaftsjournalen, deren Ergebnisse sich nicht replizieren lassen und daher zweifelhaft sind, sind oft die meist zitierten Papers in der akademischen Forschung, so eine neue Studie der Rady School of Management der University of California San Diego.
Die in Science Advances veröffentlichte Studie untersucht die anhaltende “Replikationskrise”, in der Forscher herausgefunden haben, dass viele Ergebnisse in den Sozialwissenschaften und der Medizin der Prüfung nicht standhalten, wenn andere Forscher versuchen, die Experimente zu wiederholen.
“Als ob” sie wahr wären
Das Papier zeigt, dass Erkenntnisse aus Studien, die nicht verifiziert werden können, wenn die Experimente wiederholt werden, im Laufe der Zeit einen größeren Einfluss gewinnen. Die unzuverlässige Forschung wird so zitiert, als ob die Ergebnisse wahr wären, auch noch lange nachdem gezeigt wurde, dass die Veröffentlichung nicht repliziert werden konnte.
“Wir wissen auch, dass Experten gut vorhersagen können, welche Arbeiten repliziert werden”, schreiben die Autoren Marta Serra-Garcia, Assistenzprofessorin für Wirtschaft und Strategie an der Rady School und Uri Gneezy, Professor für Verhaltensökonomie ebenfalls an der Rady School. “Angesichts dieser Vorhersage fragen wir: ‘Warum werden nicht-replizierbare Arbeiten überhaupt zur Veröffentlichung angenommen?'”
Aufsätze müssen vor allem “interessant” sein
Ihre mögliche Antwort ist, dass Review-Teams akademischer Journale einem Trade-off gegenüberstehen. Wenn die Ergebnisse “interessanter” sind, legen sie niedrigere Maßstäbe an ihre Reproduzierbarkeit an.
Die Verbindung zwischen interessanten Befunden und nicht replizierbarer Forschung kann auch erklären, warum diese mit einer viel höheren Rate zitiert wird – die Autoren fanden heraus, dass Arbeiten, die erfolgreich replizieren, 153-mal weniger zitiert werden als solche, die nicht replizieren.
Arbeiten, die erfolgreich replizieren, werden 153-mal weniger zitiert
“Interessante oder ansprechende Befunde werden auch mehr von den Medien abgedeckt oder auf Plattformen wie Twitter geteilt, was eine Menge Aufmerksamkeit erzeugt, aber das macht sie nicht wahr”, sagte Gneezy.
Serra-Garcia und Gneezy analysierten Daten von drei einflussreichen Replikationsprojekten, die versuchten, die Ergebnisse in den Top-Journalen für Psychologie, Wirtschaft und allgemeine Wissenschaft (Nature und Science) systematisch zu replizieren. In der Psychologie konnten nur 39 Prozent der 100 Experimente erfolgreich repliziert werden. In den Wirtschaftswissenschaften konnten 61 Prozent der 18 Studien repliziert werden, ebenso wie 62 Prozent der 21 in Nature/Science veröffentlichten Studien.
Diagramm: Originalstudie (schwarz) und Replikationsversuche (blau)
Mit den Ergebnissen dieser drei Replikationsprojekte haben die Autoren Google Scholar verwendet, um zu testen, ob Arbeiten, die nicht repliziert werden konnten, signifikant häufiger zitiert werden als solche, die erfolgreich repliziert wurden, sowohl vor als auch nach der Veröffentlichung der Replikationsprojekte. Die größte Diskrepanz gab es bei Arbeiten, die in Nature/Science veröffentlicht wurden: Nicht replizierbare Arbeiten wurden 300 Mal häufiger zitiert als replizierbare.
In den Naturwissenschaften wurde nicht replizierbare Ergebnisse 300 Mal häufiger zitiert als replizierbare.
Als die Autoren verschiedene Charakteristika der replizierten Studien berücksichtigten – wie die Anzahl der Autoren, den Anteil männlicher Autoren, die Details des Experiments (Ort, Sprache und Online-Implementierung) und den Bereich, in dem das Paper veröffentlicht wurde – blieb die Beziehung zwischen Replizierbarkeit und Zitationen unverändert.
Der Einfluss solcher Zitate wächst mit der Zeit noch an
Sie zeigen auch, dass der Einfluss solcher Zitate mit der Zeit wächst. Die jährlichen Zitationszahlen zeigen eine ausgeprägte Kluft zwischen Arbeiten, die repliziert wurden und solchen, die nicht repliziert wurden. Im Durchschnitt werden Arbeiten, die nicht repliziert wurden, 16-mal häufiger pro Jahr zitiert. Diese Lücke bleibt auch nach der Veröffentlichung des Replikationsprojekts bestehen.
“Bemerkenswert ist, dass nur 12 Prozent der Zitate nach der Replikation von nicht replizierbaren Befunden das Scheitern der Replikation anerkennen”, schreiben die Autoren.
Der Einfluss einer ungenauen Arbeit, die in einem angesehenen Journal veröffentlicht wurde, kann jahrzehntelange Auswirkungen haben. Zum Beispiel hat die Studie von Andrew Wakefield, die 1998 in The Lancet veröffentlicht wurde, Zehntausende von Eltern auf der ganzen Welt gegen die Masern-, Mumps- und Rötelnimpfung aufgebracht, weil sie einen Zusammenhang zwischen Impfungen und Autismus vermuteten. Die falschen Ergebnisse wurden 12 Jahre später von The Lancet zurückgezogen, aber die Behauptungen, dass Autismus mit Impfungen zusammenhängt, bestehen weiter.
Der Einfluss einer ungenauen Arbeit, die in einem angesehenen Journal veröffentlicht wurde, kann jahrzehntelange Auswirkungen haben
Die Anzahl der Zitate als Beförderungskriterium
Die Autoren fügten hinzu, dass Zeitschriften Druck verspüren, interessante Befunde zu veröffentlichen, und das gilt auch für Akademiker. Zum Beispiel verwenden die meisten akademischen Institutionen bei Beförderungsentscheidungen Zitate als wichtige Metrik bei der Entscheidung, ob ein Fakultätsmitglied befördert wird.
Dies könnte die Ursache für die “Replikationskrise” sein, die in den frühen 2010er Jahren erstmals entdeckt wurde.
“Wir hoffen, dass unsere Forschung die Leser ermutigt, vorsichtig zu sein, wenn sie etwas lesen, das interessant und ansprechend ist”, sagte Serra-Garcia. “Immer wenn Forscher eine Arbeit zitieren, die interessanter ist oder viel zitiert wurde, hoffen wir, dass sie überprüfen, ob Replikationsdaten verfügbar sind und was diese Ergebnisse nahelegen.”
Gneezy fügte hinzu: “Wir kümmern uns um das Feld und die Produktion von Qualitätsforschung und wir wollen, dass es wahr ist.”
Übersetzt mit http://www.DeepL.com/Translator (kostenlose Version)
Thomas Manns Originalzitat
“Das Leben ist nicht zimperlich, und man mag wohl sagen, dass schöpferische, Genie sprudelnde Krankheit, Krankheit, die hoch zu Roß die Hindernisse nimmt, in kühnem Rausch von Fels zu Felsen springt, ihm tausendmal lieber ist als die zu Fuß latschende Gesundheit.“ (Thomas Mann: Dostojewski – mit Maßen)
