246 Biologen kamen aus denselben Datensätzen zu unterschiedlichen Ergebnissen

In einer umfangreichen Reproduzierbarkeitsprüfung analysierten mehr als 200 Biologen dieselben Umweltdatensätze und kamen zu sehr unterschiedlichen Ergebnissen. Die erste umfassende Studie¹ Eine Untersuchung ihrer Art in der Ökologie zeigt, wie unterschiedlich die Ergebnisse in diesem Bereich sind, nicht aufgrund von Unterschieden in der Umwelt, sondern aufgrund der analytischen Entscheidungen der Wissenschaftler.

„Möglicherweise besteht die Tendenz, einzelne Forschungsergebnisse als endgültig zu betrachten“, sagt Hannah Fraser, Ökologin an der University of Melbourne in Australien und Mitautorin der Studie. Die Ergebnisse zeigen jedoch, dass „wir uns nicht wirklich auf ein einzelnes Ergebnis oder eine einzelne Studie verlassen können, um die ganze Geschichte zu erzählen.“

Replikationsspiele: Wie man Replikationsforschung systematischer gestalten kann

Die Ungleichheit in den Ergebnissen mag nicht überraschend sein, aber die Messung dieser Ungleichheit in einer formellen Studie könnte eine größere Bewegung zur Verbesserung der Reproduzierbarkeit anstoßen, sagt Brian Nozick, Geschäftsführer des Center for Open Science in Charlottesville, Virginia, der Diskussionen über Reproduzierbarkeit geleitet hat UCLA. Sozialwissenschaften.

„Dieses Papier könnte dazu beitragen, eine relativ kleine, reformorientierte Gemeinschaft in Ökologie und Evolutionsbiologie zu einer viel größeren Bewegung zu vereinen, ähnlich wie das Züchtungsprojekt, das wir in der Psychologie durchgeführt haben“, sagt er. Es wäre für viele auf diesem Gebiet schwierig, die tiefgreifenden Auswirkungen dieser Erkenntnis auf ihre Arbeit nicht zu erkennen.

Die Studie wurde am 4. Oktober als Preprint veröffentlicht. Die Ergebnisse wurden noch nicht einem Peer-Review unterzogen.

Die Wurzeln der Klonstudien

Psychologen und Soziologen waren Mitte der 2010er Jahre Pioniere des „Multi-Analysten“-Ansatzes, als ihnen zunehmend Erkenntnisse auf diesem Gebiet bewusst wurden, die nicht reproduziert werden konnten. Diese Arbeit liefert vielen Forschern die gleichen Daten und die gleichen Forschungsfragen. Autoren können dann vergleichen, wie Entscheidungen, die nach der Datenerhebung getroffen werden, die Art von Ergebnissen beeinflussen, die letztendlich in Veröffentlichungen gelangen.

Die Studie von Fraser und ihren Kollegen bringt die Methode der Mehrfachanalyse in die Ökologie. Die Forscher gaben den teilnehmenden Wissenschaftlern einen von zwei Datensätzen und eine begleitende Forschungsfrage: „Inwieweit sind junge Blaumeisen (Cyanistes caeruleus) Betroffen von der Geschwisterkonkurrenz? Oder „Wie wirkt sich die Grasbedeckung auf … aus?“ Eukalyptus Die Anklage. Setzlinge rekrutieren?“

So machen Sie Ihre Forschung reproduzierbar

Die meisten Teilnehmer, die Blaumeisendaten untersuchten, stellten fest, dass die Konkurrenz zwischen Geschwistern das Nestwachstum negativ beeinflusst. Über das Ausmaß des Effekts waren sie sich jedoch weitgehend uneinig.

Schlussfolgerungen darüber, wie stark sich die Grasbedeckung auf die Populationszahlen auswirkt Eukalyptus Sämlinge zeigten eine größere Ausbreitung. Die Studienautoren berechneten für diese Daten durchschnittliche Effektgrößen und fanden keinen statistisch signifikanten Zusammenhang. Die meisten Ergebnisse zeigten nur schwache negative oder positive Effekte, es gab jedoch Ausreißer: Einige Teilnehmer stellten fest, dass die Grasbedeckung zu einer deutlichen Verringerung der Anzahl der Setzlinge führte. Andere kamen zu dem Schluss, dass dies zu einer deutlichen Verbesserung der Anzahl der Setzlinge führte.

Die Autoren simulierten auch den Peer-Review-Prozess, indem sie eine andere Gruppe von Wissenschaftlern mit der Überprüfung der Ergebnisse der Teilnehmer beauftragten. Peer-Reviewer bewerteten die extremsten Ergebnisse schlecht Eukalyptus Analyse, aber nicht bei der Blaumeise. Selbst nachdem die Autoren Analysen ausgeschlossen hatten, die von Peer-Reviewern schlecht bewertet wurden, zeigten die Gesamtergebnisse immer noch erhebliche Unterschiede, sagt Elliott Gould, ein ökologischer Modellierer an der University of Melbourne und Co-Autor der Studie.

Richtig gegen falsch

Trotz der großen Bandbreite an Ergebnissen sei keine der Antworten falsch gewesen, sagt Fraser. Vielmehr spiegelt die Prävalenz Faktoren wie die Ausbildung der Teilnehmer und die Art und Weise wider, wie die Stichprobengröße bestimmt wurde.

Also: „Woher wissen Sie, wie hoch die tatsächliche Punktzahl ist?“ fragt Gould. Ein Teil der Lösung könnte darin bestehen, die Autoren der Arbeiten zu bitten, die von ihnen getroffenen analytischen Entscheidungen und die möglichen Vorbehalte dieser Entscheidungen zu erläutern, sagt Gould.

Laut Nozick können Ökologen auch in anderen Bereichen gängige Praktiken nutzen, um zu zeigen, wie umfassend die potenziellen Ergebnisse einer Forschung sind. Robustheitstests, die in der Wirtschaftswissenschaft üblich sind, erfordern beispielsweise, dass Forscher ihre Daten auf verschiedene Arten analysieren und das Ausmaß der Variation in den Ergebnissen bewerten.

Aufgrund der Komplexität ihrer Disziplin ist es für Ökologen jedoch besonders schwierig zu verstehen, wie sich analytische Variationen auf die Ergebnisse auswirken. „Die Grundlagen dieses Fachgebiets sind Beobachtungen“, sagt Nicole Nelson, Ethnographin an der University of Wisconsin-Madison. „Es geht darum, sich zurückzulehnen und zu beobachten, was die Natur einem bietet – und es gibt jede Menge Abwechslung.“