Die meisten COVID-Preprints widerstehen Peer-Review

Home Wissen Die meisten COVID-Preprints widerstehen Peer-Review

Vor der COVID-Pandemie war Peer Review das schlagende Herz des wissenschaftlichen Publizierens. Damit Studien in den Bestand der wissenschaftlichen Erkenntnisse aufgenommen werden konnten, wurde von den Forschern erwartet, dass sie sie bei wissenschaftlichen Zeitschriften einreichen, die die Arbeiten vor der Veröffentlichung an andere Experten zur Bearbeitung und Überprüfung weiterleiten würden.

Aber es ist ein Prozess, der für die Dringlichkeit der COVID-Pandemie nicht gut geeignet war, als frühe Forschung Leben retten könnte. Peer Review dauert oft Monate und erfordert viel unbezahlte Arbeit von den Wissenschaftlern, die die Arbeiten begutachten. Anfang 2020 begann eine zunehmende Zahl von Wissenschaftlern damit, Forschungsergebnisse in frei zugänglichen Datenbanken, sogenannten Preprint-Servern, zu veröffentlichen, bevor diese Preprints offiziell überprüft worden waren.

Neue Forschungsergebnisse deuten darauf hin, dass wissenschaftliche Standards auf Preprint-Servern immer noch funktionieren. Wie die Ärztin und Journalistin Trisha Pasricha schrieb in dem Washington Post am Wochenende, „wenn eine Gruppe von Autoren eine Studie öffentlich zugänglich macht … setzen sie ihren Ruf aufs Spiel.“

Preprints, die in den Medien oft als „frühe Forschung“ bezeichnet werden, hatten bereits in Bereichen mit früher Einführung an Popularität gewonnen, wie z Genomik und Neurowissenschaften– aber die Zeitknappheit der Pandemie hat ihnen ein neues Primat verliehen. Im ersten Jahr der Pandemie Preprint-Server hosteten 7.000 COVID-Artikel, während die Zeitschriften etwa 12.500 offizielle Artikel veröffentlichten. (Es gab einige Überschneidungen.) Im Gegensatz zu vielen Zeitschriften sind die Preprint-Server für alle kostenlos und die Forscher müssen nicht für die Veröffentlichung bezahlen. Viele dieser frühen Arbeiten werden von Experten begutachtet: der Mitbegründer von zwei wichtigen Preprint-Servern schrieb kürzlich auf Twitter dass die Hälfte aller COVID-2020-Preprints nun offiziell veröffentlicht wurden. In jedem Fall sind Preprints zu einem zentralen Bestandteil der COVID-Wissenschaft und ihrer Berichterstattung in den Medien geworden.

Dies war eine Quelle von Kontroversen. Für Kritiker von Preprints sind sie ein Sammelbecken dubioser Wissenschaft. „Die Einschränkung ist, dass jeder Idiot jedes idiotische Zeug auf einer Plattform posten kann, die vor der Veröffentlichung keine Peer-Review hat“, sagte ein ehemaliger Zeitschriftenredakteur a New York Times Kolumnist letzten Monat. Aber nach zwei neuen Analysen, die in der (begutachteten) Zeitschrift geteilt werden PLOS-BiologiePreprints als Ganzes enthalten viele der gleichen Informationen und Interpretationen wie Peer-Review-Forschung.

In ein Papier, ein Computerbiologe, hat ein Tool entwickelt, mit dem Tausende von Vorabdrucken und begutachteten Werken aus der Zeit vor der Pandemie auf Sprachunterschiede analysiert werden können. In der Zweiteeine Gruppe von Wissenschaftlern überprüfte manuell alle 184 Artikel, die sowohl als Preprints als auch mit Peer-Review von Dezember 2020 bis April 2020 veröffentlicht wurden.

Beide Analysen zeigten, dass Änderungen zwischen Preprints und rezensierten Publikationen selten umfassende Überarbeitungen der Schlussfolgerungen eines Artikels nach sich zogen. Meistens fanden die Forscher nur kleine grammatikalische Änderungen. „Ich denke, was unsere Ergebnisse veranlassen, ist eine Neubewertung der Rolle von Peer-Reviews“, sagt Jonathon Coates, Postdoktorand für Immunologie am William Harvey Research Institute und Autor des zweiten Reviews. „Braucht Zeit und Geld [both scientists and taxpayers] Gegenstand einer Peer-Review lohnt es sich? »

David Nicholson, Doktorand an der University of Pennsylvania School of Medicine, begann für eine großangelegte computergestützte Analyse mit einer allgemeinen Frage: „Wie verwenden Menschen Preprints?“ Doch schnell erkannte Nicholsons Team, dass das von ihm entwickelte Tool auch zur Messung der Auswirkungen von Peer-Review auf das wissenschaftliche Schreiben eingesetzt werden konnte. „Peer Review ist zeitaufwändig und zeitintensiv, aber entspricht es auch den Änderungen, die wir möglicherweise in Artikeln sehen?“ er sagt.

Nicholsons Team verglich 3 Millionen Artikel in der frei zugänglichen Forschungsbibliothek des National Institute of Health mit den 98.000 Artikeln, die im Februar 2020 auf dem Preprint-Server BioRxiv veröffentlicht wurden. (BioRxiv und sein medizinspezifisches Spinoff MedRxiv hosten die überwiegende Mehrheit der COVID-Preprints.) Sie haben auch die Preprints mit ihren veröffentlichten Versionen abgeglichen, um Änderungen zu analysieren.

„Was David sieht, ist, dass die Dinge, die sich geändert haben, die Satzzeichen sind, wie das Plus- oder Minuszeichen, der Em-Bindestrich sowie Wörter wie ‚zusätzlich‘, ‚zusätzlich‘ und ‚Datei‘“, sagt Casey Greene, a Computerbiologe an der University of Colorado Medical School und Autor der Abhandlung. „Dies deutet darauf hin, dass die Leute den Text wahrscheinlich nicht radikal ändern, während sie ihn veröffentlichen, sie fügen den wichtigsten Behauptungen zusätzliche Unterstützung hinzu und ihr Inhalt wird eingewählt.“

Wie diese kleinen Änderungen in der Praxis aussahen, zeigte derweil der zweite, ausführlichere Test. Das Team von Coates fand nur einen Fall, in dem Autoren während der Peer-Review eine Schlussfolgerung rückgängig machten, obwohl 17 % der COVID-Papiere und 7 % der Nicht-COVID-Papiere „größere Änderungen in ihren Schlussfolgerungen“ zeigten. „Eines der Dinge, die uns zwischen dem Preprint und dem Papier aufgefallen sind, war kein Unterschied in der Schlussfolgerung, sondern in der Art und Weise, wie die Schlussfolgerung formuliert war“, sagt Coates. Beispielsweise würde ein Name ausgetauscht oder Gewissheiten abgerufen. „Der Peer-Review-Prozess sagt, ja, Sie haben Recht, aber dämpfen Sie Ihre Sprache ein wenig“, fügt Coates hinzu.

Die Erkenntnis, so Coates und seine Co-Autoren, besteht darin, nicht plötzlich auf die Zuverlässigkeit von Preprints zu vertrauen. Es ist auch bereit, Peer-Review-Arbeiten in Frage zu stellen. „Man sollte begutachteter Literatur genauso vertrauen wie einem Preprint“, sagt er. „Das, denke ich, ist nur gesunder Menschenverstand. Jedes Mal, wenn Sie einen Artikel lesen, sollten Sie Ihre eigene Peer-Review durchführen; Sie sollten andere fragen, was sie denken.

[Related: How to tell science from pseudoscience]

MedRxiv und BioRxiv filtern plagiierte, unwissenschaftliche und offensichtlich falsche Arbeiten heraus. Und Projekte wie der Preprint Review Club, eine Gruppe von Immunologen am Anfang ihrer Laufbahn an verschiedenen Universitäten, entstand, um standardisierte Übersichten für Arbeiten bereitzustellen, die noch nicht offiziell veröffentlicht wurden. Andere schäbige Forschung – wie ein Papier, in dem behauptet wird, SARS-CoV-2 sei irgendwie von HIV abgeleitet –wurde umgehend aus BioRxiv entfernt.

Peer Review war auch nicht immer ein perfekter Schutzschild. Ein jetzt entlarvter, aber viel zitierter Artikel über die Wirkung von Hydroxychloroquin als Behandlung für COVID wurde in der veröffentlicht Internationale Zeitschrift für mikrobielle Wirkstoffe. Der Zweck des Prozesses besteht darin, Plagiate oder fehlerhafte Logik herauszufiltern, nicht unbedingt, sich mit richtigen Antworten zufrieden zu geben.

Während der Pandemie haben sich wissenschaftliche Zeitschriften in gewisser Weise angepasst. Die Veröffentlichungszeiten für COVID-bezogene Forschung wurden verkürzt, und Coates sagt, dass Gutachter weniger wahrscheinlich zusätzliche Experimente und Ergebnisse anforderten, und räumte ein, dass es körperlich schwierig war, ein Labor während der Schließung zu betreten. Der prominente Zeitschriftenverlag Taylor & Francis hat ebenfalls begann mit dem Verkauf von „Accelerated Release“-Optionen potenzielle Autoren – verlangen 7.000 US-Dollar für die Veröffentlichung von Artikeln innerhalb von drei bis fünf Wochen nach Einreichung.

Letztendlich nehmen Preprint-Server die Entscheidungsbefugnis von wissenschaftlichen Zeitschriften und geben sie an Forscher weiter. „Es ändert sich einfach, wenn die Forschung geteilt wird“, sagt Coates. „Anstatt darauf zu warten, dass ein Redakteur und ein paar zufällige Peer-Reviewer sagen, dass es in Ordnung ist, es zu teilen, trifft der Wissenschaftler diese Entscheidung.“

Das ist besonders wertvoll für Nachwuchswissenschaftler wie ihn. „[Preprint servers] dieses Jahr zwischen dem Ende der Forschung und ihrer Veröffentlichung vorzubereiten, damit wir uns um Fördergelder bewerben können“, sagt Coates. Mehr noch, sie Studien einem breiteren Publikum zugänglich machen. „Es ist auch großartig für die breite Öffentlichkeit, denn wenn Sie an ein wenig Recherche interessiert sind, können Sie es tatsächlich lesen, anstatt bis zu 10.000 US-Dollar zu zahlen, nur um Zugang zu einer Zeitschrift zu erhalten“, erklärt er.

Dieses Paar PLOS-Biologie papers ist an sich schon eine Demonstration, wie Preprints das Wesen des wissenschaftlichen Dialogs verändern können. Die einzelnen Teams haben ihre Arbeit im vergangenen Frühjahr als Preprints auf BioRxiv veröffentlicht. Anstatt die Arbeit des anderen zu wiederholen, beschlossen sie, das größere Bild gleichzeitig zu veröffentlichen.

Ohne diese Zusammenarbeit, sagt Coates, wäre die Arbeit seiner Gruppe wahrscheinlich auch nicht offiziell von Experten begutachtet worden: Sie hatten kein Geld für die Veröffentlichungskosten, die Greenes Labor schließlich zu übernehmen bereit war.