Verdacht auf massenhafte Manipulation von Zitaten

Elsevier lässt Hunderte von Peer Reviewern untersuchen

Der niederländische Verlag Elsevier untersucht laut einem Artikel in der Zeitschrift Nature von Dalmeet Singh Chawla, (Nature 573, 174, 2019) Hunderte von Forschern, die er im Verdacht hat, Peer-Review-Prozesse zu manipulieren, um ihre eigenen Zitierzahlen zu erhöhen. Der Verlag prüft die Möglichkeit, dass einige Peer-Reviewer die Autoren der zu prüfenden Arbeiten ermutigen, die eigene Forschung der Reviewer im Austausch für positive Reviews zu zitieren – eine verpönte Praxis, die allgemein als Zwangszitat bezeichnet wird.

Die Untersuchung von Elsevier hat auch ergeben, dass mehrere dieser Gutachter andere fragwürdige Veröffentlichungspraktiken in Studien anwenden, die sie selbst verfasst haben. Die Elsevier-Analysten, welche die Aktivität aufgedeckt haben, sagten Nature, dass sie “klare Beweise für die Manipulation durch Peer-Review gefunden haben” und dass Wissenschaftler dieselben Studien mehr als einmal veröffentlichten. Elsevier sagte, ihre Untersuchungen würden dazu führen, dass einige dieser Studien zurückgezogen würden. Aber es hieß andererseits auch, es werde nicht notwendig sein, von Zwangszitaten betroffene Arbeiten zurückzuziehen, weil die Autoren nicht für das Problem verantwortlich seien und die Zitierungsmanipulation die Forschung nicht beeinträchtige.

Hunderte von extrem sich selbst zitierenden Wissenschaftlern in neuer Datenbank enthüllt
Einige hoch zitierte Akademiker scheinen schwere Selbstdarsteller zu sein – aber Forscher warnen davor, die Selbstzitation zu überwachen.
Die weltweit meistzitierten Forscher sind nach neu veröffentlichten Daten ein seltsam eklektischer Haufen. Nobelpreisträger und herausragende Universalgelehrte treffen auf weniger bekannte Namen wie den von Sundarapandian Vaidyanathan aus Chennai in Indien. Was bei Vaidyanathan und Hunderten anderer Forscher herausspringt, ist, dass viele der Zitate in ihrer Arbeit aus ihren eigenen Papieren oder aus denen ihrer Co-Autoren stammen. Vaidyanathan, Informatiker am Vel Tech R&D Institute of Technology, einem privat geführten Institut, ist ein Extrembeispiel: Bis 2017 hat er 94% seiner Zitate von sich selbst oder seinen Co-Autoren erhalten, wie eine Studie in PLoS Biology ergab. Er ist nicht allein. Der Datensatz, der rund 100.000 Forscher auflistet, zeigt, dass mindestens 250 Wissenschaftler mehr als 50% ihrer Zitate von sich selbst oder ihren Co-Autoren gesammelt haben, während die durchschnittliche Selbstzitationsquote 12,7% beträgt. Die Wissenschaft, die nie zitiert wurde.

Die Studie könnte dazu beitragen, potenzielle extreme Selbstdarsteller und möglicherweise “Zitierfarmen” zu identifizieren, in denen Cluster von Wissenschaftlern einander massiv zitieren, sagen die Forscher. “Ich denke, dass Selbstzitatfarmen weitaus häufiger sind, als wir glauben”, sagt John Ioannidis, ein Arzt an der Stanford University in Kalifornien, der sich auf Metawissenschaften spezialisiert hat – das Studium, wie Wissenschaft betrieben wird – und der die Arbeit geleitet hat. “Diejenigen mit mehr als 25% Selbstzitation sind nicht unbedingt unethisch, aber es kann eine genauere Überprüfung erforderlich sein”, sagt er. Die Daten sind mit Abstand die größte Sammlung von Selbstzitat-Metriken, die jemals veröffentlicht wurde. Und sie kommen zu einem Zeitpunkt, da sich Förderorganisationen, Zeitschriften und andere mehr auf die potenziellen Probleme konzentrieren, die durch übermäßige Selbstzitate verursacht werden. Im Juli hob das Committee on Publication Ethics (COPE), ein Verlagsbeirat in London, extreme Selbstzitate als eine der wichtigsten Formen der Zitiermanipulation hervor. Dieses Thema fügt sich in die breiteren Bedenken über eine übermäßige Abhängigkeit von Zitiermetriken für Entscheidungen über Einstellungen, Beförderungen und Forschungsförderung ein.

Datendetektive

Die verdächtige Aktivität wurde von den Elsevier-Analytik-Experten Jeroen Baas und Catriona Fennell aufgedeckt. Das in Amsterdam ansässige Paar untersuchte die Peer-Review-Aktivität von fast 55.000 Akademikern, die für Elsevier-Zeitschriften rezensieren, um herauszufinden, wie oft Arbeiten dieser Forscher in den von ihnen rezensierten Arbeiten zitiert werden. Die Studie, die noch nicht von Experten begutachtet wurde, wurde am 6. September im SSRN repository for Social-Science Rresearch veröffentlicht.

Die Analyse wurde durch einen Fall in der Elsevier-Zeitschrift Geoderma ausgelöst. 2017 trat Artemi Cerdà aus der Redaktion der Zeitschrift aus, nachdem ihm vorgeworfen wurde, seinen Einfluss zu nutzen, um die eigene Zitierquote und die der von ihm herausgegebenen Zeitschriften zu erhöhen. (Cerdà, Bodenwissenschaftler an der Universität Valencia in Spanien, hat Vorwürfe der Zitiermanipulation zurückgewiesen; der Verlag der Europäischen Geowissenschaftlichen Union, in dem Cerdà auch redaktionell tätig war, und Elsevier untersuchten die Vorwürfe und kamen zu dem Schluss, dass er Zitate manipuliert hatte). Elsevier hat inzwischen seine Editorenrichtlinien, Editorenverträge und Reviewerrichtlinien geändert, um vor der Praxis zu warnen.

Die Studie von Fennell und Baas ergab, dass in den meisten Fällen die eigenen Studien der Gutachter nicht in den Arbeiten zitiert werden, die sie bewertet haben. Etwa 98,5% der Gutachter in der Stichprobe der Studie werden in weniger als 10% der von ihnen geprüften Arbeiten zitiert. Aber eine kleine Minderheit der Gutachter – weniger als 1% der fast 55.000 untersuchten Personen – scheint in den von ihnen überprüften Studien konsequent auf ihre eigene Arbeit verwiesen zu haben.

Elsevier arbeitet mit der Universität Wageningen zusammen, um Manipulationen von Zitaten zu erkennen und zu verhindern.
0,8 Prozent der 69.000 Gutachter wurden mit verdächtigen Zitiermustern in Verbindung gebracht, so eine Studie, die Gutachter und ihre Zitate in Scopus analysiert.

Elsevier, ein globales Informationsanalyse-Unternehmen, das sich auf Wissenschaft und Gesundheit spezialisiert hat, und die Wageningen University & Research (WUR) gaben am 05.09.2019 eine Zusammenarbeit bekannt, bei der die analytischen Fähigkeiten von Elsevier genutzt werden, um die unethische Hinzufügung von Zitaten zu wissenschaftlichen Forschungsarbeiten zu erkennen. Diese erste groß angelegte Analyse der Manipulation von Zitaten in Zeitschriften wurde im Rahmen der 17. Internationalen Konferenz für Scientometrics & Informetrics (ISSI) in Rom, Italien, vorgestellt.

Gelegentlich kann das Hinzufügen von Zitaten zu wissenschaftlichen Artikeln während des Peer-Review-Prozesses dazu beitragen, die Qualität und Integrität der Forschung zu verbessern. So können beispielsweise Vorschläge von Redakteuren und Gutachtern für zusätzliche Zitate helfen, Plagiatsvorwürfe zu vermeiden oder ihrer Arbeit mehr Kontext zu verleihen. Manchmal fügen Redakteure, Gutachter oder Autoren jedoch auch irrelevante Zitate hinzu, mit dem Ziel, die Zitate bestimmter Forscher (“citation pushing”) oder bestimmter Zeitschriften (“citation stacking”) zu erhöhen. Die Vermeidung von Citation pushing ist ein anerkanntes Prinzip guter wissenschaftlicher Forschung und ist Teil von Leitlinien für die wissenschaftliche Integrität geworden, einschließlich des neuen niederländischen Verhaltenskodexes für Forschungsintegrität. (Quelle: elsevier.com/elsevier-works-with-wageningen-university-to-detect-and-prevent-citation-manipulation)

Da Gutachter und Autoren dazu neigen, im gleichen Bereich zu arbeiten, wird eine gewisse Überschneidung der Zitationen erwartet. Aber es kann verdächtig sein, die Arbeit eines Prüfers zu sehen, auf die in der von ihm bewerteten Arbeit immer wieder verwiesen wird, und auf Fälle von Zwangszitaten hinzuweisen. Die Praxis ist weithin bekannt, aber ihr Umfang ist unbekannt, auch weil die Daten, die der Peer Review zugrunde liegen, in der Regel vertraulich bleiben. Elsevier wendet sich nun an die Herausgeber von Zeitschriften, um zu fragen, ob die fraglichen Referenzen relevant sind. Fennell sagt, dass das Unternehmen seine Untersuchung der verdächtigsten Fälle abgeschlossen hat, aber immer noch weniger ernste Fälle verhört.

Begrenzte Möglichkeiten

“Etwas muss geschehen”, sagt Jonathan Wren, Bioinformatiker an der Oklahoma Medical Research Foundation in Oklahoma City, Mitherausgeber der Zeitschrift Bioinformatics. Anfang dieses Jahres verbot Bioinformatik einem Gutachter die Überprüfung der Zeitschrift, nachdem eine Untersuchung ergab, dass der Forscher, den Wren nicht nannte, durchschnittlich 35 zusätzliche Zitate pro Überprüfung angefordert hatte, von denen 90% für Papiere waren, die er mitverfasst hatte. Wren schreibt derzeit einen Algorithmus, der automatisch ungewöhnliche Muster in Papieren markiert – einschließlich übermäßiger Zitate an einen bestimmten Autor. “Wenn wir erst nach der Veröffentlichung anfangen, zu überwachen”, sagt er, “was machen wir dann mit den zusätzlichen Verweisen?”

Eine Idee, die Elsevier in Betracht zieht, ist die Rücknahme einzelner Referenzen in Studien, ein Schritt, der beispiellos wäre. Eine andere Möglichkeit, sagt Fennell, könnte darin bestehen, Korrekturen vorzunehmen. “Wir arbeiten immer noch daran, den besten Weg in die Zukunft zu finden”, sagt sie.

->Quellen: