von Jasmin Schmitz
Wissenschaftliches Arbeiten und KI-Tools wie ChatGPT, Perplexity, Claude oder die europäische Alternative Mistral – passt das zusammen? In der Praxis lautet die Antwort „Ja“, denn im Arbeitsalltag der Forschenden kommen die Tools inzwischen immer mehr zum Einsatz, etwa beim Verfassen von Fachartikeln. In der Regel geschieht das in redlicher Absicht. Die Grenzen der guten wissenschaftlichen Praxis können jedoch schnell erreicht werden, wenn zum Beispiel mit KI-Tools generierte Inhalte ungeprüft in eigene Arbeiten übernommen werden oder der Einsatz entsprechender Tools nicht deklariert wird, obwohl es eigentlich erforderlich ist. Die International Association of Scientific, Technical & Medical Publishers (STM) hat hierzu praktische Richtlinien formuliert, die sich idealerweise auch in „Author Guidelines“ der Zeitschriften niederschlagen sollten [1].
Generative KI erleichtert aber auch jenen Akteur:innen im wissenschaftlichen Publikationswesen die Arbeit, deren Praktiken unseriös oder unredlich sind. Hier eine Aufstellung der bislang bekannten Vorgehensweisen:
Einsatz von KI bei Predatory Journals
Predatory Journals setzen generative KI ein, um relativ kurze und inhaltsarme Artikel für eine Publikationshistorie zu kreieren. Sie nutzen dabei auch das Renommee von bekannten Forschenden oder Institutionen aus [2]. Um zu verhindern, dass sich Lesende an die Autor:innen wenden und der Betrug so schneller auffliegen würde, wird teilweise mit gefälschten Mailadressen gearbeitet [3]. Für die betroffenen Forschenden kann es einen Reputationsschaden bedeuten, wenn sie mit diesen Artikeln in Verbindung gebracht werden. Die mit unredlichen Mitteln „optimierte“ Publikationshistorie soll schließlich potenzielle Autor:innen anlocken, Publikationsgebühren zu bezahlen. Gleichzeitig ziehen diese Zeitschriften aber auch Autor:innen an, die mit KI-generierten Artikeln ihre Publikationsliste verlängern und einer Begutachtung entgehen wollen [3].
Darüberhinaus nutzen Predatory Journals wahrscheinlich generative KI für das Journal Hijacking und Nachbilden von Webauftritten redlicher Zeitschriften, da die Seiten teilweise doch recht formalistisch und klischeehaft wirken.
Massenhafte Generierung von Artikeln durch Paper Mills
Paper Mills nutzen generative KI unter anderem, um ganze Artikel zu erstellen und Daten zu erfinden oder zu manipulieren, d.h. den Artikeln liegt keine reale Forschung zugrunde [3]. Diese Artikel werden zum Kauf angeboten und sollen Personen ohne Forschungsaktivitäten dabei helfen, die für den nächsten Karriereschritt notwendigen Publikationen zu beschaffen. Zum Erstellen der Artikel werden unter anderem Daten aus frei zugänglichen Datenbanken verwendet [4]. Auffällig ist hierbei, dass die Artikel mitunter sehr redundant sind. Vermutlich werden bestehende Artikel mit Hilfe von generativer KI umgeschrieben und lediglich auf einen neuen Sachverhalt angepasst [5]. Kent Anderson führt in seinem Blog aus, wie mit Hilfe von generativen KI-Tools binnen 20 Minuten ein wissenschaftlich anmutender Artikel einschließlich Referenzen erstellt werden kann [6]. Generative KI stellt für Paper Mills somit eine günstige Möglichkeit dar, massenhaft Artikel in kurzer Zeit zu fabrizieren [3, 7]. Eine weitere Variante ist die Übersetzung von bereits publizierten Artikeln. Diese Praktik wurde entdeckt, da diese Artikel sogenannte „tortured phrases“ enthalten. Hierbei handelt es sich um sprachliche Ausdrücke, bei denen Fachtermini nicht korrekt übersetzt wurden – aus „big data“ wird dann „colossal information“ [8], um nur ein Beispiel zu nennen.
Noch lassen sich mit Software KI-generierte Inhalte herausfiltern. Es steht allerdings zu befürchten, dass die Tools immer ausgefeilter werden und dadurch eine Entdeckung erschwert wird [3, 9]. Plagiatssoftware, die teilweise bei Zeitschriften zum Einsatz kommt, erkennt entsprechende Inhalte allerdings schon jetzt nicht immer zuverlässig [10]. Im schlimmsten Fall passieren entsprechende KI-generierte Artikel das Begutachtungsverfahren, werden in renommierten Zeitschriften publiziert und anschließend in Suchmaschinen oder Datenbanken indexiert. Zuende gedacht kann das auch bedeuten, dass Large Language Models wiederum mit KI-generierten Artikeln trainiert werden. Das hat schließlich zur Folge, dass die Tools keinen sinnvollen Content mehr generieren können [3].
Einsatz von KI zur Manipulation des Begutachtungsprozesses
Review Mills unterwandern den Begutachtungsprozess und sorgen für positive Gutachten. Hierbei werden generative KI-Tools eingesetzt, um entsprechende Gutachten ebenfalls in Massen zu produzieren [11]. Retraction Watch Database (https://retractiondatabase.org/) weist mittlerweile eine Reihe von Publikationen nach, die aufgrund von Peer-Review-Manipulationen zurückgezogen werden mussten [12].
Siehe hierzu auch einen früheren Blogpost (https://blog.zbmed.de/review-mills-und-andere-formen-der-beeinflussung-von-publikations-und-begutachtungsverfahren).
Generieren von thematisch passenden Referenzen
Darüberhinaus wird generative KI auch bewusst eingesetzt, um Referenzen zu generieren, die die Aussagen im Artikel unterstützen sollen oder die eigenen (fabrizierten) Werke zitieren, um den Impact zu erhöhen [12]. Das Problem: Google Scholar oder anderen Suchmaschinen weisen diese Referenzen ungeprüft nach. In Zitationsdatenbanken, in denen man auch in den Referenzen suchen kann, werden diese ebenfalls aufgenommen, wenn der zitierende Artikel indexiert ist [12]. In der Folge sind Recherchierende dann bei der Suche nach dem Volltext erfolglos und benötigen Hilfe: Bibliotheken und Dokumentlieferdienste erhalten zunehmend Anfragen, diese nichtexistenten Artikel zu beschaffen, was dort natürlich Ressourcen bindet [12].
Was sind die Folgen?
Redliche Zeitschriften und Verlage müssen ihrer originären Aufgabe – der Qualitätssicherung – unter erschwerten Bedingungen nachkommen. Sie müssen um ihren Ruf bangen bzw. erhebliche Anstrengungen aufwenden, um Unterwanderungen zu verhindern oder nachträglich über Retractions zu korrigieren. Große Verlage haben entsprechende Ressourcen, um den Problemen mit technischen Mitteln zu begegnen (als Beispiel siehe Wiley [13] oder Springer [14]). Allerdings zeigt sich, dass die hierzu entwickelten Tools bei den Verlagen in punkto Zuverlässigkeit ebenfalls noch ausbaufähig sind [15]. Für kleinere Verlage oder einzelne Zeitschriften ohne entsprechende Ressourcen stellt die Bereinigung der Publikationsliste und das Wappnen vor Unterwanderung eine deutlich größere Herausforderung dar [siehe hierzu z.B. 16].
Aktuell wird zudem davon berichtet, dass auch Preprint-Server mit KI-generierten Einreichungen überschwemmt werden, diese also möglichst vor einer Freischaltung herausgefiltert werden müssen [17].
Das COPE Council (Committee on Publication Ethics) erachtet in seiner Aktualisierung der „Retraction Guidelines“ auch sogenannte „Batch Retractions“ für angemessen. Bei der systematischen Unterwanderung und Manipulation des Publikationsprozesses können so größere Mengen von Artikeln auf einmal zurückgezogen werden [18].
Für Forschende bedeutet diese unredliche Form des KI-Einsatzes, dass der State-of-the-Art überschwemmt wird mit wissenschaftlichen Ergebnissen, die keine sind. Das Synthetisieren von Evidenz wird durch das Rauschen massiv erschwert [19]. Die Anzahl von Artikeln, die für Reviews etc. verarbeitet werden müssen, erhöht sich dramatisch, solange betroffene Artikel nicht zurückgezogen und auch entsprechend gekennzeichnet wurden. In letzter Konsequenz besteht auch die Gefahr, dass Praktiker:innen und Öffentlichkeit Fehlinformationen aufsitzen, die schlimmstenfalls auch zu Anwendung kommen [20].
Für Forschende als Autor:innen bedeutet dies, dass sie sowohl beim Publizieren als auch beim Rezipieren noch aufmerksamer sein müssen, um selbst nicht von unseriösen Angeboten getäuscht zu werden.
Quellen:
[1] https://stm-assoc.org/document/stm-generative-ai-paper-2023/
[3] https://doi.org/10.1186/s41073-025-00165-z
[4] https://doi.org/10.1038/d41586-025-02241-2
[5] https://doi.org/10.1038/d41586-025-03046-z
[6] https://www.the-geyser.com/a-fake-paper-in-20-minutes/
[7] https://doi.org/10.1007/s00210-025-04275-9
[8] https://doi.org/10.1038/d41586-021-02134-0
[9] https://doi.org/10.1038/d41586-021-00733-5
[10] https://doi.org/10.1097/MS9.0000000000003498
[11] https://www.timeshighereducation.com/opinion/ai-based-fake-papers-are-new-threat-academic-publishing
[12] https://doi.org/10.1016/j.acalib.2025.103065
[13] https://www.boersenblatt.net/home/wiley-kuendigt-pilotprojekt-fuer-ki-gestuetzten-dienst-323495
[15] https://doi.org/10.3389/frai.2025.1644098
[16] https://doi.org/10.48550/arXiv.2503.21267
[17] https://doi.org/10.1038/d41586-025-02469-y
[18] https://publicationethics.org/guidance/guideline/retraction-guidelines
[19] https://doi.org/10.1016/j.jclinepi.2020.01.013
[20] https://www.laborjournal.de/rubric/narr/narr/n_22_03.php
