Zusammenfassung der Gruppendiskussion zu den Kriterien zur Erkennung von „Predatory Journals“

von Jasmin Schmitz, Claudia Adolph, Ursula Arning, Eva Maria Hackenberg, Elisabeth Müller

Am 3. Dezember 2018 fand bei ZB MED – Informationszentrum Lebenswissenschaften am Standort Köln ein Vernetzungsworkshop zum Predatory Publishing statt. Der eintägige Erfahrungsaustausch richtete sich an alle Kolleginnen und Kollegen an wissenschaftlichen Bibliotheken aus den Bereichen Open Access und/oder Erwerbung. Während Predatory Publishing zunächst ein Thema war, mit dem sich – abgesehen von den betroffenen Autorinnen und Autoren – mit Open Access befasste Mitarbeiterinnen und Mitarbeiter beschäftigten, zeigte sich schnell, dass das Phänomen auch Relevanz für andere Bereiche in einer Bibliothek hat. Längst gilt es, nicht mehr nur Wissenschaftlerinnen und Wissenschaftler vor einer Publikation in diesen Zeitschriften zu warnen, sondern es geht auch um die Frage, wie man mit verdächtigen Zeitschriften im Hinblick auf Katalogaufnahmen oder Aufnahmen in anderen Nachweissystemen umgeht. Können Nutzende davor bewahrt werden, zweifelhaften Content zu nutzen, indem entsprechende Zeitschriften gar nicht erst aufgenommen werden? Wie kann ein Kriterienkatalog zur Überprüfung von Zeitschriften aussehen? Welche Hilfsmittel können genutzt werden?

Neben Überblicks- und Detailvorträgen sowie Praxisberichten war ein Hauptbestandteil des Workshops die Gruppendiskussion am frühen Nachmittag. In fünf Arbeitsgruppen á 7-8 Teilnehmenden wurden zunächst folgende Leitfragen diskutiert:

• Welche Kriterien zur Identifikation von Predatory Journals können im Rahmen der Erwerbung/Katalogisierung herangezogen werden? (Achtung: Verfahrensfragen/Grundsatzfragen/Workflow sollen hier ausgeklammert werden)
• Welche Kriterien zur Identifikation von Predatory Journals können im Rahmen der Beratung von WissenschaftlerInnen herangezogen werden?
• Welche Kriterien gelten für beide Kontexte?
• Gibt es harte und weiche Kriterien? Markierung mit h=hart und w=weich

Anschließend wurden die verschiedenen Kriterien an eine Pinnwand geheftet und diskutiert. Hierbei wurde zunächst unterstellt, dass sich eine Kriterienliste im Rahmen der Erwerbung/Katalogisierung unterscheidet von einer Kriterienliste, die in der Open-Access-Publikationsberatung mit Wissenschaftlerinnen und Wissenschaftlern als Adressaten zum Einsatz kommt. Eine Vermutung, die sich so nicht bestätigt hat! Die Detailergebnisse der Gruppendiskussionen zeigen: Ein Großteil der diskutierten Kriterien ist für beide Arbeitsbereiche relevant.

Die Auflistung zeigt ein methodisches Problem von Kriterienlisten bei der Beurteilung von Zeitschriften: Nicht immer kann jedes Kriterium angewendet werden und teilweise hängt es von den Fachdisziplinen ab, ob ein Kriterium gültig ist oder welche Wertigkeit es hat. In den Erläuterungen (s. unten) wird verdeutlicht, wie das Kriterium zur Identifikation von Predatory Journals und/oder zur Unterstreichung der Seriosität herangezogen werden kann.

Die Unterscheidung in harte und weiche Kriterien hat zum Ziel, jedes Kriterium noch einmal zu kategorisieren. Einige Kriterien zeigen relativ eindeutig an, ob eine Zeitschrift räuberisch oder seriös ist; diese wurden als harte Kriterien markiert. In Kombination mit wenigen weiteren Kriterien kann so schnell festgestellt werden, wie es um die Seriosität einer Zeitschrift bestellt ist. Bei weichen Kriterien handelt es sich um solche, die lediglich in gehäufter Anzahl auf (fehlende) Seriosität hindeuten. Grundsätzlich kann selten ein Kriterium alleine den Ausschlag geben, was wiederum den Sinn eines Kriterienkatalogs begründet. Mit einer entsprechenden Markierung wurde zudem versucht, dem Umstand Rechnung zu tragen, dass noch junge Open-Access-Zeitschriften entweder in einschlägigen Nachweissystemen noch nicht erfasst sind oder in punkto Professionalität der gängigen Praxis noch nicht entsprechen. Hier müssen gegebenenfalls viele (weiche) Kriterien herangezogen werden, um zu einer zuverlässigen Einschätzung zu kommen.

Kriterien für die Erwerbung/Katalogisierung

• Fachgesellschaft: Ein Predatory Journal kann ausgeschlossen werden, wenn hinter der jeweiligen Zeitschrift eine Fachgesellschaft steht, die sich gut identifizieren lässt, einen eigenen Webauftritt hat und im Idealfall dort auch auf die Zeitschrift verlinkt. Steht eine renommierte Fachgesellschaft hinter der Zeitschrift, kann dies als hartes Kriterium für die Seriosität einer Zeitschrift gewertet werden. Steht keine Fachgesellschaft hinter einem Journal, handelt es sich um ein weiches Kriterium, weil nicht alle Zeitschriften gemeinsam mit einer Fachgesellschaft publiziert werden; eine Diskussionsgruppe kam zu dem Ergebnis, dass dieses Kriterium auch in der Open-Access-Beratung und bei der Beurteilung der Fördereignung von Artikeln bei Publikationsfonds angewendet werden kann.
• Parallele Printausgabe: Wird eine parallele Printausgabe angeboten, so kann dies als hartes Kriterium für die Seriosität einer Zeitschrift gewertet werden, denn es kann davon ausgegangen werden, dass Predatory Journals den zusätzlichen Aufwand und die damit verbundenen Kosten scheuen.

Kriterien für die Open-Access-Beratung

• Seriosität Herausgebergremium: Predatory Journals operieren häufig mit erfundenen Herausgebergremien, das heißt die benannten Personen wissen häufig nichts von ihrer Herausgebertätigkeit. Im Idealfall lässt sich auf den Profilseiten einzelner Herausgeberinnen oder Herausgeber ein Verweis auf die Zeitschrift finden oder die Angabe lässt sich mittels persönlicher Kontaktaufnahme validieren. Ist es offensichtlich, dass das Herausgebergremium erfunden ist, sollte dies als hartes Kriterium für fehlende Seriosität der Zeitschrift gewertet werden. Bei der Prüfung können unter anderem auch die Nationalitäten der Herausgebenden in den Blick genommen werden. Eine Konzentration auf ein Land findet sich in der Regel nur bei ausschließlich regional bedeutsamen Zeitschriften.
• APC Transparenz: Publikationsgebühren (engl. article processing charges – APCs) werden bei seriösen Zeitschriften transparent dargestellt, das heißt die Höhe der gesamten APCs und gegebenenfalls die Auflistung einzelner Posten wird benannt. Hier liegt ein weiches Kriterium vor, da erst mit Erhalt der Rechnung geklärt werden kann, inwieweit sich an die Angaben gehalten wurde.
• Kontaktdaten, Erfahrungen beim Einreichungs-Prozess: Gut auffindbare und validierbare Kontaktdaten unterstreichen die Seriosität einer Zeitschrift; positive oder negative Erfahrungen beim Einreichungsprozess können zur Bewertung herangezogen werden. Beim zweiten Punkt ergibt sich die Schwierigkeit, von entsprechenden Erfahrungswerten Kenntnis zu erlangen; eine Möglichkeit wäre die Konsultation der Datenbank Quality Open Access Market (2), die Erfahrungen mit einer Zeitschrift im Publikationsprozess sammelt. Allerdings liegen noch längst nicht für alle dort gelisteten Zeitschriften entsprechende Informationen vor. Wegen des Interpretationsspielraums handelt es sich eher um ein weiches Kriterium.
• E-Mails an WissenschaftlerInnen – seriös/unseriös: Predatory Journals zeichnen sich dadurch aus, dass sie SPAM-Mails verschicken, um Autorinnen / Autoren und Herausgeberinnen / Herausgeber zu gewinnen. Oftmals lässt sich am Ton der E-Mail bereits erkennen, ob es sich um eine seriöse Zeitschrift handelt. Allerdings ist dies als eher weiches Kriterium zu sehen, da auch seriöse Zeitschriften E-Mails verschicken, um Autorinnen / Autoren beispielsweise für Special Issues zu gewinnen. Deshalb bleibt auch hier ein Interpretationsspielraum.
• SHERPA/RoMEO: Auf der Plattform (3) lassen sich die Bedingungen für eine Zweitveröffentlichung von Verlagen und Zeitschriften nachschlagen. Ist eine Zeitschrift dort vertreten, deutet das auf seriöse Geschäftspraktiken hin; in Kombination mit der Vergabe von Creative-Commons-Lizenzen ein weiterer Indikator für Seriosität.
• Policy: In der Regel geben sich seriöse Zeitschriften eine umfangreiche Policy, die unter anderem Auskunft über das Geschäftsgebaren und Umgang mit wissenschaftlichem Fehlverhalten gibt. Das Vorhandensein an sich kann als Kriterium für die Seriosität gewertet werden; allerdings ist der Inhalt ausschlaggebend bzw. interpretationswürdig, so dass die Diskutanten es in der Hinsicht als weiches positives Kriterium angesehen haben, wenn die branchenüblichen Punkte benannt werden.
• DOI: Persistente Identifikatoren wie der Digital Object Identifier (DOI) werden von Zeitschriften vergeben, um die dauerhafte Verfügbarkeit von Artikeln zu gewährleisten. In den STM-Fächern kann die Vergabe von DOIs als hartes positives Kriterium angesehen werden, weil davon ausgegangen werden kann, dass Predatory Journals sich unter Umständen nicht die Mühe machen, eine DOI-Vergabe einzurichten. Für Zeitschriften aus den Geistes- und Sozialwissenschaften ist es eher ein weiches Kriterium, da hier die Praxis der DOI-Vergabe grundsätzlich noch nicht sehr verbreitet ist. Wird mit erfundenen Persistenten Indikatoren gearbeitet (z.B. DAI), ist dies ein hartes Kriterium, welches auf ein Predatory Journal verweist.

Kriterien für beide Arbeitsbereiche

• STM (Liste)(4), COPE (Liste)(5): Ist der Verlag in Brancheninitiativen organisiert, die um Best Practices bemüht sind (und auf deren Websites benannt), so kann davon ausgegangen werden, dass die Absichten seriös sind. Hierbei handelt es sich um ein hartes Kriterium.
• Verlag, renommierter Verlag; eventuell fachgebietsabhängig: Bei Verlagen, die bereits lange am Markt etabliert sind und die sich bereits im Open-Access-Bereich einen Namen gemacht haben, kann davon ausgegangen werden, dass die Zeitschriften seriös sind. Hierbei handelt es sich um ein hartes Kriterium.
• DOAJ: Sind Zeitschriften im Directory of Open Access Journals (6) gelistet, so kann davon ausgegangen werden, dass es sich um seriöse Zeitschriften handelt. Die Zeitschriften müssen von den Betreibern dort angemeldet werden und werden anschließend von einem Gremium aus Expertinnen / Experten geprüft. Hierbei handelt es sich um ein hartes Kriterium, insbesondere wenn Zeitschriften das DOAJ-Siegel für Best Practice erhalten haben. Hilfreich kann auch die Konsultation der vom DOAJ zur Verfügung gestellten Tabelle mit Zeitschriften sein, die im Rahmen der Neubewertung aus der Datenbank entfernt wurden (7). Eine Diskussionsgruppe bewertete den fehlenden DOAJ-Eintrag zudem als hartes Kriterium insbesondere in Kombination mit fehlenden persistenten Identifikatoren, um eine Publikation in der Zeitschrift nicht über Publikationsfonds zu fördern. Zu beachten ist allerdings, dass neue Zeitschriften unter Umständen den DOAJ-Prüfprozess noch nicht durchlaufen haben.
• Journal-Webseite: Abgesehen von einem Erstkontakt per E-Mail dürfte die Website die erste Anlaufstelle sein. Der berühmte „erste Eindruck“ kommt hier bei der Bewertung zum Tragen: Wirken Seite und Angaben seriös oder nicht?
• Indexierung wo? Positive DBs: Dieses Kriterium zielt darauf ab, dass Predatory Journals häufig Falschangaben hinsichtlich der Indexierung in fachspezifischen (wie z.B. PubMed Central oder Medline) oder fachübergreifenden Datenbanken (Web of Science, Scopus) machen. Entweder werden hier Plattformen angegeben, bei denen es sich nicht um Instrumente für die wissenschaftliche Literaturrecherche handelt, weil keine gezielte und begründete Auswahl von Zeitschriften stattfindet (z.B. Google Scholar) oder Namen von Datenbanken werden erfunden. In Einzelfällen wird auch einfach behauptet, die Zeitschrift wäre entsprechend verzeichnet, obwohl das nicht der Fall ist. Dabei wird häufig auch auf die Möglichkeit der Verwechslung gesetzt, indem der Zeitschriftentitel eines Predatory Journals so gewählt wird, dass er sich nur marginal von einer bestehenden seriösen Zeitschrift unterscheidet. Können die Angaben zur Indexierung verifiziert werden und handelt es sich tatsächlich um eine existierende Literaturdatenbank, dann handelt es sich um ein hartes Kriterium, welches auf die Seriosität einer Zeitschrift deutet. Gefälschte Angaben bei der Indexierung wiederum deuten auf ein hartes Kriterium für Predatory Journals.
• Impact Factor (echt!!): Predatory Journals werben zudem häufig mit einem erfundenen Journal Impact Factor, das heißt die Indikatorenbezeichnungen sind entweder erfunden und ähneln in der Bezeichnung den vom Clarivate Analytics herausgegebenen „Journal Impact Factor“ in den einmal jährlich erscheinenden „Journal Citation Reports“ oder es wird eine Listung in den Journal Citations Reports in unzutreffender Weise behauptet. Lässt sich der angegebene Journal Impact Factor über die Journal Citation Reports verifizieren, dann handelt es sich um ein hartes Kriterium im Hinblick auf die Bestätigung der Seriosität. Allerdings ist die JCR-Datenbank lizenzpflichtig.
  Ein gefälschter Journal Impact Factor wiederum ist ein hartes Kriterium, welches auf Predatory Journals deutet. Daneben spielen auch weitere Indikatoren wie SNIP (Source Normalized Impact per Paper) und SJR (Scimago Journal Rank) eine Rolle bei der Bewertung. Können diese verifiziert werden, so gelten diese als weiche Kriterien für die Seriosität einer Zeitschrift. Eine Diskussionsgruppe war der Auffassung, dass dieses Kriterium auch bei der Erwerbung/Katalogisierung herangezogen werden kann.
• Dauer des Review-Verfahrens: Predatory Journals sind bekannt dafür, dass sie mit einer kurzen Frist von der Einreichung bis zur Veröffentlichung werben. Diese kurzen Fristen wiederum deuten darauf hin, dass kein gründliches Peer Review durchgeführt wird. Somit kann die Angabe einer Frist von wenigen Tagen ein hartes Kriterium für fehlende Seriosität sein. Ist die Frist angemessen, so kann dieses als weiches Signal für eine seriöse Zeitschrift gewertet werden. Weich ist das Kriterium deshalb, weil nicht genau bestimmt werden kann, was als angemessen gilt und es auch fachspezifische Varianten gibt; zudem besteht häufig kein Zugang zu den Erfahrungen von Autorinnen / Autoren.
• INASP und AJOL – für „exotische Titel“: Hierbei handelt es sich um Nachweissysteme für Zeitschriften aus nicht-westlichen Ländern, deren Bedarf an adäquaten und regionalen Publikationskanälen in den letzten Jahren stark zugenommen hat. Sind Zeitschriften in diesen Nachweisinstrumenten (8) (9) gelistet, handelt es sich um ein hartes Kriterium, welches auf Seriosität deutet.
• Blacklists: Die „schwarzen Schafe“ werden in Blacklists zusammengefasst. Die bekannteste Blacklist im Hinblick auf Predatory Publishing ist Beall’s List, die mittlerweile offline ist, aber in einem Webarchiv (10) weiterhin einsehbar ist bzw. unter einem neuen Webauftritt anonym weitergeführt wird (11). Mittlerweile gibt es auch ein kommerzielles Angebot (12). Blacklists sind hochumstritten. Ein wesentlicher Kritikpunkt ist, dass die Kriterien, die zu einer Listung geführt haben, nicht immer klar benannt werden, zum anderen können auch seriöse Zeitschriften, deren Geschäftsgebaren aber weniger professionell ist, dort gelistet sein. Das Attribut „predatory“ haftet diesen Zeitschriften dann möglicherweise noch sehr lange an, selbst wenn die Geschäftsprozesse längst verbessert wurden. Blacklists bleiben aber dennoch ein weiches Kriterium und ein erstes „Alarmsignal“, sich genauer mit der Zeitschrift auseinanderzusetzen.
• Indexierung wo? Nur „dubiose“ DB’s negativ: Dieses Kriterium hat einen direkten Bezug zu „Indexierung wo? Positive DBs“. Wird die Zeitschrift lediglich auf Plattformen indexiert, die im bibliothekarischen Sinne nicht als Literaturdatenbanken gelten, so deutet das auf eine fehlende Seriosität hin. Das Kriterium gilt als weich, weil vereinzelt auch seriöse, aber unerfahrene/weniger professionelle Zeitschriften mit solchen Plattformen werben, um bei diesem Punkt etwas vorweisen zu können.
• Look & feel Webseite: siehe Punkt „Journal-Webseite“. Hierbei handelt es sich um ein weiches Kriterium, weil die Einschätzung eher subjektiven Charakter hat. Unscharfe Graphiken oder fehlende Standardangaben können erste Anhaltspunkte sein.
• ISSN: Das Vorhandensein einer verifizierbaren ISSN ist im Bereich der Katalogisierung ein hartes Kriterium, um die Seriosität festzustellen. Führt das Abprüfen der ISSN zu keinem Ergebnis und gar zu einem anderen Zeitschriftentitel, dann ist das ein hartes Kriterium für fehlende Seriosität.
• Multidisziplinarität der Herausgebenden: Fällt im Rahmen des Prüfprozesses auf, dass Herausgeberinnen / Herausgeber für mehrere Zeitschriften tätig sind, deren inhaltlicher Zuschnitt ein breites fachliches Spektrum abbildet, dann ist dies ein weiches Kriterium, was auf eine fehlende Seriosität der Zeitschriften deutet. Es ist zu vermuten, dass die Herausgebenden gar nicht als solche fungieren und von den Zeitschriftenbetreibern ohne Rücksprache „eingesetzt“ wurden. Weich ist das Kriterium deshalb, da es viel Prüfaufwand bedeutet. Multidisziplinarität des Verlages wiederum ist als Kriterium irrelevant und gängige Branchenpraxis.
• Google Maps: Lässt sich die Adresse des Zeitschriftenbetreibers und/oder des Verlags mittels Google Maps verifizieren bzw. erscheint der Standort sinnvoll, so kann dies als weiches Kriterium für die Seriosität einer Zeitschrift gewertet werden. Weich ist das Kriterium deshalb, weil die Bewertung eher subjektiven Charakter hat. Allerdings handelt es sich um ein hartes Kriterium und die Zeitschrift kann als räuberisch eingestuft werden, wenn sich der Standort beispielsweise in der Wüste befindet oder die angegebene Hausnummer nicht existiert.
• Alternative Metriken: Die Einbindung von Altmetrics-Anwendungen seitens der Zeitschriftenbetreiber kann insofern ebenfalls zur Bewertung herangezogen werden, als sich die Frage stellt, inwieweit Predatory Journals diesen Aufwand betreiben würden.
• Hijacked Journals: Zu den Geschäftspraktiken von Predatory Journals gehört es auch, Titel und Webauftritte bekannter Zeitschriften nachzuahmen, um dann auf Verwechslung zu setzen. Teil einer Prüfung sollte somit auch sein, inwieweit gleichlautende oder sehr ähnliche Titel auf dem Markt sind.

Prüfverfahren

• Prüfungen dokumentieren / Prüfungen wiederholen: Zum einem können durch die Dokumentation der jeweiligen Prüfung Fälle nachvollzogen werden, insbesondere wenn es mehrere Anfragen zur gleichen Zeitschrift gibt. Gleichzeitig können solche „Prüfberichte“ auch im Rahmen der Beratung weitergegeben werden. In strittigen Fällen, bei denen keine eindeutige Entscheidung hinsichtlich der Seriosität getroffen werden kann, muss der Titel nach einiger Zeit erneut geprüft werden; noch junge oder noch weniger professionell wirkende Zeitschriften haben dann kritische Punkte vielleicht geändert oder Zeitschriften sind mittlerweile in Nachweissysteme wie DOAJ aufgenommen worden.
• Quellen auflisten (wo kann was nachgeprüft werden): Gerade im Hinblick auf die Kommunikation mit Wissenschaftlerinnen / Wissenschaftlern im Rahmen der Open-Access-Beratung können diese Hinweise der Entscheidungsfindung dienlich sein. Zudem werden Prüfberichte damit transparenter und Wissenschaftlerinnen / Wissenschaftler entwickeln ein Bewusstsein und Verständnis dafür, auf welche Punkte es zu achten gilt.

Zudem waren sich die Diskussionsgruppen weitestgehend einig, dass die auf der Website Think – Check – Submit aufgeführte Checkliste (13) Wissenschaftlerinnen / Wissenschaftlern im Rahmen der Beratung als Informationsbasis an die Hand gegeben werden kann.

Einig war man sich am Schluss, dass trotz aller Kriterien Zeitschriften in Grauzonen verbleiben. Eine Beurteilung, ob es sich um eine junge Zeitschrift oder um ein Predatory Journal handelt, ist abschließend nicht immer möglich. Ein Weg damit umzugehen ist, die Prüfung zu dokumentieren und das Ergebnis den Wissenschaftlerinnen und Wissenschaftlern mit den positiven und negativen Kriterien an die Hand zu geben. Diese haben letztlich die Entscheidungshoheit darüber, in welchem Organ sie publizieren möchten.

Wir danken allen Teilnehmenden des Workshops für die rege Beteiligung und engagierten Diskussionen, die die Veranstaltung zu einem fruchtbaren Erfahrungsaustausch gemacht haben!

(1) Informationen zum Workshop-Programm
(2) Quality Open Access Market 
(3) SHERPA/RoMEO
(4) STM (Liste)
(5) COPE (Liste)
(6) Directory of Open Access Journals
(7) DOAJ: Tabelle mit Zeitschriften, die im Rahmen der Neubewertung aus der Datenbank entfernt wurden
(8) INASP
(9) AJOL
(10) Beall´s List Webarchiv
(11) Beall´s List anonyme Weiterführung
(12) CABELLS – The journal blacklist
(13) Think – Check – Submit