Von Robin Rothe und Jasmin Schmitz

Die „klassische“ Impact-Messung basierend auf der Zählung von Zitationen wird zunehmend als unzureichend erachtet. Hauptkritikpunkte sind hierbei, dass die von kommerziellen Anbietern generierten Zitationszahlen nicht offen einsehbar und daher wenig transparent sind. Zudem stehen diese nicht für alle Produkte wissenschaftlichen Forschungsoutputs wie Forschungsdaten oder Software zur Verfügung. Außerdem stellt das Zählen von Zitationen nur eine Möglichkeit dar, Impact zu messen (1). Zentrale Forderungen von Initiativen wie San Francisco Declaration on Research Assessment (DORA) (2) und Altmetrics Manifesto (3) sind daher, die Impact-Messung auf eine breitere Basis zu stellen und auch auf andere Formen der Nutzung auszuweiten. Diese Ausweitung wird unter dem Schlagwort „Altmetriken“ (engl. Altmetrics) diskutiert, einer Zusammensetzung aus „alternativ“ und „Metriken“. Dabei verstehen sich Altmetriken aber eher als Ergänzung zur klassischen Impact-Messung, weniger als Ersatz. Häufig werden diese auch als „article level metrics“ bezeichnet, weil entsprechende Zahlen auf der Ebene der Publikationen (z.B. Zeitschriftenartikel, Forschungsdatenveröffentlichung, Softwarepublikation, Blogbeitrag, Veröffentlichung von Präsentationsfolien) selbst erhoben werden.

Neben der Ermittlung, wie häufig Veröffentlichungen zitiert werden, wird auch gemessen, wie häufig diese beispielsweise abgerufen, gespeichert, geteilt, kommentiert oder empfohlen wurden. Insbesondere die Erwähnung in Sozialen Medien spielt dabei eine große Rolle, die mittlerweile Einzug in sämtliche Lebensbereiche gehalten haben und daher auch bei der Impact-Messung berücksichtigt werden sollen. Viele der Plattformen bieten mittlerweile die Möglichkeit, über eine API altmetrische Kennzahlen für Publikationen abzurufen. Häufig wird hierbei mit einem persistenten Identifikator wie dem DOI gearbeitet. Zudem gibt es eine Reihe von Datenaggregationen, die entsprechende Anbieter abfragen und die Kennzahlen gebündelt präsentieren. Die bekannteste Darstellungsform ist hierbei der „Donut“ von altmetric.com (4).

Möchte man selbst altmetrische Kennzahlen für Publikationen erheben (z.B. für sich selbst oder für Publikationen im Repositorium oder Publikationsdienst), stellt sich die Frage nach einem geeigneten Anbieter. Hierbei ist nicht unerheblich, wie viele und welche Datenquellen ausgewertet werden.

Die nachfolgende Tabelle informiert über verschiedene Datenaggregatoren und die Datenquellen, die sie auswerten. Das Schema beruht auf einer Zusammenstellung in Jobmann et al. 2014 (5); dort findet sich auch eine kurze Beschreibung zu PlumX, ImpactStory, Altmetric Explorer von altmetric.com und Webmetric Analyst. Neben diesen kommerziellen Anbietern gibt es seit 2009 Lagotto (6). Dabei handelt es sich um eine freie Software, die flexibel konfigurierbar ist und von PLOS entwickelt und via GitHub bereitgestellt wurde. Es wird u.a. von PLOS ONE, Copernicus Publications und CrossRef verwendet (7).

Es ist zu erkennen, dass insbesondere PlumX, aber auch die anderen Aggregatoren von Altmetriken bemüht sind, eine möglichst große Vielfalt an Datenanbietern zu identifizieren und in ihr Produkt zu implementieren. Erkennbar ist auch, dass neben den klassischen Zitationen auch „comments“, „likes“, „mentions“, „views“, „follower“s, „readers“, etc. ausgewertet werden.

Was sich aus der Tabelle nicht ablesen lässt, ist, was sich hinter den einzelnen Datenquellen und deren Kennzahlen verbirgt. Auch kann die Fülle aus 35 Datenquellen und 58 dazugehörigen Auswertungsmerkmalen bei der erstmaligen Betrachtung in dieser reinen Auflistung für Überforderung sorgen. Um diesem vorzubeugen, erscheint es sinnvoll, die einzelnen Datenquelle näher zu betrachten und genauer zu überprüfen, was diese im Kontext von Impact-Messung zu bieten haben. Dieses wird in der nachfolgenden Tabelle versucht zu erläutern:

Die Diversität macht deutlich, wie vielfältig Impact-Messung sein kann. Neben Microblogging-Dienste wie Twitter, Soziale Medien wie Facebook und Bookmarking-Dienste wie Mendeley werden auch Erwähnungen auf Blogs, in Wikipedia, in Patentdokumenten oder in „policy documents“ in Betracht gezogen. Zudem werden Schnittstellen von „Sharing“-Plattformen wie Repository-Anbietern, Figshare, Github und Video-Plattformen „angezapft“ und Bewertungsseiten wie Reddit ausgewertet (8).

Vor der Auswahl einer Datenquelle bzw. eines Aggregators empfiehlt es sich, die eigene Zielsetzung zu definieren (Welche Zahlen möchte ich für wen erheben und zu welchem Zweck?). Bei Nutzung aller möglichen Quellen und allen dort auswertbaren Daten kann es passieren, dass die eigenen Nutzerinnen und Nutzer auf Grund der Masse an Informationen überfordert sind. Gleichzeitig besteht die Gefahr der Beliebigkeit und damit der möglichen Einschränkung des Impact von Altmetriken. Andererseits ist es ja gerade der Sinn von alternativen Metriken, neben der klassischen Zählung von Zitationen auch andere Nutzungsdaten auszuwerten, weswegen eine zu starke Beschränkung auf wenige Werte das Potenzial missachten würde. Inwieweit alle hier dargestellten Kennzahlen tatsächlich dauerhaft in die altmetrische Impact-Messung Eingang finden, darüber lässt sich nur spekulieren. Vielfach ist noch unklar, wie sich Erwähnungen und deren Häufigkeit tatsächlich interpretieren lassen. Insbesondere dadurch, dass sowohl der Kontext, als auch der Inhalt nicht in die Auswertung mit einfließen, fehlt häufig ein Anhaltspunkt für die Qualität z.B. einer Erwähnung auf Twitter, einem Like bei Facebook oder aber auch einer Erwähnung auf einem Blog von WordPress. Auch ist bislang noch nicht geklärt, wie mit den Messwerten von „Views“ auf Videoplattformen wie Youtube und Vimeo umgegangen wird und was diese aussagen. Möglich wäre dabei auch eine unterschiedliche Gewichtung der Quellen. Es darf aber auch nicht vergessen werden, dass es gerade die Idee von alternativen Metriken ist, die bisherige Beschränkung auf wenige renommierte Quellen aufzubrechen und Nutzung viel genereller und offener darstellbar zu machen. Daraus ergibt sich auch die große Möglichkeit, dass für unterschiedliche Fachdisziplinen unterschiedliche Metriken Einfluss auf den jeweiligen Impact haben und damit fachspezifische Faktoren entworfen werden können.

ZB MED prüft derzeit die Möglichkeiten der Einbindung von Altmetriken in seine PUBLISSO-Publikationsplattformen, um Herausgeberinnen / Herausgeber und Autorinnen /Autoren, Informationen zur Nutzung der Publikationen bereitzustellen.

(1) Siehe auch: J. Schmitz (2016): Messung von Forschungsleistungen. Altmetrics: Auf dem Weg zur Standardisierung. In: Open Password Pushdienst vom 10.06.2016
(2) San Francisco Declaration on Research Assessment
(3) J. Priem, D. Taraborelli, P. Groth, C. Neylon (2010), Altmetrics: A manifesto, 26.10.2010
(4) Altmetric Badges
(5) A. Jobmann, Ch. P. Hoffmann, S. Künne, I. Peters, J. Schmitz, G. Wollnik-Korn (2014): Altmetrics for large, multidisciplinary research groups: Comparison of current tools. In: Bibliometrie: Praxis und Forschung. Band 3, urn:nbn:de:bvb:355-bpf-205-9
(6) Lagotto
(7) ALM – Article-Level Metrics
(8) Siehe hierzu auch S. Haustein (2016): Grand challenges in altmetrics: heterogeneity, data quality and dependencies. In: Scientometrics 108: 413-423. DOI:10.1007/s11192-016-1910-9.