Wer kennt ihn nicht, den Satz: "Ein Studie hat gezeigt, dass..."

Damit ist doch alles bewiesen, oder? Naja, nicht ganz! Zwar ist es prinzipiell begrüßenswert, dass es hier schon mal eine wissenschaftliche Untersuchung gab, aber um was für eine Studie/Paper handelt es sich eigentlich? Ist sie von so guter Qualität, sodass man ihren Ergebnis vertrauen kann? 

Denn nicht alle Studien sind gleich gut und nicht allen Studien kann/sollte man glauben! 

Der Begriff "Studie" ist an sich auch nicht geschützt, jede und jeder kann Studien durchführen und versuchen sie zu veröffentlichen. 

Und glücklicherweise gibt es eine ganze Reihe objektiver Kriterien, anhand dessen man sich die Glaubwürdigkeit von Studienergebnissen und die Qualität von wissenschaftlichen Publikationen anschauen kann. In diesem Blogartikel werde ich zeigen, worauf man achten kann, um echte Wissenschaft von nicht so glaubwürdiger Wissenschaft zu unterscheiden.

Im Grunde genommen, ist das eine Recherche-/Detektivarbeit, in der es darum geht, Hinweise zu sammeln, ob man einem Paper vertrauen kann oder eben nicht. Es handelt sich um eine Art Plausibilitätsprüfung, an deren Ende man besser einschätzen kann, ob man dem Studienergebnis trauen kann oder lieber nicht. 

Los geht's, systematisch, Schritt für Schritt!

1.) Wo wurde die Studie veröffentlicht - ist die Studie überhaupt in einer Fachzeitschrift (Journal) veröffentlicht?

Noch eine Erklärung vorweg: Hat man als Forschender ein Paper geschrieben und möchte es veröffentlichen, dann schickt man es nur an eine einzige Fachzeitschrift, in der Hoffnung, dass der Verlag es annimmt und veröffentlicht. Nur wenn das Paper im Wunschverlag nicht veröffentlicht wird, versucht man es beim nächsten Journal.

Es gibt gewaltige Unterschiede in der Qualität der Fachzeitschriften. Auf der einen Seite stehen die renommierten und anerkannten Journals, die sehr streng auswählen, welche Artikel sie veröffentlichen. Auf der anderen Seite gibt es Journals, die ALLES veröffentlichen, weil man dafür BEZAHLT.

Die höchste Qualitätsstufe sind Journals mit Peer Review. Hier werden alle eingereichten Artikel zunächst in anonymisierter Form von einer Reihe von Fachkollegen gegengelesen und nur, wenn alle kritischen Anmerkungen hinsichtlich Methodik und Plausibilität, eingearbeitet worden sind, wird der Artikel veröffentlicht. Artikel können aber auch durchaus abgelehnt werden.

Dann gibt es sogenannte Pre-Prints. Diese Artikel werden, meist online, veröffentlicht, vor oder während sie sich noch im Peer Review Prozess befinden. Das macht man, wenn die schnelle Veröffentlichung der Ergebnisse im allgemeinen Forschungsinteresse steht. Später sollten die Paper dann aber in überarbeiteter Form nach dem Peer Review veröffentlicht werden. Wenn das nicht der Fall ist, kann man sich fragen, warum.

Manche Fachzeitschriften haben keine Review Prozess, hier entscheiden die Editoren des Journals, ob das Paper veröffentlicht wird.

Auf der untersten Qualitätsstufe stehen Fachzeitschriften, bei denen man dafür bezahlt, dass der Artikel veröffentlicht wird. Das sind sogenannte Raubjournale (Predatory Journals). Diese sehen äußerlich vollkommen seriös aus, mit seriösem Titel, Layout und allem was dazu gehört. Auch behaupten sie, einem Peer-Review Prozess zu folgen. Tatsächlich gibt es aber keine inhaltliche Prüfung hinsichtlich der Qualität der eingereichten Forschungsergebnisse. Man kann dort ALLES veröffentlichen. Diese Journals leben einfach von der Publikationsgebühr, die die Forschenden bezahlen müssen.

Zur Recherche gibt es die "Beall's List" aller bekannter Raubjournale, diese Liste wird aber nicht weiter gepflegt und ist auch nur zu ca. 80% genau. Es ist gar nicht so einfach, Raubjournale zu identifizieren, zu dem Thema verweise ich auf den englischen Wikipediaartikel zur Beall's List. Die Identifikation und Bewertung von Raubjournalen ist ein eigener spannender Forschungszweig!

Auch gibt es Forscher, die ihre eigene Fachzeitschrift gründen, um in dieser dann zu publizieren. Hier kann von unabhängiger Begutachtung nicht geredet werden. 

Oder aber man veröffentlicht die Ergebnisse einfach auf seiner eigenen Webseite, nach Art einer Pressemitteilung.

2.) Wie renommiert ist die Fachzeitschrift?

Der Impact Factor gibt an, wie häufig im Durchschnitt Arbeiten aus diesem Journal in anderen wissenschaftlichen Arbeiten zitiert werden. 
Wichtig ist es, den Impact Factor einer Fachzeitschrift nur in Relation mit anderen Fachzeitschriften aus dem gleichen Fachgebiet zu betrachten. Arbeiten in kleineren Forschungsfeldern, z.B. zu ganz bestimmten, seltenen Krankheiten, in denen nur wenige Wissenschaftlerinnen und Wissenschaftler arbeiten, werden natürlich seltener zitiert als z.B. Arbeiten zu Krebs oder Demenz.

Auch kann man sich anschauen, wie oft andere Forschende das Paper zitiert haben. In der Wissenschaft wird ein Paper als relevant betrachtet, wenn es häufig in anderen Arbeiten zitiert wird. Nicht immer ist ein oft zitiertes Paper wirklich relevant, es ist aber ein ganz guter Anhaltspunkt. Häufige Verweise können bedeuten, dass dieses Paper wichtige Grundlagen geschaffen hat und andere Forschungsarbeiten darauf aufbauen. 

3.) Wer hat die Studie durchgeführt und für wen?

Jetzt geht es um die Forschenden, die die Studie durchgeführt haben. Sind die Personen überhaupt qualifiziert? Haben sie das Fach studiert? Arbeiten sie auch sonst in diesem Fachgebiet oder publizieren sie eigentlich über ganz andere Dinge?

An welcher Institution forscht die Person? Ist es eine staatliche Universität oder forschen sie im Auftrag eines Unternehmens? Hat das Forschungsinstitut Renommee, und ist es in der Forschungslandschaft verankert? Der Begriff "Institut" ist übrigens nicht geschützt. Jede und jeder kann ein Institut mit klangvollem Namen eröffnen!

Ist die Unabhängigkeit der Forschenden gewährleistet? Gibt es finanzielle Interessenkonflikte? Drittmittel stammen in der Regel von Unternehmen. Das ist auch ok, aber ist im Paper ein "Conflict of Interest", ein Interessenkonflikt, der objektiver Forschung entgegensteht, angegeben? Von wem wurde die Studie gefördert? Ist das angegeben?
Ein extremes Beispiel sind z.B. Forschende, die gleichzeitig Geschäftsführer einer Firma sind, dessen Produkt sie untersucht haben und dessen Wirksamkeit sie mit der Studie nachgewiesen haben.

Forschende werden an der Anzahl ihrer Fachpublikationen gemessen. Daher müssen sie publizieren, um erfolgreich zu sein. Das ist nicht optimal und wird teilweise mit "publish or perish" umschrieben.

Mit Hilfe des H-Indexes (Hirsch-Index) kann die Relevanz eines Forschenden vorsichtig eingeschätzt werden. Der Index gibt an, wie häufig die Person publiziert und wie häufig sie zitiert wird. Aber Achtung, diese Zahlen sind sehr schwer vergleichbar, vor allem über die Fachgebiete hinweg. Aber interessant ist, hat die Person überhaupt einen H-Index?

Eine gute Möglichkeit, um ein Gefühl für eine Person zu bekommen ist die Recherche bei PubMed (für medizinische Paper).

Hier kann man sich die Anzahl der Publikationen pro Jahr, die Aktivitäten und die Themen einer Person gut anschauen. 

So, das war viel Text, im nächsten Blogartikel schauen wir in das Paper hinein!