„Diese eine schwedische Studie“

Wie du Studienergebnisse richtig interpretierst

Wissenschaftliche Studien sind zwar das beste verfügbare Wissen, das uns zur Verfügung steht. Es gibt bei der Interpretation von Ergebnissen jedoch einige Fallstricke, die du berücksichtigen solltest, um tatsächlich stichhaltige Erkenntnisse zu gewinnen. Bevor du das nächste Mal eine (dir vielleicht unbekannte) Studie „zitierst“, nutze gern folgende Hinweise zur Einordnung von Methoden und Ergebnissen und erfahre, wie du leicht eine solide Recherche betreiben kannst.

Hast du gehört, dass...?


Der erste Punkt auf dieser Liste erscheint beinahe zu naheliegend und passiert dennoch allzu häufig. Das anekdotenhafte Berichten von Studien, von denen man gehört hat, ist in etwa so wertvoll, wie das Training, das man fast absolviert hat und den Wettkampf, an dem man um ein Haar teilgenommen hätte. Natürlich ist nichts verwerflich daran, dass man sich über solche Dinge austauscht und niemand erwartet vor allem von Nicht-Wissenschaftlern ein ausgewiesenes Expertenwissen zu bestimmten Themen. Wer jedoch Studien als Grundlage seiner eigenen Meinung, Argumentation und beispielsweise Trainingsphilosophie heranführt, der sollte eben diese Studien auch selbst gelesen haben.

Foto: Matthias Busse

Wenn du keine Zeit oder Lust hast, Seitenweise wissenschaftliche Texte auf Englisch zu lesen, investiere dennoch wenigstens die Zeit, die kurze Zusammenfassung (Abstract) zu lesen oder arbeite mit Meta-Analysen (s.u.). Häufig ergibt sich durch den Kontext der Studie, die Methodik, die Stichprobe oder die Ergebnisse dabei schnell ein ganz anderes und komplexeres Bild, als du vielleicht „gehört“ hast.

Signifikanz versus Relevanz


Im Bereich der Wissenschaft wie auch in der Umgangssprache existiert der Begriff der Signifikanz, der jeweils allerdings je nach Kontext zwei völlig unterschiedliche Konzepte beschreibt. Folge Aussage soll uns helfen, den diesen Unterschied zu verdeutlichen.
    Kniebeugen führen zu signifikant höheren Muskelzuwächsen im Quadrizeps als Beinpressen
Wenn wir hören oder lesen, dass etwas einen signifikanten Effekt hat, dann verstehen die meisten unter uns darunter, dass dieser Effekt stark, deutlich oder aussagekräftig ist.

Tatsächlich erklärt auch der Duden den Begriff unter anderem mit Bedeutsamkeit. Leider ist diese Definition etwas missverständlich, wenn wir sie im Kontext von wissenschaftlichen Themengebieten gebrauchen.
Die statistische Signifikanz beschreibt die Irrtumswahrscheinlichkeit einer getesteten Hypothese, bzw. ob die beobachteten Effekte in einer Stichprobe auf die Allgemeinheit übertragen werden dürfen.
Damit ist der Inhalt der obigen Aussage lediglich, dass in einer Untersuchung, Kniebeugen zu mehr Muskelwachstum geführt haben, als Training an der Beinpresse und dies vermutlich nicht auf einem Zufall beruht.

Das Problem bei der statistischen Signifikanz:
Der Wert sagt rein gar nichts über die Stärke eines Zusammenhangs und damit über die Relevanz des gemessenen Sachverhalts aus.
Schließlich könnte es in diesem fiktiven Beispiel sein, dass es sich um einen zusätzlichen Muskelzuwachs von 1 Gramm handelt. Ist dieser Unterschied dann noch bedeutend im ursprünglichen Wortsinn? Wohl kaum. Dennoch konnte der Effekt beobachtet und ein Zufall mit großer Wahrscheinlichkeit ausgeschlossen werden.

Daher sollten wir bei Studienergebnissen stets die statistische Definition, statt der umgangssprachlichen Definition verwenden, um Missverständnisse auszuschließen. Bei der Bewertung von Studien ist es weiterhin empfehlenswert darauf zu achten, dass nicht nur ein wahrscheinlicher Zusammenhang besteht, sondern dieser auch in der Praxis relevant ist.

Signifikant heißt nicht bewiesen


Auch wenn wir mit statistischen Tests in Stichproben bestimmte Hypothesen überprüfen und dabei eventuell sogar ein signifikantes Ergebnis erzielen, ist damit noch nicht gesagt, dass dieser Zusammenhang auch unumstößlich wahr ist.
Im Prinzip sagt ein signifikantes Ergebnis nur aus, dass dieser Zusammenhang für genau diese Stichprobe unter kontrollierten Bedingungen gilt.
Um im obigen Beispiel zu bleiben, könnte eine Untersuchungsform sein, untrainierte Probanden in zwei Gruppen aufzuteilen und entweder Kniebeugen oder Beinpressen absolvieren zu lassen. Dabei sollen andere Variablen wie Ernährung, Trainingszeit oder Erholung möglichst konstant gehalten werden, um den Einfluss des Trainings allein zu isolieren. Man spricht auch von einer hohen internen Validität.

Was geschieht nun aber, wenn man diese Ergebnisse auf Personen außerhalb der Stichprobe überträgt, die ein anderes Ernährungsverhalten oder abweichende Schlafgewohnheiten zeigen oder einfach keine Anfänger, sondern fortgeschrittene Sportler sind? Wie sieht es aus, wenn neben den Beinübungen noch weitere Übungen gemacht werden? Über all diese Faktoren und deren Einfluss auf das ursprüngliche Ergebnis kann die Studie keine Auskunft geben. Die sogenannte externe Validität ist daher je nach Studiensetting größer oder kleiner und sollte auf jeden Fall bei der Interpretation berücksichtigt werden.

Eine Studie ist keine Studie


Wie oben bereits erwähnt, bedeutet Signifikanz weder, dass ein relevanter Zusammenhang besteht, noch dass dieser einwandfrei auf Personen außerhalb der Stichprobe übertragbar sein muss. Doch die Unsicherheit geht sogar noch weiter. Signifikanz bedeutet nicht einmal, dass der untersuchte Zusammenhang für die Stichprobe selbst zu 100 Prozent gültig ist, sondern meist nur zu 95 Prozent. Man hat also auch bei hoher Wahrscheinlichkeit, keine Sicherheit, dass die gezeigten Ergebnisse auch stimmen. Dementsprechend begeht man in 5 Prozent der Fälle den sogenannten Alpha-Fehler, der Zusammenhänge suggeriert, die nicht vorhanden sind.
Wenn nun mehrere Studien alle mit einer Wahrscheinlichkeit von 95 Prozent dasselbe Ergebnis zeigen, so ist dies natürlich sehr nahe an der Wirklichkeit, erwiesen ist es aber schlussendlich nicht.
Wer also Ergebnisse einer einzelnen Studie wiedergibt, ohne sich dieser Faktoren bewusst zu sein, zieht mit hoher Wahrscheinlichkeit die falschen Schlüsse.

Es ist daher ratsam, entweder mehrere Studien zur selben Fragestellung zu lesen oder auf Meta-Analysen, bzw. Reviews zurückzugreifen. Diese Arbeiten fassen die Ergebnisse von vielen Studien zusammen und haben den Vorteil, dass die Autoren die Güte, Relevanz, Präzision der Fragestellung, Homogenität der Stichprobe und gegebenenfalls die Methoden der Einzelstudien im Voraus prüfen und nur vergleichbare Studien zusammenfassen.

Während du beim Lesen von Einzelstudien auch einfach Pech haben kannst und genau diejenige liest, die mit ihren Ergebnissen dem aktuellen Konsens wiederspricht, sind bei Meta-Analysen und Reviews eindeutige Tendenzen zu erkennen. Meta-Analysen und Reviews umgehen also viele angesprochene Schwächen von Einzelstudien und bieten einen verlässlichen Überblick über ein bestimmtes Thema.

Foto: Matthias Busse

Anleitung für die wissenschaftliche Bildung


Wie solltest du also vorgehen, wenn du dich zu einer Fragestellung fundiert weiterbilden möchtest? Wenn du wirklich ein tiefes Verständnis von wissenschaftlichem Arbeiten und Methoden kennenlernen möchtest, solltest du so viele Einzelstudien wie möglich lesen. Wer dagegen in kürzester Zeit einen sachlichen und wissenschaftlich haltbaren Überblick zu einer Fragestellung erhalten möchte, ist mit Meta-Analysen und Reviews besser bedient.

Häufig ist es so, dass international publizierte Artikel, die ein strenges Review-Verfahren durchlaufen müssen, eine höhere Qualität haben und in besseren Journals erscheinen. Daher ist auch die Sprache der Wissenschaft hauptsächlich englisch und deine Suchergebnisse so besser. Die Suche auf Deutsch lässt sich dagegen gut auf allgemeinen Internetseiten wie aerzteblatt.de oder auch Wikipedia.de durchführen, die in den Literaturverweisen Quellen angeben, die du für deine weitere Recherche nachverfolgen kannst. Somit kannst du dir zunächst einen allgemeinen Überblick verschaffen und dann offene Fragestellungen gezielt nachverfolgen. Demnach sind auch populärwissenschaftliche Artikel ein guter Start in ein neues Themengebiet zeigen dir häufig, wonach du überhaupt suchst.

Anschließend kannst du den dort angegebenen Quellen nachgehen oder den Suchbegriff separat recherchieren. Hierfür eignen sich wissenschaftliche Suchmaschinen wie Google Scholar oder direkt medizinische Datenbanken wie pubmed, die jedoch wiederum bei englischen Suchbegriffen, die besten Ergebnisse liefern. Die einfachste Möglichkeit in diesem Fall ist eine Google-Suche mit der Kombination aus [Suchbegriff auf Englisch] + [Pubmed] + [Review / Meta-Analyse]. Damit findest du meistens sehr schnell, wonach du suchst, wenn du deine Suche präzise genug formuliert hast.

Damit du jedoch nicht dem sogenannten Confirmation-Bias unterliegst und nur Ergebnisse wahrnimmst, die deine ursprüngliche Erwartung untermauern, ist es häufig eine gute Idee, explizit auch nach dem gegenteiligen Zusammenhang zu suchen und dir ein umfassendes Bild zu machen.

Fazit


Das Zitieren von Studien gehört mittlerweile auch in der Fitnesswelt zum guten Ton und suggeriert eine gute Fachkompetenz und Glaubwürdigkeit. Um jedoch nicht nur so zu wirken, sondern deinen Wissensschatz tatsächlich fundiert zu erweitern, solltest du dich dabei jedoch nicht nur auf Hörensagen verlassen. Eine solide Recherche und korrekte Interpretation von Studien kann ein wenig Übung verlangen, ist jedoch bei weitem nicht nur Wissenschaftlern vorbehalten. Nutze daher die vorstellten Tipps, schnell gute Ergebnisse zu finden und diese objektiv einzuordnen.


Hinweis: Mehr zum Autor unter Sanogym-Ulm.de.

Nach oben