Gute oder schlechte Studie? So erkennst du den Unterschied

Du findest ein Nahrungsergänzungsmittel, das mit einer klinischen Studie beworben wird. Du kaufst es. Sechs Monate später erzählt dir jemand, dass an der Studie 22 Personen teilnahmen, sie acht Wochen dauerte und von dem Unternehmen finanziert wurde, das das Produkt herstellt.

Das ist kein Einzelfall. So sieht der Alltag in der Branche für Langlebigkeitspräparate aus.

Das Problem ist nicht, dass du nicht aufgepasst hast. Es ist, dass dir niemand gesagt hat, welche Teile einer Studie tatsächlich wichtig sind und welche Teile nur als Wissenschaft getarnter Unsinn sind. Der Name einer Fachzeitschrift verrät dir das nicht. Ein p-Wert verrät dir das nicht. Genauso wenig wie „doppelblind, placebokontrolliert“ auf einer Produktseite, was fast alles bedeuten kann, je nachdem, was du nicht liest (1).

Dieser Artikel gibt dir acht konkrete Punkte, die du überprüfen solltest. Kein Methodikkurs. Acht Überprüfungen in einfacher Sprache, die weniger als fünf Minuten pro Studie in Anspruch nehmen und sofort verändern werden, wie du Gesundheitsversprechen liest.

Check 1: Um welche Art von Studie handelt es sich?

Das ist die wichtigste Frage und diejenige, die die meisten Produktseiten komplett auslassen. Studien sind nicht austauschbar. Eine Studie an Mäusen und eine klinische Studie am Menschen sind keine unterschiedlichen Punkte auf derselben Skala. Sie sind Antworten auf völlig unterschiedliche Fragen.

Die randomisierte kontrollierte Studie (RCT) ist das aussagekräftigste Studiendesign zur Bewertung kausaler Effekte beim Menschen. Die Teilnehmer werden nach dem Zufallsprinzip der Interventions- oder der Kontrollgruppe zugewiesen, wodurch Störvariablen gleichmäßig auf beide Gruppen verteilt werden und kausale Schlussfolgerungen möglich werden (2). Hochwertige systematische Übersichtsarbeiten und Metaanalysen von RCTs stehen an der Spitze der Evidenzhierarchie (3).

Tier- und zellbasierte (in vitro) Studien liefern frühe, vorläufige Erkenntnisse, sind aber nur begrenzt direkt auf den Menschen übertragbar. Rapamycin, Resveratrol und Dutzende anderer Verbindungen verlängerten die Lebensdauer bei Mäusen, zeigten in Studien am Menschen jedoch weitaus schwächere Wirkungen. Tierdaten sind ein Grund, weiter zu beobachten, aber kein Grund zum Handeln (4). Eine detaillierte Aufschlüsselung, wie sich dies bei beliebten Langlebigkeitswirkstoffen auswirkt, findest du in unserem Überblick über Nahrungsergänzungsmittel mit Anti-Aging-Anspruch.

Check 2: Wie viele Personen waren daran beteiligt?

Kleine Studien sind strukturell unzuverlässig. Die Fähigkeit einer Studie, einen echten Effekt nachzuweisen, hängt von ihrer statistischen Aussagekraft ab, die von der Teilnehmerzahl bestimmt wird. Zu wenige Teilnehmer und die Studie übersieht echte Effekte oder liefert zufällig beeindruckend aussehende Ergebnisse, die zusammenbrechen, wenn man sie an einer größeren Population testet (4).

Viele Studien zu Nahrungsergänzungsmitteln umfassen 20 bis 60 Personen über 8 bis 12 Wochen. Das reicht aus, um eine Pressemitteilung zu verfassen. Als Faustregel gilt: Behandle kleine RCTs mit begrenzter Teilnehmerzahl vorsichtig, besonders wenn sie nicht unabhängig repliziert wurden. Achte außerdem darauf, was „statistisch signifikant“ eigentlich bedeutet: Ein p-Wert unter 0,05 deutet darauf hin, dass das beobachtete Ergebnis unter der Annahme, dass es keinen echten Effekt gibt, unwahrscheinlich wäre. Es sagt nichts darüber aus, ob der Effekt groß genug ist, um von Bedeutung zu sein. Konfidenzintervalle sind nützlicher – ein breites Intervall oder eines, das fast bei Null liegt, sollte dich unabhängig vom p-Wert vorsichtig machen (5).

Check 3: Wusste jemand, wer was einnahm?

In einer Doppelblindstudie wissen weder die Teilnehmer noch die Forscher, wer den Wirkstoff und wer das Placebo erhalten hat. Das ist wichtiger, als den meisten Menschen bewusst ist, denn der Placebo-Effekt ist real und biologisch messbar. Menschen, die glauben, einen Wirkstoff einzunehmen, berichten von echten Verbesserungen bei Energie, Konzentration, Stimmung und Schlaf, unabhängig davon, was tatsächlich in der Kapsel enthalten ist (5).

Offene Studien, bei denen jeder die Zuordnung kennt, liefern systematisch überhöhte Ergebnisse bei subjektiven Endpunkten. Wenn eine Studie ohne Doppelblindverfahren über mehr Energie oder geistige Klarheit berichtet, ist das Ergebnis schwer zu interpretieren, und auf diese Einschränkung solltest du auf jeder Produktseite achten, die sich auf die Studie bezieht.

Check 4: Könnte etwas anderes das Ergebnis erklären?

Störfaktoren sind der Grund, warum es so schwer ist, auf Beobachtungsstudien zu reagieren. Ein Störfaktor ist eine dritte Variable, die sowohl mit dem Untersuchungsgegenstand als auch mit dem Ergebnis in Verbindung steht, wodurch zwei Dinge miteinander verbunden erscheinen, obwohl sie sich nicht direkt gegenseitig bedingen (6).

In der Langlebigkeitsforschung ist das allgegenwärtig. Menschen, die NMN oder NR als Nahrungsergänzung einnehmen, unterscheiden sich oft systematisch von denen, die dies nicht tun – zum Beispiel in Bezug auf Bewegung, Ernährung, Schlaf und Einkommen. Jeder dieser Faktoren sagt unabhängig voneinander viele gesundheitliche Ergebnisse voraus. Eine Studie, die feststellt, dass NMN-Anwender bessere Stoffwechselmarker haben, spiegelt möglicherweise eher Unterschiede im Lebensstil wider als die Wirkung der Verbindung selbst, es sei denn, diese Faktoren werden sorgfältig kontrolliert. Randomisierte kontrollierte Studien sind darauf ausgelegt, dieses Problem anzugehen, weshalb sie mehr Gewicht haben.

Check 5: Siehst du alle Studien oder nur die, die funktioniert haben?

Fachzeitschriften veröffentlichen positive Ergebnisse weitaus eher als Nullergebnisse (7). Studien, die keine Wirkung feststellen, bleiben meist unveröffentlicht, sodass die Literatur, auf die du zugreifen kannst, die Wirksamkeit von Interventionen systematisch überbewertet. Wenn zehn Gruppen eine Substanz testen und zwei zufällig ein Ergebnis erzielen, aber nur diese beiden veröffentlicht werden, sieht die öffentliche Dokumentation nach einer soliden Bestätigung aus.

Die Lösung ist die Vorregistrierung: Forscher geben ihre Hypothese, die primären Endpunkte und den Analyseplan in einem öffentlichen Register wie ClinicalTrials.gov an, bevor sie Daten erheben. Vorregistrierte Studien liefern deutlich weniger überhöhte positive Ergebnisse (8). Es dauert 90 Sekunden, um zu überprüfen, ob eine Studie vorregistriert wurde und ob die veröffentlichten Ergebnisse mit den ursprünglich festgelegten übereinstimmen. Allein diese Überprüfung filtert einen erheblichen Anteil unzuverlässiger Ergebnisse heraus.

Check 6: Haben sie etwas gemessen, das tatsächlich wichtig ist?

Die meisten Studien zu Langlebigkeitspräparaten messen weder die Lebensdauer noch die Krankheitshäufigkeit. Sie messen Surrogatendpunkte: Biomarker, von denen angenommen wird, dass sie für Ergebnisse stehen, die erst nach Jahren sichtbar werden. NAD+-Spiegel, Telomerlänge, Entzündungsmarker, Insulinsensitivität. Das sind informative Signale. Sie sind nicht dasselbe wie das Ergebnis.

Eine Verbesserung eines Surrogatendpunkts garantiert keine Verbesserung des zugrunde liegenden Ergebnisses. Mehrere Medikamente mit starken Surrogatdaten sind auf der Ebene der klinischen Ergebnisse gescheitert oder haben Schaden angerichtet (9). Ein Nahrungsergänzungsmittel, das einen Biomarker verändert, und eines, das nachweislich das Krankheitsrisiko senkt, sind unterschiedliche Aussagen, selbst wenn beide auf derselben Produktseite aufgeführt sind. Unsere klinische Perspektive zu NMN erläutert genau diesen Unterschied anhand eines der am besten untersuchten Langlebigkeitswirkstoffe als Beispiel.

Check 7: Wer hat dafür bezahlt?

Von der Industrie finanzierte Studien zu Ernährung und Nahrungsergänzungsmitteln berichten eher über Ergebnisse, die für den Sponsor günstig sind (10). Kommerziell gesponserte Forschung ist nicht automatisch falsch. Sie ist ein Signal, das eine genauere Prüfung rechtfertigt, insbesondere wenn ein Befund nicht von einer Gruppe repliziert wurde, die kein finanzielles Interesse am Ergebnis hat.

Angaben zur Finanzierung finden sich am Ende der meisten begutachteten Artikel. Prüfe, ob der Sponsor an der Datenanalyse oder der Manuskriptvorbereitung beteiligt war, und wenn die einzigen Belege für eine Substanz aus Studien stammen, die der Hersteller finanziert hat, betrachte dies als Grund, auf eine unabhängige Reproduktion zu warten, bevor du handelst. Wir wenden diesen Ansatz konsequent an, wenn wir Belege für Langlebigkeitswirkstoffe prüfen, einschließlich der Untersuchung von Interessenkonflikten, die in frühen Studien am Menschen offengelegt wurden.

Check 8: Hat jemand anderes das Gleiche festgestellt?

Eine einzelne, gut konzipierte RCT ist ein Ausgangspunkt, keine Schlussfolgerung. Ergebnisse, die sich über unabhängige Forschungsgruppen, verschiedene Bevölkerungsgruppen und unterschiedliche Studiendesigns hinweg bestätigen, haben ein qualitativ anderes Gewicht (4). Omega-3-Fettsäuren, Kreatin und Vitamin D bei unterversorgten Bevölkerungsgruppen gehören zu den am intensivsten untersuchten Wirkstoffen, wobei die Ergebnisse von mehreren Forschungsgruppen repliziert wurden, insbesondere bei spezifischen Endpunkten wie kardiovaskulären Risikomarkern und Muskelfunktion. Der Prozess, ein gut repliziertes Omega-3-Präparat zu finden, das diese Messlatte erfüllt, ist ein nützliches Beispiel dafür, wie Replikation echte Kaufentscheidungen beeinflusst.

Wenn ein Präparat allein auf der Grundlage einer einzigen Studie beworben wird, ist das Fehlen von Replikationen an sich schon eine Aussage. Die Erkenntnis mag neu sein. Unabhängige Versuche könnten auch zu Nullergebnissen geführt haben, die weniger Aufmerksamkeit erregten als das Original.

Die acht Prüfpunkte auf einen Blick

• Um welche Art von Studie handelt es sich: RCT, Beobachtungsstudie, Tierstudie oder In-vitro-Studie?
• Wie viele Teilnehmer gab es, und wie lange dauerte die Studie?
• Waren Teilnehmer und Forscher hinsichtlich der Zuordnung verblindet?
• Welche Störfaktoren wurden gemessen und bereinigt?
• Wurde die Studie vorab registriert, und stimmen die veröffentlichten Ergebnisse mit dem ursprünglichen Plan überein?
• Hat die Studie ein klinisches Ergebnis oder einen Surrogat-Biomarker gemessen?
• Wer hat die Forschung finanziert, und hatte der Sponsor eine Rolle bei der Analyse oder Berichterstattung?
• Wurde das Ergebnis unabhängig repliziert?

Wie Augment Life dieses Rahmenwerk nutzt

Die Formulierungen von Augment Life werden anhand dieser acht Kriterien bewertet. Die Schwelle für die Aufnahme ist klinischer Nachweis am Menschen aus doppelblinden, placebokontrollierten Studien mit Dosierungen, die denen in der Forschung entsprechen. Wenn der Nachweis stichhaltig ist und von unabhängigen Gruppen konsistent repliziert wurde, wird dies angegeben. Wenn er auf Tierdaten, kleinen Studien oder einem einzigen, nicht replizierten Ergebnis beruht, wird dies ebenfalls angegeben. Das Ziel ist eine genaue Darstellung dessen, was die Forschung zeigt, einschließlich ihrer Grenzen.

Ein abschließender Hinweis

Die Langlebigkeitsforschung schreitet schneller voran als die Qualitätskontrollen, die in etablierteren Bereichen gelten. Diese acht Prüfpunkte sind keine Garantie dagegen, in die Irre geführt zu werden. Sie sind jedoch eine deutliche Verbesserung gegenüber dem bloßen Lesen der Zusammenfassung und dem Suchen nach den Worten „klinische Studie“. In der Lücke zwischen diesen beiden Ansätzen liegen die meisten Fehlentscheidungen bei Nahrungsergänzungsmitteln.

Mehr von Augment Life lesen

• Nahrungsergänzungsmittel mit Anti-Aging-Wirkung: Ergebnisse, Behauptungen und potenzielle Risiken
• Nicotinamid-Mononukleotid (NMN): Die Perspektive eines Klinikers
• Die Langlebigkeitsdebatte: Können Nahrungsergänzungsmittel Sport ersetzen?
• Die Rolle der Autophagie für Gesundheit und Langlebigkeit
• Deine Zellen können neue Mitochondrien bilden
• Was ist eine optimale Langlebigkeitsdiät?

Literaturquellen

1. Sacks G et al. Conflicts of interest and the quality of recommendations in clinical guidelines. PLOS Medicine. 2016. doi: 10.1371/journal.pmed.1001798
2. Schulz KF, Altman DG, Moher D. CONSORT 2010 statement: updated guidelines for reporting parallel group randomised trials. BMJ. 2010. doi: 10.1136/bmj.c332
3. Higgins JPT, Thomas J (eds). Cochrane Handbook for Systematic Reviews of Interventions. Version 6.4. Cochrane, 2023.
4. Ioannidis JPA. Why most published research findings are false. PLOS Medicine. 2005. doi: 10.1371/journal.pmed.0020124
5. Rothman KJ, Greenland S, Lash TL. Modern Epidemiology. 3rd ed. Lippincott Williams & Wilkins; 2008.
6. Rothman KJ. Epidemiology: An Introduction. 2nd ed. Oxford University Press; 2012.
7. Turner EH et al. Selective publication of antidepressant trials and its influence on apparent efficacy. N Engl J Med. 2008. doi: 10.1056/NEJMsa065779
8. Chan AW et al. Empirical evidence for selective reporting of outcomes in randomised trials. JAMA. 2004. doi: 10.1001/jama.291.20.2457
9. Fleming TR, DeMets DL. Surrogate end points in clinical trials: are we being misled? Ann Intern Med. 1996. doi: 10.7326/0003-4819-125-7-199610010-00011
10. Lundh A et al. Industry sponsorship and research outcome: a Cochrane review. Cochrane Database Syst Rev. 2017. doi: 10.1002/14651858.MR000033.pub3