Miten erottaa hyvä tutkimus huonosta

Ostat ravintolisän, jossa on mukana kliininen tutkimus. Ostat sen. Kuusi kuukautta myöhemmin joku kertoo, että tutkimuksessa oli vain 22 osallistujaa, se kesti kahdeksan viikkoa ja sen rahoitti sama yritys, joka myy tuotetta.

Tämä ei ole harvinainen poikkeus. Tämä on tavallinen tiistai longevity-ravintolisäteollisuudessa.

Ongelma ei ole se, ettet olisi kiinnittänyt huomiota. Ongelma on se, ettei kukaan kertonut sinulle, mitkä osat tutkimuksesta oikeasti merkitsevät ja mitkä ovat kohinaa, joka on puettu tieteen näköiseksi. Tieteellisen lehden nimi ei kerro sitä. P-arvo ei kerro sitä. Eivätkä myöskään sanat “kaksoissokkoutettu, lumekontrolloitu” tuotteen sivulla, jotka voivat tarkoittaa hyvin eri asioita sen mukaan, mitä et ole lukenut (1).

Tämä artikkeli käy läpi kahdeksan asiaa, jotka kannattaa tarkistaa. Ei metodologian kurssia. Vaan kahdeksan selkeää tarkistusta, jotka vievät alle viisi minuuttia tutkimusta kohden ja muuttavat välittömästi tapaa, jolla luet terveysväitteitä.

Tarkistus 1: Millainen tutkimus se on?

Tämä on tärkein kysymys – ja juuri se, jonka useimmat tuotesivut jättävät kokonaan kertomatta. Tutkimuksia ei voi verrata keskenään suoraan. Hiiritutkimus ja ihmisen kliininen tutkimus eivät ole saman janan eri pisteitä, vaan vastaavat täysin eri kysymyksiin.

Satunnaistettu kontrolloitu tutkimus (RCT) on vahvin tutkimusasetelma syy-seuraussuhteiden arviointiin ihmisillä. Siinä osallistujat jaetaan satunnaisesti joko interventio- tai kontrolliryhmään, mikä tasaa sekoittavia tekijöitä ryhmien välillä ja mahdollistaa kausaalipäätelmien tekemisen (2). Laadukkaat systemaattiset katsaukset ja meta-analyysit RCT-tutkimuksista ovat näyttöhierarkian huipulla (3).

Eläin- ja solututkimukset (in vitro) tarjoavat varhaista ja alustavaa näyttöä, mutta niiden suora sovellettavuus ihmisiin on rajallinen. Esimerkiksi rapamysiini, resveratroli ja lukuisat muut yhdisteet pidentivät hiirten elinikää, mutta niiden vaikutukset ihmisillä ovat olleet huomattavasti heikompia. Eläintieto on syy jatkaa tutkimista – ei vielä syy tehdä johtopäätöksiä (4). Jos haluat syvemmän erittelyn siitä, miten tämä näkyy suosituissa “longevity”-yhdisteissä, katso yleiskatsaus anti-aging -väitteisiin liitetyistä ravintolisistä.

Tarkistus 2: Kuinka monta osallistujaa tutkimuksessa oli?

Pienet tutkimukset ovat rakenteellisesti epäluotettavia. Tutkimuksen kyky havaita todellinen vaikutus riippuu sen tilastollisesta voimasta (statistical power), joka puolestaan määräytyy osallistujamäärän perusteella. Jos ihmisiä on liian vähän, tutkimus voi joko jättää todellisia vaikutuksia havaitsematta tai tuottaa sattumanvaraisesti “vaikuttavia” tuloksia, jotka eivät toistu suuremmissa väestöissä (4).

Monet ravintolisätutkimukset sisältävät vain 20–60 osallistujaa ja kestävät 8–12 viikkoa. Se riittää usein lehdistötiedotteen tekemiseen, mutta ei vielä vahvan näytön muodostamiseen. Nyrkkisääntönä: pieniä RCT-tutkimuksia kannattaa tulkita varauksella, etenkin jos niitä ei ole toistettu riippumattomasti.

On myös tärkeää ymmärtää, mitä “tilastollisesti merkitsevä” tarkoittaa. P-arvo alle 0,05 tarkoittaa vain sitä, että havaittu tulos olisi epätodennäköinen, jos todellista vaikutusta ei olisi lainkaan. Se ei kerro mitään siitä, onko vaikutus käytännössä merkittävä. Luottamusvälit ovat usein informatiivisempia – laaja väli tai sellainen, joka lähes koskettaa nollaa, on varoitusmerkki riippumatta p-arvosta (5).

Tarkistus 2: Kuinka monta osallistujaa tutkimuksessa oli?

Pienet tutkimukset ovat rakenteellisesti epäluotettavia. Tutkimuksen kyky havaita todellinen vaikutus riippuu sen tilastollisesta voimasta (statistical power), joka puolestaan määräytyy osallistujamäärän perusteella. Jos ihmisiä on liian vähän, tutkimus voi joko jättää todellisia vaikutuksia havaitsematta tai tuottaa sattumanvaraisesti “vaikuttavia” tuloksia, jotka eivät toistu suuremmissa väestöissä (4).

Monet ravintolisätutkimukset sisältävät vain 20–60 osallistujaa ja kestävät 8–12 viikkoa. Se riittää usein lehdistötiedotteen tekemiseen, mutta ei vielä vahvan näytön muodostamiseen. Nyrkkisääntönä: pieniä RCT-tutkimuksia kannattaa tulkita varauksella, etenkin jos niitä ei ole toistettu riippumattomasti. On myös tärkeää ymmärtää, mitä “tilastollisesti merkitsevä” tarkoittaa. P-arvo alle 0,05 tarkoittaa vain sitä, että havaittu tulos olisi epätodennäköinen, jos todellista vaikutusta ei olisi lainkaan. Se ei kerro mitään siitä, onko vaikutus käytännössä merkittävä. Luottamusvälit ovat usein informatiivisempia – laaja väli tai sellainen, joka lähes koskettaa nollaa, on varoitusmerkki riippumatta p-arvosta (5).

Tarkistus 3: Tiesikö kukaan, mitä kukin sai?

Kaksoissokkoutetussa tutkimuksessa (double-blind) eivät osallistujat eivätkä tutkijat tiedä, kuka saa vaikuttavaa ainetta ja kuka lumelääkettä. Tämä on tärkeämpää kuin moni ymmärtää, koska lumelääkevaikutus on todellinen ja biologisesti mitattavissa. Ihmiset, jotka uskovat käyttävänsä aktiivista yhdistettä, raportoivat aidosti parantunutta energiaa, keskittymistä, mielialaa ja unta – riippumatta siitä, mitä kapseli oikeasti sisältää (5).

Avoimet tutkimukset (open-label), joissa kaikki tietävät mitä annetaan, tuottavat systemaattisesti ylikorostuneita tuloksia erityisesti subjektiivisissa mittareissa. Jos tutkimus raportoi parantunutta energiaa tai kognitiivista selkeyttä ilman kaksoissokkoutusta, tulos on vaikeammin tulkittavissa – ja tämä rajoite kannattaa aina tarkistaa, kun tutkimusta käytetään tuotteen markkinoinnin tukena.

Tarkistus 4: Voisiko jokin muu selittää tuloksen?

Sekoitustekijät (confounding) ovat syy siihen, miksi havainnointitutkimuksiin on niin vaikea tukeutua päätöksenteossa. Sekoitustekijä on kolmas muuttuja, joka liittyy sekä tutkittavaan asiaan että lopputulokseen, jolloin kaksi asiaa voivat näyttää olevan yhteydessä, vaikka ne eivät suoraan aiheuta toisiaan (6).

Longevity-tutkimuksessa tämä on erittäin yleistä. Esimerkiksi NMN- tai NR-lisää käyttävät henkilöt eroavat usein systemaattisesti niistä, jotka eivät käytä niitä – esimerkiksi liikunnan, ruokavalion, unen ja tulotason suhteen. Jokainen näistä tekijöistä vaikuttaa itsenäisesti moniin terveysmittareihin. Jos tutkimus osoittaa NMN:n käyttäjillä parempia aineenvaihdunnan markkereita, se voi johtua elämäntapojen eroista eikä itse yhdisteestä, ellei näitä tekijöitä ole huolellisesti kontrolloitu.

Satunnaistetut kontrolloidut tutkimukset on suunniteltu juuri tämän ongelman ratkaisemiseksi, minkä vuoksi niillä on yleensä suurempi painoarvo näyttöä arvioitaessa.

Tarkistus 5: Näetkö kaikki tutkimukset vai vain ne, jotka tuottivat tuloksia?

Tieteelliset lehdet julkaisevat paljon todennäköisemmin positiivisia tuloksia kuin sellaisia, joissa ei löydy vaikutusta (7). Tutkimukset, jotka eivät osoita mitään hyötyä, jäävät usein julkaisematta, mikä vääristää kokonaiskuvaa. Näin kirjallisuus voi järjestelmällisesti liioitella sitä, kuinka hyvin jokin interventio todella toimii. Esimerkiksi jos kymmenen ryhmää testaa samaa yhdistettä ja vain kaksi saa sattumalta positiivisen tuloksen, mutta vain nämä julkaistaan, näyttää kokonaisnäyttö paljon vahvemmalta kuin se todellisuudessa on.

Tähän ongelmaan pyritään vastaamaan ennakkorekisteröinnillä (pre-registration). Siinä tutkijat määrittelevät etukäteen hypoteesinsa, ensisijaiset lopputulosmittarit ja analyysisuunnitelman julkisessa rekisterissä, kuten ClinicalTrials.gov:ssa, ennen datan keräämistä. Ennakkorekisteröidyt tutkimukset tuottavat selvästi vähemmän ylioptimistisia tuloksia (8). Yksi yksinkertainen tarkistus – onko tutkimus ennakkorekisteröity ja vastaavatko julkaistut tulokset alkuperäistä suunnitelmaa – voi jo itsessään suodattaa merkittävän osan epäluotettavista löydöksistä.

Tarkistus 6: Mitattiinko jotain, jolla oikeasti on merkitystä?

Useimmat “longevity”-ravintolisätutkimukset eivät mittaa elinikää tai sairastuvuutta. Sen sijaan ne mittaavat välillisiä mittareita (surrogate endpoints), eli biomarkkereita, joiden oletetaan kuvastavan pitkän aikavälin terveysvaikutuksia. Tällaisia ovat esimerkiksi NAD⁺-tasot, telomeerien pituus, tulehdusmarkkerit tai insuliiniherkkyys. Nämä ovat hyödyllisiä signaaleja, mutta eivät sama asia kuin varsinainen lopputulos.

Välillisen mittarin parantuminen ei automaattisesti tarkoita, että varsinainen terveysvaikutus paranisi. Useat lääkkeet ovat näyttäneet lupaavilta biomarkkeritasolla, mutta epäonnistuneet kliinisissä lopputuloksissa tai jopa aiheuttaneet haittaa, kun niitä on testattu pidemmällä aikavälillä (9). Siksi ravintolisä, joka “parantaa biomarkkeria”, ja interventio, jonka on osoitettu vähentävän sairastumisriskiä, ovat täysin eri tasoisia väitteitä – vaikka ne esitettäisiin vierekkäin samalla tuotesivulla. Esimerkiksi NMN:n kliininen näkökulma -artikkeli avaa hyvin tämän eron yhden eniten tutkituiden longevity-yhdisteistä kautta.

Tarkistus 7: Kuka rahoitti tutkimuksen?

Teollisuuden rahoittamat ravintolisä- ja ravitsemustutkimukset raportoivat todennäköisemmin tuloksia, jotka ovat suotuisia sponsorille (10). Kaupallisesti rahoitettu tutkimus ei ole automaattisesti virheellistä, mutta se on signaali, joka vaatii lisähuomiota – erityisesti silloin, kun tulosta ei ole toistettu riippumattomissa tutkimusryhmissä ilman taloudellista sidosta lopputulokseen.

Rahoitustiedot löytyvät yleensä vertaisarvioidun artikkelin lopusta. On tärkeää tarkistaa, mikä rooli rahoittajalla on ollut tutkimuksessa: onko se osallistunut esimerkiksi datan analysointiin tai käsikirjoituksen laatimiseen. Jos ainoa näyttö jollekin yhdisteelle tulee tutkimuksista, joita sen valmistaja itse rahoittaa, se on vahva peruste odottaa riippumatonta vahvistusta ennen johtopäätösten tekemistä. Tätä näkökulmaa sovelletaan usein myös longevity-yhdisteiden arvioinnissa, mukaan lukien eturistiriitojen tarkastelu varhaisissa ihmistutkimuksissa.

Tarkistus 8: Onko joku muu löytänyt saman lopputuloksen?

Yksittäinen hyvin suunniteltu RCT-tutkimus on vasta lähtökohta, ei lopullinen johtopäätös. Tulokset, jotka toistuvat riippumattomissa tutkimusryhmissä, eri väestöissä ja erilaisissa tutkimusasetelmissa, ovat laadullisesti paljon vahvempaa näyttöä (4). Esimerkiksi omega-3-rasvahapot, kreatiini ja D-vitamiini puutostiloissa ovat hyvin laajasti tutkittuja yhdisteitä, ja niiden vaikutuksia tietyissä lopputuloksissa – kuten sydän- ja verisuonitautien riskimarkkereissa tai lihastoiminnassa – on toistettu useissa riippumattomissa tutkimuksissa. Prosessi, jossa etsitään hyvin toistettuja omega-3 valmisteita, jotka täyttävät tämän kriteerin, toimii hyvänä esimerkkinä siitä, miten toistettavuus ohjaa käytännön ostopäätöksiä.

Kun jokin ravintolisä perustuu vain yhteen tutkimukseen, toistettavuuden puute on itsessään tärkeä havainto. Tulos voi olla tuore, mutta yhtä hyvin riippumattomat tutkimukset voivat olla jo löytäneet neutraaleja tuloksia, jotka eivät ole saaneet yhtä paljon huomiota kuin alkuperäinen positiivinen löydös.

Kahdeksan tarkistuskohdetta yhdellä vilkaisulla

• Minkä tyyppinen tutkimus tämä on: satunnaistettu kontrolloitu tutkimus, havainnointitutkimus, eläinkoe vai in vitro -tutkimus?
• Kuinka monta osallistujaa ja kuinka kauan se kesti?
• Mitkä sekoittavat tekijät mitattiin ja miten ne otettiin huomioon?
• Mitkä sekoittavat tekijät mitattiin ja miten ne otettiin huomioon?
• Oliko tutkimus ennakkoilmoitettu, ja vastaavatko julkaistut tulokset alkuperäistä suunnitelmaa?
• Mitattiinko tutkimuksessa kliinistä tulosta vai korvaavaa biomarkkeria?
• Kuka rahoitti tutkimuksen, ja vaikutti rahoittaja analyysiin tai raportointiin?
• Onko tulosta toistettu riippumattomasti?

Miten Augment Life käyttää tätä viitekehystä

Augment Lifen formulointeja arvioidaan näiden kahdeksan kriteerin kautta. Mukaanottokynnys on ihmistason kliininen näyttö kaksoissokkoutetuista, lumekontrolloiduista tutkimuksista annoksilla, jotka vastaavat tutkimuksissa käytettyjä määriä. Kun näyttö on vahvaa ja toistettu useissa riippumattomissa tutkimusryhmissä, se tuodaan selkeästi esiin. Kun näyttö perustuu eläinmalleihin, pieniin tutkimuksiin tai yksittäisiin toistamattomiin löydöksiin, myös tämä kerrotaan avoimesti. Tavoitteena on antaa tarkka kuva siitä, mitä tutkimus todella osoittaa – mukaan lukien sen rajoitukset.

Loppuhuomio

Pitkäikäisyystutkimus etenee nopeammin kuin laadunvarmistusmekanismit, jotka ohjaavat vakiintuneempia tieteenaloja. Nämä kahdeksan tarkistusta eivät takaa, ettet tulisi harhaanjohdetuksi, mutta ne ovat merkittävä parannus verrattuna siihen, että lukee pelkän abstraktin ja etsii sanoja “kliininen tutkimus”. Juuri näiden kahden lähestymistavan väliin jää se alue, jossa suurin osa huonoista ravintolisäpäätöksistä tehdään.

Lue lisää Augment Lifelta

• Anti-aging-vaikutuksia lupaavat ravintolisät: tulokset, väittämät ja mahdolliset riskit
• Nikotiiniamidimononukleotidi (NMN): Kliinikon näkökulma
• Pitkäikäisyyskeskustelu: Voivatko lisäravinteet korvata liikunnan?
• Autofagian merkitys terveydelle ja pitkäikäisyydelle
• Solusi pystyvät muodostamaan uusia mitokondrioita
• Mikä on optimaalinen pitkäikäisyysruokavalio?

Kirjallisuuslähteet

1. Sacks G et al. Conflicts of interest and the quality of recommendations in clinical guidelines. PLOS Medicine. 2016. doi: 10.1371/journal.pmed.1001798
2. Schulz KF, Altman DG, Moher D. CONSORT 2010 statement: updated guidelines for reporting parallel group randomised trials. BMJ. 2010. doi: 10.1136/bmj.c332
3. Higgins JPT, Thomas J (eds). Cochrane Handbook for Systematic Reviews of Interventions. Version 6.4. Cochrane, 2023.
4. Ioannidis JPA. Why most published research findings are false. PLOS Medicine. 2005. doi: 10.1371/journal.pmed.0020124
5. Rothman KJ, Greenland S, Lash TL. Modern Epidemiology. 3rd ed. Lippincott Williams & Wilkins; 2008.
6. Rothman KJ. Epidemiology: An Introduction. 2nd ed. Oxford University Press; 2012.
7. Turner EH et al. Selective publication of antidepressant trials and its influence on apparent efficacy. N Engl J Med. 2008. doi: 10.1056/NEJMsa065779
8. Chan AW et al. Empirical evidence for selective reporting of outcomes in randomised trials. JAMA. 2004. doi: 10.1001/jama.291.20.2457
9. Fleming TR, DeMets DL. Surrogate end points in clinical trials: are we being misled? Ann Intern Med. 1996. doi: 10.7326/0003-4819-125-7-199610010-00011
10. Lundh A et al. Industry sponsorship and research outcome: a Cochrane review. Cochrane Database Syst Rev. 2017. doi: 10.1002/14651858.MR000033.pub3