How to Tell a Good Study from a Bad One

Как да различим доброто проучване от лошото

Попадате на добавка с приложено клинично изпитване. Купувате я. Шест месеца по-късно някой ви казва, че в проучването са участвали 22 души, продължило е осем седмици и е финансирано от компанията, която произвежда продукта.

Това не е изключение. Това е обикновен вторник в индустрията за добавки за дълголетие.

Проблемът не е, че не сте внимавали. А в това, че никой не ви е казал кои части от едно проучване наистина имат значение и кои са просто шум, облечен като наука. Името на списанието не ви го казва. P-стойността не ви го казва. Не го прави и "двойно сляпо, плацебо-контролирано" на страницата на продукта, което може да означава почти всичко в зависимост от това, което не сте прочели (1).

Тази статия ви дава осем конкретни неща за проверка. Не е курс по методология. Осем проверки, обяснени на достъпен език, които отнемат под пет минути на проучване и веднага ще променят начина, по който четете всяко здравословно твърдение.

Проверка 1: Какъв вид проучване е това?

Това е най-важният въпрос и този, който повечето страници на продукти изцяло пропускат. Проучванията не са взаимозаменяеми. Проучването върху мишки и клиничното изпитване при хора не са различни точки на една и съща скала. Те са отговори на съвсем различни въпроси.

Рандомизираното контролирано изпитване (РКИ) е най-силният дизайн на проучване за оценка на причинно-следствените ефекти при хора. Участниците се разпределят на случаен принцип към интервенцията или към контролна група, което разпределя объркващите фактори поравно между двете групи и прави възможно причинно-следственото заключение (2). Висококачествените систематични прегледи и мета-анализи на РКИ стоят на върха на йерархията на доказателствата (3).

Проучванията върху животни и клетъчните проучвания (in vitro) дават ранни, предварителни доказателства, но имат ограничена пряка приложимост за хората. Рапамицинът, ресвератролът и десетки други съединения удължават живота на мишки и показват далеч по-слаби ефекти в изпитвания при хора. Данните от животни са причина да следим темата, а не причина да действаме (4). За подробен разбор как това се проявява при популярните съединения за дълголетие вижте нашия преглед на добавките, за които се твърди, че имат антиейдж ефект.

Вид проучване Сила на доказателствата Какво може да ви каже
Систематичен преглед / мета-анализ Най-висока Обобщени резултати от множество РКИ; най-надеждната основа за заключения
Рандомизирано контролирано изпитване (РКИ) Висока Причинно-следствени връзки между интервенцията и резултата
Кохортно проучване Умерена Асоциации във времето; не може да установи причинност
Напречно проучване Ниска Моментна снимка; само асоциация, без времева посока
Проучване върху животни Предварителна Хипотези за механизмите; резултатите често не се пренасят при хората
In vitro (клетъчно проучване) Предварителна Само ранна биологична правдоподобност

Проверка 2: Колко души са участвали?

Малките проучвания са структурно ненадеждни. Способността на едно проучване да открие реален ефект зависи от неговата статистическа мощност, която се определя от броя на участниците. При твърде малко хора проучването пропуска истинските ефекти или дава впечатляващи на вид резултати по случайност, които се сриват, когато някой ги провери в по-голяма популация (4).

Много изпитвания на добавки включват от 20 до 60 души за период от 8 до 12 седмици. Това е достатъчно за прессъобщение. Като работно правило, отнасяйте се предпазливо към малките РКИ с ограничен брой участници, особено ако не са били независимо възпроизведени. Внимавайте и какво всъщност означава "статистически значимо": p-стойност под 0,05 показва, че наблюдаваният резултат би бил малко вероятен, ако приемем, че няма истински ефект. Тя не ни казва нищо за това дали ефектът е достатъчно голям, за да има значение. Доверителните интервали са по-полезни — широк интервал или такъв, който почти докосва нулата, трябва да ви накара да бъдете предпазливи, независимо от p-стойността (5).

Проверка 3: Знаел ли е някой кой какво приема?

При двойно сляпо изпитване нито участниците, нито изследователите знаят кой е получил активното съединение и кой плацебо. Това е по-важно, отколкото повечето хора осъзнават, защото плацебо ефектът е реален и биологично измерим. Хората, които вярват, че приемат активно съединение, съобщават за истински подобрения в енергията, концентрацията, настроението и съня, независимо от това какво всъщност има в капсулата (5).

Отворените изпитвания, при които всички знаят разпределението, дават систематично завишени резултати за субективни показатели. Когато едно изпитване съобщава за подобрена енергия или по-ясно мислене без двойно заслепяване, находката е трудна за интерпретация, а това ограничение си струва да се търси на всяка страница на продукт, която цитира изследването.

Featured in This Article

Проверка 4: Може ли нещо друго да обясни резултата?

Объркващите фактори са причината, поради която наблюдателните изследвания са толкова трудни за практическо приложение. Объркващият фактор е трета променлива, свързана както с изучавания фактор, така и с резултата, която кара две неща да изглеждат свързани, въпреки че не се причиняват пряко едно друго (6).

В изследванията на дълголетието това е навсякъде. Хората, които приемат NMN или NR, често се различават систематично от тези, които не го правят — например по физическа активност, хранене, сън и доходи. Всеки от тези фактори самостоятелно предсказва множество здравни резултати. Проучване, което установява, че потребителите на NMN имат по-добри метаболитни показатели, може да отразява разлики в начина на живот, а не ефекта на самото съединение, освен ако тези фактори не са внимателно контролирани. Рандомизираните контролирани изпитвания са създадени да решават именно този проблем, затова и имат по-голяма тежест.

Проверка 5: Виждате ли всички проучвания или само тези, които са проработили?

Списанията публикуват положителни резултати много по-охотно от нулевите (7). Проучванията, които не откриват ефект, обикновено остават непубликувани, така че литературата, до която имате достъп, систематично преувеличава колко добре работят интервенциите. Ако десет групи тестват едно съединение и две от тях получат резултат по случайност, но се публикуват само тези две, публичният архив изглежда като солидна подкрепа.

Коректив е предварителната регистрация: изследователите декларират своята хипотеза, първичните резултати и плана за анализ в публичен регистър като ClinicalTrials.gov, преди да съберат каквито и да е данни. Предварително регистрираните изпитвания дават значително по-малко завишени положителни находки (8). Отнема 90 секунди да проверите дали изпитването е било регистрирано предварително и дали публикуваните резултати съвпадат с първоначално заложените. Само тази проверка филтрира значителна част от ненадеждните находки.

Проверка 6: Измерили ли са нещо, което наистина има значение?

Повечето изпитвания на добавки за дълголетие не измерват продължителност на живота или честота на заболяванията. Те измерват сурогатни крайни точки: биомаркери, за които се предполага, че заместват резултати, които се проявяват след години. Нива на NAD+, дължина на теломерите, възпалителни маркери, инсулинова чувствителност. Това са информативни сигнали. Но не са същото като самия резултат.

Подобряването на един сурогатен показател не гарантира подобрение на основния резултат. Няколко лекарства със силни сурогатни данни са се провалили или са причинили вреда на ниво клиничен резултат (9). Добавка, която променя един биомаркер, и добавка, за която е доказано, че намалява риска от заболяване, са различни твърдения, дори когато и двете са на една и съща страница на продукт. Нашата клинична гледна точка за NMN разглежда точно тази разлика, като използва едно от най-изучаваните съединения за дълголетие като пример.

Проверка 7: Кой го е платил?

Проучванията в областта на храненето и добавките, финансирани от индустрията, са по-склонни да отчитат резултати, благоприятни за спонсора (10). Изследването със търговски спонсор не е автоматично погрешно. Това е сигнал, който налага допълнителна проверка, особено когато находката не е била възпроизведена от група без финансов интерес от резултата.

Декларациите за финансиране се намират в края на повечето рецензирани статии. Проверете дали спонсорът е имал роля в анализа на данните или в подготовката на ръкописа, а ако единствените доказателства за едно съединение идват от изпитвания, платени от производителя, приемете това като причина да изчакате независимо възпроизвеждане, преди да действате. Прилагаме тази гледна точка последователно, когато разглеждаме доказателствата за съединения за дълголетие, включително като проверяваме конфликтите на интереси, декларирани в ранните изпитвания при хора.

Проверка 8: Откривал ли е някой друг същото?

Едно-единствено добре проектирано РКИ е отправна точка, а не заключение. Находките, които издържат при независими изследователски групи, различни популации и различни дизайни на проучвания, имат качествено различна тежест (4). Омега-3 мастните киселини, креатинът и витамин D при популации с дефицит са сред най-обстойно изучаваните съединения, като находките им са възпроизведени от множество изследователски групи, особено за конкретни резултати като маркери на сърдечносъдовия риск и мускулна функция. Процесът на намиране на добре възпроизведена омега-3 добавка, която отговаря на този стандарт, е полезна илюстрация как възпроизвеждането оформя реалните решения за покупка.

Когато една добавка се рекламира само с едно изпитване, липсата на възпроизвеждане сама по себе си е информация. Находката може да е скорошна. Възможно е и независимите опити да са дали нулеви резултати, които са привлекли по-малко внимание от оригинала.

Осемте проверки накратко

  • Какъв вид проучване е това: РКИ, наблюдателно, върху животни или in vitro?
  • Колко участници има и колко дълго е продължило?
  • Били ли са участниците и изследователите заслепени за разпределението?
  • Кои объркващи фактори са измерени и коригирани?
  • Регистрирано ли е изпитването предварително и съвпадат ли публикуваните резултати с първоначалния план?
  • Измерило ли е проучването клиничен резултат или сурогатен биомаркер?
  • Кой е финансирал изследването и имал ли е спонсорът роля в анализа или отчитането?
  • Възпроизведена ли е находката независимо?

Как Augment Life прилага тази рамка

Формулите на Augment Life се оценяват по тези осем критерия. Прагът за включване са клинични доказателства при хора от двойно слепи, плацебо-контролирани изпитвания при дози, отговарящи на използваните в изследването. Когато доказателствата са силни и последователно възпроизведени от независими групи, това се посочва. Когато се основават на данни от животни, малки изпитвания или една-единствена невъзпроизведена находка, и това се посочва. Целта е точен разказ за това, което показват изследванията, включително и за техните ограничения.

Последна бележка

Изследванията на дълголетието се движат по-бързо от механизмите за контрол на качеството, които регулират по-утвърдените области. Тези осем проверки не са гаранция, че няма да бъдете подведени. Но са значително подобрение в сравнение с четенето на резюмето и търсенето на думите "клинично изпитване". Именно в разликата между тези два подхода се взимат повечето лоши решения за добавки.

Прочетете още от Augment Life

Литературни източници

  1. Sacks G et al. Conflicts of interest and the quality of recommendations in clinical guidelines. PLOS Medicine. 2016. doi: 10.1371/journal.pmed.1001798
  2. Schulz KF, Altman DG, Moher D. CONSORT 2010 statement: updated guidelines for reporting parallel group randomised trials. BMJ. 2010. doi: 10.1136/bmj.c332
  3. Higgins JPT, Thomas J (eds). Cochrane Handbook for Systematic Reviews of Interventions. Version 6.4. Cochrane, 2023.
  4. Ioannidis JPA. Why most published research findings are false. PLOS Medicine. 2005. doi: 10.1371/journal.pmed.0020124
  5. Rothman KJ, Greenland S, Lash TL. Modern Epidemiology. 3rd ed. Lippincott Williams & Wilkins; 2008.
  6. Rothman KJ. Epidemiology: An Introduction. 2nd ed. Oxford University Press; 2012.
  7. Turner EH et al. Selective publication of antidepressant trials and its influence on apparent efficacy. N Engl J Med. 2008. doi: 10.1056/NEJMsa065779
  8. Chan AW et al. Empirical evidence for selective reporting of outcomes in randomised trials. JAMA. 2004. doi: 10.1001/jama.291.20.2457
  9. Fleming TR, DeMets DL. Surrogate end points in clinical trials: are we being misled? Ann Intern Med. 1996. doi: 10.7326/0003-4819-125-7-199610010-00011
  10. Lundh A et al. Industry sponsorship and research outcome: a Cochrane review. Cochrane Database Syst Rev. 2017. doi: 10.1002/14651858.MR000033.pub3

Featured in This Article

Назад към блога

Оставете коментар

Моля, имайте предвид, че коментарите се одобряват, преди да бъдат публикувани.

Препоръчана колекция

1 от 3