How to Tell a Good Study from a Bad One

Como distinguir um bom estudo de um mau estudo

Encontra um suplemento com um ensaio clínico associado. Você compra-o. Seis meses depois, alguém lhe diz que o estudo contou com 22 participantes, durou oito semanas e foi financiado pela empresa que fabrica o produto.

Este não é um caso isolado. É o pináculo da indústria dos suplementos para a longevidade.

O problema não é que não estivesse a prestar atenção. É que ninguém lhe disse que partes de um estudo realmente importam e quais são ruído disfarçado de ciência. O nome da revista não lhe diz isso. Um valor p não lhe diz isso. Nem sequer a expressão "duplo-cego, controlado por placebo" na página do produto, que pode significar quase tudo, dependendo do que não se lê (1).

Este artigo apresenta oito pontos específicos a verificar. Não é um curso de metodologia. Oito verificações, em linguagem simples, que demoram menos de cinco minutos por estudo e que vão mudar imediatamente a forma como interpreta qualquer alegação de saúde.

Verificação 1: Que tipo de estudo é este?

Esta é a questão mais importante e aquela que a maioria das páginas de produtos ignora por completo. Os estudos não são intercambiáveis. Um estudo com ratos e um ensaio clínico em humanos não são pontos diferentes na mesma escala. São respostas a perguntas completamente diferentes.

O ensaio clínico randomizado (ECR) é o modelo de estudo mais robusto para avaliar os efeitos causais em humanos. Os participantes são aleatoriamente designados para a intervenção ou para o grupo de controlo, o que distribui as variáveis de confusão de forma igual entre os dois grupos e possibilita a inferência causal (2). As revisões sistemáticas e as meta-análises de alta qualidade dos ECR estão no topo da hierarquia da evidência (3).

Os estudos com animais e com células (in vitro) fornecem evidências iniciais e preliminares, mas têm uma aplicabilidade direta limitada em humanos. A rapamicina, o resveratrol e dezenas de outros compostos prolongaram a vida útil em ratos e apresentaram efeitos muito mais fracos em ensaios clínicos com humanos. Os dados em animais são um motivo para continuar a observar, não um motivo para agir (4). Para uma análise detalhada de como isto se aplica aos compostos populares para a longevidade, consulte a nossa visão geral dos suplementos com alegações de ação antienvelhecimento.

Study Type Evidence Strength What It Can Tell You
Systematic review / meta-analysis Highest Pooled findings from multiple RCTs; most reliable basis for conclusions
Randomised controlled trial (RCT) High Causal relationships between intervention and outcome
Cohort study Moderate Associations over time; cannot establish causation
Cross-sectional study Low Snapshot in time; association only, no temporal direction
Animal study Preliminary Mechanism hypotheses; results often do not translate to humans
In vitro (cell study) Preliminary

Early biological plausibility only

 

Verificação 2: Quantas pessoas participaram?

Estudos pequenos são estruturalmente pouco fiáveis. A capacidade de um estudo detetar um efeito real depende do seu poder estatístico, que é determinado pelo número de participantes. Um número muito reduzido de participantes pode levar à perda de efeitos genuínos ou à produção de resultados aparentemente impressionantes por acaso, que se desfazem quando testados numa população maior (4).

Muitos ensaios clínicos com suplementos envolvem 20 a 60 pessoas ao longo de 8 a 12 semanas. Isto é suficiente para gerar um comunicado de imprensa. Regra geral, trate com cautela os pequenos ensaios clínicos randomizados (ECR) com um número limitado de participantes, especialmente se não tiverem sido replicados de forma independente. Além disso, repare no que significa realmente "estatisticamente significativo": um valor de p abaixo de 0,05 indica que o resultado observado seria improvável sob a suposição de que não existe um efeito real. Isto não diz nada sobre se o efeito é suficientemente grande para ser relevante. Os intervalos de confiança são mais úteis — um intervalo amplo ou próximo de zero deve gerar cautela, independentemente do valor p (5).

Verificação 3: Alguém sabia quem estava a tomar o quê? Num ensaio duplo-cego, nem os participantes nem os investigadores sabem quem recebeu o composto activo e quem recebeu o placebo. Isto é mais importante do que a maioria das pessoas imagina, porque o efeito placebo é real e biologicamente mensurável. As pessoas que acreditam estar a tomar um composto ativo relatam melhorias genuínas na energia, foco, humor e sono, independentemente do que está realmente na cápsula (5).

Os ensaios abertos, em que todos conhecem a alocação, produzem resultados sistematicamente inflacionados para desfechos subjetivos. Quando um ensaio relata uma melhoria na energia ou na clareza cognitiva sem duplo-cego, a descoberta é difícil de interpretar, e esta limitação deve ser considerada em qualquer página de produto que cite a investigação.

Verificação 4: Algo mais poderia explicar o resultado?

A presença de fatores de confusão é a razão pela qual a investigação observacional é tão difícil de interpretar. Um fator de confusão é uma terceira variável associada tanto ao objeto de estudo como ao desfecho, fazendo com que duas coisas pareçam estar ligadas quando, na verdade, não são causadoras diretas uma da outra (6).

Na investigação sobre longevidade, este problema é generalizado. As pessoas que fazem suplementação com NMN ou NR diferem frequentemente sistematicamente das que não a fazem — por exemplo, em relação ao exercício físico, à dieta, ao sono e ao rendimento. Cada um destes fatores, de forma independente, prediz muitos resultados de saúde. Um estudo que constata que os utilizadores de NMN apresentam melhores marcadores metabólicos pode reflectir diferenças no estilo de vida, e não o efeito do próprio composto, a não ser que estes factores sejam cuidadosamente controlados. Os ensaios clínicos randomizados e controlados são desenhados para abordar este problema, razão pela qual têm um maior peso.

Verificação 5: Está a ver todos os estudos ou apenas aqueles que funcionaram?

As revistas científicas publicam resultados positivos com muito mais facilidade do que resultados nulos (7). Os estudos que não encontram efeito tendem a permanecer inéditos, pelo que a literatura disponível sobrestima sistematicamente a eficácia das intervenções. Se dez grupos testarem um composto e dois encontrarem um resultado por acaso, mas apenas esses dois forem publicados, o registo público parecerá fornecer uma base sólida.

A solução é o pré-registo: os investigadores declaram a sua hipótese, desfechos primários e plano de análise num registo público como o ClinicalTrials.gov antes de recolher quaisquer dados. Os ensaios pré-registados produzem substancialmente menos resultados positivos inflacionados (8). Bastam 90 segundos para verificar se um ensaio foi pré-registado e se os resultados publicados correspondem ao que foi originalmente especificado. Esta verificação, por si só, filtra uma proporção significativa de resultados não fiáveis.

Verificação 6: Mediram algo que realmente importa?

A maioria dos ensaios com suplementos para a longevidade não mede a esperança de vida ou a incidência de doenças. Medem desfechos substitutos: biomarcadores que supostamente representam desfechos que demoram anos a aparecer. Níveis de NAD+, comprimento dos telómeros, marcadores inflamatórios, sensibilidade à insulina. Estes são sinais informativos. Não são o mesmo que o desfecho.

Melhorar um marcador substituto não garante a melhoria do desfecho subjacente. Vários medicamentos com fortes dados de marcadores substitutos falharam ou causaram danos ao nível do desfecho clínico (9). Um suplemento que altera um biomarcador e um que comprovadamente reduz o risco de doença são alegações diferentes, mesmo quando ambos aparecem na mesma página do produto. A perspetiva do nosso médico sobre o NMN aborda exatamente esta distinção utilizando um dos compostos de longevidade mais estudados como exemplo prático.

Verificação 7: Quem Pagou por Isto?

Os estudos sobre nutrição e suplementos financiados pela indústria têm maior probabilidade de apresentar resultados favoráveis ao patrocinador (10). As pesquisas patrocinadas comercialmente não são automaticamente erradas. É um sinal que justifica uma análise mais aprofundada, principalmente quando uma descoberta não foi replicada por um grupo sem interesse financeiro no resultado.

As divulgações de financiamento aparecem no final da maioria dos artigos revistos por pares. Verifique se o promotor teve participação na análise dos dados ou na preparação do manuscrito e, se a única evidência para um composto provém de ensaios clínicos pagos pelo fabricante, considere isso um motivo para aguardar a replicação independente antes de agir. Aplicamos esta perspetiva de forma consistente ao rever a evidência sobre compostos para a longevidade, incluindo a análise de conflitos de interesse divulgados em ensaios clínicos iniciais com humanos.

Verificação 8: Mais Alguém Descobriu a Mesma Coisa?

Um único ensaio clínico randomizado (ECR) bem delineado é um ponto de partida, não uma conclusão. As descobertas que se mantêm em diferentes grupos de investigação independentes, populações e desenhos de estudo têm um peso qualitativamente diferente (4). Os ácidos gordos ómega-3, a creatina e a vitamina D em populações com deficiência estão entre os compostos mais extensivamente estudados, com resultados replicados por múltiplos grupos de investigação, particularmente para desfechos específicos, como marcadores de risco cardiovascular e função muscular. O processo de encontrar um suplemento de ómega-3 bem replicado que cumpra este critério é uma ilustração útil de como a replicação influencia as decisões de compra reais.

Quando um suplemento é promovido com base apenas num ensaio clínico, a ausência de replicação em si já é um dado relevante. A descoberta pode ser recente. As tentativas independentes também podem ter produzido resultados nulos que atraíram menos atenção do que o estudo original.

Os Oito Pontos a Verificar:

  • Que tipo de estudo é este: ensaio clínico randomizado (ECR), observacional, em animais ou in vitro?
  • Quantos participantes e qual a duração do estudo?
  • Os participantes e os investigadores desconheciam a alocação dos grupos?
  • Que fatores de confusão foram medidos e ajustados?
  • O ensaio clínico foi pré-registado e os resultados publicados correspondem ao plano original?
  • O estudo mediu um desfecho clínico ou um biomarcador substituto? Quem financiou a investigação e o patrocinador teve algum papel na análise ou na divulgação dos resultados?
  • A descoberta foi replicada de forma independente?

Como a Augment Life utiliza esta estrutura

As formulações da Augment Life são avaliadas de acordo com estes oito critérios. O limiar para a inclusão é a evidência clínica em humanos proveniente de ensaios duplo-cegos, controlados por placebo, com doses correspondentes às utilizadas na investigação. Quando a evidência é robusta e consistentemente replicada por diferentes grupos, isso é declarado. Quando se baseia em dados de animais, pequenos ensaios ou uma única descoberta não replicada, isto também é declarado. O objetivo é apresentar um relato preciso do que a investigação demonstra, incluindo as suas limitações.

Uma observação final

A investigação sobre a longevidade está a avançar mais rapidamente do que os controlos de qualidade que regem áreas mais consolidadas. Estas oito verificações não garantem que não será enganado. Representam uma melhoria significativa em relação à leitura do resumo e à pesquisa das palavras "ensaio clínico". O fosso entre estas duas abordagens é onde acontece a maioria das más decisões sobre suplementos.

Ler mais da Augment Life

Suplementos com alegações de propriedades antienvelhecimento: resultados, alegações e riscos potenciais.

Fontes bibliográficas

  1. Sacks G et al. Conflicts of interest and the quality of recommendations in clinical guidelines. PLOS Medicine. 2016. doi: 10.1371/journal.pmed.1001798
  2. Schulz KF, Altman DG, Moher D. CONSORT 2010 statement: updated guidelines for reporting parallel group randomised trials. BMJ. 2010. doi: 10.1136/bmj.c332
  3. Higgins JPT, Thomas J (eds). Cochrane Handbook for Systematic Reviews of Interventions. Version 6.4. Cochrane, 2023.
  4. Ioannidis JPA. Why most published research findings are false. PLOS Medicine. 2005. doi: 10.1371/journal.pmed.0020124
  5. Rothman KJ, Greenland S, Lash TL. Modern Epidemiology. 3rd ed. Lippincott Williams & Wilkins; 2008.
  6. Rothman KJ. Epidemiology: An Introduction. 2nd ed. Oxford University Press; 2012.
  7. Turner EH et al. Selective publication of antidepressant trials and its influence on apparent efficacy. N Engl J Med. 2008. doi: 10.1056/NEJMsa065779
  8. Chan AW et al. Empirical evidence for selective reporting of outcomes in randomised trials. JAMA. 2004. doi: 10.1001/jama.291.20.2457
  9. Fleming TR, DeMets DL. Surrogate end points in clinical trials: are we being misled? Ann Intern Med. 1996. doi: 10.7326/0003-4819-125-7-199610010-00011
  10. Lundh A et al. Industry sponsorship and research outcome: a Cochrane review. Cochrane Database Syst Rev. 2017. doi: 10.1002/14651858.MR000033.pub3

 

Voltar para o blogue

Deixe um comentário

Tenha em atenção que os comentários necessitam de ser aprovados antes de serem publicados.

Coleção em Destaque

  • Do Red Light Therapy Hats Actually Work for Hair Health?

    Os chapéus de terapia com luz vermelha funciona...

    Há pouco tempo, a terapia com luz vermelha parecia saída de um filme de ficção científica. Agora, ela está por todo o lado, desde podcasts de ciência e bem-estar a...

    Os chapéus de terapia com luz vermelha funciona...

    Há pouco tempo, a terapia com luz vermelha parecia saída de um filme de ficção científica. Agora, ela está por todo o lado, desde podcasts de ciência e bem-estar a...

  • Why Athletes Need Magnesium

    Porque é que os atletas precisam de magnésio?

    Cãibras musculares, sono interrompido, dores persistentes e aquela sensação de cansaço entre sessões não são apenas sinais de treino intenso. Em muitos casos, reflectem sistemas de recuperação com dificuldades em...

    Porque é que os atletas precisam de magnésio?

    Cãibras musculares, sono interrompido, dores persistentes e aquela sensação de cansaço entre sessões não são apenas sinais de treino intenso. Em muitos casos, reflectem sistemas de recuperação com dificuldades em...

  • What is Lion’s Mane?

    O que é a juba de leão?

    O cogumelo Juba de Leão (Hericium erinaceus) é um cogumelo comestível tradicionalmente utilizado na Ásia Oriental e atualmente amplamente estudado pelo seu potencial papel na saúde cerebral e no envelhecimento....

    O que é a juba de leão?

    O cogumelo Juba de Leão (Hericium erinaceus) é um cogumelo comestível tradicionalmente utilizado na Ásia Oriental e atualmente amplamente estudado pelo seu potencial papel na saúde cerebral e no envelhecimento....

1 de 3