Πώς να ξεχωρίσoυμε μια καλή μελέτη από μια κακή

Βρίσκεις ένα συμπλήρωμα διατροφής που συνοδεύεται από μια κλινική μελέτη. Το αγοράζεις. Έξι μήνες αργότερα, κάποιος σου λέει ότι στη μελέτη συμμετείχαν 22 άτομα, διήρκεσε οκτώ εβδομάδες και χρηματοδοτήθηκε από την εταιρεία που παράγει το προϊόν.

Δεν πρόκειται για μεμονωμένη περίπτωση. Αυτή είναι η καθημερινότητα στον κλάδο των συμπληρωμάτων για τη μακροζωία.

Το πρόβλημα δεν είναι ότι δεν προσέξατε. Είναι ότι κανείς δεν σας είπε ποια μέρη μιας μελέτης έχουν πραγματικά σημασία και ποια μέρη είναι απλώς θόρυβος που μεταμφιέζεται σε επιστήμη. Το όνομα ενός περιοδικού δεν σας το λέει αυτό. Η τιμή p δεν σας το λέει αυτό. Ούτε το "διπλά τυφλό, ελεγχόμενο με εικονικό φάρμακο" σε μια σελίδα προϊόντος, το οποίο μπορεί να σημαίνει σχεδόν οτιδήποτε ανάλογα με το τι δεν διαβάζετε (1).

Αυτό το άρθρο σας δίνει οκτώ συγκεκριμένα πράγματα που πρέπει να ελέγξετε. Δεν είναι μάθημα μεθοδολογίας. Οκτώ κριτήρια, σε απλή γλώσσα, που διαρκούν λιγότερο από πέντε λεπτά ανά μελέτη και θα αλλάξουν αμέσως τον τρόπο με τον οποίο διαβάζετε οποιαδήποτε ισχυρισμό για την υγεία.

Κριτήριο 1ο: Ποιος είναι ο τύπος της μελέτης;

Αυτή είναι η πιο σημαντική ερώτηση και αυτή που οι περισσότερες σελίδες προϊόντων παραλείπουν εντελώς. Οι μελέτες δεν είναι εναλλάξιμες. Μια μελέτη σε ποντίκια και μια κλινική δοκιμή σε ανθρώπους δεν αποτελούν διαφορετικά σημεία στην ίδια κλίμακα. Αποτελούν απαντήσεις σε εντελώς διαφορετικά ερωτήματα.

Η τυχαιοποιημένη ελεγχόμενη δοκιμή (RCT) είναι ο ισχυρότερος σχεδιασμός μελέτης για την αξιολόγηση αιτιωδών αποτελεσμάτων στον άνθρωπο. Οι συμμετέχοντες κατανέμονται τυχαία στην παρέμβαση ή στην ομάδα ελέγχου, γεγονός που κατανέμει τις συγχυτικές μεταβλητές εξίσου και στις δύο ομάδες και καθιστά δυνατή την αιτιώδη συμπερασματολογία (2). Οι συστηματικές ανασκοπήσεις υψηλής ποιότητας και οι μετα-αναλύσεις των RCT βρίσκονται στην κορυφή της ιεραρχίας των αποδεικτικών στοιχείων (3).

Οι μελέτες σε ζώα και σε κυτταρικό επίπεδο (in vitro) παρέχουν πρώιμα, προκαταρκτικά στοιχεία, αλλά έχουν περιορισμένη άμεση εφαρμογή στον άνθρωπο. Η ραπαμυκίνη, η ρεσβερατρόλη και δεκάδες άλλες ουσίες επέκτειναν τη διάρκεια ζωής σε ποντίκια, ενώ παρουσίασαν πολύ πιο αδύναμα αποτελέσματα σε δοκιμές σε ανθρώπους. Τα δεδομένα από μελέτες σε ζώα αποτελούν λόγο για να συνεχίσουμε να παρακολουθούμε την εξέλιξη, όχι λόγο για να αναλάβουμε δράση (4). Για μια αναλυτική παρουσίαση του πώς αυτό ισχύει για τις δημοφιλείς ουσίες που σχετίζονται με τη μακροζωία, δείτε την επισκόπηση των συμπληρωμάτων που προωθούνται ως αντιγηραντικά.

Κριτήριο 2ο: Πόσα άτομα συμμετείχαν;

Οι μικρής κλίμακας μελέτες είναι εγγενώς αναξιόπιστες. Η ικανότητα μιας μελέτης να εντοπίσει ένα πραγματικό αποτέλεσμα εξαρτάται από τη στατιστική της ισχύ, η οποία καθορίζεται από τον αριθμό των συμμετεχόντων. Αν ο αριθμός των συμμετεχόντων είναι πολύ μικρός, η μελέτη είτε παραβλέπει πραγματικά αποτελέσματα είτε παράγει εντυπωσιακά αποτελέσματα τυχαία, τα οποία καταρρέουν όταν κάποιος τα επαληθεύσει σε έναν μεγαλύτερο πληθυσμό (4)..

Πολλές δοκιμές συμπληρωμάτων διατροφής περιλαμβάνουν 20 έως 60 άτομα και διαρκούν 8 έως 12 εβδομάδες. Αυτό αρκεί για να εκδοθεί ένα δελτίο τύπου. Ως γενικός κανόνας, αντιμετωπίστε με επιφύλαξη τις μικρές τυχαιοποιημένες ελεγχόμενες δοκιμές (RCT) με περιορισμένο αριθμό συμμετεχόντων, ειδικά αν δεν έχουν επαναληφθεί ανεξάρτητα. Επίσης, προσέξτε τι σημαίνει πραγματικά «στατιστικά σημαντικό»: μια τιμή p κάτω από 0,05 υποδηλώνει ότι το παρατηρούμενο αποτέλεσμα θα ήταν απίθανο υπό την υπόθεση ότι δεν υπάρχει πραγματικό αποτέλεσμα. Δεν λέει τίποτα για το αν το αποτέλεσμα είναι αρκετά μεγάλο ώστε να έχει σημασία. Τα διαστήματα εμπιστοσύνης είναι πιο χρήσιμα — ένα ευρύ διάστημα ή ένα που αγγίζει σχεδόν το μηδέν θα πρέπει να σας κάνει να είστε επιφυλακτικοί ανεξάρτητα από την τιμή p (5).

Κριτήριο 3ο: Υπήρξε απόκρυψη της κατανομής;

Σε μια διπλά τυφλή δοκιμή, ούτε οι συμμετέχοντες ούτε οι ερευνητές γνωρίζουν ποιος έλαβε τη δραστική ουσία και ποιος το εικονικό φάρμακο. Αυτό έχει μεγαλύτερη σημασία από ό,τι συνειδητοποιούν οι περισσότεροι, καθώς το φαινόμενο του εικονικού φαρμάκου είναι πραγματικό και βιολογικά μετρήσιμο. Τα άτομα που πιστεύουν ότι λαμβάνουν δραστική ουσία αναφέρουν πραγματικές βελτιώσεις στην ενέργεια, τη συγκέντρωση, τη διάθεση και τον ύπνο, ανεξάρτητα από το τι περιέχει στην πραγματικότητα η κάψουλα (5).

Οι μελέτες ανοικτής επισήμανσης (open-label), όπου όλοι γνωρίζουν την κατανομή, παράγουν συστηματικά διογκωμένα αποτελέσματα για υποκειμενικές εκβάσεις. Όταν μια δοκιμή αναφέρει βελτίωση της ενέργειας ή της γνωστικής διαύγειας χωρίς τη μέθοδο της διπλής τυφλής μελέτης, το εύρημα είναι δύσκολο να ερμηνευθεί, και αυτός ο περιορισμός αξίζει να αναζητάται σε κάθε σελίδα προϊόντος που παραθέτει τη σχετική έρευνα.

Κριτήριο 4ο: Υπάρχουν εναλλακτικές ερμηνείες για το αποτέλεσμα;

Οι συγχυτικοί παράγοντες είναι ο λόγος για τον οποίο είναι τόσο δύσκολο να βγάλει κανείς συμπεράσματα από τις παρατηρητικές μελέτες. Ένας συγχυτικός παράγοντας είναι μια τρίτη μεταβλητή που σχετίζεται τόσο με το αντικείμενο της μελέτης όσο και με το αποτέλεσμα, με αποτέλεσμα δύο πράγματα να φαίνονται συνδεδεμένα, ενώ στην πραγματικότητα δεν προκαλούν το ένα το άλλο άμεσα (6).

Στην έρευνα για τη μακροζωία, αυτό είναι πολύ διαδεδομένο. Άτομα που λαμβάνουν συμπληρώματα NMN ή NR συχνά διαφέρουν συστηματικά από όσους δεν το κάνουν — για παράδειγμα, όσον αφορά την άσκηση, τη διατροφή, τον ύπνο και το εισόδημα. Κάθε ένας από αυτούς τους παράγοντες αποτελεί ανεξάρτητο προγνωστικό παράγοντα για πολλά αποτελέσματα υγείας. Μια μελέτη που διαπιστώνει ότι οι χρήστες NMN παρουσιάζουν καλύτερους μεταβολικούς δείκτες μπορεί να αντανακλά διαφορές στον τρόπο ζωής και όχι την επίδραση της ίδιας της ουσίας, εκτός αν αυτοί οι παράγοντες έχουν ληφθεί προσεκτικά υπόψη. Οι τυχαιοποιημένες ελεγχόμενες δοκιμές έχουν σχεδιαστεί για να αντιμετωπίσουν αυτό το πρόβλημα, και γι’ αυτό έχουν μεγαλύτερη βαρύτητα.

Κριτήριο 5ο: Εξετάζεται το σύνολο των μελετών ή υπάρχει επιλεκτική παρουσίαση θετικών αποτελεσμάτων;

Τα επιστημονικά περιοδικά δημοσιεύουν τα θετικά αποτελέσματα πολύ πιο εύκολα από τα μη στατιστικά σημαντικά (7). Οι μελέτες που δεν διαπιστώνουν καμία επίδραση τείνουν να παραμένουν αδημοσίευτες, με αποτέλεσμα η βιβλιογραφία στην οποία έχετε πρόσβαση να υπερεκτιμά συστηματικά την αποτελεσματικότητα των παρεμβάσεων. Αν δέκα ομάδες δοκιμάσουν μια ουσία και δύο βρουν ένα αποτέλεσμα τυχαία, αλλά μόνο αυτές οι δύο δημοσιευτούν, τα δημόσια στοιχεία φαίνονται να αποτελούν αδιάσειστη απόδειξη.

Η λύση είναι η προ-εγγραφή: οι ερευνητές δηλώνουν την υπόθεσή τους, τα κύρια αποτελέσματα και το σχέδιο ανάλυσης σε ένα δημόσιο μητρώο όπως το ClinicalTrials.gov πριν από τη συλλογή οποιωνδήποτε δεδομένων. Οι προ-εγγεγραμμένες δοκιμές παράγουν σημαντικά λιγότερα υπερβολικά θετικά ευρήματα (8). Χρειάζονται 90 δευτερόλεπτα για να ελεγχθεί αν μια δοκιμή ήταν προ-εγγεγραμμένη και αν τα δημοσιευμένα αποτελέσματα ταιριάζουν με αυτά που είχαν αρχικά καθοριστεί. Αυτός ο έλεγχος από μόνος του φιλτράρει ένα σημαντικό ποσοστό αναξιόπιστων ευρημάτων.

Κριτήριο 6ο: Αξιολογήθηκαν κλινικά σημαντικές παράμετροι;

Οι περισσότερες δοκιμές συμπληρωμάτων μακροζωίας δεν μετρούν τη διάρκεια ζωής ή την επίπτωση ασθενειών. Μετρούν υποκατάστατα καταληκτικά σημεία: βιοδείκτες που θεωρείται ότι λειτουργούν ως αντιπρόσωποι (proxies) για αποτελέσματα που χρειάζονται χρόνια για να εμφανιστούν. Επίπεδα NAD+, μήκος τελομερών, φλεγμονώδεις δείκτες, ευαισθησία στην ινσουλίνη. Αυτά είναι κατατοπιστικά σήματα. Δεν είναι όμως το ίδιο με το τελικό αποτέλεσμα.

Η βελτίωση ενός υποκατάστατου δείκτη δεν εγγυάται τη βελτίωση της υποκείμενης έκβασης. Αρκετά φάρμακα με ισχυρά υποκατάστατα δεδομένα απέτυχαν ή προκάλεσαν βλάβη σε επίπεδο κλινικού αποτελέσματος (9). Ένα συμπλήρωμα που μεταβάλλει έναν βιοδείκτη και ένα συμπλήρωμα που αποδεδειγμένα μειώνει τον κίνδυνο νόσου αποτελούν διαφορετικούς ισχυρισμούς, ακόμη και όταν και οι δύο εμφανίζονται στην ίδια σελίδα προϊόντος. Η cοπτική του κλινικού ιατρού πάνω στο NMN αναλύει διεξοδικά ακριβώς αυτή τη διάκριση, χρησιμοποιώντας μία από τις πιο μελετημένες ουσίες μακροζωίας ως πρακτικό παράδειγμα.

Κριτήριο 7ο: Πηγή χρηματοδότησης και σύγκρουση συμφερόντων;

Οι μελέτες για τη διατροφή και τα συμπληρώματα διατροφής που χρηματοδοτούνται από τη βιομηχανία είναι πιο πιθανό να παρουσιάζουν αποτελέσματα ευνοϊκά για τον χορηγό (10). Η εμπορικά χρηματοδοτούμενη έρευνα δεν είναι εξ ορισμού λανθασμένη. Αποτελεί όμως ένδειξη που απαιτεί περαιτέρω εξέταση, ιδίως όταν ένα εύρημα δεν έχει επαναληφθεί από ομάδα που δεν έχει οικονομικό συμφέρον από το αποτέλεσμα.

Οι γνωστοποιήσεις χρηματοδότησης εμφανίζονται στο τέλος των περισσότερων άρθρων που έχουν υποβληθεί σε αξιολόγηση από ομότιμους. Ελέγξτε αν ο χορηγός είχε κάποιο ρόλο στην ανάλυση των δεδομένων ή στην προετοιμασία του χειρογράφου, και αν τα μόνα στοιχεία για μια ένωση προέρχονται από δοκιμές που χρηματοδότησε ο κατασκευαστής, θεωρήστε το ως λόγο να περιμένετε την ανεξάρτητη επαναληψή πριν προβείτε σε δράση. Εφαρμόζουμε αυτή την οπτική με συνέπεια κατά την εξέταση των στοιχείων για τις ενώσεις μακροζωίας, συμπεριλαμβανομένης της εξέτασης των συγκρούσεων συμφερόντων που γνωστοποιούνται σε πρώιμες δοκιμές σε ανθρώπους.

Κριτήριο 8ο: Έχει βρει κάποιος άλλος το ίδιο αποτέλεσμα;

Μία και μόνο καλά σχεδιασμένη τυχαιοποιημένη ελεγχόμενη δοκιμή (RCT) αποτελεί την αφετηρία, όχι το συμπέρασμα. Τα ευρήματα που αντέχουν στον χρόνο μέσα από ανεξάρτητες ερευνητικές ομάδες, διαφορετικούς πληθυσμούς και διαφορετικούς σχεδιασμούς μελετών φέρουν ένα ποιοτικά διαφορετικό βάρος (4). Τα ωμέγα-3 λιπαρά οξέα, η κρεατίνη και η βιταμίνη D σε πληθυσμούς με έλλειψη συγκαταλέγονται στις πιο εκτενώς μελετημένες ενώσεις, με ευρήματα που έχουν αναπαραχθεί από πολλαπλές ερευνητικές ομάδες, ιδιαίτερα για συγκεκριμένες εκβάσεις όπως οι δείκτες καρδιαγγειακού κινδύνου και η μυϊκή λειτουργία. Η διαδικασία εύρεσης ενός καλά παραγόμενου oσυμπληρώματος ωμέγα-3 που πληροί αυτό το επίπεδο καταδεικνύει με χρήσιμο τρόπο πώς η αναπαραγωγή των αποτελεσμάτων επηρεάζει τις πραγματικές επιλογές των καταναλωτών.

Όταν ένα συμπλήρωμα διαφημίζεται με βάση τα αποτελέσματα μιας μόνο μελέτης, η απουσία επαναληπτικών μελετών αποτελεί από μόνη της ένα στοιχείο. Το εύρημα μπορεί να είναι πρόσφατο. Ανεξάρτητες προσπάθειες ενδέχεται επίσης να έχουν οδηγήσει σε μηδενικά αποτελέσματα, τα οποία όμως προσέλκυσαν λιγότερη προσοχή από την αρχική μελέτη.

Τα οκτώ κριτήρια με μια ματιά

• Τι είδους μελέτη είναι αυτή: RCT (τυχαιοποιημένη ελεγχόμενη δοκιμή), παρατηρητική, σε ζώα ή in vitro;
• Πόσοι ήταν οι συμμετέχοντες και ποια ήταν η διάρκειά της;
• Εφαρμόστηκε η μέθοδος της διπλής τυφλής μελέτης ως προς την κατανομή των συμμετεχόντων;
• Ποιοι συγχυτικοί παράγοντες μετρήθηκαν και σταθμίστηκαν;
• Ήταν η δοκιμή προ-δηλωμένη και τα δημοσιευμένα αποτελέσματα ταυτίζονται με το αρχικό πλάνο;
• Η μελέτη μέτρησε κάποια κλινική έκβαση ή έναν υποκατάστατο βιοδείκτη;
• Ποιος χρηματοδότησε την έρευνα και αν ο χορηγός είχε κάποιον ρόλο στην ανάλυση ή την παρουσίαση των αποτελεσμάτων;
• Έχει αναπαραχθεί το εύρημα από ανεξάρτητους ερευνητές;

Πώς η Augment Life χρησιμοποιεί αυτό το πλαίσιο

Τα σκευάσματα της Augment Life αξιολογούνται με βάση αυτά τα οκτώ κριτήρια. Το ελάχιστο απαιτούμενο για την ένταξή τους είναι η ύπαρξη κλινικών στοιχείων από μελέτες σε ανθρώπους, διπλά τυφλές και ελεγχόμενες με εικονικό φάρμακο, σε δόσεις που αντιστοιχούν σε αυτές που χρησιμοποιήθηκαν στην έρευνα. Όταν τα στοιχεία είναι ισχυρά και επαναλαμβάνονται με συνέπεια σε ανεξάρτητες ομάδες, αυτό επισημαίνεται. Όταν βασίζονται σε δεδομένα από πειράματα σε ζώα, μικρές δοκιμές ή ένα μεμονωμένο εύρημα που δεν έχει επαναληφθεί, αυτό επισημαίνεται επίσης. Στόχος είναι η ακριβής περιγραφή των ευρημάτων της έρευνας, συμπεριλαμβανομένων των ορίων της.

Μια τελική σημείωση

Η έρευνα στον τομέα της μακροζωίας εξελίσσεται με ταχύτερους ρυθμούς από ό,τι οι έλεγχοι ποιότητας που διέπουν πιο καθιερωμένους κλάδους. Αυτοί οι οκτώ έλεγχοι δεν αποτελούν εγγύηση ότι δεν θα παραπλανηθείτε. Αποτελούν όμως μια σημαντική βελτίωση σε σχέση με το να διαβάζετε μόνο την περίληψη και να ψάχνετε για τις λέξεις «κλινική δοκιμή». Το χάσμα μεταξύ αυτών των δύο προσεγγίσεων είναι το σημείο όπου λαμβάνονται οι περισσότερες λανθασμένες αποφάσεις σχετικά με τα συμπληρώματα διατροφής.

Διαβάστε περισσότερα από το Augment Life

• Συμπληρώματα για την αντιγήρανση: Δεδομένα, ισχυρισμοί και ενδεχόμενοι κίνδυνοι
• Μονονουκλεοτίδιο νικοτιναμιδίου (NMN): Η οπτική ενός κλινικού ιατρού
• Η διαμάχη για τη μακροζωία: Μπορούν τα συμπληρώματα να αντικαταστήσουν την άσκηση;
• Ο ρόλος της αυτοφαγίας στην υγεία και τη μακροζωία
• Τα κύτταρά σας μπορούν να δημιουργήσουν νέα μιτοχόνδρια
• Ποια είναι η βέλτιστη διατροφή για τη μακροζωία;

Βιβλιογραφικές πηγές

1. Sacks G et al. Conflicts of interest and the quality of recommendations in clinical guidelines. PLOS Medicine. 2016. doi: 10.1371/journal.pmed.1001798
2. Schulz KF, Altman DG, Moher D. CONSORT 2010 statement: updated guidelines for reporting parallel group randomised trials. BMJ. 2010. doi: 10.1136/bmj.c332
3. Higgins JPT, Thomas J (eds). Cochrane Handbook for Systematic Reviews of Interventions. Version 6.4. Cochrane, 2023.
4. Ioannidis JPA. Why most published research findings are false. PLOS Medicine. 2005. doi: 10.1371/journal.pmed.0020124
5. Rothman KJ, Greenland S, Lash TL. Modern Epidemiology. 3rd ed. Lippincott Williams & Wilkins; 2008.
6. Rothman KJ. Epidemiology: An Introduction. 2nd ed. Oxford University Press; 2012.
7. Turner EH et al. Selective publication of antidepressant trials and its influence on apparent efficacy. N Engl J Med. 2008. doi: 10.1056/NEJMsa065779
8. Chan AW et al. Empirical evidence for selective reporting of outcomes in randomised trials. JAMA. 2004. doi: 10.1001/jama.291.20.2457
9. Fleming TR, DeMets DL. Surrogate end points in clinical trials: are we being misled? Ann Intern Med. 1996. doi: 10.7326/0003-4819-125-7-199610010-00011
10. Lundh A et al. Industry sponsorship and research outcome: a Cochrane review. Cochrane Database Syst Rev. 2017. doi: 10.1002/14651858.MR000033.pub3