Lire un essai randomisé en double aveugle sans être médecin

Pourquoi la comparaison ne suffit pas

Comparer deux groupes de patients ne prouve rien tant qu'on ignore ce qui les distinguait au départ. Si les malades qui ont reçu le traitement étaient plus jeunes, moins atteints, ou simplement plus motivés, la différence observée à la fin ne vient pas du traitement. C'est le problème qui rend ininterprétables les relevés hospitaliers du XIX^e siècle, et il n'a reçu de solution qu'au milieu du XX^e.

La randomisation

La solution est d'une simplicité déconcertante : tirer au sort. Si l'attribution du traitement se fait par un mécanisme aléatoire, alors tous les facteurs susceptibles d'influencer le résultat : connus, inconnus, mesurés ou non, se répartissent en moyenne également entre les groupes. C'est la seule méthode qui protège aussi contre les facteurs auxquels personne n'a pensé.

Deux points de vigilance. La liste d'attribution doit être imprévisible pour celui qui inclut les patients : sinon, il peut, même sans le vouloir, orienter les cas les plus favorables vers le bras qu'il espère voir gagner. Et le tableau des caractéristiques initiales, publié en début d'article, doit montrer des groupes effectivement comparables.

L'aveugle

Le simple aveugle signifie que le participant ignore ce qu'il reçoit. Le double aveugle signifie que l'investigateur l'ignore aussi. On parle parfois de triple aveugle quand la personne qui analyse les données ne sait pas non plus quel groupe est lequel.

L'affaire Benveniste montre à quel point ce point est décisif : un effet net y a disparu du jour où la lecture des échantillons a été faite à l'aveugle. L'aveugle ne protège pas contre la malhonnêteté : il protège contre l'attente, qui est universelle et involontaire.

Un essai doit aussi vérifier que l'aveugle a tenu. Un traitement au goût reconnaissable ou aux effets indésirables caractéristiques se laisse deviner, et l'aveugle est alors nominal.

Le critère de jugement principal

C'est la mesure que l'essai s'engage à examiner, choisie et enregistrée avant l'inclusion du premier patient. Cette exigence répond à un problème statistique précis : si l'on mesure vingt paramètres, il s'en trouvera en moyenne un qui atteindra le seuil de significativité par le seul jeu du hasard. Choisir après coup celui qui est sorti favorable revient à tirer la cible autour de la flèche.

D'où l'importance de l'enregistrement préalable des protocoles dans des registres publics, devenu la norme dans les années 2000. Un lecteur peut aujourd'hui comparer ce qui avait été annoncé et ce qui a été publié, et l'écart est parfois éloquent.

L'analyse en intention de traiter

Des participants abandonnent, oublient, sortent de l'étude. La tentation est de ne conserver que ceux qui sont allés au bout. C'est une erreur : ceux qui abandonnent le font souvent parce que le traitement ne marche pas ou qu'il est mal toléré, et les écarter revient à ne garder que les cas favorables.

L'analyse en intention de traiter conserve chaque participant dans le groupe où il a été tiré au sort, quoi qu'il ait fait ensuite. Elle donne un résultat plus prudent, et c'est l'analyse de référence.

La liste de contrôle du lecteur

• Combien de participants ? Un essai de trente patients ne conclut à peu près rien.
• Y a-t-il randomisation, et l'attribution était-elle dissimulée ?
• L'essai est-il en aveugle, et cet aveugle a-t-il été vérifié ?
• Le critère principal était-il annoncé à l'avance, et est-ce bien celui qui est mis en avant dans le résumé ?
• L'analyse est-elle en intention de traiter ? Combien de perdus de vue ?
• Le comparateur est-il pertinent : un placebo, ou le meilleur traitement disponible ?
• La différence est-elle cliniquement significative, et pas seulement statistiquement détectable ?
• Qui a financé l'étude, et les auteurs déclarent-ils des liens d'intérêt ?

Ces huit questions ne demandent aucune compétence technique. Elles suffisent à écarter l'immense majorité des études invoquées dans les débats publics, dans tous les domaines, et pas seulement celui-ci. Notre article sur l'information en santé prolonge ces repères vers la lecture des articles de presse et des contenus en ligne.

Questions fréquentes

Un essai randomisé est-il toujours fiable ?

Non. La randomisation supprime le biais de sélection, pas les autres. Un essai randomisé de trop petite taille, sans aveugle ou avec un critère choisi après coup, reste peu concluant.

Que veut dire « p < 0,05 » ?

C'est la probabilité d'observer un écart au moins aussi grand si le traitement n'avait aucun effet. Ce n'est ni la probabilité que le traitement fonctionne, ni une mesure de l'ampleur du bénéfice.

Pourquoi les essais sur l'homéopathie sont-ils jugés de faible qualité ?

Les revues systématiques relèvent des effectifs faibles, des critères de jugement subjectifs, des protocoles non enregistrés à l'avance et des perdus de vue mal comptabilisés. Ces défauts ne sont pas propres à ce domaine, mais y sont particulièrement fréquents.