Dans un précédent billet http://etunpeudeneurologie.blogspot.fr/2013/12/les-stats-simples-pour-comprendre-ce.html j'ai tenté d'expliquer comment on peut, selon la façon dont on vous présente les résultats d'études, vous faire croire, sans vous mentir, qu'un produit est extraordinairement efficace alors qu'au mieux il a un vague et anecdotique effet positif à peine perceptible. Et je vous ai conseillé de vous fier à l'amélioration du risque absolu (ou du NNT pour plus de clarté) plutôt qu'au risque relatif.
Je vous propose dans ce nouveau billet d'essayer de comprendre pourquoi on ne doit pas comparer des résultats d'efficacité de molécules différentes si cette comparaison ne s'est pas faite dans le même essai thérapeutique et, en bonus, de regarder comment et pourquoi l'efficacité d'une même molécule peut varier dans le temps (et en bonus de bonus, de voir une des erreur d'analyse les plus fréquente qui plombe même le très respectable journal d'opinion "ne pas prescrire").
Mais avant toute chose, une point très important ! Pour illustrer mon billet précèdent j'avais pris l'exemple du DABIGATRAN, leur étude étant la quintessence de la communication avantageuse. Je n'ai jamais eu de lien avec le labo le produisant. Dans ce nouveau billet je vais utiliser comme exemple les traitements de première intention de la SEP. Et je vais même insister sur l'un d'entre eux. Et il se peut que la lecture de ce billet vous laisse croire que je suggère que j'en préfère un plutôt qu'un autre. Et pour ceux qui ont eu la curiosité de cliquer sur le point d'interrogation de mon profil, il se peut que vous ayez pris la peine de lire que j'ai des liens d'intérêt multiples avec tous le labos qui produisent et commercialisent les molécules que je vais citer. Alors entendons-nous bien : le sujet de ce billet concerne uniquement les stats et je vous incite fortement à n'en tirer aucune conclusion sur ce que je peux penser ou non de l'efficacité réelle des molécules. Bon je sais que ce paragraphe fait anormalement sérieux mais je pense que c'est important.
Bon, on se lance.
Alors partons du principe que j'ai une SEP et que la seule chose que je demande à un traitement c'est de faire moins de poussées. Notez bien que rien qu'en posant la question comme ça je formate déjà votre esprit. La question implique que d'un part j'estime nécessaire de prendre un traitement, d'autre part que je me fiche du résultat sue le handicap, et qu'enfin je ne tiens pas compte des effets secondaires, de la pénibilité et des risques des différents traitements.
Si je veux répondre à ma question, le plus simple c'est de faire un gentil petit essai randomisé en double aveugle contre placebo et de compter le nombre de poussées sur une période donnée entre le groupe placebo et le groupe sous traitement.
En gros je peux faire une étude archi standard. Mais comme sur la période d'observation (en général 2 ans), certain patients, traitement ou pas, ne feront aucune poussée et d'autre en feront plein, on ne va pas compter directement le nombre de poussée mais une espèce de moyenne (je vous passe les détails parce que c'est pas ça qui est intéressant) qu'on appelle le taux annualisé de poussé ou TAP. Retenez que plus le TAP est élevé, plus la maladie est active.
Résumons-nous : on va prendre deux groupes les plus identiques possibles, on donne le traitement à l'un et pas à l'autre et on compte un équivalent de nombre moyen de poussées dans chaque groupe pendant deux ans.
Le premier traitement de fond testé dans ces conditions a été l'interféron beta 1b et ça a donné un diminution du risque absolu de pile 33% ce qui donne un NNT à 3. Pour ceux qui l'ont déjà oublié, ça veut dire que qu'il faut donner de l'interféron beta 1b à 3 patients pour qu'un de ces patients ne présente une poussée.
Retenez donc pour l'instant NNT de 3 pour le premier interféron.
Pour les autres traitements de première ligne de première génération, on a les NNT suivants :
Le temps passe et de nouveaux traitements sortent. Deux pour être exact. Tout comme ceux d'ancienne génération ils sont comparés au placebo et les études donnent les NNT suivants :
Et pourtant ces deux molécules ont été acceptées ce qui nous laisse cinq possibilités :
1 - les gens de la sécu ne savent pas compter - vu leur manie de compter chaque centimes cela est peu probable.
2 - il savent compter mais sont généreux - non jamais nulle part.
3 - ils veulent aider l'industrie pharmaceutique - aucun labo n'est français donc non.
4 - ils aiment énerver les rédacteurs de la revue prescrire - j'avoue que cela pourrait se comprendre mais ils ne la lisent pas.
5 - il y a un autre facteur.
Et ce facteur vient du fait qu'entre les premiers essais thérapeutiques sur les premières molécules, et les derniers….l'efficacité du placebo s'est améliorée. Si si je vous assure, ce n'est pas une forme d'humour tordu de statisticien ni une erreur de mesure.
Pour vous le prouver, revenons au taux annualisé de poussée. En ce qui concerne les quatre premiers traitements, le TAP dans le groupe placebo variait entre 1,68 et 0,90 alors que le TAP dans le groupe traité variait entre 1,19 et 0,61.
Dans les essais concernant les deux derniers traitements le TAP dans le groupe placebo varie entre 0,54 et 0,36.
Pour ceux qui sont un peu perdus, en français de tous les jours, ça veut dire que l'effet placebo dans les deux derniers études et plus puissant pour lutter contre la pathologie que le meilleur des quatre traitements.
Pour simplifier encore plus : le placebo des années 2000 et plus efficace pour traiter la maladie que le meilleur des traitements de années 1990.
Oui je sais ça parait complétement absurde et vous persistez à croire qu'il y'a une erreur. Et je persiste à vous dire que non.
En fait ce qui a changé c'est les patients et les critères subjectifs d'inclusion. Attention c'est là que c'est compliqué et qu'il faut suivre.
Dans les années 1990 les patients qui se voyaient proposer un traitement étaient en général (je simplifie un peu) des patients avec une SEP de durée variable, parfois une seule poussée, et qui n'avaient de toute façon aucun traitement efficace. Donc les patient inclus dans les essais n'étaient que ceux qui acceptaient de tenter l'aventure d'un produit à l'efficacité inconnue et aux effets secondaires certains. Autrement dit, c'était les plus malades et le plus audacieux. Et pour les neurologues pareil. La plupart refusaient d'inclure des SEP dites bénignes puisque les interférons faisaient peur. Les patients inclus avaient donc des formes de SEP très active et c'est ce dont témoigne leur taux annualisé de poussée élevé sous placebo.
Dans les années 2000, les interférons sont devenus monnaie courante, au point que dans la plupart des consultations on ne discutait même plus de leur intérêt mais de leur galénique avec un forme de libre-service. Ca donnait des consultations assez surréalistes du genre : vot'traitement à 10000 euros, vous le préférez en rouge, en bleu, en vert, en IM, en SC, en une fois, en trois fois, en stylo, en injecteur automatique, en injecteur qui vous donne l'heure et la météo (NB, en dehors de la météo tous les autres exemples sont réels). Bref proposer un traitement très tôt est devenu la norme. Donc les patients inclus dans les essais l'étaient beaucoup plus tôt dans l'évolution de leur maladie, avec nettement moins de crainte et par conséquent un nombre plus important de patients avec des formes moins actives de maladie ont participé aux essais. C'est le fait que leur maladie soit moins active dont témoigne leur TAP sous placebo bien plus bas.
Et dans les années 2010 me direz-vous ? Et bien dans les années 2010 on commence à considérer que faire des essais contre placebo n'est plus éthique. Dans les essais sur les molécules les plus récentes le comparateur est devenu l'interféron beta 1a SC. Et c'est très intéressant car le TAP dans le groupe sous interféron est de 0,21 à 0,39. Autrement dit, en 20 ans le même produit semble devenu deux fois plus efficace. Evidemment vous avez compris que ce n'est pas le cas, c'est juste le même phénomène qu'avec les placebo : la population étudiée n'est plus la même, même si les critères d'inclusion sont presque identiques.
Mais revenons à nos NTT. Plus votre maladie est active, plus il est facile de montrer qu'un traitement est efficace. Si vous vous fracturez le bras , il suffit d'un patient (vous en l'occurrence) pour vous montrer qu'un plâtre est une solution plus efficace que l'eau de source et le NNT est de 1. Par contre si par hasard disons comme ça en simplifiant très très fort, votre maladie est deux fois moins active, il faudra deux fois plus de patient pour montrer une efficacité (le premier statisticien qui commence à finasser peut sortir d'emblée). Et c'est un peu ça qui a fait dire à nos autorités de santé que le NNT à environ 3 des premiers traitements dans des population où le TAP sous placebo était à environ 1,4 et le TAP sous traitement à environ 0,8 n'est pas très différent du NNT à environ 6 avec un TAP placebo à 0,4 et un TAP sous traitement à 0,3 des deux derniers.
Que faut-il en retenir en pratique :
Si vous voulez en savoir plus, cet article fait partie de la collection suivante :
Stats et aux maths
Résumons-nous : on va prendre deux groupes les plus identiques possibles, on donne le traitement à l'un et pas à l'autre et on compte un équivalent de nombre moyen de poussées dans chaque groupe pendant deux ans.
Le premier traitement de fond testé dans ces conditions a été l'interféron beta 1b et ça a donné un diminution du risque absolu de pile 33% ce qui donne un NNT à 3. Pour ceux qui l'ont déjà oublié, ça veut dire que qu'il faut donner de l'interféron beta 1b à 3 patients pour qu'un de ces patients ne présente une poussée.
Retenez donc pour l'instant NNT de 3 pour le premier interféron.
Pour les autres traitements de première ligne de première génération, on a les NNT suivants :
- Acétate de glatiramere 2.0
- Interféron beta 1a IM 3,4
- Interféron beta 1a SC 2,4
Le temps passe et de nouveaux traitements sortent. Deux pour être exact. Tout comme ceux d'ancienne génération ils sont comparés au placebo et les études donnent les NNT suivants :
- Dimethylfumarate 5.3 à 5.6
- Terflunomide 5.6 à 5.9
- Interféron beta 1a : cout annuel du traitement en 2015 : 11206 euros
- L'efficacité se juge sur deux ans soit 22412 euros
- Et le NNT est de 3,4 soit un investissement de 76200 euros pour qu'un seul patient en tire bénéfice.
- Teriflunomide : cout annuel du traitement en 2015 : 10780 euros
- L'efficacité se juge sur deux ans soit 21560 euros
- Et le NNT est de 5.9 soit un investissement de 127204 euros pour qu'un seul patient en tire bénéfice.
Et pourtant ces deux molécules ont été acceptées ce qui nous laisse cinq possibilités :
1 - les gens de la sécu ne savent pas compter - vu leur manie de compter chaque centimes cela est peu probable.
2 - il savent compter mais sont généreux - non jamais nulle part.
3 - ils veulent aider l'industrie pharmaceutique - aucun labo n'est français donc non.
4 - ils aiment énerver les rédacteurs de la revue prescrire - j'avoue que cela pourrait se comprendre mais ils ne la lisent pas.
5 - il y a un autre facteur.
Et ce facteur vient du fait qu'entre les premiers essais thérapeutiques sur les premières molécules, et les derniers….l'efficacité du placebo s'est améliorée. Si si je vous assure, ce n'est pas une forme d'humour tordu de statisticien ni une erreur de mesure.
Pour vous le prouver, revenons au taux annualisé de poussée. En ce qui concerne les quatre premiers traitements, le TAP dans le groupe placebo variait entre 1,68 et 0,90 alors que le TAP dans le groupe traité variait entre 1,19 et 0,61.
Dans les essais concernant les deux derniers traitements le TAP dans le groupe placebo varie entre 0,54 et 0,36.
Pour ceux qui sont un peu perdus, en français de tous les jours, ça veut dire que l'effet placebo dans les deux derniers études et plus puissant pour lutter contre la pathologie que le meilleur des quatre traitements.
Pour simplifier encore plus : le placebo des années 2000 et plus efficace pour traiter la maladie que le meilleur des traitements de années 1990.
Oui je sais ça parait complétement absurde et vous persistez à croire qu'il y'a une erreur. Et je persiste à vous dire que non.
En fait ce qui a changé c'est les patients et les critères subjectifs d'inclusion. Attention c'est là que c'est compliqué et qu'il faut suivre.
Dans les années 1990 les patients qui se voyaient proposer un traitement étaient en général (je simplifie un peu) des patients avec une SEP de durée variable, parfois une seule poussée, et qui n'avaient de toute façon aucun traitement efficace. Donc les patient inclus dans les essais n'étaient que ceux qui acceptaient de tenter l'aventure d'un produit à l'efficacité inconnue et aux effets secondaires certains. Autrement dit, c'était les plus malades et le plus audacieux. Et pour les neurologues pareil. La plupart refusaient d'inclure des SEP dites bénignes puisque les interférons faisaient peur. Les patients inclus avaient donc des formes de SEP très active et c'est ce dont témoigne leur taux annualisé de poussée élevé sous placebo.
Dans les années 2000, les interférons sont devenus monnaie courante, au point que dans la plupart des consultations on ne discutait même plus de leur intérêt mais de leur galénique avec un forme de libre-service. Ca donnait des consultations assez surréalistes du genre : vot'traitement à 10000 euros, vous le préférez en rouge, en bleu, en vert, en IM, en SC, en une fois, en trois fois, en stylo, en injecteur automatique, en injecteur qui vous donne l'heure et la météo (NB, en dehors de la météo tous les autres exemples sont réels). Bref proposer un traitement très tôt est devenu la norme. Donc les patients inclus dans les essais l'étaient beaucoup plus tôt dans l'évolution de leur maladie, avec nettement moins de crainte et par conséquent un nombre plus important de patients avec des formes moins actives de maladie ont participé aux essais. C'est le fait que leur maladie soit moins active dont témoigne leur TAP sous placebo bien plus bas.
Et dans les années 2010 me direz-vous ? Et bien dans les années 2010 on commence à considérer que faire des essais contre placebo n'est plus éthique. Dans les essais sur les molécules les plus récentes le comparateur est devenu l'interféron beta 1a SC. Et c'est très intéressant car le TAP dans le groupe sous interféron est de 0,21 à 0,39. Autrement dit, en 20 ans le même produit semble devenu deux fois plus efficace. Evidemment vous avez compris que ce n'est pas le cas, c'est juste le même phénomène qu'avec les placebo : la population étudiée n'est plus la même, même si les critères d'inclusion sont presque identiques.
Mais revenons à nos NTT. Plus votre maladie est active, plus il est facile de montrer qu'un traitement est efficace. Si vous vous fracturez le bras , il suffit d'un patient (vous en l'occurrence) pour vous montrer qu'un plâtre est une solution plus efficace que l'eau de source et le NNT est de 1. Par contre si par hasard disons comme ça en simplifiant très très fort, votre maladie est deux fois moins active, il faudra deux fois plus de patient pour montrer une efficacité (le premier statisticien qui commence à finasser peut sortir d'emblée). Et c'est un peu ça qui a fait dire à nos autorités de santé que le NNT à environ 3 des premiers traitements dans des population où le TAP sous placebo était à environ 1,4 et le TAP sous traitement à environ 0,8 n'est pas très différent du NNT à environ 6 avec un TAP placebo à 0,4 et un TAP sous traitement à 0,3 des deux derniers.
Que faut-il en retenir en pratique :
- On ne peut pas comparer deux traitements si ils ne le sont pas dans la même étude
- On ne peut pas comparer un traitement à lui-même dans le temps
- Même les critères d'inclusion les plus objectifs du monde ne peuvent éviter des biais d'inclusion
- Les NNT est un formidable outil pour se désintoxiquer des scores d'efficacité surréalistes présentés par les labos, mais comme tout outils statistique il a ses propres limitations.
- L'EBM aveugle ne mène nulle part et peut conduire à des contresens majeurs
- Les stats ça ne remplace pas la clinique.
Si vous voulez en savoir plus, cet article fait partie de la collection suivante :
Stats et aux maths