Science et médias n°44 : retour sur 40% de retard cognitif

En préambule, je tiens à souligner que cet article n’est pas une attaque ciblée du journal Le Monde ou de ses journalistes. J’utilise simplement un ratage particulier d’un article du Monde dont j’ai eu connaissance, pour illustrer ce qui me semble être un problème bien plus général dans le traitement de l’information scientifique par les médias français.

Dans un précédent article, je réagissais à un article du Monde qui annonçait 40% de baisse des capacités cognitives des enfants suite au confinement. Ce résultat ne semblait absolument pas plausible, et je reprochais à l’article de s’être basé sur une étude scientifique non publiée. J’évoquais les éventualités suivantes :

« Il pourrait très bien arriver que l'article soumis à la revue scientifique ne soit pas accepté à cause d'erreurs méthodologiques. Il pourrait aussi arriver que l'article soit accepté, mais seulement après une ré-analyse des données, qui donne des résultats différents. Il pourrait enfin arriver que l'article finisse par être accepté dans une revue scientifique, avec les résultats sur la condition physique des enfants, mais sans les résultats sur leurs capacités cognitives, si les tests utilisés sont jugés non valides par les experts ».

Capture d’écran du 16/10/2022.

Un an plus tard, j’ai cherché à savoir si l’étude avait été publiée dans une revue scientifique, de manière à pouvoir examiner les fameux résultats sur les capacités cognitives des enfants. J’ai fait une recherche bibliographique des articles récents de Martine Duclos, la chercheuse citée dans le Monde à propos de cette étude. J’ai identifié un seul article qui rapportait des évaluations cognitives sur des enfants. Afin d’être sûr d’avoir trouvé la bonne étude, j’ai demandé à Martine Duclos s’il s’agissait bien de l’étude qui avait été rapportée dans le Monde, et elle m’a confirmé que c’était le cas.

Curieusement, à la lecture de l’article, cela ne semble pas être la même étude. Dans l’article du Monde, il était question de 90 enfants de CE1 et CE2 testés en septembre 2019 et retestés en septembre 2020 (suivi longitudinal). Dans l’article publié par Chambonnière et al. (2021), il s’agit d’enfants de CE2 et CM1, 106 testés en février 2020, et 100 autres enfants testés en janvier 2021. Par ailleurs, l’article du Monde évoquait un gain d’indice de masse corporelle de 2 à 3 points, et une baisse de capacités cognitives d’environ 40%. Dans l’étude publiée, l’IMC (indice de masse corporelle) diffère d’un seul point, et les temps mesurés au Trail Making Test n’ont augmenté que de 25%. Bref, rien ne correspond.

J’ai questionné Martine Duclos sur ces différences. Elle m’a répondu que lors de l’interview par le Monde, les résultats évoqués étaient préliminaires, mais les données étaient encore en cours d’analyse. Une partie des résultats évoqués dans le Monde n’ont finalement pas été publiés.

L’un des scénarios que j’évoquais s’est donc malheureusement réalisé : les résultats annoncés dans le Monde n’ont pas été publiés tels qu’ils ont été annoncés. Du point de vue scientifique, les résultats annoncés dans le Monde n’existent pas, ils sont fictifs. Du point de vue journalistique, il s’agit d’une fausse nouvelle scientifique.

Mais, me direz-vous, peut-être n’est-ce pas si grave ? Certes, l’IMC n’a pas augmenté de 2-3 points mais d’un seul, et les capacités cognitives n’ont pas baissé de 40%, mais de 25%. Mais si l’on fait abstraction de la précision des chiffres, ce sont tout de même des évolutions inquiétantes, qui méritaient bien qu’on en parle, non ?

Je n’en suis pas si sûr, en tous cas certainement pas de cette manière. En effet, c’est toute la description de l’étude qui est fausse dans l’article du Monde : non seulement les résultats ne sont plus les mêmes, mais en fait les participants de l’étude ne sont plus les mêmes, et la conception de l’étude n’est pas la même non plus. Il ne s’agit plus des mêmes enfants testés avant et après le confinement pour voir comment ils ont évolué. Il s’agit d’enfants différents (ou en partie différents) testés avant et après ! Dans ces conditions, faire l’hypothèse que les résultats du 2ème groupe d’enfants testés en CM1 sont les mêmes que ceux que le 1er groupe aurait obtenus s’il avait été re-testé est particulièrement hasardeuse. Avec des effectifs d’environ 100 par groupe, il est difficile d’assurer que l’échantillonnage de la population est le même pour les deux groupes.

Par ailleurs, dans l’article scientifique, l’augmentation d’IMC n’est pas statistiquement significative, et donc il n’y avait pas lieu d’en parler dans les médias. L’augmentation des temps au Trail-making test est, elle, bien significative. Mais même en corrigeant les chiffres, extrapoler les résultats d’un unique test de fonctions exécutives et de rapidité dont les temps ont augmenté de 25% (entre 2 groupes d’enfants différents !) à « les capacités cognitives ont baissé de 25% » est à nouveau un raccourci hasardeux.

Bref, les résultats rapportés dans l’article scientifique n’étaient pas suffisamment probants pour être rapportés dans les médias, et n’auraient jamais dû l’être, ou alors dans des termes tellement atténués que l’article du Monde aurait sans doute perdu une grande partie de son intérêt.

Que peut-on conclure de cette mésaventure ?

1. Premièrement, comme je le disais dans mon précédent article de blog, les médias ne devraient pas rapporter les résultats d’études scientifiques non expertisées par les pairs et non publiées dans des revues internationales (et leurs auteurs ne devraient pas en parler aux médias). Le risque est trop grand de diffuser des résultats faux, qui ne passeront pas le filtre de l’expertise par les pairs, ou qui en ressortiront significativement modifiés.
2. Les médias devraient systématiquement consulter des experts indépendants avant de diffuser de nouveaux résultats scientifiques. En l’espèce, n’importe quel chercheur compétent en psychologie aurait tiqué à l’évocation de « 40% de baisse des capacités cognitives ». Un effet d’une telle ampleur n’était absolument pas plausible, et pas cohérent avec les données de l’éducation nationale portant sur 800 000 élèves et montrant une baisse de niveau scolaire (entre 2019 et 2020) réelle mais minime. Un chercheur consulté aurait nécessairement demandé à voir l’article scientifique ou les données pour pouvoir juger si les résultats annoncés étaient corrects. Constatant qu’il n’y avait ni article, ni données à consulter, il aurait certainement conseillé de ne pas faire état de cette étude, et il aurait épargné au Monde (et aux médias qui l’ont recopié) l’embarras de publier des informations scientifiques fausses.

Dans mon précédent article, j’évoquais aussi ce qui se passerait s’il s’avérait que les résultats diffusés dans l’article du Monde n’étaient pas validés dans une publication scientifique :

« Si cela arrivait, croyez-vous que le Monde ferait corriger ou retirer son article ? Présenterait-il des excuses à ses lecteurs pour leur avoir diffusé une fausse information ? On peut toujours rêver. Dans la plupart des médias, l'usage semble être de ne pas resservir les plats froids, et de ne jamais reconnaître ses erreurs. »

Même si cela a pris du temps et a nécessité un harcèlement bienveillant de ma part, Le Monde a fini, 15 mois après l’article initial, par publier un nouvel article corrigeant les informations préalablement diffusées. C’est un fait assez rare dans les médias pour être salué, même s’il y aurait encore des choses à dire sur cet article[1].

Pour clore honorablement cette bévue, il faudrait encore que l’ancien article diffusant les informations fausses soit retiré, ou corrigé, ou porte un bandeau bien visible signalant que les informations qu’il contient sont périmées et corrigées dans un nouvel article donné en lien. C’est ce qui est habituellement fait dans les revues scientifiques. En l’absence d’une telle action, les lecteurs risquent de continuer à trouver cet article sur internet et à être induits en erreur.

_____ nouvelle version du 28/10/2022 [2] _____

Là encore, à ma demande, une telle mention a été ajoutée à l’article original, d'abord en toute dernière ligne, puis suite à la publication de cet article, tout en haut. L’effort d’avoir publié un correctif et ajouté une mention à l’article original est louable. Sur cet exemple, Le Monde fait bien mieux que l’Obs qui affiche toujours fièrement sa une « Oui, les OGM sont des poisons ! », sans la moindre correction, sans même un bandeau qui pourrait avertir les lecteurs du fait que l’étude rapportée dans cet article a été rétractée il y a 9 ans déjà, pour cause de failles méthodologiques rédhibitoires. Mais il aura tout de même fallu deux articles de blog et de multiples échanges avec les journalistes pour obtenir gain de cause. Malheureusement, cette attitude désinvolte vis-à-vis de l’information scientifique me semble être un mal très répandu dans les médias français.

_____ Fin de la modification du 28/10/2022

Je n’ai bien sûr pas réalisé d’étude suffisamment exhaustive sur les médias français pour en faire une généralité. Je réagis au fur et à mesure de mes observations. Mais, pour suivre également les médias britanniques, j’en retire tout de même l’impression que ceux-ci sont beaucoup plus rigoureux sur le traitement de l’information scientifique. Leurs articles sont généralement plus fouillés, mieux sourcés, et recueillent plus systématiquement des avis (éventuellement contradictoires) de plusieurs experts. Ils font également des erreurs, mais il leur arrive plus souvent de les corriger.

Un exemple récent qui m’a frappé est cet article du Guardian sur le Living Planet Index qui était initialement paru avec un titre qui déformait la signification de l’indicateur. Interpellé par une chercheuse, le journal a corrigé son titre dans la journée (et en garde la trace et l’explication en bas de page, pour plus de transparence).

On dit de la science qu’elle est « auto-correctrice », ce qui est vrai sur le long-terme : de nombreux résultats ou théories scientifiques sont faux, mais on finit tôt ou tard par s’en rendre compte et les corriger. On aimerait qu’il en soit de même pour la diffusion de la science par les médias français.

Références

Chambonnière, C., Fearnbach, N., Pelissier, L., Genin, P., Fillon, A., Boscaro, A., Bonjean, L., Bailly, M., Siroux, J., Guirado, T., Pereira, B., Thivel, D., & Duclos, M. (2021). Adverse Collateral Effects of COVID-19 Public Health Restrictions on Physical Fitness and Cognitive Performance in Primary School Children. International Journal of Environmental Research and Public Health, 18(21), Art. 21. https://doi.org/10.3390/ijerph182111099

[1] Par exemple, le fait de citer mes critiques tout en indiquant que je ne souhaitais pas être cité nommément (en fait personne ne m’a demandé si je souhaitais l’être). Ou encore le fait de demander son avis à Michel Desmurget, un chercheur Inserm dont l’expertise se situe en neurosciences du contrôle moteur…

[2] Les deux paragraphes originaux dans la version du 27/10/2022:

Là encore, à ma demande, une telle mention a été ajoutée à l’article original, mais à la toute dernière ligne : « Depuis la parution de cet article, l’étude évoquée a été publiée, avec des résultats atténués. L’actualisation est disponible ici ». Autrement dit, seuls les lecteurs qui iront jusqu’à la fin de l’article seront informés que ce qu’ils ont lu jusque-là était faux ! Tous les lecteurs qui se contenteront de lire le titre et l’accroche, ou qui s’arrêteront avant la fin (notamment les non-abonnés au Monde qui n’y ont pas accès), restent induits en erreur et retiendront le message sur « une forte augmentation du poids et une baisse de 40% des capacités cognitives » ! Chacun peut juger de l’effet que produit la version corrigée de l’article sur le lecteur.

Certes, l’effort d’avoir publié un correctif et ajouté une mention à l’article original est louable. Sur cet exemple, Le Monde fait bien mieux que l’Obs qui affiche toujours fièrement sa une « Oui, les OGM sont des poisons ! », sans la moindre correction, sans même un bandeau qui pourrait avertir les lecteurs du fait que l’étude rapportée dans cet article a été rétractée il y a 9 ans déjà, pour cause de failles méthodologiques rédhibitoires. Mais pour moi, la phrase en fin d'article n’est pas à la hauteur de l’enjeu d’informer correctement les lecteurs et de limiter la diffusion des fausses informations. Malheureusement, cette attitude désinvolte vis-à-vis de l’information scientifique me semble être un mal très répandu dans les médias français.