Quelles études scientifiques devraient être rapportées dans les médias?

Pour illustrer la difficulté de parler de résultats scientifiques dans les médias, voici deux expériences récentes (non liées à la pandémie de COVID-19, pour changer).

Retard cognitif dans le Monde

En septembre 2021, un journaliste me demande si Yannick Jadot a raison de dire que le confinement a engendré 40% de retard cognitif chez les élèves de CP-CE1-CE2.(1) Comme ça me paraît énorme et pas du tout cohérent avec les données de l'Education Nationale, je demande quelle est la source.

Vérification faite, il arrive à cet article du Monde:

Extrait de l'article du Monde sus-cité.

Je demande à voir l'étude citée dans l'article. Contacté par le journaliste, le CHU de Clermont-Ferrand répond qu'elle n'est pas finalisée et donc pas disponible. Mais alors pourquoi donc le Monde en a-t-il fait tout un article? Pourquoi vouloir diffuser au public des informations aussi incertaines? (2)

En effet, tant qu'une étude n'a pas été expertisée par les pairs (par la soumission à une revue scientifique internationale spécialisée dans le sujet) et validée (par l'acceptation puis la publication dans une telle revue), les résultats ne sont pas considérés comme valides, et on ne devrait pas en parler. Il pourrait très bien arriver que l'article soumis à la revue scientifique ne soit pas accepté à cause d'erreurs méthodologiques. Il pourrait aussi arriver que l'article soit accepté, mais seulement après une ré-analyse des données, qui donne des résultats différents. Il pourrait enfin arriver que l'article finisse par être accepté dans une revue scientifique, avec les résultats sur la condition physique des enfants, mais sans les résultats sur leurs capacités cognitives, si les tests utilisés sont jugés non valides par les experts (cf. note 2). Les chercheurs savent bien que cela arrive tous les jours. Et si cela arrivait, croyez-vous que le Monde ferait corriger ou retirer son article? Présenterait-il des excuses à ses lecteurs pour leur avoir diffusé une fausse information (et à Yannick Jadot pour l'avoir induit en erreur)? On peut toujours rêver. Dans la plupart des médias, l'usage semble être de ne pas resservir les plats froids, et de ne jamais reconnaître ses erreurs.
De fait, mes échanges sur Twitter avec Sandrine Cabut, journaliste scientifique dont les articles sont souvent intéressants par ailleurs, ne m'ont pas convaincu qu'elle avait pris la mesure du problème.
Ma conclusion sur ce fait divers médiatique, qui ressemble à tant d'autres: les chercheurs ne devraient jamais parler aux médias de leurs résultats avant publication, et les médias devraient s'abstenir de citer des études scientifiques non publiées (3).

Les terribles écrans dans l'Obs

Autre anecdote récente: on m'envoie cet article de l'Obs, qui titre en gras "La fréquentation intense des écrans nuit gravement à la réussite des élèves".

Bien entendu, ce langage alarmiste et l'affirmation sans précaution d'un effet causal des écrans ("nuit gravement", "l'impact négatif des écrans sur la scolarité", "réduit fortement les chances de réussite"...) m'interpelle, dans la mesure où, si les corrélations entre l'exposition des enfants aux écrans et leur développement cognitif ne manquent pas, les études qui sont en mesure d'apporter une preuve d'un lien de causalité ne sont pas légion (sur ce sujet, on pourra lire cet article, cet autre article, et écouter cette conférence).

Je souhaite donc naturellement examiner l'étude qui est à la source de cette affirmation. Malheureusement, l'article interroge longuement l'auteur Pascal Plantard et cite "l'enquête Ineduc", mais ne donne pas la référence précise de l'étude (un travers très courant dans les médias français). Ne trouvant pas en ligne une étude rapportant de tels résultats parmi celles publiées par Pascal Plantard, je demande poliment au journaliste (qui me connait) de la partager avec moi. Il ne me répondra jamais. Du coup, je contacte également Pascal Plantard, qui finira par me l'envoyer (Grimault-Leprince et al., 2020), en précisant que les affirmations de l'article de l'Obs sont plus causales que ne l'autorisent les résultats de l'étude.

De fait, la lecture de l'étude confirme ce que je pensais: il s'agit de simples corrélations entre d'une part, les usages du numériques déclarés par des adolescents, et d'autre part leurs résultats scolaires et leur attitude vis-à-vis de l'école. Bien que l'étude fasse l'effort de contrôler "les caractéristiques socio-familiales de l'élève" dans une analyse multivariée, la méthodologie n'est pas de nature à fournir une preuve d'un lien de cause à effet (pour les raisons expliquées dans cet article). L'étude s'en défend d'ailleurs explicitement: "l'analyse indique des liens forts entre le rapport à l'école et les usages numériques, sans permettre pour autant de travailler l'hypothèse d'éventuels liens de causalité" (p. 77); "l'objectif n'est pas ici d'évaluer avec précision l'influence des usages du numérique sur le niveau scolaire" (p. 78). Par ailleurs les résultats de l'étude ne sont pas univoques, ils mettent aussi en évidence des corrélations positives entre certains usages du numérique et les résultats scolaires. Toutes les nuances apportées sur la notion de causalité sont allègrement passées sous silence dans l'article de l'Obs, qui multiple les affirmations causales et semble délibérément orienté dans le sens le plus anxiogène possible. Plutôt que de rapporter fidèlement les résultats d'une étude, l'article semble plutôt se servir d'une étude pour alimenter un discours préconçu.

La situation est donc un peu différente de celle de l'article du Monde: ici, le journaliste fait dire à une étude ce qu'elle ne dit pas, ou bien n'a pas compris la différence entre corrélation et causalité. Dans un cas comme dans l'autre, c'est un vrai problème, qui conduit aussi à une mauvaise information du public. En revanche, l'étude, contrairement à celle rapportée par le Monde, est bel et bien publiée. Encore que, là aussi il y a matière à discussion.

Quelles publications scientifiques devraient être rapportées dans les médias?

En effet, comme je l'explique en long et en large dans un autre article, la publication scientifique se caractérise par l'expertise par les pairs, et celle-ci s'effectue dans des revues spécialisées internationales, publiées en anglais. Pour des raisons expliquées dans cet article, la publication en français, et la publication dans des livres, a fortiori la publication dans des livres en français, a fortiori lorsque le livre en français a pour directeur de publication l'un des auteurs de l'étude, n'offre aucune garantie que celle-ci a fait l'objet d'une expertise par les pairs avec un minimum d'exigence. Par conséquent, de tels résultats ne devraient à mon sens pas être relayés au grand public par la presse, pas plus qu'une étude non publiée. Le risque est trop grand de diffuser des résultats non valides et de fausses informations.

En principe, les journalistes scientifiques (tout du moins ceux qui exercent ce métier depuis suffisamment longtemps) connaissent parfaitement les particularités de la publication scientifique, et savent en tenir compte pour identifier les experts à interroger (et éviter les faux experts). Ils connaissent aussi les nombreux problèmes concernant les études non publiées ou insuffisamment expertisées. Malheureusement, la tentation du scoop conduit parfois certains à négliger ces précautions. De plus, ils me semblent souvent appliquer un double standard (c'est en tous cas ma perception des choses): en physique ou en biologie, ils sélectionneront leurs experts avec soin et traiteront le sujet rigoureusement. Mais en psychologie, en éducation, ou en sciences sociales, tout d'un coup les critères de la publication scientifique ne s'appliquent plus, et n'importe quel universitaire (dans le meilleur des cas) qui a écrit un livre français pour annoncer au monde sa vérité devient un expert légitime (4). Ces disciplines méritent pourtant un traitement tout aussi rigoureux. Les études scientifiques publiées dans des revues internationales expertisées par les pairs existent aussi dans ces disciplines, c'est celles-là dont il faudrait parler. Et les experts pour les commenter existent aussi, ils s'identifient de la même manière que les experts en physique ou en biologie.

Mais en sciences sociales, en psychologie, en éducation, le problème est en fait bien plus vaste que les errements occasionnels de certains journalistes scientifiques. Car ces sujets sont en France le plus souvent traités par des journalistes non scientifiques, qui pour la plupart n'ont qu'une très vague idée du mode de fonctionnement de la science, des caractéristiques de la publication scientifique, et des critères qui font qu'une étude scientifique puisse être considérée comme validée. Ce sont des sujets traités dans les pages Société, sur lesquels tout le monde a une opinion (y compris les journalistes), et sur lesquels le niveau de l'information diffusée décolle donc rarement du comptoir. Il existe des milliers de revues scientifiques internationales en sciences sociales, en psychologie, en éducation (5), qui publient des dizaines de milliers d'articles chaque année. Je souhaite à tous les citoyens Français d'en entendre un jour parler. (6)

Corrigendum du 17/09/2021

La version précédente de l'article indiquait "Toutes ces nuances sont allègrement passées sous silence dans l'article de l'Obs", ce qui sous-entendait à tort que les corrélations positives rapportées dans l'étude de Grimault-Leprince et al. étaient passées sous silence. C'était inexact, elles sont bien mentionnées dans l'article. Le passage est donc corrigé ainsi: "Toutes les nuances apportées sur la notion de causalité sont allègrement passées sous silence".

Merci à Gurvan Le Guellec d'avoir relevé cette erreur. Le dialogue qui s'est engagé avec lui sur Twitter peut-être consulté ici.


Références

Grimault-Leprince, A., Plantard, P., & Rouillard, R. (2020). Les liens entre la scolarité des adolescents, leur contexte de vie et leurs usages du numérique. In I. Danic, M. Hardouin, P. Plantard, & O. David (Éds.), Adolescentes et adolescents des villes et des champs : La dimension spatiale des inégalités éducatives (p. 71‑89). Presses Universitaires de Rennes. https://www.marsouin.org/article1260.html

Notes

(1) La citation exacte qui m'a été donnée est: "des études ont été faites, sur les CP, ce1, ce2 : 40% de retard cognitif". Personnellement je ne l'ai retrouvée nulle part. Mon propos ici n'est de toute façon pas de critiquer Yannick Jadot, qui, s'il a bien fait cette déclaration, a eu pour principal tort de croire ce qui est écrit dans Le Monde.
(2) Je ne m'étendrai pas ici sur les limites de l'étude qui sont apparentes dans l'article du Monde: l'utilisation d'un "test consistant à relier les lettres aux chiffres correspondant dans l’ordre alphabétique, dans un temps imparti" pour évaluer les capacités cognitives des enfants, ne devrait pas manquer d'étonner les psychologues et spécialistes en psychométrie. Et que peut-on conclure du fait que "un an plus tard, un grand nombre n’a pas terminé"? Ces remarques n'enlèvent bien sûr rien à l'intérêt potentiel des résultats sur la condition physique des enfants (que je n'ai pas pu examiner, pour les mêmes raisons, mais je n'étais pas interrogé sur ce sujet et je n'en suis pas expert).
(3) Sauf cas exceptionnels où cela peut être journalistiquement justifié (multiplicité de résultats pré-publiés semblant invalider une publication douteuse ou manifestement frauduleuse, évocation d'un signal cohérent avec des données établies par ailleurs, etc).
(4) Pour illustrer un peu ce point: pour que l'un de mes travaux de recherche soit éventuellement mentionné dans les médias, il faut généralement qu'il ait fait l'objet d'un communiqué de presse du CNRS, et pour cela il faut que le service de presse du CNRS l'ait sélectionné à cet effet (décision soumise à la direction de l'Institut national des sciences biologiques, dont je dépends). Ce qui implique, non seulement  que mon étude ait été publiée dans une revue scientifique internationale expertise par les pairs (cela va sans dire, ils me riraient au nez si je leur envoyais un livre auto-édité en français), mais encore faut-il qu'elle soit publiée dans une revue particulièrement prestigieuse. Je ne m'en plains absolument pas, je considère aussi que la plupart de mes travaux n'ont pas besoin d'être diffusés auprès du grand public. Mais cela illustre l'écart béant avec le standard appliqué pour les études de sciences humaines et sociales qu'on trouve quotidiennement dans les médias.
(6) Bien sûr, certains journalistes scientifiques s'acquittent déjà très honorablement de cette tâche, y compris (trop rarement) en psychologie ou en éducation. Je ne vais pas en dresser une liste ici, mais je profite de l'occasion pour féliciter Nicolas Martin pour le prix AJSPI du journaliste 2021!

8 commentaires pour “Quelles études scientifiques devraient être rapportées dans les médias?”

  1. Samaran Répondre | Permalink

    Proust lui avait bien compris la différence causalité corrélation
    Ainsi « l’habitude d’associer la personne d’Albertine au sentiment qu’elle n’avait pas inspiré me faisait pourtant croire qu’il était spécial à elle, comme l’habitude donne à la simple association d’idées entre deux phénomènes, à ce que prétend une certaine école philosophique, la force, la nécessité illusoires d’une loi de causalité. »
    Mais sous les coups de boutoir du "d'où parlez vous ?" et du "tout est politique" il y a bien longtemps que la France n'est plus cartésienne

  2. Franck Ramus Répondre | Permalink

    Commentaire reçu en privé:
    "Un journal n’est pas une revue scientifique, un journal rend compte d’un fait d’actualité ayant, ou susceptible d’avoir un effet sur son lectorat. Un livre, un article en pré-print, même mauvais, constituent des faits. Si ce n’était pas le cas, nous ne parlerions ni de Zemmour, ni des antivax, ni de … Et le monde serait idéal, nous serions dans la République de Platon, qui voulait que seuls les philosophes (i.e. les experts aujourd’hui) aient leur mot à dire. C’est le contraire de la démocratie."

    Ma réponse:
    La science n'est pas la démocratie. Le COVID19 se moque de savoir si une majorité de français croit aux vertus de l'hydroxychloroquine ou des vaccins, et le cerveau de nos enfants se moque de savoir si une majorité de français croit que les écrans sont bons pour eux ou pas. Il importe de savoir reconnaitre les sujets qui sont des sujets scientifiques et pas juste des faits divers, et de les traiter différemment. Dire que tel facteur cause tel effet, c'est un sujet scientifique, que vous le vouliez ou non, et quoi qu'en pensent une majorité de français.
    Après on peut bien sûr rapporter le fait qu'une majorité de français se trompent sur un sujet scientifique. Mais accorder une place disproportionnée à l'opinion des gens qui se trompent, ou à des sources peu fiables, c'est tuer la démocratie. Sur les sujets scientifiques, qui sont si importants pour nos sociétés, les médias devraient accorder une place prépondérante au consensus scientifique international et aux nouveaux résultats validés avec le plus haut niveau de preuve.

    • SteveNJ Répondre | Permalink

      Accorder une place etc.... Mais qui accorde? Ca me rappelle cette petite revolution que fut Gutemberg et l'imprimerie. Ou tout a coup le clerge qui jusque la accordait (donc) la parole sacree a perdu une grande partie de son pouvoir quand le Peuple s'est mis a lire la Bible par lui meme et a compris la fourberie et les mensonges.

      De meme maintenant, les scientifiques (dont je fais partie) sont en train de perdre completement le controle de "la science". Et c'est tant mieux.
      50% des publications medicales sont frauduleuses et controllees par big pharma.
      Ce n'est pas tuer la democratie que d'apporter les donnees brutes aux lecteurs (meme incompletes) , c'est justement l'inverse. C'est leur permettre cette liberte et qualite intellectuelles souvent (dans mon experience) au moins egales aux professionnels.

      Pour rester sur Covid, les vrais medecins de terrain utilisent les medicaments qui guerissent (hydroxychloroquine et Ivermectine) quand ceux qui n'ont jamais soigne un malade perrorent comme des pretres ayant perdu leur prestige usurpatoire.
      Les vaccins eux n'ont aucune etude serieuse a leur mise sur le marche (aucun comite de securite, aucun controle certifie des effets secondaires, aucune etude long terme, et, pour les booster aucune etude du tout).

      Cet etat de chose n'est pas reversible et s'apitoyer sur cette perte de privileges est une perte de temps.

      • Taki Répondre | Permalink

        Bonjour,
        Pour information dès le début les médecins ont essayé de traiter le covid avec de nombreux médicament, dont certains se sont révélés très efficaces (un corticoïde particulier, oxygénothérapie, décubitus ventral ...). Les médecins corrects ne se sont pas obstiné quand le produit ne fonctionnait pas.
        Dire que "50% des publications medicales sont frauduleuses et controllees par big pharma." c'est clairement du complotisme sans preuve.

        Si vous êtes scientifique, je vous invite à lire cette publication de janvier, signée par Didier Raoult, ou il donnait enfin ses chiffres bruts et admettait officiellement savoir depuis le début que son traitement aggrave 4.5 fois plus les patients que si on ne leur donne pas :

        * nécessité de thérapie par oxygène : groupe contrôle 11.1%, groupe traité à l'hydroxychloroquine (HCL) 12.5%, HCL+ Azithromycin (az) 50% (4,5 fois plus important)
        * nécessité de transfert en soin intensif : groupe contrôle 5.6%, HCL 12.5 (plus de deux fois plus), HCL+Az 25% (4.5 plus important)
        * mort : groupe controle : 0, groupe HCL : 1 mort, groupe HCL+Az : 1 mort

        https://linkinghub.elsevier.com/retrieve/pii/S0924857920304611

      • Franck Ramus Répondre | Permalink

        De meme maintenant, les scientifiques (dont je fais partie) sont en train de perdre completement le controle de "la science". Et c'est tant mieux.

        Ah bon? perte de contrôle au profit de qui?

        50% des publications medicales sont frauduleuses et controllees par big pharma.

        Source de cette affirmation?

        Pour rester sur Covid, les vrais medecins de terrain utilisent les medicaments qui guerissent (hydroxychloroquine et Ivermectine) quand ceux qui n'ont jamais soigne un malade perrorent comme des pretres ayant perdu leur prestige usurpatoire.
        Les vaccins eux n'ont aucune etude serieuse a leur mise sur le marche (aucun comite de securite, aucun controle certifie des effets secondaires, aucune etude long terme, et, pour les booster aucune etude du tout).

        Ah, d'accord, je comprends. Vous sachez...

  3. Benjamin Répondre | Permalink

    Je trouve que parmi les exceptions, il y a quand même les études qui portent sur des sujets qui concernent l'action publique immédiate, ce qui était le cas lorsqu'il s'agissait de décider (ou pas) un confinement, une fermeture des écoles, etc. La décision politique devant être rapide, elle ne peut pas nécessairement se fonder sur des conclusions établies avec le niveau de preuve requis pour une publication scientifique, quand rien de tel n'existe encore, ni attendre que les conclusions aient été totalement expertisées. Dans la mesure où l'opinion publique est en droit de vouloir comprendre la raison d'être des décisions, faire état d'études non-publiées qui suggèrent (sans établir formellement) telle ou telle chose est pertinent. Simplement, il faut le faire de manière prudente, en disant bien que ce n'est pas de la science établie (et en vérifiant indépendamment la crédibilité des auteurs). De la même manière, même en l'absence d'étude sur le sujet, il est normal d'utiliser les connaissances qu'on a déjà pour essayer (avec prudence) d'inférer les risques cognitifs du confinement sur les enfants. Je pense que c'est souvent ainsi que la science éclaire l'action publique (à chaque fois qu'une situation se présente qui est si nouvelle qu'il n'existe pas de connaissance fiable en sciences sociales).
    En fait, idéalement, dans de telles situations, les journalistes scientifiques devraient tenter de faire une sorte de raisonnement bayésien pour savoir quel niveau de confiance on peut avoir dans telle ou telle conclusion, compte tenu d'informations qui n'ont pas une forte fiabilité. Mais s'ils pouvaient vraiment faire cela, cela voudrait dire qu'ils sont des scientifiques...Je me demande en fait s'il ne faudrait pas que les journalistes scientifiques aient été eux-même des scientifiques (aient fait une thèse par exemple), susceptibles de faire cette évaluation de manière relativement rationnelle (un peu comme on attend qu'un chercheur membre d'un cabinet ministériel le fasse quotidiennement pour son ministre).

    • Franck Ramus Répondre | Permalink

      Je suis bien sûr d'accord sur le fait que, en général, le politique doit décider en situation de connaissance incomplète, et il est normal que les médias discutent du bien-fondé de ces décisions. Une bonne manière d’en discuter serait justement pour les médias de vérifier plus systématiquement dans quelle mesure ces décisions sont suffisamment guidées par des connaissances fiables, en allant chercher les (vrais) experts et les études fiables sur le sujet. Une mauvaise manière de le faire est de diffuser toutes les opinons à égalité, toutes les études publiées et non ou mal publiées à égalité (voire parfois encore pire diffuser de manière privilégiée les études et opinions les moins fiables), rendant citoyens et politiques incapables de déterminer lesquelles s’appuient sur des connaissances plus fiables que les autres. (c’est un peu ce qui s’est passé au moins au début de la pandémie).
      Et oui, dans les médias et les cabinets ministériels, ça manque cruellement de chercheurs ou au moins de gens qui comprennent comment s'acquiert et s'établit la connaissance. Après le doctorat n'est pas en soi une garantie de posséder ces qualités...

  4. jeannie Répondre | Permalink

    Le supremacisme scientifique et mediatique n'a aucune place en Democratie.
    Les cognitivement superieurs vont aux sources. Toutes les sources. Et se font leur propre opinion.
    Sans passer par les fourches des corrompus.
    Vive la Science. A bas le supremacisme scientifique.

Publier un commentaire