Des difficultés d’interpréter une étude expérimentale en éducation

J'ai récemment partagé les résultats d'une étude expérimentale en éducation, qui a suscité beaucoup d'intérêt, et engendré beaucoup de commentaires:

J'ai exposé les résultats de manière assez brute. Les commentaires m'ont fait réaliser que j'aurais dû apporter plus d'éléments de contexte et d'interprétation. Notamment sur:

1. la nature de l'hypothèse précise qui était testée.
2. le fait qu'il ne s'agit que d'une étude, réalisée d'une certaine manière dans un certain contexte. Une autre étude pourrait donner un résultat différent, et ce n'est qu'à l'issue de multiples études qu'on y verra un peu plus clair.
3. pour moi l'intérêt de montrer ce résultat n'était pas de l'annoncer comme une vérité définitive, mais comme une simple illustration du fait que les idées pédagogiques innovantes ne sont pas toujours bonnes, que les intuitions des chercheurs comme des enseignants peuvent s'avérer erronées, et que c'est pour ça qu'il est important de faire de la recherche pour tester ces intuitions.

Je trouve aussi beaucoup de commentaires révélateurs des incompréhensions entre monde de la recherche et monde enseignant. Voici quelques commentaires sur les commentaires les plus fréquents:

1. "Quelle drôle d'idée de tester l'effet de Scratch sur les compétences arithmétiques. Enseigner la programmation sert à enseigner la programmation, pas les maths. Ils sont fous ces chercheurs! Il faut tester si ça a un effet sur les compétences en programmation."
   Toute étude expérimentale est conçue pour tester une hypothèse particulière, et pas les autres. Et bien sûr cette hypothèse ne sort pas de nulle part. Mais il est difficile de comprendre le bien-fondé d'une hypothèse sans connaître toute la littérature scientifique qui est derrière (et qui est résumée en introduction de l'article, mais pas dans mon billet). A noter aussi que cette hypothèse est aussi partagée par des enseignants, comme en attestent les commentaires de type 2.
2. "Les résultats de cette étude sont évidents, rien de neuf sous le soleil. C'est bien la peine de payer des scientifiques pour qu'ils inventent la machine à courber des bananes. Faites plutôt confiance aux experts de terrain, les enseignants, qui savent bien qu'enseigner la programmation n'est pas une bonne manière d'enseigner les maths."
3. "Les résultats de cette étude n'ont aucun sens. Si cette expérience a échoué c'est parce que [insérez une explication possible]. Faites plutôt confiance aux experts de terrain, les enseignants, qui savent bien qu'enseigner la pensée algorithmique est une bonne manière d'enseigner les maths."
   La confrontation des commentaires 2 et 3 montre bien que les enseignants (comme les chercheurs) ont des avis divergents, même s'ils sont informés par leurs observations de terrain. Les chercheurs écoutent et respectent les avis des enseignants, mais ne peuvent donc pas les prendre pour argent comptant. C'est pour cela qu'il est important de les considérer comme des hypothèses, et de les tester rigoureusement par la méthode expérimentale.
4. "Les résultats de cette étude sont contredits par les résultats de telle autre étude".
   Effectivement, toutes les études sur ce sujet ne donnent pas les mêmes résultats. Cela peut être pour différentes raisons (différences de population, de contexte, de pratiques pédagogiques, ou simplement des variations aléatoires). C'est pour cela qu'il est important de considérer une étude pour ce qu'elle est, c'est-à-dire une contribution à la réponse à une question. Pour avoir un avis définitif sur la question, il faut de multiples études, des méta-analyses permettant de déceler les tendances fiables malgré les résultats apparemment contradictoires, et aussi de comprendre quels facteurs peuvent faire varier les résultats.

Bref, si on mène une étude scientifique, c'est souvent pour de bonnes raisons, et c'est parce qu'on ne connait pas le résultat à l'avance (même si certains croient le connaître).

Attention à la tentation d'accepter les résultats scientifiques lorsqu'ils confirment ce que vous croyez, et de les rejeter lorsqu'ils contredisent ce que vous croyez. C'est un point de vigilance pour les chercheurs autant que pour les enseignants, car tous les êtres humains sont victimes du biais de confirmation.