Je ne comprends pas pourquoi certains collègues craignent l’évaluation par les pairs… sauf…
Que penser de l'évaluation par les pairs, pour la publication des articles scientifiques ?
Je discute la question, sur la base de mon expérience de scientifique, de mon expérience d'éditeur de la publication intitulée Notes Académiques de l'Académie d'agriculture de France, mais aussi d'après une abondante littérature que j'ai citée dans mon article : This H. 2020. L'analyse critique des manuscrits et les conseils d'amélioration donnés aux auteurs, Notes Académiques de l'Académie d'agriculture de France / Academic Notes from the French Academy of Agriculture (N3AF), 9(2), 1-14. https://doi.org/10.58630/pubac.not.a582827.
J'ajoute une référence qui ne s'y trouvait pas : Jacalyn Kelly, Tara Sadeghieh, Khosrow Adeli. 2014. Peer review in scientific publications: benefits, critiques, & a survival guide, The Journal of the international federation of clinical chemistry and laboratory medicine, eJIFCC2014Vol25No3pp227-243
Et, dans tout ce qui suit, je propose de ne pas oublier que le gros s'impose avant le détail, que l'on ne peut pas fignoler une frise si l'on n'a pas d'abord construit la maison ! Et la loi passe avant les décrets d'application.
Dans d'autres activités (toutes ?), telle la publication scientifique, il en va de même : il y a d'abord le principe, avant les modalités d'application. Et c'est avec ce... principe, que je propose d'analyser la question de l'évaluation par les pairs, ou peer review, en m'interrogeant : pourquoi certains n'en veulent-ils pas ?
Il faut ici que je commence par distinguer deux types d'articles : des notes de recherche, d'une part, et des articles d'opinion, d'autre part.
Pour un ou une scientifique, la seule vraie question est de faire une découverte.
Et quand cette découverte est faite, mais seulement alors (ce qui suppose des "validations"), il y a lieu de la communiquer à la communauté scientifique.
Pour un article d'opinion, c'est au fond très secondaire, car extrinsèque et non intrinsèque, car il ne s'agit que d'une... opinion.
Et même si, parfois, nous aimerions que nos opinions fondées sur des arguments rationnels soient mieux entendues de la collectivité, afin que des décisions qui engagent tous soient bien prises, ces articles sont secondaires, scientifiquement car ils ne sont pas intrinsèquement notre travail scientifique, et nous n'avons pas de raison de nous y attarder trop, d'y perdre trop de temps.
De sorte que je veux me consacrer ici aux notes de recherche.
Supposons que nous ayons fait un travail scientifique, bien validé, et que nous voulions le communiquer. Alors nous rédigeons une note de recherche et nous souhaitons que notre manuscrit soit publié.
Il est vrai que, jusqu'à une époque récente, certaines revues scientifiques cherchaient surtout à refuser les manuscrits, qui leur arrivaient en trop grand nombre.
Et cela a conduit à des frustrations de nombre de collègues, qui voyaient leurs manuscrits refusés, parfois pour de mauvaises raisons...
Mais parfois aussi pour de bonnes raisons, parce que le travail de recherche ou la rédaction du manuscrit avaient omis des considérations particulières qui permettait que les expériences soient rigoureuses et reproductibles.
Certains ont critiqué la lenteur du processus d'évaluation par les pairs
Oui, certaines revues ont mis longtemps à publier certains manuscrits, et quelques scientifiques ont vu là la possibilité que des "concurrents" publient un travail avant eux... mais ne peut-on pas déposer la description d'une découverte sous la forme d'un pli cacheté de l'Académie des sciences ? La procédure est simple : https://www.academie-sciences.fr/fr/Transmettre-les-connaissances/les-plis-cachetes.html... et je viens de comprendre que nous aurions intérêt à créer un système de dépôt de ce type à l'Académie d'agriculture de France.
D'ailleurs, sans attendre, il faut bien dire que tout manuscrit envoyé est déposé, enregistré, de sorte que le ou les auteurs d'une découverte peuvent réclamer une priorité sur la base de la réception qui leur est faite, quand ils soumettent un manuscrit.
Cela n'exempte évidemment par les revues d'une certaine rapidité.
A quoi je dois ajouter que, depuis la création des Notes académiques, les longs délais de publication, quand il y en a eu, étaient toujours le fait des auteurs, à une exception près.
Et puis, quand on a fait une belle découverte, est-on à une semaine près ?
Un autre argument de certains, contre l'évaluation par les pairs, serait que cette pratique "étouffe[rait] l'innovation expérimentale.
Ah bon ? Et comment ? Ne serait-ce pas plutôt que les nouvelles méthodes proposées sont insuffisamment bien décrites, ou pas validées ? Bref, que la publication est hâtive ?
Et puis, après tout, là encore, on peut déposer un pli cacheté, non ?
L'évaluation par les pairs n'éviterait pas bien le plagiat ou le vol d'idées, par les éditeurs ou par les rapporteurs ?
Souvenons-nous de notre sain principe de base, et constatons que, oui, il y a des malhonnêtes partout, mais cette critique du principe doit être mise en balance de tous les avantages de l'évaluation par les pairs, lesquels sont considérables (et que je ne veux pas détailler ici, sans quoi ce serait un autre projet). Mais c'est surtout la réponse du principe sain qui prévaut.
A ce même propos du vol ou du plagiat, certains ont proposé une évaluation par les pairs complètement "ouverte".
Pourquoi pas, mais j'ai expliqué dans l'article cité en introduction pourquoi je préconise au contraire le double anonymat.
Pensons notamment aux jeunes, qui verraient leurs fautes les plus grossières exposées sur la place publique. Charitablement, ne laissons voir que des articles bien polis, dont ils seront fiers.
Oui, il y a des rapporteurs et des éditeurs médiocres, malhonnêtes, désobligeants, etc. et il n'y a pas de raison que de telles personnes n'existent pas... aux côtés de tous les autres, qui ne déméritent pas. Et, avec les réseaux sociaux, ne pourrions-nous pas construire des réputations de revues, par exemple ? En signalant, évidemment, toutes celles qui sont bien ?
Il a été dit que l'évaluation par les pairs ne dépiste pas bien les erreurs
Admettons que, parfois, l'évaluation par les pairs ait laissé passer des erreurs... mais n'y a-t-il pas tous les autres cas où des erreurs ont été évitées ?
Là, citons une une expérience de Godlee et al. publiée dans le
British Medical Journal (BMJ) : huit erreurs ont été délibérément introduites dans un manuscrit qui était presque prêt à être publié, puis le manuscrit a été envoyé à 420 réviseurs potentiels. Sur les 420 évaluateurs qui ont reçu l'article, 221 (53 %) ont répondu, le nombre moyen d'erreurs repérées par les réviseurs était de deux, aucun réviseur n'a repéré plus de cinq erreurs et 35 réviseurs (16 %) n'en ont pas repéré.
Mais il faut surtout observer que des erreurs ont été évitées !
Parfois aussi, on a vu des rapporteurs qui abusaient de leur position anonyme pour faire des remarques désobligeantes, oubliant que l'on voit mieux la paille dans l'œil du voisin que la poutre dans le sien.
Mais les revues sont devenues de plus en plus sensibles à cet argument, et les éditeurs -tout comme les rapporteurs- sont maintenant vigilants, pour que les rapports envoyés aux auteurs des manuscrits soient parfaitement factuels, positifs et bienveillant. Autrement dit, le problème est réglé en principe.
Bref, la communauté scientifique s'est un peu raidie contre l'évaluation par les pairs, alors que cette pratique doit conduire à l'amélioration des manuscrits.
Et puis, même, si un collègue détecte dans un de nos manuscrit des imperfections, c'est une faveur qu'il nous fait de nous la signaler, car cela nous évite de publier un texte par trop imparfait, et dont nous pourrions rougir de honte plus tard.
Quand nous sommes jeunes scientifiques, les évaluations par les pairs sont une façon d'apprendre beaucoup, à condition bien sûr que les rapports de nos collègues soient amicaux et positifs.
C'est donc le rôle des éditeurs en charge des manuscrits que de s'assurer que les échanges se font dans des conditions de parfaite confraternité, avec pour objectif la publication d'articles d'excellente qualité.
Ailleurs, j'ai discuté la nouvelle possibilité, offerte par le numérique, de déposer des manuscrits sur un site sans évaluation.
Je ne reviens pas sur mon idée qui est que cette pratique n'est pas satisfaisante, car les jeunes scientifiques s'exposent ainsi à rendre publiques leurs imperfections, lesquelles sont plutôt gommées quand un article est publié après une évaluation par les pairs.
Il a été dit que le nombre de personnes compétentes pour juger des manuscrits est limité, et insuffisant par rapport au nombre de manuscrits publiés.
Et cela conduirait à demander des évaluations à des personnes insuffisamment compétentes...
Oui, mais si on demande à plusieurs, pour divers aspects d'un manuscrit, on peut éviter cette difficulté. Car au fond :
- soit la recherche est un peu banale, et il y aura donc du monde pour l'évaluer
- soit la recherche est très spécifique, et il n'y aura personne, de sorte que, de toute façon, il faudra la solution indiquée ici.
D'ailleurs, l'évaluation par les pairs implique seulement que les rapporteurs fassent de leur mieux pour aider les auteurs, dans la limite des possibilités ; il s'agit que les manuscrits soient éventuellement améliorés, mais où a-t-on vu une activité humaine parfaite ? et pourquoi demander à l'évaluation par les pairs des qualités surnaturelles ? Il suffit que cette évaluation soit utile !
Je conclus que, au fond, si notre objectif est de publier des articles aussi bons que possible, d'aussi belle qualité que possible, alors nous devrions tous souhaiter disposer d'une évaluation par les pairs, et non pas la redouter.
Et si certains rejettent l'évaluation par les pairs, c'est à quel motif ?