Il faut élever le niveau d’exigence de la qualification des enseignants-chercheurs en psychologie

La Conférence des Publications de Psychologie en Langue Française a adressé le 29/12/2016 une lettre à la ministre de l'éducation nationale et au secrétaire d'état chargé de l'enseignement supérieur et de la recherche, intitulée "Pour une pluralité ouverte dans les recherches, les langues et les formations en psychologie". Cette lettre, qui fait maintenant l'objet d'une pétition, dénonce la tentative de la section 16 du CNU de relever le niveau d'exigence pour la qualification aux fonctions de maître de conférences (MCF) et de professeur des universités (PR). De quoi s'agit-il, et pourquoi s'y opposer avec tant d'énergie?

La formation des psychologues: un maillon-clé de la santé mentale

Les facultés françaises de psychologie forment plusieurs milliers de psychologues diplômés chaque année. Ces psychologues, principaux professionnels à pratiquer l'évaluation psychologique et la psychothérapie, sont en première ligne dans la prise en charge des troubles mentaux et des troubles cognitifs, chez l'enfant, l'adolescent et l'adulte: dépression, troubles anxieux, addictions, troubles des apprentissages, autisme, troubles du comportement et bien d'autres. Le scandale de l'autisme a notamment bien montré que la qualité de l'offre de soins dépend crucialement de la qualité de la formation des psychologues (ainsi que de celle des psychiatres et d'autres professions pertinentes). La qualité de cette formation dépend inévitablement de la qualité des formateurs: les enseignants-chercheurs (maîtres de conférence et professeurs des universités) en psychologie. En particulier, pour être en mesure de délivrer une formation à jour, en phase avec l'état de l'art de la recherche scientifique internationale en psychologie, les enseignants-chercheurs doivent être eux-mêmes à la pointe de cette recherche scientifique internationale dans leur domaine, et ce notamment en y contribuant activement par leurs propres recherches.

Cette exigence est bien évidemment la même dans toutes les disciplines universitaires. Mais du fait du rôle des psychologues dans la santé mentale des Français, cette exigence a une importance sociétale particulière en psychologie, comme dans toutes les disciplines médicales et para-médicales. Imaginez les conséquences sur l'offre de soins en santé mentale, si des enseignants-chercheurs en psychologie restaient agrippés à des théories et des pratiques périmées et les enseignaient telles quelles à des milliers d'étudiants qui, une fois diplômés, exerceront pendant 35 à 40 ans! On voit toute l'importance d'une sélection rigoureuse des enseignants-chercheurs en psychologie. Cette sélection prend nécessairement en compte de multiples critères reflétant les multiples facettes de l'activité d'un enseignant-chercheur, néanmoins le contact étroit avec la recherche internationale au meilleur niveau paraît un critère indispensable.

Le rôle du CNU dans la sélection des enseignants-chercheurs

Contrairement à la plupart des pays, les universités françaises ne recrutent pas leurs enseignants-chercheurs de manière totalement autonome. Les candidats aux postes d'enseignants-chercheurs ouverts par les universités doivent au préalable avoir été "qualifiés" par une instance nationale, le Conseil National des Universités (CNU), divisé en sections disciplinaires, sur la base d'un dossier portant sur leurs travaux d'enseignement et de recherche. On peut s'étonner de cette curiosité et se lamenter de sa lourdeur, néanmoins le fait est qu'elle présente un avantage: celui de garantir un niveau minimal de recrutement dans toutes les universités françaises. Il ne fait aucun doute que cette procédure a servi et sert encore à éviter de très mauvais recrutements.

Néanmoins, cette procédure de qualification n'a de sens que dans la mesure où le niveau de qualification n'est pas exagérément bas. C'est sur ce point particulier que le débat est ouvert, dans la section n°16 du CNU qui s'occupe de la psychologie. En effet, les critères de qualification retenus jusqu'à présent par cette section, que ce soit au niveau MCF ou au niveau PR, indiquent que les candidats doivent avoir publié leurs travaux dans des revues "à comité de lecture indexées dans les grandes bases de données (PsycINFO, Ergonomics Abstracts, ISI, Medline)". Ce critère comporte deux inconvénients: 1) les bases de données indexent quasiment toutes les revues scientifiques sans aucun critère de qualité; 2) elles indexent un nombre important de revues françaises publiant des articles écrits en français. Par comparaison, la section 69 (neurosciences), comme toutes les sections scientifiques, indique clairement que les articles doivent avoir été publiés dans les revues "internationales", c'est-à-dire en anglais.

L'importance de la publication en anglais dans les revues internationales

C'est un sujet que j'ai abordé en grands détails dans un précédent article. En résumé, un travail scientifique n'acquiert de l'importance que par l'influence qu'il peut avoir sur l'ensemble des connaissances scientifiques du domaine. La science (en psychologie comme dans toute autre discipline) se joue au niveau mondial, et s'écrit en anglais. Un article écrit en français, quelles que soient ses qualités intrinsèques, ne pourra être lu que par 2% des chercheurs du monde, et par conséquent restera totalement ignoré et inutile. Tous les chercheurs français le savent, et ceux qui choisissent de publier en français (ou dans toute autre langue que l'anglais) savent qu'ils ne s'adressent qu'à un public très restreint et que leur travail ne rencontrera aucun écho en dehors de ce public.

On peut s'en convaincre en examinant les statistiques de citations des articles publiés dans les revues francophones. On peut en effet considérer que le nombre de fois qu'un article donné est cité dans d'autres articles scientifiques est une mesure indicative de son influence sur le domaine¹. Il se trouve qu'au sein de travaux en sciences sociales produits par des équipes françaises, un article publié en Français est cité entre 4.5 et 18 fois moins qu'un article publié en anglais (Docampo, 2016)! Bref, quelles que soient les bonnes raisons d'écrire en français quand il s'agit de diffuser l'information scientifique auprès du grand public et des professionnels (voir ci-dessous), le monde de la recherche internationale ne communique qu'en anglais. Et les enseignants-chercheurs des universités françaises doivent être parties prenantes de la recherche internationale, en psychologie comme dans les autres disciplines.

Les nouveaux critères proposés par la section 16

Dans ce contexte, la section 16 du CNU a proposé de nouveaux critères de classification (qui sont récapitulés dans la lettre du CPPLF, et qui ne sont pas encore entrés en vigueur):

• Pour les maîtres de conférences, au moins une publication dans une revue appartenant aux 3 premiers quartiles de la base de données SCImago Journal & Country Rank (parmi les 2 articles indexés actuellement requis). (critère dit « SJR Q1-Q2-Q3 »)
• Pour les professeurs, au moins deux publications dans des revues appartenant aux deux premiers quartiles de la même base de données (parmi les 10 articles indexés actuellement requis). (critère dit « SJR Q1-Q2 »).

Pour expliciter un peu, la base de données Scimago répertorie un très grand nombre de revues scientifiques de toutes les disciplines et de tous les pays. Elle répertorie en particulier 1063 revues de psychologie de tous les pays (dont 38 françaises), qui sont ensuite réparties dans différentes sous-disciplines. A titre d'exemple, il y a 252 revues en psychologie clinique, dont 16 françaises. Au sein de chaque sous-discipline, ces revues sont classées selon l'indice SJR (3ème colonne), qui correspond grosso modo au nombre moyen de citations que leurs articles reçoivent dans les trois années suivant la publication. C'est une manière de classer les revues selon l'influence qu'elles ont sur le domaine, et l'indice SJR est assez proche de l'indice plus connu appelé "facteur d'impact" (que l'on retrouve dans la colonne "cites/doc (2 years)"). Une fois les revues classées selon ce critère, les 3 premiers quartiles Q1-Q2-Q3 désignent les 75% des revues avec l'indice SJR le plus élevé. Autrement dit, seules sont exclues le quart des revues qui sont les moins influentes (Q4).

Dans un monde idéal, on pourrait exiger pour les maîtres de conférences la publication d'au moins deux articles dans une revue parmi les trois quarts les mieux classées. Avec un seul article, on ne peut pas dire que le critère proposé soit très exigeant. De même, quand on pense que les candidats au grade de professeur ont généralement au moins dix ans d'ancienneté dans celui de maître de conférences et ont normalement au moins une vingtaine de publications, un critère de qualification raisonnable pourrait être d'avoir au moins 10  articles dans les revues des 3 premiers quartiles, et au moins 10 articles ayant reçu chacun au moins 10 citations². Requérir seulement deux articles dans des revues qui sont dans la première moitié du classement, c'est vraiment très faible à ce stade de la carrière. On pourrait même trouver carrément inquiétant pour la psychologie française que des critères aussi bas puissent être proposés, si l'on ne se souvenait que les critères actuels sont encore plus bas (puisqu'aucun autre critère de sélection des revues n'est requis, autre que l'indexation).

On notera en passant que, comme on pourrait s'y attendre, classer les revues sur la base du nombre de citations que leurs articles reçoivent conduit à ce que les revues publiées dans les autres langues que l'anglais se trouvent en bas de classement. Par exemple, en psychologie clinique, les 16 revues françaises se retrouvent dans le quatrième quartile, et en plus particulièrement mal classées. En effet, alors qu'en moyenne les articles publiés dans les 252 revues de psychologie clinique (toutes langues confondues) reçoivent 1.19 citation par an, ceux publiés dans l'une des 16 revues françaises reçoivent 0.05 citation par an, soit 24 fois moins! Ces nombres ne font que confirmer l'impact minimal des publications en français. Ces listes de revues sont également l'occasion de remarquer que les USA et le Royaume-Uni n'ont pas le monopole de la publication internationale de qualité. Il existe d'excellentes revues néerlandaises, allemandes, italiennes, suisses, hongroises, polonaises, autrichiennes, etc., dans les deux premiers quartiles. Simplement, elles ont toutes en commun de publier les articles en anglais, condition sine qua non pour remplir leur mission de diffusion universelle de la connaissance scientifique. Les revues des mêmes pays publiant dans leur langue nationale sont inévitablement en bas de classement.

Pourquoi donc la Conférence des Publications de Psychologie en Langue Française (et plusieurs associations de psychologues qui s'associent à cette lettre) s'opposent-ils globalement aux critères proposés, et veulent-ils au contraire favoriser la publication en français? Une première réponse évidente est que la CPPLF défend ses intérêts propres, à savoir ceux des revues de psychologie en langue française. Mais elle affiche dans sa lettre d'autres arguments, qu'il convient donc d'examiner avec soin.

Les arguments de la CPPLF

« SCImago » est un outil commercial d’Elsevier

Ce n'est pas tout à fait exact. Scimago est un groupe de recherche dépendant de plusieurs institutions d'enseignement supérieur et de recherche espagnoles. Il est vrai en revanche que Scimago s'appuie sur la base de donnés bibliographiques Scopus produite par Elsevier Science, l'éditeur scientifique honni par la plupart des chercheurs pour sa politique commerciale prédatrice et oligopolistique ayant pour conséquence de limiter l'accès des chercheurs aux publications scientifiques. Il ne s'ensuit pas que l'utilisation de Scimago lie en aucune manière ses utilisateurs à Elsevier.

Scimago a l'immense avantage d'être en accès libre, contrairement à son principal concurrent, la base de données de référence Thomson ISI Journal Citation Reports, dont l'accès est payant. C'est certainement ce qui a guidé le choix de la section 16 du CNU. Un avantage secondaire de Scimago est de baser son indice SJR sur 3 années de citations au lieu de 2 pour le facteur d'impact, ce qui favorise moins les revues les plus portées sur le sensationnalisme à courte échéance. Enfin, la base de données Scopus sur laquelle s'appuie Scimago est plus complète que la base ISI Web of science (notamment dans les sciences humaines et sociales), et elle est fiable, contrairement à une multitude de sites et sociétés prétendant fournir des facteurs d'impact qui n'ont aucune valeur et dont le seul but est de promouvoir les revues qui leurs sont liées³. Quoi qu'il en soit, les critères proposés par le CNU n'ont pas besoin d'être liés à une base de données particulière, et s'il existait une autre base libre d'accès, rendant des services similaires et dépendant d'une entreprise plus respectable, il n'y aurait pas d'obstacle à ce qu'elle fasse référence pour le CNU. Il est donc très fallacieux de s'opposer aux nouveaux critères au prétexte que cela lierait les chercheurs à Elsevier, serait "contraire aux libertés fondamentales de l’Université" et "violerait la neutralité" et l'indépendance des fonctionnaires!

Les limites des indicateurs bibliométriques sont notoires

Oui, elles le sont. La plupart des chercheurs sont d'accord pour refuser d'être évalués sur la seule base des "facteurs d'impact" des revues dans lesquelles ils ont publié leurs articles. Mais ce n'est pas ce qui est proposé ici. En effet, le processus de qualification du CNU n'est pas un véritable processus d'évaluation permettant de situer un chercheur par rapport à ses pairs du même domaine, à des fins de recrutement ou de promotion. Le recrutement reste aux mains des universités, dont les comités de sélection ont toute latitude pour analyser en profondeur les contributions scientifiques des candidats et utiliser des critères beaucoup plus fins. Le processus de qualification, lui, ne vise qu'à établir un premier filtre, à n'éliminer que ceux dont les contributions sont notoirement insuffisantes, quels que soient les critères raisonnables utilisés. Pour ce faire, les indices bibliométriques usuels des revues sont largement suffisants. L'essentiel, pour ne point commettre d'injustice, est d'utiliser des critères suffisamment généreux pour être sûr qu'aucun chercheur ayant effectué des contributions scientifiques significatives ne puisse être écarté de la qualification. C'est sans aucun doute le cas des critères actuellement proposés par la section 16.

Peut-on acheter le fait d'être publié dans les revues Q1-Q2?

Il s'agit là d'une référence aux revues dites "prédatrices", qui revendiquent des facteurs d'impact fallacieux³, proposent aux auteurs de payer pour être publiés, tout en bradant ou en éliminant totalement le service d'expertise par les pairs, essentiel à la publication scientifique. Une liste de telles revues et de leurs éditeurs est maintenue par Jeffrey Beall⁴. Il est évident que de telles revues sapent les fondements de la publication scientifique, et menacent de pervertir toutes les évaluations basées sur les publications. Néanmoins, à ce jour et jusqu'à preuve du contraire, ces revues prédatrices ne sont pas parvenues à se hisser parmi les classements des revues "respectables", comme celui produit par Scimago. De fait, quand bien même elles obtiendraient de se faire référencer dans certaines grandes bases de données, les articles qui y sont publiés ne sont pour ainsi dire jamais cités, et ces revues stagneraient donc au fond des classements. A terme, si les bases de données bibliographiques se retrouvaient inondées de revues prédatrices, cela perturberait certainement les classements actuels des revues, dans le sens où cela ajouterait un grand nombre de revues dans le bas des classements. Cela devrait logiquement conduire le CNU à réévaluer à la hausse les critères de qualification, ou encore à maintenir des "listes noires" de revues exclues des critères de qualification. Mais en l'état actuel des choses, ces revues ne menacent pas l'intégrité des critères proposés par la section 16 du CNU. Celle-ci doit simplement rester vigilante.

Les psychologues praticiens seraient-ils privés du dialogue avec la recherche?

Vouloir que les publications scientifiques soient en français pour pouvoir être lues par les professionnels, c'est considérer que ce sont les mêmes supports qui peuvent servir à la publication scientifique et à l'information et la formation des professionnels. Comme je l'ai déjà expliqué, ce n'est ni possible, ni souhaitable. Les publications scientifiques doivent être soumises à une évaluation rigoureuse par les pairs, et doivent être accessibles à l'ensemble des chercheurs du monde entier pour remplir leur fonction. Les publications de transfert des connaissances auprès des professionnels, elles, doivent être écrites dans la langue de chaque pays, doivent sélectionner et simplifier les résultats scientifiques selon les besoins du public ciblé, et répondre aux autres besoins de chaque communauté professionnelle.

Comme la psychologie, la médecine est une pratique qui se fonde sur des connaissances scientifiques. Elle dispose à la fois de revues scientifiques internationales, dans lesquelles sont publiés les résultats scientifiques et s'établit l'état des connaissances, et de revues professionnelles propres à chaque pays (et à chaque spécialité), qui en diffusent une synthèse en direction des médecins. Mais aucun médecin ne confond les deux catégories de revues: les médecins libéraux sont bien conscients de n'avoir ni le temps ni la compétence pour lire les revues scientifiques et s'en remettent aux revues professionnelles pour se tenir au courant; les médecins universitaires, eux, savent bien qu'il n'y aurait aucun sens à vouloir publier les comptes-rendus originaux de leurs recherches dans les revues professionnelles en français.

Il est incontestable que tous les psychologues français ont besoin d'être tenus au courant des derniers développements de leur discipline, et ils doivent pour cela disposer de revues professionnelles de qualité, fidèles à l'état des connaissances établi au niveau international, écrites en français et adaptées à leur public. Il en existe déjà, et ce sont elles qui ont pour mission d'établir le dialogue entre la pratique et la recherche. Mais ces revues ne peuvent accueillir les travaux scientifiques originaux, qui répondent à d'autres exigences, et s'adressent à un autre public. Ces travaux doivent être publiés en anglais dans les revues scientifiques internationales.

Ce type de classement défavorise-t-il certaines sous-disciplines de la psychologie?

La CPPLF mentionne nommément "la psychologie clinique et la psychopathologie d’orientation psychanalytique et la psychologie du travail et des organisations". Pourtant, comme il est indiqué plus haut, la base de données Scimago recense pas moins de 252 revues en psychologie clinique, dont au moins 18 revues ayant un titre mentionnant explicitement la psychanalyse (il existe bien d'autres revues représentant le même courant mais ne l'affichant pas dans leur titre). Quant à la psychologie du travail et des organisations, elle trouve sa place dans la sous-catégorie Psychologie appliquée de Scimago, qui comporte 189 revues, dont une bonne quinzaine ayant dans leur titre les mots occupation, organization ou work (sans compter les revues dans d'autres langues que l'anglais). On ne peut pas dire que ces sous-disciplines ne soient pas représentées. Elles sont simplement représentées à la hauteur de la taille du domaine en question dans la publication scientifique internationale.

Par ailleurs, sur les 18 revues ayant un titre mentionnant la psychanalyse, 7 appartiennent au 2ème quartile du classement SJR pour la psychologie clinique, 4 au 3ème, et 7 au 4ème. De même, sur les 11 revues dont le titre fait référence aux organisations, 5 sont dans le 1er quartile du classement SJR pour la psychologie appliquée, 2 dans le 2ème quartile, 1 dans le 3ème quartile, 3 dans le 3ème quartile. On ne peut donc pas dire que les critères proposés par la section 16 soient impossibles à atteindre dans ces sous-disciplines, ni que celles-ci soient défavorisées par rapport aux autres: elles se répartissent sur l'ensemble du classement.

Si les enseignants-chercheurs français affiliés à la psychanalyse s'estiment défavorisés par les critères proposés par la section 16, ce n'est pas parce qu'ils publient dans des revues de psychanalyse (ce qui est parfaitement normal). C'est parce qu'ils ne publient que dans des revues de psychanalyse françaises (ou parfois argentines ou brésiliennes, ce qui ne change rien au problème). Or celles-ci se retrouvent toutes dans le 4ème quartile du classement des revues de psychologie clinique. De l'analyse qui précède, on comprend que ces revues sont mal classées, pas parce qu'il s'agit de psychanalyse, mais parce qu'elles sont publiées en français (ou dans toute autre langue que l'anglais), et que par conséquent elles ne sont ni lues ni citées par les 98% de psychologues non francophones. Quelle conclusion faut-il tirer de cette observation? Faut-il, comme le recommande la CPPLF, rejeter en bloc de tels classements et laisser les enseignants-chercheurs en psychologie clinique publier leurs travaux où ils veulent, y compris dans des revues françaises n'ayant aucun lectorat international, pour que leurs articles continuent à n'être cités que 0.05 fois par an en moyenne et n'avoir donc aucune influence sur le cours de la science en psychologie clinique? Ou faut-il au contraire inciter ces enseignants-chercheurs en psychologie clinique à publier leurs travaux en anglais, de manière à les faire connaître et à véritablement contribuer à l'avancement de leur domaine?

La section 16 du CNU a fait le second choix, et elle a eu raison. Autant il serait inacceptable que le CNU attaque certaines sous-disciplines pour ce qu'elles sont, autant il est parfaitement normal qu'il impose à toutes les disciplines et sous-disciplines les mêmes exigences d'ouverture sur la recherche internationale. Car en psychologie clinique comme dans tous les autres domaines, l'état des connaissances se construit au niveau international et s'écrit (par nécessité) en anglais. Il n'est pas acceptable qu'une communauté d'enseignants-chercheurs se complaise dans un entre-soi franco-français, où l'on ne lit que ce qui est publié en français par les collègues de la même communauté, et où l'on ne publie ses travaux que dans les revues franco-françaises dirigées par ces mêmes collègues. Cela serait le meilleur moyen de scléroser une discipline toute entière, de la maintenir dans un état végétatif hors du temps et hors de tout contact avec la communauté scientifique internationale, et in fine de fournir aux étudiants dans ce domaine une formation obsolète et décalée par rapport à l'état des connaissances. Une telle situation serait a fortiori catastrophique dans un domaine comme la psychologie clinique, car c'est toute l'offre de soins en santé mentale en France qui en dépend.

En conclusion, les nouveaux critères de qualification proposés par la section 16 du CNU doivent être soutenus, et même renforcés au fil du temps, afin de tirer la psychologie française vers le haut.

Addendum du 25/01/2017

Un document intitulé "Les psychologues en quête de quartiles?" et signé Nathalie de Kernier circule actuellement, relatant l'expérience de l'auteure de soumission et d'acceptation d'un de ses articles à la revue Neuropsychiatry. Cette revue est indexée par l'ISI Journal Citation Reports, affichant un facteur d'impact de 1.45, et est également répertoriée par Scimago, appartenant au 3ème quartile des revues de neurologie clinique, et au 2ème quartile des revues de psychiatrie. L'expérience relatée par l'auteur correspond en tous points aux services offerts par les "revues prédatrices" évoquées plus haut, en particulier: expertise par les pairs minimale, et frais de publication supportés par les auteurs. De fait, cette revue est éditée par le groupe Open Access Journals, qui est sur la liste des éditeurs "prédateurs" compilée par Beall. On est donc dans un cas d'espèce où une revue prédatrice offrant une parodie d'expertise scientifique a réussi à se faire indexer par les bases de données de référence, et à se hisser dans les classement à une position honorable. Il y en a certainement d'autres, même si ce cas est à mon sens relativement rare: la plupart des revues prédatrices dont les sollicitations inondent nos boîtes email ne sont pas indexées dans ces bases de données (contrairement à ce qu'elles affichent), et celles qui le sont n'ont pas le facteur d'impact qu'elles affichent et se situent en bas des classements.

L'auteure conclut: "Si de nouveaux critères de notre CNU arrivaient à faire dépendre la qualification d’indicateurs bibliométriques, le message qui serait entendu par les futurs candidats à la qualification et par notre communauté serait le suivant: viser bien le label Q1-Q2 des revues, y compris en l’achetant, et peu importe la qualité de vos travaux comme de l’ensemble des dimensions de votre dossier." "Oui, pour des critères encourageant des travaux dans des langues autres que le français, par exemple l’anglais, dans des revues indexées dans les bases de données reconnues internationalement (PsycINFO, ISI, Medline, Ergonomics Abstract, SCOPUS), mais sans imposer d’indicateur bibliométrique."

Ce qui est ridicule dans cette argumentation, c'est que si l'on conserve les critères actuels exigeant uniquement l'indexation des revues dans ces bases de données, l'ensemble des revues "qualifiantes" contient un bien plus grand nombre de revues prédatrices sans aucune forme d'expertise scientifique, que si l'on se restreint aux revues appartenant aux premiers quartiles! Autrement dit, il est infiniment plus facile pour un chercheur qui le souhaiterait d'"acheter" sa qualification avec les critères actuels, qu'avec les nouveaux critères proposés par le CNU. En toute logique, si Mme de Kernier voulait sincèrement diminuer la possibilité d'acheter sa qualification, elle devrait exiger des critères encore plus rigoureux sur la sélection des revues qualifiantes. Par exemple, ajouter aux critères proposés une exclusion des revues prédatrices et des éditeurs prédateurs apparaissant sur la liste de Beall ou sur toute autre liste équivalente (comme je l'ai suggéré plus haut).

En conclusion l'existence de revues telles que Neuropsychiatry n'est pas un motif valable pour rejeter les nouveaux critères de qualification proposés par la section 16 du CNU. C'est au contraire un motif pour resserrer encore l'éventail des revues considérées comme "qualifiantes". En parallèle, il est possible d'agir pour obtenir que cette revue et d'autres du même acabit soient exclues des bases de données ISI Thomson Journal Citation Reports et Scimago. J'espère que Mme de Kernier leur a transmis à cet effet sa correspondance avec Neuropsychiatry, car celle-ci établit clairement l'absence d'expertise par les pairs sérieuse, qui est pourtant une condition nécessaire de l'indexation. Des plaintes convergentes concernant cette revue devraient donc conduire à sa désindexation.

Références