Faut-il sanctifier la révision par « les pairs » ?

C’est tout particulièrement durant la crise de la COVID-19 qu’un souci déjà relativement ancien a réellement fait surface, offrant aux protagonistes de la controverse scientifique l’occasion de dénigrer les travaux qui n’abondent pas dans le sens de l’hypothèse qu’ils soutiennent. Toute la subjectivité de la procédure de l’évaluation par les pairs, le peer review, s’est révélée de façon plus intense que jamais. Ce débat (qui n’est d’ailleurs pas un vrai débat puisque personne n’écoute l’autre) n’est pas neuf et il est malheureusement rempli de préjugés, souvent alimentés par le parcours personnel des chercheurs, des mésaventures qu’ils ont connues, des positions qu’ils occupent (en particulier dans le système de reviewing des maisons d’édition qui flattent les égos).

Les points forts du peer review

Les qualités du peer review, ou évaluation par les pairs, les plus fréquemment relevées sont les suivantes :

1. La fiabilité et la crédibilité : Le processus de peer review permet (idéalement) de garantir la qualité et la crédibilité des articles scientifiques publiés. Les articles sont examinés par des experts dans le domaine, qui évaluent la méthodologie, les résultats et la pertinence de la recherche. Il est postulé que les lecteurs sollicités sont compétents, se récusent s’il pensent ne pas l’être, et ne sont pas susceptibles de refuser ou retarder une publication par intérêt personnel.
2. La correction des erreurs et des lacunes : (idéalement), les évaluateurs identifient les erreurs, les lacunes et les faiblesses potentielles dans les articles soumis, ce qui permet aux auteurs de corriger et d’améliorer leur travail avant la publication, voire même de procéder à de nouvelles expérimentations et/ou observations pour améliorer ou réorienter leur recherche.
3. La validation et la légitimité : Les articles acceptés sont (idéalement) considérés comme étant de qualité et dignes de confiance. Ce sceau est apposé par l’éditeur et la considération qui lui est accordée est très directement en lien avec le prestige que la communauté scientifique accorde à l’éditeur, donc à la réputation qu’il s’est forgée au fil du temps.
4. L’amélioration de la clarté et de la cohérence : Les évaluateurs fournissent (idéalement) des commentaires constructifs aux auteurs, les aidant ainsi à améliorer la clarté et la cohérence de leur travail et donc à rendre les articles plus accessibles et compréhensibles pour les lecteurs.
5. Le filtrage et la sélection : Le peer review doit (idéalement) permettre de filtrer les articles de qualité inférieure ou non pertinents, garantissant ainsi, en principe, que seuls les articles de haute qualité sont publiés.
6. Détection de la fraude et du plagiat : Les évaluateurs sont (idéalement) en mesure de détecter les cas de fraude scientifique et de plagiat, contribuant ainsi à maintenir l’intégrité de la recherche scientifique.

En résumé, le peer review est un processus essentiel qui garantit la qualité, la crédibilité et la légitimité des articles scientifiques publiés. Il a également pour objet d’améliorer la clarté et la cohérence des recherches, tout en filtrant les articles de piètre qualité. L’usage de l’adverbe « idéalement » qui revient à chaque point, est utilisé à dessein et indique clairement que chacun de ces points doit être respecté, sans quoi la robustesse du processus s’écroule. On comprend ainsi l’idéalisme du système, mais donc aussi sa fragilité comme celle de toute entreprise qui repose sur l’intégrité de tous les maillons de la chaîne.

Les points faibles du peer review

Le processus d’évaluation par les pairs est un élément crucial de la recherche scientifique, mais il n’est pas sans faiblesses.

• Le biais de sélection : il a été démontré que le processus éditorial d’évaluation par les pairs est biaisé en faveur dès études positives par rapport aux études négatives, c’est-à-dire celles qui montrent qu’une intervention ne fonctionne pas.
• Un frein à l’innovation : L’évaluation par les pairs peut être un frein à l’innovation, car il faut, en principe, l’accord de plusieurs évaluateurs pour qu’un article soit accepté. Les recherches importantes qui vont à l’encontre d’une tendance ou qui bouleversent les idées reçues peuvent avoir du mal à survivre à l’évaluation par les pairs.
• Le manque de cohérence : Les pairs évaluateurs peuvent manquer de formation et/ou être surchargés de travail, ce qui entraîne un manque de cohérence dans le processus d’évaluation.

• Des exigences déraisonnables : Certaines évaluations par les pairs posent des exigences déraisonnables, telles que des révisions inutiles ou des demandes impossibles aux auteurs.
• La subjectivité : Les évaluations par les pairs du niveau de priorité et de difficulté sont largement subjectives et fondées sur la compréhension qu’ont les évaluateurs des questions relatives à la disponibilité des données et à leur influence potentielle sur le domaine de l’évaluation par les pairs.
• La compétition : Le système de l’évaluation par les pairs offre à ces derniers l’opportunité d’être informés en grand détail de programmes de recherche non-publiés. Il peut s’agir d’idées inspirantes mais également de découvertes nouvelles. Certes, le système repose sur la parfaite confidentialité du processus et l’honnêteté de l’examinateur. Nul ne peut néanmoins se considérer comme étant non influençable. Des exemples déplorables sont malheureusement légion et les anecdotes de ce type abondent. Un abandon de l’anonymat de l’évaluateur a souvent été réclamé.

Malgré ces faiblesses, le processus d’évaluation par les pairs reste un pilier sacro-saint de la recherche scientifique, bénéficiant d’une aura toute dogmatique et qui rend très difficile l’acceptation du système des prépublications, même si ce dernier offre automatiquement la possibilité d’un peer review illimité et immédiat.

L’open reviewing

Egalement connu sous le nom d’open peer review, ce procédé fait référence à une modification du traditionnel peer review dans le cadre duquel certains aspects de l’évaluation sont mis à la disposition non seulement des auteurs, mais également du public. Il implique diverses pratiques qui augmentent la transparence et l’ouverture du processus d’évaluation.

1. Identités ouvertes : Dans le cadre d’une évaluation ouverte, les auteurs et les évaluateurs connaissent leurs identités respectives.
   Cela permet de renforcer la responsabilité et la transparence dans le processus d’évaluation.
2. Rapports ouverts : Au lieu de garder les rapports d’évaluation confidentiels, l’évaluation ouverte consiste à les publier avec l’article concerné. Les lecteurs peuvent ainsi prendre connaissance des commentaires et des évaluations fournis par les évaluateurs.
3. Participation ouverte : L’évaluation ouverte consiste également à permettre à l’ensemble de la communauté, et pas seulement aux évaluateurs invités, de contribuer au processus d’évaluation. Il peut s’agir de commentaires ouverts et d’un retour d’information de la part du public.

L’open reviewing a ses partisans et ses détracteurs. Ses partisans affirment qu’il favorise la responsabilité, qu’il encourage les examens réfléchis et qu’il permet un processus d’évaluation plus inclusif et plus transparent. Pour eux, l’open reviewing vise à améliorer la transparence et la qualité du processus d’évaluation par les pairs en impliquant un plus grand nombre de voix et en rendant le processus d’évaluation plus accessible au public. Cependant, les critiques soulèvent des préoccupations quant à la recherche d’arbitres appropriés, à leur partialité potentielle ou à l’intimidation pouvant conduire à des évaluations plus prudentes et moins critiques.

La prépublication

Un terrain propice à l’open reviewing est la prépublication (preprint).

Une prépublication est une version d’un article scientifique qui est partagée publiquement avant de faire l’objet d’un examen formel par les pairs et d’être publiée dans une revue à comité de lecture.
Il s’agit généralement d’une version complète d’un document de recherche qui est mise à disposition en ligne, souvent sur des serveurs de prépublication tels que ArXiv, bioRxiv ou SocArXiv, etc. Les preprints permettent aux chercheurs de diffuser rapidement leurs résultats et de recevoir un premier retour d’information de la part de la communauté scientifique [Lire ceci]. Ils peuvent être utilisés pour établir des priorités, partager des résultats et demander l’avis de pairs.

Les prépublications ne sont pas évaluées par des pairs. Les lecteurs doivent donc garder à l’esprit que leur contenu n’a pas fait l’objet d’une évaluation formelle. Ils peuvent néanmoins contribuer à l’impact de la recherche en facilitant la collaboration et la discussion. Il est important de noter que l’acceptation et l’adoption des preprints varient selon les disciplines, certains domaines étant plus ouverts à la publication de preprints que d’autres. Les prépublications ont montré toute leur utilité durant la crise sanitaire de 2020-22 et elles ont même révélé une réelle démocratisation du savoir.

Incontestablement, les prépublications, sans offrir de garantie de rigueur scientifique, permettent une diffusion rapide des résultats de la recherche ou de l’expérience médicale. Elle jouent également un rôle de whistleblower, de lanceur d’alerte.