Five easy pieces of advice on researchers’ assessment from an oldtimer

[En français ici]

Open Science has become, in the last few years, a true path of History. Few voices are rising to challenge its generous principles of communication, cooperation and sharing without limits. Nevertheless, this fine ideal is still confronted with concrete difficulties that can be enumerated, but all of which are inherent in the difficulties arising from profound changes in mentalities. As in all revolutions, even the most peaceful ones, that overturn basic principles, the difficulty is for those who first dare to change things, at the risk of jeopardizing their own future and the one of those around them.

This difficulty stems from the gap between the erection of new principles that break with tradition and a positive appreciation that is made of them by everyone, especially by those who have the power to reward and sanction.

Before embarking on a new path, even morally and ethically appealing, people need to know whether or not it will be understood, encouraged and even acknowledged.

That is why Open Science, in all its variety of components and regardless of the general enthusiasm it induces, will never stand a chance of being implemented unless the evaluation of researchers stops being based on productivity criteria modeled on those of the industrial world. Moreover, a mere statement of principle will not suffice until a new approach becomes a reality and is verifiable and proven, hence as long as the researchers will not be fully confident in the principles by which they will be judged.

Research is pure creativity and it cannot be measured by productivist methods.

Raw numbers of publications, impact factors and derivatives such as h-index – all big boosters of a damaging overproduction, therefore of a drop in average quality, but also of rampant selfishness – must be abandoned, even if this makes evaluation much more laborious, complex and time-consuming: a fair assessment of research careers is well worth the effort.

A consensus must be adopted by a very large number of assessing bodies, in universities but also in funding organisations and in any committee with evaluation responsibilities throughout the world. I believe that I can, immodestly, give some advice that is indispensable for the effective implementation of this new approach. I would summarise them as follows:

1. Always use a multiple criteria model such as the OS-CAM (Open Science Career Assessment Matrix) included in the Open Science Toolbox of the European Commission). Make sure to adapt it to the specificities of the research field (as explained here, chapter 6).

2. Rank the criteria by order of importance according to your specific objectives (expected skills, merits, achievements) and make sure to favour Open Science objectives.

3. Never use indirect and/or poorly relevant indicators such as raw number of publications, journal impact factors or derivatives. As a rule, never use numbers or metrics.

4. Ask the evaluee to select maximum one publication per year that he/she considers his/her best.

5. Make sure the evaluee fills out the own form first. Verify that all evaluation notes are substantiated. If not, investigate with the evaluee’s close environment.

L’évaluation des chercheurs : cinq conseils simples d’un vieux routier…

[In English here]

La science ouverte est devenue, ces dernières années, une véritable voie de l’histoire. Peu de voix s’élèvent pour contester ses généreux principes de communication, de coopération et de partage sans limites. Néanmoins, ce bel idéal est toujours confronté à des difficultés concrètes que l’on peut énumérer, mais qui sont toutes inhérentes aux difficultés découlant des changements profonds des mentalités. Comme dans toutes les révolutions, même les plus pacifiques, qui bouleversent des principes fondamentaux, la difficulté est pour ceux qui osent d’abord changer les choses, au risque de mettre en péril leur propre avenir et celui de leur entourage.

Cette difficulté provient du fossé entre l’érection de nouveaux principes qui rompent avec la tradition et l’appréciation positive qui en est faite par tous, en particulier par ceux qui ont le pouvoir de récompenser et de sanctionner.

Avant de s’engager sur une voie nouvelle, même moralement et éthiquement attrayante, les gens ont besoin de savoir si elle sera comprise, encouragée et reconnue.

C’est pourquoi la Science Ouverte, dans toute sa variété de composantes et quel que soit l’enthousiasme général qu’elle suscite, n’aura aucune chance d’être mise en œuvre si l’évaluation des chercheurs ne cesse d’être basée sur des critères de productivité calqués sur ceux du monde industriel. De plus, une simple déclaration de principe ne suffira pas tant qu’une nouvelle approche ne sera pas devenue réalité et n’aura pas été vérifiée et prouvée, donc tant que les chercheurs n’auront pas pleinement confiance dans les principes du jugement auquel ils vont être soumis.

La recherche est pure créativité et elle ne peut être mesurée par des méthodes productivistes.

Le nombre brut de publications, les facteurs d’impact – et leurs dérivés comme le h-index – qui sont autant d’incitants à une surproduction dommageable, donc d’une baisse de la qualité moyenne, mais aussi d’un égoïsme exacerbé, doivent être abandonnés, même si cela rend l’évaluation beaucoup plus laborieuse, plus complexe et plus longue : une juste évaluation des carrières de recherche en vaut largement la peine.

Un consensus doit être adopté par un très grand nombre de lieux où l’on procède à des évaluations, dans les universités mais aussi dans les organismes de financement et dans tout comité d’évaluation dans le monde entier.

Impliqué depuis longtemps dans la problématique des prérequis de la Science ouverte, je crois pouvoir, modestement, donner quelques conseils indispensables à la mise en œuvre efficace de cette nouvelle approche. Je les résumerai comme suit :

1. Utilisez toujours un canevas à critères multiples tels que l’OS-CAM (Open Science Career Assessment Matrix) inclus dans l’Open Science Toolbox de la Commission Européenne). Veillez à adapter cette grille matricielle aux spécificités du domaine de recherche (comme expliqué ici, au chapitre 6),

2. Classez les critères par ordre d’importance en fonction de vos objectifs spécifiques (compétences attendues, mérites, réalisations), et veillez à favoriser les objectifs de la Science Ouverte.

3. N’utilisez jamais d’indicateurs indirects et/ou peu pertinents tels que le nombre absolu de publications, les facteurs d’impact des revues ni leurs produits dérivés. En règle générale, n’utilisez pas de chiffres ou de mesures numériques.

4. Demandez à la personne évaluée de sélectionner au maximum une publication par an qu’elle considère comme la meilleure.

5. Veillez à ce que la personne évaluée remplisse d’abord elle-même la grille. Vérifiez que toutes les notes d’évaluation sont justifiées. Si ce n’est pas le cas, faites une enquête auprès de l’entourage proche de la personne évaluée.

The path to Open Science now recognised as a political issue

My book « Open Science, the challenge of transparency » has been awarded the 2019 POLITICAL BOOK PRIZE at the Belgian Political Book Fair on Friday Nov 15.

It may have come as a surprise in the eyes of many. However, in my view, this is a demonstration of a growing awareness of the political dimension of the fight for Open Access to start with, and then for Open Science.

Actually it celebrates the political nature of a free access to knowledge, a basic human right. The sequestration of publicly funded scholarly material by anyone and for any reason whatsoever is an obstacle to this right ans it must be fought with determination on a political level.

This is the English translation of the interview I gave to the press service of my University (in French)

________________________

Professor Bernard Rentier, Rector Emeritus of the University of Liège, was awarded the 2019 Political Book Prize at the Political Book Fair for his book « Open Science, the Challenge of Transparency »(1) in which he describes the origins, perspectives and objectives of the Open Science concept. Meet the person who has made Open Access one of the spearheads of the University of Liège, now recognized as one of the pioneering institutions of the movement, and who continues to work so that knowledge can be opened up and shared.

Q: How would you define Open Science?

BR: This is a new approach to the way research is conducted, based on transparency of procedures, freedom of communication between researchers, and unimpeded access to the general public. It is also the recognition, in the careers of researchers, of their qualities of sharing and exchange, and no longer of competition and self-closure.

The principles of Open Science are in line with society’s growing demand for more transparency and communication, but it is also in line with the most ancestral principles of Science which have gradually drifted towards an excessive race towards greater productivity and competitiveness. All this leads to a deadlock where the role of research is erased behind other counterproductive motivations for the community.

Q: When did you first hear about Open access or open access to science and what was your reaction to this emerging movement?

BR: This dates back to the time when I was Vice-Rector of our University (1997-2005), in charge of international relations, research and scientific documentation. My objective was to modernise the management of libraries, to rationalise them and to computerise them. At that time, we were experiencing the rise of the Internet and the multiplication of its resources and we were discovering the use that researchers around the world were beginning to make of it. The Open Access movement (we were not yet talking about Open Science, far from it!) had just been born (officially in 1994) but was still confined to a very small circle of specialists, generally librarians, confronted with the financial difficulties of their institutions and the abnormal increase in the budgets to acquire the necessary documentation.

Q: You have become a strong advocate of free access to knowledge and have made it one of the spearheads of the University of Liège, placing our institution among the pioneers of the movement. Thanks to tools such as ORBi (Open Repository and Bibliogrpahy), you have somehow « forced the researchers’ hand », forcing them to reference their publications in an institutional directory.

BR: Indeed, one way to effectively participate in the opening of access was what has been called the « green path of Open Access », i.e. the deposit of publication manuscripts in an open electronic archive that can be consulted free of charge by everyone on the Internet. In addition, this procedure offered the University a complete repository of the scientific production of its members and an extraordinary tool for them to see the results of their work. As rector in 2005, I understood that the institutional archive would be truly operational and complete only if its use were made mandatory. The trick was to combine this firm obligation with the highlighting of the tremendous benefits that the ORBi tool would offer to researchers. A process known internationally since then as the « carrot and stick » or, more elegantly, as the « Liège Model ».

Q: Do you think that attitudes have changed since then and that young researchers are now more aware of the need to open up and share their research results?

BR: Yes, there is a growing awareness of the importance of generosity and disinterest among young people, as long as they are not diverted from these strong principles by the demands of their evaluators. These are generally more advanced in age and experience and they believe it is necessary to impose on young people the standards that have been imposed on them in the past.

Q: How can young researchers today engage in « open science » practices without having to fear for their careers?

BR: It’s not easy. Unfortunately. It is really essential that more experienced researchers become aware of the universal value of transparency and sharing, that hat what must be measured in an evaluation is these qualities and not so-called productivity indicators that are, for the most part, invalid. Unfortunately, it will take some time before this change of mentality takes hold and that is where the fight of Open Science lies today.

Q: How do you see the role of social networks such as ResearchGate or Academia, which are specifically aimed at researchers, in disseminating knowledge in a « free » way?

BR : Scalded cat is afraid of cold water. I am suspicious of all attractive initiatives when I am not sure about their sustainability. ResearchGate offers a lot of services, certainly not essential, yet useful. Let us cross our fingers so that a great shark-publisher will not acquire it for an astronomical price when the « system » will have made it essential. As for Academia, you have to pay to access its services, even to read your own material, so the colour is announced right away. Use it whoever you want. But please do not let anyone make these tools essential for the evaluation of researchers. This would only amplify the perverse effects that I denounce in my book and in all my interventions. And that none of these services suggest to university managers that they can replace institutional archives.

Q: What advice would you give to researchers who also wish to engage in this process of opening up knowledge?

BR: « Hang in there, you’re on the way to history. The dominant system is doomed to failure because knowledge is the only value that multiplies when shared ». I made people smile when I said that about Open Access fifteen years ago and yet History proved me right.

____________________

(1) RENTIER, Bernard, Science Ouverte, le défi de la transparence, L’Académie en Poche, December 2018, 152 pages.

About the book:

A new way of conceiving scientific research, open science, was born with the computer revolution. In the wake of Open Access (free access to the results of publicly funded research), it goes hand in hand with the great ideal of transparency that is now invading all spheres of life in society. This book describes its origins, perspectives and objectives, and reveals the obstacles and obstacles due to private profit and academic conservatism.

The printed version is in French: https://academie-editions.be/accueil/369-open-science-the-challenge-of-transparency.html

Download the no-fee book at the Academy : https://academie-editions.be/accueil/369-open-science-the-challenge-of-transparency.html

On Amazon : https://www.amazon.fr/Science-challenge-transparency-LAcad%C3%A9mie-English-ebook/dp/B07PJL9SJS

On ORBi : https://orbi.uliege.be/handle/2268/233905

About Bernard Rentier:

Born in 1947 and graduated in Zoology from ULiège, Professor Bernard Rentier is a biologist and virologist. He was the 60th Rector of the University of Liège from 2005 to 2014. Under his leadership, ULiège became a pioneer in the field of Open Access by setting up an institutional repository system for scientific publications – ORBi – which became a model for Open Access. Bernard Rentier is currently dedicated to promoting Open Science in all its implications for research and researchers.

https://orbi.uliege.be/browse?locale=en&rpp=20&value=Rentier%2C+Bernard+p001118&type=authorulg

Un nouveau défi

Le 7 février 2019, le Parlement de la Fédération Wallonie Bruxelles adoptait un décret spécial créant, pour l’enseignement (dont elle était jusqu’à présent à la fois l’organisateur et le régulateur) un pouvoir organisateur autonome, Wallonie Bruxelles Enseignement (WBE), sous forme d’un organisme d’intérêt public (OIP).

Le décret prévoit que WBE sera piloté par un Conseil composé de 16 Administrateurs proposé par les parrtis politiques composant le Parlement, en fonction de la clé D’Hondt.

Le 17 juillet 2019, le Parlement a proposé le nom d’un Administrateur général de WBE: M. Renaud Witmeur, actuellement président du conseil de direction de la Sogepa. L’Administrateur général est le fonctionnaire général chargé de diriger les services centraux de WBE. Le Gouvernement devrait le désigner formellement prochainement. Dans l’attente, il est prévu que le Président du Conseil exerce transitoirement les compétences de l’Administrateur général.

Le Conseil de WBE a été installé le jeudi 22 aout 2019 et il a désigné en son sein un premier Président. Il est composé comme suit:

Mme Séverine ACERBIS

Mme Alexia AUTENNE

M. Christian BEHRENDT

M. Loïc BOSSON

M. Calogero CONTI

Mme Christiane CORNET

M. Luc DE BRABANDERE

Mme Julie DE GROOTE

Mme Camille DIEU

Mme Géraldine MARTIN

Mme Isabelle MAZZARA

M. Baptiste MEUR

M. Bernard RENTIER, Président

Mme Véronique SALVI

M. Bruno STAS

M. Renaud WITMEUR, Administrateur Général (sous réserve de nomination par le Gouvernement de la FWB).

Le Décret spécial permet une réorganisation des services de WBE et une transformation du réseau. Il crée, dès le 1er septembre 2019, une opportunité pour WBE de déployer une vision propre et de se doter d’un vrai pilotage en tant que pouvoir organisateur.

Le Conseil de WBE est déterminé à défendre et promouvoir les intérêts du réseau public et laïc. Il doit d’emblée faire face à un recours contre le financement de ses établissements par une fédération de pouvoirs organisateurs subventionnés. Le ton est donné.

Contrairement à une rumeur vite répandue, WBE ne devient pas un réseau subventionné « comme les autres ». Il est et reste le réseau organisé par la Communauté française et garde ses spécificités. Les relations hiérarchiques avec les ministres de l’Enseignement disparaissent et la tutelle revient au Gouvernement tout entier, représenté par son Ministre-Président.

L’autonomisation de WBE en tant que pouvoir organisateur offre une réelle opportunité d’organiser des services de support de proximité, décloisonnés, orientés vers les usagers (les chefs d’établissements, les enseignants, les élèves/étudiants et leurs parents) et beaucoup plus participatif. Les procédures de nomination, affectation, promotion seront transparentes et clairement notifiées.

Cette évolution prendra du temps, d’autant plus que les moyens accordés par la FWB sont beaucoup trop limités, mais il devrait montrer ses premiers effets assez rapidement, l’objectif étant d’organiser un enseignement public de qualité au bénéfice des générations futures. WBE, maison du service public, dotée à 100% par la FWB comme le garantit le Décret spécial, continuera à proposer un projet pédagogique pour chaque écolier, chaque élève, chaque étudiant, quelles que soient ses spécificités, de l’Enseignement préscolaire à l’Enseignement supérieur.

Pour ce qui me concerne, j’ai accepté d’assurer temporairement la présidence du Conseil et d’endosser les charges de l’Administrateur général en attendant son arrivée car je suis, depuis toujours, un ardent défenseur de l’enseignement public, neutre et ouvert à tous. Je trouve aujourd’hui, à travers cette mission, une occasion de concourir concrètement à cet objectif. J’espère pouvoir me montrer à la hauteur de ce formidable défi…

The story of a little mischievous fiend

When I published the English version of my book « Open Science, the challenge of transparency« , I wanted to dedicate it to Alma Swan in modest recognition for the coaching, teaching and collaboration she had given me about Open Access over the past decade.

But that was without counting that a little bug would come to put its mischievous little nose in my writing….  Instead of « my friendly mentor… », I typed « my fiendly mentor ». 

Alma immediately spotted the misspelling and she taught me that « fiendly » means « devilish »!

On that, she did two things: 1) she enjoined me to leave the mistake because she thought it was so funny (but I disobeyed); and 2) she made a wonderful bookplate for me, revealing her great talent as an enluminator.

I promised myself to reveal this little artistic marvel, and the anecdote that gave birth to it. That is why it is with pleasure and gratitude that I am introducing Alma’s tenacious little fiend to you. From what she told me, it is taken from an Anglo-Saxon manuscript and his name is « Titivillus, the Patron Devil of Scribes, very naughty and bothersome ».

Great gift, Alma, thank you so much !

• 

Le pamphlet, une chronique (parfois) médiocre

 J’ai pour principe de ne pas m’immiscer dans des débats de politique politicienne. Je m’efforcerai donc de ne pas le faire non plus ici, même si le sujet m’est plus familier. 

N’étant plus, depuis près de 5 ans, un responsable d’université, j’éviterai d’intervenir sur les nombreuses préconceptions et contre-vérités débitées dans le pamphlet signé par M. Vincent Engel dans le Soir en ligne du 16 février 2019, « Le régionalisme, un nationalisme médiocre ». V. Engel est romancier, dramaturge et essayiste. On comprend ainsi son penchant pour la fiction. Il est aussi professeur. La charge outrancière ad hominem que représente ce billet virulent le déforce nécessairement, mais ternit aussi l’image des institutions d’enseignement supérieur dont il se réclame et dont il croit sans doute servir la cause.

Je ne puis cependant résister à épingler le tissu d’enormités qu’il avance à propos d’un sujet qui me tient fort à cœur et dans un domaine où je reste très actif au niveau européen: l’Open Access.

« Et l’on pourrait aussi citer le décret Open Access qui, en prétendant rendre les savoirs accessibles à tous gratuitement, … »

et c’est exactement ce qu’il fait. Mais il ne prétend pas donner à tout un chacun le libre accès au savoir universel. Il offre à tout un chacun, partout sur la planète, un accès sans entrave au savoir qui est élaboré et publié par les chercheurs de la Communauté française de Belgique. Une ambition à la fois courageuse et raisonnable.

« …revient en fait à mettre en place un accès au savoir à deux vitesses : ceux qui pourront payer pour que leurs articles sortent en libre d’accès dans des revues de renom (on quitte la logique de l’abonnement que paie le lecteur, pour la logique du payement par l’auteur afin que son texte soit diffusé), est un open access du pauvre, mis en ligne sur des supports de mauvaises qualités [sic] mal édité, mais gratuit. Bref, c’est une validation sans nuance de la recherche dualisée. » 

Là, on se trouve face à une sidérante incompréhension de l’intention-même du décret, plus que probablement faute de l’avoir lu. Sinon, ce serait très affligeant. En effet, le décret permet très explicitement aux chercheurs de publier leurs articles (précisons que le décret ne vise que les articles de périodiques, pas les livres ou chapitres de livres, ni toute autre forme de publication) dans la revue de leur choix. Il exige simplement d’eux qu’ils déposent le manuscrit de cet article dans une archive électronique institutionnelle et il les exhorte à l’« ouvrir » gratuitement à tout le monde, via l’Internet, dès la fin de la période d’embargo imposée par l’éditeur. 

Le décret n’envisage donc nullement qu’il faille payer pour publier (cela, c’est une invention de quelques grands éditeurs face à la perspective hypothétique d’un manque à gagner pour eux en conséquence de l’Open Access). Si la critique de ce risque de ‘dualisation’ est fondée, c’est aux éditeurs qu’il faut l’adresser, pas au décret…

« Ce faisant le ministre donne un coup de pouce à l’université de Liège qui a développé, la première, un dépôt institutionnel en ligne – projet tout à fait remarquable au demeurant. »

Attendez, de quoi parle-t’on ici ? Quel coup de pouce ? L’ULg, comme on l’appelait à l’époque, à développé cette politique de façon autonome par une décision de son conseil d’administration dès mai 2007. Au passage, merci pour le compliment, mais je ne comprends pas pourquoi le principe est remarquable lorsqu’il est d’application à Liège et soudain détestable dix ans plus tard, lorsqu’il est étendu à toutes les institutions de la Communauté française… Mais passons. Un décret intervenant une décennie après cette décision ne saurait donner aucun coup de pouce à l’ULiege (comme on dit aujourd’hui). Par contre, le décret donne un sacré coup de pouce aux universités qui, toutes équipées aujourd’hui d’un tel dispositif, ne se décidaient pas jusqu’alors à franchir le pas du dépôt obligatoire. Le ministre l’a fait à leur place et c’est très bien ainsi. Notre Communauté est devenue la première au monde à mettre en œuvre une telle politique et la Commission Européenne est en train de lui emboîter le pas.

« Une fois encore, les initiatives de l’université liégeoise servent de modèle au ministre qui , avec une bonne partie des dirigeants de l’ULg, rêve de faire de cette dernière une université de pure recherche appliquée, outil du redéploiement économique de la région . »

Cette phrase est incompréhensible. Qui diable sont les dirigeants de l’ULiege qui voudraient la cantonner dans une recherche exclusivement appliquée ? Comme toutes les autres universités, elle diversifie ses activités en combinant harmonieusement le fondamental (dont elle est très fière, à juste titre) et l’appliqué (depuis longtemps: le rôle pionnier de l’ULg des années ‘80-‘90 en matière de valorisation de la recherche est bien connu). Le rôle que peut jouer l’université dans le redéploiement économique régional est indispensable et revendiqué, mais il ne peut en rien se substituer aux autres rôles de l’institution, recherche fondamentale, enseignement et formation. Mais où ce Monsieur Engel se trouve-t’il le droit de porter de tels jugements péremptoires et aussi bêtement faux ?

 « une université dévoyée de ses missions de recherche fondamentale mais aussi notoirement moins libre de parole en son sein comme en témoigne la récente démission des représentants du corps académique de cette université suite à un discours de rentrée académique 2018-2019 visant le ministre des pensions et qui a fait l’objet d’une critique vitriolée des autorités politiques. »

Alors là, on croit rêver. De quelle récente démission des membres du corps académique parle-t’on ? Aucune, que je sache. Et quelles sont les autorités politiques qui seraient ainsi intervenues ? Je ne vois vraiment pas.

En fait, je crois comprendre qu’il est fait ici allusion à une allocution, certes très maladroite, fustigeant l’initiative d’un ministre lors de la dernière rentrée académique . Si la personne qui a prononcé cette intervention a démissionné (non pas de son poste de professeur, mais de la présidence de l’Association des Professeurs), ce n’est certainement pas sous la pression d’autorités politiques (ce serait proprement inimaginable) mais suite à la désapprobation du corps académique lui-même, qui a reproché à cette personne non pas le fond, mais la forme inadéquate et le choix malencontreux du moment (la cérémonie célébrait la lutte contre la pauvreté) pour émettre des revendications considérées par beaucoup comme corporatistes. Voilà tout. Simple anecdote. « La démission des représentants académiques de cette université » doit se traduire par « le renoncement volontaire de la présidence d’une association ». C’est loin d’être la même chose.

Avec ce réquisitoire incendiaire et mal documenté, V. Engel démontre sa profonde méconnaissance – pire, incompréhension – d’un sujet qu’il pourrait maîtriser ou s’abstenir de commenter. Ses affirmations non vérifiées discréditent, au delà de ce sujet particulier, l’ensemble de son article.

En ces temps de ‘fake news’, où la nécessité devient permanente de se livrer à du ‘fact checking’ a posteriori, on aimerait croire qu’un dernier rempart contre ce genre de manipulation des faits – volontaire ou négligente – persiste encore dans le monde académique… Il est donc bien dommage de devoir constater des dérives comme celle-ci. Et quelle inquiétude pour la formation des étudiants par des enseignants aussi peu scrupuleux…

Mais quel est donc le statut du Plan S ?

Modifié le 7/1/19 à 15h.

English version here.

Le Plan S n’est pas une loi. Et encore moins une directive européenne en attente de transposition en droit national ou fédéral.

Le Plan S est un engagement pris par et parmi des bailleurs de fonds réunis au sein d’un groupe appelé cOAlition S, afin d’harmoniser les critères qu’ils veulent utiliser pour évaluer les propositions de recherche à partir de janvier 2020. Ils s’engagent à respecter les règles énoncées dans le Plan S lorsqu’ils évalueront la recherche qu’ils auront financée.

Pour cette raison, les discussions sur le Plan S devraient éviter toute confusion avec une contrainte légale.

Chaque organisme chargé d’évaluer des propositions de recherche est libre d’imposer ses propres règles d’évaluation pour autant qu’il les énonce clairement au préalable. Chaque organisation de financement est libre d’exiger de ses bénéficiaires qu’ils rendent publics les résultats de la recherche qu’elle finance, et de décider de la manière dont les auteurs publieront et dans quel délai. Ainsi, dans l’esprit du Plan S — et parmi d’autres éléments qu’ils souhaiteront peut-être prendre en considération —, les membres de la cOAlition S ont pris la décision que les résultats des recherches qu’ils financent doivent être accessibles au public dès que les auteurs décident de les publier et ne peuvent être retenus derrière une barrière de péage. Le libellé exact est le suivant : « accès ouvert immédiat à toutes les publications scientifiques issues de la recherche financée par les membres de la coalition à partir de 2020« .

Tout bailleur de fonds est également libre de déterminer les sanctions qu’il appliquera à ceux qui enfreignent ses règles. Ils peut donc décider que les transgresseurs ne seront pas éligibles pour une demande ultérieure.

Il s’agit donc bien d’un accord exclusif entre le bailleur de fonds et le bénéficiaire de ces fonds. Comme il ne s’agit pas d’obéir à une loi qui s’appliquerait dans un pays en particulier, personne n’est tenu d’en respecter les règles pour autant qu’il soit possible d’obtenir les fonds ailleurs.

Cependant, il subsiste quelques inconvénients qui expliquent l’effervescence que le Plan S a suscitée dans le milieu de la recherche.

Tout d’abord, il n’existe pas beaucoup d’organismes de financement public accessibles pour les chercheurs. Dans certains pays, il n’y en a même parfois qu’un seul, ou très peu. Et il existe encore moins — ou parfois pas du tout — de bailleurs de fonds privés sans but lucratif. En Europe, les autres ressources possibles proviennent essentiellement de la Communauté Européenne. Les chercheurs peuvent donc être contraints à dépendre exclusivement de membres de cOAlition S pour leur financement. Dans ces circonstances, ils seront obligés de se plier aux exigences du Plan S au moment de choisir leur éditeur. Cela limite effectivement leur choix, et en inquiète plus d’un.

Ensuite, quel que soit le schéma de publication, les auteurs sont tenus de placer leur texte sous une licence CC-BY (avec un peu de chance sans les suffixes ND ou NC). Cela déplaira inévitablement, c’est certain, à beaucoup de chercheurs qui y verront une contrainte administrative supplémentaire ou même — à tort, à mon avis, dans la plupart des cas — une privation de leur liberté académique.

En fait, tout dépend de l’étendue de l’offre de publication qui sera conforme au Plan S à dater du 1er janvier 2020. Si la situation actuelle demeure inchangée, le plan encouragera la publication dans des revues qui sont déjà conformes aujourd’hui. Elle conduira à un bras de fer entre la cOAlition S et les éditeurs « traditionnels ». Ceux-ci adapteront-ils leur politique en temps voulu ? Sinon, ils pourraient progressivement disparaître du paysage. Et c’est précisément l’objectif du Plan S : se débarrasser de tous les désavantages dénoncés par le mouvement de l’Open Access et qui sont contraires à ses principes.

Cependant, une nouvelle difficulté surgit. Parmi les éditeurs qui sont prêts (c’est-à-dire ceux qui proposent une distribution immédiate et une lecture gratuite sur le Web), deux catégories existent :

A. les plateformes mises à la disposition des auteurs gratuitement ou presque ;

B. les plateformes de publication payantes. Parmi celles-ci, on peut distinguer plusieurs options très différentes :

B(1) La publication est faite dans un journal d’abonnement « traditionnel » et déposée immédiatement après acceptation dans un dépôt en libre accès (OA vert). Le coût est à charge des abonnés (généralement des universités, parfois des particuliers), donc du côté du lecteur et non de l’auteur. Il existe toutefois un coût très léger pour les universités qui doivent gérer le dépôt.

B(2) Les éditions « hybrides », généralement proposées aujourd’hui par les mêmes éditeurs « traditionnels », qui continuent à vendre une version papier par abonnement mais font également payer la publication en ligne immédiate. Le coût est à la fois du côté de l’auteur et du côté du lecteur (« double dipping »).B

B(3a) Les plates-formes innovantes utilisant de nouvelles formes de révision (identifiées, ouvertes, etc.). Le coût est à charge de l’auteur.

B(3b) Les plateformes des éditeurs traditionnels que lesquelles sont diffusés des articles sans publication sur papier en parallèle (donc non hybrides) mais reproduisant le schéma traditionnel de l’édition scientifique ancestrale, en particulier la révision par les pairs. Le cout est à charge de l’auteur.

B(4) Les éditions  » prédatrices  » qui mettent en ligne des manuscrits pour de l’argent sans réelle garantie de qualité. Le coût est à charge de l’auteur, le lecteur lit gratuitement mais seulement lorsque l’arnaque ne va pas jusqu’à toucher l’argent sans rien publier…

B(1) : Au début, les membres de la cOAlition S ne considéraient pas l’OA « vert » comme conforme, mais des ajustements sont apparus en cours de route depuis septembre 2018 et il semble que « sous certaines conditions spécifiées, le dépôt d’articles scientifiques dans des dépôts en libre accès » serait acceptable. Il serait utile de savoir quelles sont ces « conditions spécifiées ». Ce qui est sûr, c’est que les embargos sont interdits. Bien que nous les ayons dénoncés dès le départ, ils ont constitué un compromis qui a permis aux éditeurs les plus exigeants de tolérer l’OA « vert » jusqu’à présent. À court ou moyen terme, l’interdiction des embargos pourrait tuer l’OA « vert ». Une difficulté supplémentaire se pose par ailleurs avec le Plan S et l’OA vert : les exigences techniques imposées aux équipes de gestion des dépôts seront difficiles à satisfaire dans un délai aussi court. Épuisant mais pas impossible.

B(2) : les membres de la cOAlition S ont d’abord clairement exclu le modèle hybride. Cependant, dans le document de mise en œuvre du 26 novembre, ils ont annoncé qu’ils toléreraient « dans une période de transition, la publication du Libre Accès dans des journaux d’abonnement (‘hybrid OA’) dans le cadre d’accords de transition comme moyen de se conformer au Plan S« . L’accord de transition doit être signé avec la cOAlition S et doit « fournir un engagement clair et précis dans le temps pour une transition complète vers le libre accès« . Néanmoins, cela brouille quelque peu le projet en laissant pas mal de détails en suspens…

B(3a & 3b) : cOAlition S privilégie clairement d’emblée ces modèles de plateformes ouvertes, tout en soutenant également le modèle A. Il faut retenir que B(3b) risque de perpétuer le culte du facteur d’impact et le transfert illégitime du prestige de l’éditeur à l’auteur.

B(4) : On peut espérer que les chercheurs seront assez sages pour éviter à tout prix de devenir des proies. Toutefois, les pressions exercées pour publier directement en OA peuvent attirer beaucoup d’entre eux vers une publication extrêmement rapide mais peu sûre. Les éditeurs prédateurs seront interdits et c’est une excellente chose, si ce n’est qu’à côté des prédateurs évidents ou dont la malhonnêteté est clairement documentée, il existe une zone grise où il est difficile de décider si un éditeur est prédateur ou non, en particulier pour ce qui concerne les nouveaux éditeurs qui doivent encore faire leurs preuves.

Cela laisse aux chercheurs quatre options : A, B(1) conditionnellement, B(2) transitoirement et B(3a ou b).

Mais avec tout cela, le Plan S ne peut être durable que si :

1. la cOAlition S rassemble suffisamment de signataires pour peser de manière significative dans le paysage de l’édition savante. Jusqu’à présent, selon une source américaine, « les 15 premiers financeurs à soutenir le Plan S ne représenteraient que 3,5% des articles de recherche mondiaux en 2017 ». Les pressions à exercer sur le système mondial ont besoin de beaucoup plus d’adhésion que cela.
2. la cOAlition S veille à ce que chacun de ses membres retire effectivement le label de conformité des éditeurs qui pratiquent des augmentations excessives de leurs APC, au-dessus du « cap » annoncé par le Plan S, le niveau de ce fameux plafond étant encore indéterminé aujourd’hui. Sera-t-il unifié ? Ou variera-t-il en fonction de critères encore inconnus tels que l’impact, le prestige et consorts ? Les défenseurs du libre accès souhaitent que le coût de la publication soit suffisamment bas pour cesser d’être un élément de discrimination fondé sur la capacité financière.
3. les membres de la cOAlition S adaptent leurs critères d’évaluation aux nouvelles normes et s’assurent d’une réelle cohérence entre leurs exigences en matière de subvention et celles d’évaluation a posteriori. A cet égard, un engagement fort en faveur des principes de la DORA (« les membres de la COAlition S ont l’intention de signer la DORA et d’intégrer ces exigences dans leurs politiques ») et du Manifeste de Leyden est indispensable.

What is the status of Plan S after all ?

Modified on 07.01.2019, 15:10

Version française ici.

Plan S is not a law. It is even less a European directive waiting to be transposed into national or federal law.

Plan S is a pledge made by and among funders together in a group called cOAlition S, in order to harmonise the criteria they want to use to evaluate research proposals from January 2020 on. They are committing themselves to abide by the rules of Plan S when assessing the research they fund.

For this reason, all discussions on Plan S should avoid any confusion with a legal constraint.

Every organisation in charge of evaluating research proposals is free to impose its own assessment rules as long as it states them clearly beforehand. Every funding organisation is free to require that its fundees make public the results of the research it funds, to decide how the authors will publish and how soon. So, along the lines of Plan S – and among other elements they may wish to consider – the Plan S signatories, cOAlition S, took the decision that the results of the research they fund must be openly accessible immediately when the authors decide to publish them. The actual wording is « immediate open access to all scholarly publications from research funded by coalition members from 2020 onwards ».

The funders may also choose the sanctions they will apply to those who are infringing their rules. So they may decide that transgressers will be ineligible for a subsequent application.

Hence it all amounts to an agreement between funder and fundee. As the Plan is not a law that would be applicable in any particular country, no one is obliged to abide by its rules as long as one can get the funds from elsewhere.

However, there are a few drawbacks that explain the turmoil Plan S has created in the research community.

First of all, there are not so many public funding organizations. In some countries, there is only one or very few. And even fewer – or sometimes no – not-for-profit private funders. In Europe, alternative resources come from the European Community. Researchers may therefore be restricted to depend upon cOAlition S members. In such a case, they will have to follow the requirements of the plan when choosing their publisher. This effectively limits their choice, and it worries many people.

Then, regardless of the publication scheme, the authors are required to place their text under a CC-BY licence (hopefully without the ND or NC suffixes). This will – inevitably, I am sure – repel researchers as an additional administrative constraint or even – wrongly, I believe – a deprivation of their academic freedom.

Obviously, everything depends on the offer of Plan S-compliant publishing as of January 1st, 2020. If the current situation remains unchanged, the plan will encourage publication in journals that are already compliant today. It will lead to an arm-wrestling confrontation between cOAlition S and the « legacy » publishers. Will the latter adapt their policies in time? If not, they could be progressively removed from the landscape. And it is precisely the goal of Plan S: to get rid all the disadvantages denounced by the Open Access movement and that are contrary to the OA principles.

A new difficulty arises. Among those who are ready (i.e. who offer immediate distribution and free reading via the Web), two categories exist:

A. Platforms that are available to authors for free or almost;

B. Fee-based publication platforms. Among these, one can distinguish several, very different options :

• B(1) Publication is made in a “traditional” subscription journal and deposited immediately when accepted in an open access repository (Green OA). The cost is for subscribers (usually universities, sometimes individuals) on the reader’s side, not on the author’s side. There is a very light cost for universities to manage the repository.
• B(2) « Hybrid » editions, generally offered today by the same traditional publishers, who continue to sell a paper form by subscription but also charge for immediate online publishing. The cost is both on the author’s side and on the reader’s side (double dipping).
• B(3a) Innovative platforms using new forms of reviewing (identified, open, etc.). The cost is on the author’s side.
• B(3b) Platforms of traditional publishers that distribute articles without paper publication in parallel (i.e. not hybrid) but reproducing the traditional scheme of traditional scientific publishing, in particular peer review. The cost is on the author’s side.
• B(4) « Predatory » editions that put manuscripts online for money without any real guarantee of quality. The cost is on the author’s side, the reader reads for free when the scam doesn’t go so far as not to publish anything…

Comments :

B(1): At first, cOAlition S members were not considering Green OA as compliant, but there have been adjustments along the way since September 2018 and it appears that this would be acceptable. They will, « under specified conditions, accept deposit of scholarly articles in Open Access repositories ». It would be nice to know what these « specified conditions » are. What is sure is that embargoes are banned. Although we have been denouncing them from the onset, they have been a compromise that has allowed Green OA to be tolerated by the most demanding publishers up to now. In the short or middle-term, forbidding embargoes might kill Green OA. There is an additional difficulty with Plan S and Green OA: the technical requirements imposed upon the repository management teams will be difficult to meet in such a short notice. Exhausting but not impossible.

B(2): cOAlition S members clearly ruled out the hybrid model at first. However, in the implementation document of November 26, they announced that they will tolerate « in a transition period, publishing Open Access in subscription journals (‘hybrid Open Access’) under transformative agreements as means to achieve compliance with Plan S. ». The transformative agreement must be signed with cOAlition S and must « have a clear and time-specified commitment to a full Open Access transition ». Yet this blurs the project somewhat by leaving some loose ends…

B(3a & 3b) : cOAlition S clearly favours these open platform models from the outset, while also supporting model A. It should be noted that B(3b) risks perpetuating the cult of the impact factor and the illegitimate transfer of prestige from publisher to author.

B(4): One can hope that researchers will be wise enough to avoid becoming preys by all means. However the pressure to publish directly in OA may lure many of them into an extremely fast but insecure publication. In any case, predatory publishers will be banned. It is an excellent thing except for the fact that beside the obvious or documented predators there is a grey zone where it is difficult to decide whether or not a publisher is predatory, particularly for newcomers for whom there is still a lack of evidence.

This leaves the researchers with 4 options: A, B(1) conditionally, B(2) transiently and B(3).

But with all this, Plan S can be sustainable only if :

1. cOAlition S gathers enough signatories to weigh significantly on the scholarly publishing landscape. So far, according to a US source, « the first 15 funders to back Plan S would account only for 3.5% of the global research articles in 2017 ». Pressure on the global system needs much more adhésion than that.
2. cOAlition S ensures that none of its members fails to take back the compliance label from publishers who practice excessive increases in their APCs, above the « cap » announced by Plan S, the level of the cap being still unspecified. Will it be unified ? Or will it vary according to still unknown criteria such as impact, prestige and the like ? The wish of Open Access advocates is that the cost of publication should be low enough to cease being an element of discrimination based on financial capacity.
3. cOAlition S members adjust their evaluation criteria to the new norms and make sure there is a real consistency between their requirements for granting and those for post-evaluation. In this respect, a strong commitment to the principles of the DORA (« cOAlition S members intend to sign DORA and implement those requirements in their policies ») and of the Leyden Manifesto is indispensable.

What does the recently revisited Belgian copyright law for scholarly publications say, actually ?

My previous blog post triggered a lot of interpretations on the actual content, extend and meaning of the amendments to the Belgian copyright law. The best response is the actual text, translated here.

Art. 29.

In article XI.196 [of the Code of economic law], inserted by the law of 19 April 2014, a paragraph 2/1 is inserted as follows:
 » § 2/1. The author of a scientific article resulting from publicly funded research shall retain, even if, in accordance with Article XI.167, he has assigned his rights to a publisher of a periodical or placed them under a simple or exclusive licence, the right to make the manuscript freely available to the public for free access after 12 months for the human and social sciences and 6 months for the other sciences, after the first publication, in a periodical, provided that the source of the first publication is mentioned.
The publishing contract may provide for a shorter period than that fixed in the first paragraph.
The King may extend the time limit set out in paragraph 1.
The right provided for in the first paragraph may not be waived. This right is mandatory and applies notwithstanding the right chosen by the parties as soon as a connecting point is located in Belgium. It shall also apply to works created before the entry into force of this paragraph and not in the public domain at that time.”

Except for the potential loophole of the King (i.e. the Federal Government)’s good will who can, for some obscure reason (publishers’ lobbying ?) extend the embargo period in an undefined way, and which appears as a very weak point, the rest of the text is quite strong: the right to re-publish and re-use is mandatory and irrecusable. It overrides any previous contract between the author and the publisher, even anterior to the law itself.

Of course, one would presume it applies to Belgian citizens in a scholarly institution in Belgium, leaving a fuzzy zone when the author is working abroad transiently or when he/she is a coauthor among foreign researchers…

A small change in a law, a giant leap for knowledge sharing

Having been released at the same time as the first announcement of Plan S, a very important modification of the Belgian copyright law has gone somewhat unnoticed and it should not have! It is indeed a major groundbreaker in the open access to public research communication. The law now allows authors of publicly funded research articles to retain the right to make their original manuscripts freely available, even if otherwise specified in their contract with the publisher.  In terms of the legal protection of the researchers facing the increasingly frequent constraint on the part of funding bodies to make their publications available in Open Access, this law is of paramount importance. To my knowledge, it is the most progressive exception to a national copyright law worldwide to date.

The law, published on 5 September 2018 in the “Moniteur belge” (the Belgian Official Journal), complements and reinforces the most recent decree of the Wallonia-Brussels Federation (French-speaking Community of Belgium), which already requires the immediate Open Access deposit of scientific articles in institutional directories. Together, they form a real legal arsenal in favour of researchers and Open Access in Belgium.

The text of the law specifies that:

• The article must be at least 50% financed by public funds.
• The article may be distributed free of charge even if the authors have already assigned their rights to the publisher.
• The embargo period is 12 months after first publication for the humanities and 6 months in the other fields of science; or less and even none if authorized by the publishing contract.
• The source of the first publication must be mentioned in all subsequent reuse.
• The rule also applies to all articles published before the publication of the law.

Full text: Le Moniteur Belge/Het Belgisch Staatsblad. 2018-09-05, p. 68691, Art. 29

Source: ORBi, ULiege.