Classements: l’illusion du chiffre

Le géant des réseaux sociaux à orientation professionnelle LinkedIn annonce son projet de classement des universités sur base de l’analyse de la carrière des diplômés.

Tout classement implique un (ou plusieurs) biais. Il est même impossible de classer sans se fonder sur un (ou des) critère(s) et sans négliger les autres. On ne peut réduire l’immense complexité d’une université à un seul chiffre, avec plusieurs décimales, ce qui est pourtant la condition essentielle pour aboutir à un classement.
Même si on annonce clairement la couleur (ici, la carrière des diplômés), le critère ne peut qu’être basé sur une illusion (dans ce cas, celle qui laisse penser qu’on peut réduire la qualité d’une trajectoire professionnelle à un chiffre et trois décimales…).
Le classement universel n’est donc pas né, et il est loin de naître. En attendant, ceux qui possèdent les « big data » et en premier lieu les « réseaux sociaux » sont en position de laisser croire que, détenteurs d’une multitude de données (par ailleurs crowdsourcées, avec les risques d’imprécision voire de fantasmes que cela implique en matière de qualifications, diplômes et titres acquis et de fonctions exercées), ils sont en mesure d’en tirer des conclusions significatives pour l’orientation d’un individu…

Un peu de réalisme amène à comprendre l’immense bénéfice que peut générer la vente de ces informations et du traitement qui en est fait, en se basant sur l’éternelle crédulité dont font preuve les humains par rapport à « la vérité du chiffre ». Un pactole.

Denouncing the imposter factor

In 2013, the American Society for Cell Biology and several scientific journals launched the San Francisco Declaration on Research Assessment, DORA, meant to put an end to the ridiculously unscientific practice of using the impact factor of journals to assess individual researchers or research groups or even institutions. According to the original text, this practice creates biases and inaccuracies when appraising scientific research. The impact factor must no longer be considered as « a measure of the quality of individual research articles, or in hiring, promotion, or funding decisions ».

At this day 12,747 institutions and individuals worldwide have signed the DORA. And yet only a handful of institutions who have signed it have actually implemented the DORA. Review committees, assessment jurys, funding organizations and academic authorities have continued using, openly or discreetly, the journal impact factor as a determining element of judgement on the output of scientific research.

Let’s look at data collected patiently by my collaborator Paul Thirion (ULg) whom I thank for this : he listed all 1,944 articles published in Nature in 2012 and 2013 and looked at how many times each one has been cited in 2014. Only 75 of them (3.8%) provide 25% of the journal’s citations, hence of the journal’s impact factor (IF = 41.4…, I’ll spare you the other digits !) and 280 (14,4%) do account for half of the total citations & IF… While 214 (11%) get 0 or 1 citation.

A graphic representation is even more striking:

image

This does not take away the fact that a high impact factor is a legitimate measurement of the prestige of a journal. But if one can generally admit (not everybody does) that a scientist’s contribution to science can be somehow measured by the citations of his/her work (although not true in all domains of knowledge), using the impact factor of the journals where he/she publishes is like measuring someone’s qualities by the club where he/she is allowed to go dining. Stars are for restaurants, not for their customers…

This goes to show that most Nature authors do benefit from an IF generated by a happy few (if you admit that citation is a valid assessment indicator, of course).

But if the very convenient assessment by impact factor is to be banned, what is intended to replace it ? Ideally, the solution is a thorough reading of the work by a competent reader, a very unrealistic task nowadays. DORA makes several suggestions, such as BiorXiv. The British HEFCE has analised the question as well. Altmetric has developed new methods. All in all, a combination of these procedures may provide a useful measurement but it should be kept in mind that comparisons across disciplines make no sense at all, even between similar fields. A wider reflection is clearly needed to come up with a manageable solution, so long as one agrees that evaluation, as we see it, makes sense. In any case, it cannot be reduced to a single figure, as if such a value could by any means represent a basis for a comparative evaluation.

EOS, the un-secret story

At first, it did not seem to be something worth writing about. But a few days ago, a totally unexpected attack came up in a commentary by Peter Murray-Rust, a well known chemist at Cambridge University, in Richard Poynder’s blog, « Open and Shut« .

Richard’s blog article of December 17th, « Open Access slips into closed mode ? » was about his surprise to discover that « Berlin 12 », the 12th edition of a major yearly gathering of the Open Access (OA) community, was paradoxically “by invitation only”, something you could call « restricted access »…!

His astonishment was understandable (even though he came up strangely with the concept of « secret society »). But to me, another surprise came from Murray-Rust’s aggressive and unfair comment (or perhaps simply paranoid) :

I have sympathy with Richard on the issue of the « secret society. Look at ‘Enabling Open Scholarship‘ (EOS) « where the great and good set up a secret organisation to manage OA. It includes many of the professors, etc. of OA [sic] and shuts out people like me and you. This was 7-8 years ago and suggests that the OA movement was a privileged clique that dictated what others should do. There is no sense of « Open » in the way that « Free/Open Source is Open » (underlining is mine).

It was of course shocking to me and all other EOS members, even though we have been targeted by the same person before, but never publicly. This time, it cought the attention of Richard Poynder and that of Rick Anderson, who reacted on the same blog and on Twitter and wondered if EOS was really open to all organisations and if it was truly public, calling for answers by someone involved in EOS. As Chairman, I could not do less than send the following declaration which was made public by Richard on his blog:

The EOS story is actually much simpler and it lacks all the spicy stuff of conspiracy theories that some would like to see in it. I am sorry to disappoint them now with a very dull explanation…

EOS was created originally by Alma Swan and myself after a small meeting held by us in Liège in October 2007. It was a time when, as rector of the University of Liège, I had recently passed a new regulation at the University Board mandating green open access with a strong enforcement based on a link to assessment procedures. Our primary objective was to encourage university leaders to adopt the same policy. Indeed, we thought that propagating green OA needed strong personal involvement by academic authorities, and not only that of librarians who were already widely convinced themselves but generally less able to convince researchers.

We thought the name of the Association was explicit enough, and its contraction, EOS, meaning « Dawn » in Greek, was symbolic of the rise of a new era.

We asked a few people we knew in various countries (their names are listed on the website’s « People » section) and who could contribute to expand our goals (clearly defined on the website) to join us for a start.

Due to administrative slowness, it took some time to establish the Association, a legal entity under Belgian law (no international plot, not even to set up a Brussels lobby…, but just because I’m a Belgian citizen, sorry about this lack of gloom !).

Our aim was clearly to create a web support to disseminate information about OA to universities and research centers and to provide them with technical and legal advice as well as with experienced counseling.

To make a long story short:
– The only universities/research centers who actually joined EOS were the Queensland University of Technology, the University of Salford and the University of Liège, where Tom Cochrane, Martin Hall and myself were holding leading positions.
– The only personal members who ever joined were those listed in the « People » section on the website, i.e. the Founders.

These two facts have nothing to do with restrictions or selectivity on our part, they were just failures to recruit, I must admit. This lack of recruitment made it difficult to generate enough money to hire someone, even part-time. So everything (i.e. the site and the answers to questions) rested mostly on Alma’s benevolence and I take this unfortunate opportunity to congratulate her and thank her warmly for her valuable efforts. Thanks Alma ! Some people may be disappointed you are no Mata Hari…

This lasted until 2013, as shown clearly by the last updating of the website. Indeed, in the meantime, EOS has been instrumental, as a partner, in developing and obtaining an investigation program financed by the European Union and called PASTEUR4OA.

The management of this project needed so much involvement and dedication by Alma that she could not longer conduct both activities in parallel. I envisioned for a while to take over but soon realised that my duties as a rector and my uneasiness in English made it almost impossible. It was definitely too time-consuming. Moreover, the rise and success of other OA-promoting websites and discussion forums made it less essential to keep spending more time on the EOS one. Perhaps our mistake was to keep it open…! None of us though that our negligence would some day be mistaken as obscure malevolence…

If EOS has been useful only once, it would be when it helped setting up the PASTEUR4OA project. The latter will end in July 2016 and will provide the research community and political powers with very complete information on the various national OA policies, leading hopefully to a homogenisation throughout Europe and possibly elsewhere in the World.

After completion of this programme, the future of EOS will be reexamined.

So much for that. I am terribly sorry that this does not sound like a novel by John LeCarré but constitutes a very simple and unexciting story, revealing nothing but candid characters and a lot of good will. Not even the plot for a B-series spy movie…

 

image

Comparing numbers makes things look more real and proportionate: Elsevier vs Greece

Elsevier has published its annual business report.

Heather Morrison’s summary: « Before adjusting for currency, Elsevier is reporting a 4% decrease in revenue for Scientific, Technical and Medicine and a 3% decrease in profit. The numbers are a 2,048 GBP revenue, 762 GBP adjusted operating profit, for a 37% profit rate (down from 39% last year). Elsevier is counting both revenue and profit as a slight increase after adjusting for currency ».

I am often told that researchers do not realize how unjustly expensive their own work is predated upon, legally and with their full consent. I even read lately that we should « stop bothering academics and publishers about a
library-made problem » (Thomas Krichel, here). I am not a librarian. I don’t consider this outrageous profit a library-made problem. It is everyone’s problem and specifically all researchers’ problem.

Circumstances put things sometimes in a better perspective, just by chance. Isn’t it amazing to compare Elsevier’s 1.07 billion € profit built upon worldwide research fundings (a 37% benefit margin out of a 2.88 billion € revenue) with Greece’s  1.4 billion € national unpaid debt to the IMF ?

What on earth are we talking about ?

Will mankind come to their senses…?

Enfirouapé. An open letter to Elsevier by Didier Pelaprat

Didier Pelaprat (INSERM, France) wrote recently an open message to Alicia Wise (Elsevier) on the Open Access Forum GOAL. It is so right to the point, so much in line with what I think and so much better written than I could have, that I cannot resist republishing large excerpts here (it is called ‘reuse’… Thanks, Didier).

[…]
« Alicia, […]

Elsevier makes profit on scientific publishing. Big profit. Normal: they are not a charity.
Elsevier is a very dynamic company, which perfectly knows how to react in order to maintain and increase profit.
As a very dynamic and reactive company, Elsevier succeeded, for years, to reorient, invest, develop and diversify activities, in order to find revenues in other sectors whenever the income in some others did decrease.

For Elsevier as for any company, « commercial » ones as well as some of the so-called « non profit » ones which do it:

– compelling the authors to sign that they reserve the exclusivity to the company, as if they had written a novel and been paid for that;
– compelling the authors to sign that they transfer all their patrimonial rights to the company for eternity;
– imposing embargoes;
– imposing APCs up to 5.000 $ (in addition to the « normal » page charges in hybrid journals),

means that the company decided to make, maintain, and increase profit on the publication of the scientific work, at the expense of the missions, the fund availability and the interests of the scientific community and the institutions which employ them, i.e. at the expense of the gain which can be brought by science to the whole society.

Tell me that. I will trust it and, even if I do not find that [this] decision is in accordance with what I consider to be the social role of a company, I will respect you in having said that.

But never call us « partner ».

And never try to tell me that you did it for our benefit.
Lying does [not] belong to the elements that make a relationship […] fruitful and sustainable between social actors.

There is a quebecois term I find very illustrative of this kind of behavior: « enfirouaper  » (in fur wrapped).
I hate feeling that somebody tries to m’enfirouaper.
I positively hate it.

Didier »

Pour une formation en Symbionomie

Que penser de l’EPA, l’encadrement pédagogique alternatif, nouveauté adoptée par le Gouvernement de la Communauté française de Belgique dans une certaine précipitation afin de ne pas laisser persister le malaise de ce qu’on a bien dû appeler les « cours de rien » dans l’enseignement primaire et secondaire, ceux auxquels devraient désormais s’inscrire les élèves qui ne souhaitaient suivre ni religion ni morale laïque ?

Bref historique (pour ceux qui auraient, à raison, du mal à comprendre divers aspects de ce qu’il faut bien appeler le surréalisme belge).

Depuis le « Pacte Scolaire » de 1958, les élèves de l’enseignement public ont en Belgique l’obligation de choisir entre un cours de religion et un cours de « morale non confessionnelle ». Toutefois, sollicitée par un parent qui considérait que ce choix dévoile les convictions philosophiques de la famille de l’élève relevant exclusivement du domaine privé et devant pouvoir rester confidentielles, la Cour constitutionnelle a estimé le 12 mars dernier que les élèves dont les parents le souhaitent doivent pouvoir être dispensés du cours de morale ou de religion, sans motivation explicite. Que faire de ces élèves ? Comment les occuper durant les cours de religion/morale suivis par leurs condisciples ? Au départ, on sembla considérer qu’il s’agissait d’un non-problème, ceux qui choisiraient cette option devant être extrêmement minoritaires. Une enquête organisée par le ministère compétent démontra le contraire: d’après enseignons.be [ http://www.enseignons.be/2015/05/09/religionmorale-milquet-enterre-le-cours-de-rien/ ], « selon les régions – et les filières d’enseignement – certaines classes verraient 30 à 50 % de leurs élèves faire l’impasse sur les cours de religion et morale ». Cela devenait un vrai problème. L’option choisie rapidement et proposée comme avant-projet de décret (donc encore discutable) fut de créer le fameux EPA.

Un peu de vocabulaire

Je ne suis pas suspect de ne pas aimer les sigles, mais je dois admettre que je n’aime pas celui ci. Je préfère ceux qui forment un mot dont la signification est en relation avec l’objet. C’est pourquoi je suis assez fier de ceux dont je suis auteur ou co-auteur (GIGA, ORBi, RADIUS, VERDIR…). Mais ce n’est vraiment pas le cas ici. Tout au plus, il rappelle une sinistre molécule dopante, l’EPO…
Par ailleurs, il ne veut strictement rien dire. Si on admet la transposition néologique du qualificatif anglais « alternative » en français (où alternatif veut dire « qui change régulièrement de sens », comme la circulation routière alternative réglée par des feux de signalisation, ou le courant électrique alternatif) et si on lui donne un sens nouveau: « qui fait l’objet d’un choix différent », on ne définit toutefois rien. Encadrement pédagogique alternatif pourrait s’appliquer à de très nombreuses options d’enseignement à des moments très divers de la formation. En clair, ça ne vaut pas mieux que « enseignement rénové » ou beaucoup d’autres inventions top-down dont nos ministères sont friands. Si cette formule devait être un tant soit peu définitive, elle devrait impérativement revoir son appellation.

Un contenu réchauffé

Si je ne peux que me réjouir de la solution proposée (faute d’aimer son sigle !), je suis interpellé par la similitude parfaite de cet EPA et des cours actuels de morale. Pour le pas dire l’identité absolue. Car en effet, le cadre (on ne parle pas ici de programme précis) proposé est identique à celui des cours de morale non confessionnelle. Et on me dit que pour la plupart, hormis le fait qu’ils reposent sur la parole de l’Evangile, les cours de religion catholique se fondent sur les mêmes sujets avec les mêmes méthodes.
De quoi s’agit-il ? D’éducation à la citoyenneté, au « vivre ensemble », à la tolérance, à la démocratie, bref, à tout ce qui concourt à un idéal de justice, de paix et d’harmonie dans le fonctionnement de notre vie en société, avec ses règles, ses droits et ses contraintes qu’il est essentiel d’assimiler et le plus tôt possible. Quoi de plus logique que d’aspirer à ce que chaque enfant reçoive une formation tout au long de ses études en ces matières dont il n’est pas nécessaire, aujourd’hui de rappeler l’importance.
En outre, l’approche méthodologique suggérée (lectures, filmes, travaux personnels, débats collectifs) est exactement celle qui est bel et bien en usage dans les cours actuels.

Pourquoi réinventer la roue ?

Essentiellement pour répondre à une anomalie historique bien belge: l’éducation confessionnelle étendue à l’Enseignement public.
Certes, c’est le fruit d’une pacification négociée de ce qu’on en était venu à appeler la « guerre scolaire » de funeste mémoire, qui opposait farouchement les tenants et les opposants de l’enseignement de la religion (catholique essentiellement, à l’époque) dans l’Ecole publique. Étrange, vu d’outre-Quiévrain, bien évidemment, mais bien belge car chez nous, point de loi de séparation des églises et de l’Etat.
On s’en tira en créant deux options obligatoires: religion ou morale non-confessionnelle. Un progrès par rapport à l’aberration précédente que j’ai personnellement bien connue: les élèves qui ne souhaitaient pas suivre (ou dont les parents ne souhaitaient pas qu’ils suivent) le cours de religion devaient attendre patiemment dans le couloir entre les portemanteaux que l’heure s’écoule… (Inutile de dire qu’il ne me fallut pas longtemps avant de demander à mes parents l’autorisation d’assister en élève libre au cours de religion !)
Cependant aujourd’hui, les enfants de ma génération sont devenus grand-parents et les causalités historiques s’estompent. La « trouvaille » de la dualité qui résolvait l’épineux problème de l’époque a bien vieilli et montre à présent ses faiblesses, en particulier avec la nécessité croissante de répondre à une demande d’enseignement confessionnel d’autres religions et en particulier l’essor dans notre pays de la religion musulmane. Alors que de nombreux citoyens n’étaient pas choqués par l’immiscion de la religion catholique (et seulement très minoritairement, protestante, juive et musulmane) dans l’Enseignement public, le bouleversement des proportions auquel on assiste aujourd’hui éveille les consciences.
L’Enseignement public doit-il accueillir et financer les formations religieuses…? Ne doit-il pas simplement se concentrer sur la formation citoyenne ? En d’autres termes, le fameux EPA ne suffirait-il pas, et tout compte fait, ne serait-ce d’ailleurs pas mieux ainsi ?

La Symbionomie

Si l’EPA devient la norme, peu de changements sont en vue et le problème d’une troisième option, largement décriée par certains en ceci qu’elle crée plus de problèmes (logistiques, organisationnels, professionnels et de formation des enseignants) qu’elle n’en résout vraiment, devient obsolète dès lors qu’il remplacerait tout ce qui existe aujourd’hui.
Il faut juste lui trouver un nom plus signifiant, correspondant très exactement à la réalité qu’il recouvre et dépourvu de toute connotation partisane.

Comme on l’a fait pendant des siècles, on pourrait utiliser un néologisme à racine grecque parfaitement adapté : la Symbionomie, l’apprentissage à vivre ensemble. Il me semble que ceci recouvre et résume l’ensemble des préoccupations décrites dans la proposition de l’EPA.
Je sais, c’est un peu rébarbatif de prime abord. Mais personne ne trouve indigeste le terme d’astronomie ou d’aéronomie (et encore moins de gastronomie, cela va de soi !). Quant à la symbiose, presque tout le monde comprend aisément de quoi il s’agit.

A dire vrai, le terme a été composé précédemment par Joël de Rosnay [ http://www.electropublication.net/rosnay.html ] pour définir une science, celle de la co-évolution des systèmes, des organismes et des sociétés d’êtres vivants. Mais de même qu’Ecolo s’est en quelque sorte approprié la science écologie, l’extension de celle qui étudie les relations entre organismes vivant ensemble et en interdépendance aux formations de « vivre ensemble en société » dans notre enseignement primaire et secondaire public paraît acceptable.

Et au lieu d’être tenté d’imaginer de faire coexister de façon absurde trois formations visant aux mêmes objectifs, rassemblons les donc toutes en une seule, la Symbionomie.
Il restera à définir qui pourra assurer ces enseignements. Encore une fois, pas grand chose à changer puisque la matière et la pédagogie recommandées sont les mêmes qu’actuellement. A terme, c’est évidemment le master en philosophie qui prépare le plus adéquatement à ce métier.

Why run for EUA Board Membership ?

On Thursday April 16, the European University Association (EUA) will renew its Board. Five positions (reserved for current or former university rectors/presidents) are open for election and a first and second runs of selection in the fall of 2014 have restricted the number of candidates to 10. Why, as a former rector, do I apply for one of these 5 positions?

Today and in the coming years, European (and actually all) universities are facing many challenges and the mission of EUA is to support and advise them. Among these challenges are the issues of « openness ».

Open Access (OA) is one of them, nowadays almost universally adopted in principle, but still facing many difficulties and possible options.

Open Data (OD) is a very different matter but it is challenging universities very strongly, creating the same anxiety (or perhaps even more) as OA did 5-10 years ago. The European Commission has launched an OD pilot in its Horizon 2020 Research Programme (FP8) just as it has done for OA in the FP7 Programme in 2007. It is important to note that, after this pilot phase, OA has now become mandatory for all research project publications in H2020… Although very different in scope, responsibilities and level of difficulty, OA and OD are now grouped in one single challenge called Open Science. Universities need information and guidance in these new avenues.

Finally, Open Learning is now appearing clearly, with MOOCs, electronic teaching and distance learning as main issues for our universities.

All these « openings » are considerable worries adding to the many concerns universities may have these days. I believe that advice, guidance and support in these areas should be constantly provided by the EUA to its members at a time which is clearly a turning point for most universities and it is essential that at least one of the Board members specialises in these topics.

Having myself been deeply involved in the OA evolution during my rectorate years (2005-2014) and before that, as Vice-rector (1997-2005), setting up in Liège one of the most efficient Institutional Repositories (since 2007), writing blogposts in French for my local community, in English for a wider audience, having remained active in this area since my retirement last October, keeping a close watch on the evolution of these matters, participating in the EUA task force on Open Science (with JP Finance and S. Nordaa) in charge of setting up informations and recommendations on OA and OD, chairing EOS (Enabling Open Scholarship, an international organisation promoting OA worldwide), I believe I have all the credentials to fill this role.

I am deeply convinced that these new « open » fields demand strong scrutiny and wise counseling and that these missions should be at the core of EUA’s preoccupations today.

La laïcité est l’affaire de tous

Un article à lire : « Le libre examen pour tous » sur le blog de Nadia Geerts.

La laïcité, dans sa meilleure acception.
– Pas de liberté d’expression, tant réclamée par (presque) tout le monde ces temps-ci, sans liberté de pensée.
– Pas de liberté de pensée sans liberté de conscience.
– Pas de liberté de conscience sans la liberté absolue de tout examiner sans directive contraignante, sans guide a priori, sans gourou, sans directeur de conscience.
– Laïcité de l’éducation obligatoire et liberté de chacun pour ce qui est facultatif.

Chacun fait comme il l’entend dans sa sphère privée mais personne n’impose de contrainte de conscience, de pensée ou d’expression dans la sphère publique.

La laïcité n’est pas un culte, c’est un état desprit, une attitude.
Elle n’est l’ennemi d’aucun d’eux, tant qu’ils ne veulent rien imposer à la collectivité car c’est là que s’arrête sa tolérance : elle ne peut, par définition, accepter l’ingérence des convictions personnelles dans la vie publique et dans sa gestion. En cela, il reste encore du chemin à parcourir en Belgique.

La laïcité n’est pas l’apanage des athées et des agnostiques mais elle appartient à toutes et à tous. A chacun de se l’approprier sans toutefois tenter de l’altérer ni de la pervertir.
Elle est la recette du « vivre ensemble » harmonieux.
Elle est synonyme de démocratie.

Eurovideo 2015 au Théâtre de Liège les 17, 18 et 19 mars 2015 à 20h – Entrée libre

Newsletter Eurovideo 2015 (V2)

EUROVIDEO 2015, une compétition de jeunes créateurs européens organisée par Vidéographies et le Théâtre de Liège et soutenue par, entre autres, la Société Libre d’Emulation de Liège, se tiendra du 17 au 19 mars prochains, en multiplex avec Mons-2015 et plusieurs capitales européennes de la Culture.
– 20h – Entrée libre –

2014 en révision

Les lutins statisticiens de WordPress.com ont préparé le rapport annuel 2014 de ce blog.

En voici un extrait :

Un tramway de San Francisco peut contenir 60 personnes. Ce blog a été visité 1 900 fois depuis sa création le 1er octobre 2014. S’il était un de ces tramways, il aurait dû faire à peu près 32 voyages pour transporter tout le monde.

Cliquez ici pour voir le rapport complet.