> L’exercice d’évaluation de la recherche britannique 2008 (RAE) - fev 2006

1. Introduction

En 2008-2009 aura lieu le sixième exercice d’évaluation de la recherche britannique - le Research Assessment Exercice (RAE) - institué en 1986 pour répartir les dotations de recherche des établissements d’enseignement supérieur (HEI, Higher Education Institute) sur la base de la qualité de la recherche effectuée et permettre le développement du personnel permanent et des infrastructures. Ces aides financières, dont le montant dépend également de l’importance de la charge d’enseignement, sont attribuées à chaque établissement sous forme d’une enveloppe unique, d’utilisation très libre, via les Higher Education Funding Councils (HEFC, un pour chacune des quatre régions du Royaume-Uni).

2. Conséquences mitigées du RAE sur la recherche scientifique britannique

2.1 Qualité et compétitivité
Au fil des ans et des exercices d’évaluation successifs, un certain nombre de problèmes sont apparus, notamment une dérive des notes vers le haut : l’exercice 2001 a permis d’observer, par rapport à celui de 1996, une augmentation extraordinaire du nombre de départements d’universités ayant atteint les notes maximales de 5 ou 5* (31 % des chercheurs actifs répartis dans 572 départements en 1996 et 55 % dans 1 081 départements en 2001).

Si cette augmentation démontre une amélioration globale indiscutable de la recherche scientifique au sein des universités britanniques, les administrateurs de la recherche estiment cependant qu’elle est en partie due au fait que les départements ont su s’adapter à l’exercice en ne faisant évaluer que la meilleure partie de leur recherche. De cette dérive, associée à l’absence d’ajustement du budget global des HEFC au cours de cette même période, ont découlé d’autres problèmes importants pour la recherche britannique. Le mode de répartition du financement a notamment dû être modifié pour récompenser financièrement le nombre croissant de départements ayant démontré l’excellence de leur recherche. Concrètement, cela s’est malheureusement traduit par une diminution de l’enveloppe reçue par un département alors même que la qualité de sa recherche s’était améliorée, et un accroissement du fossé entre des départements notés « 4 » et ceux notés « 5 ».

2.2 Concentration des sites
La politique de financement menée par le HEFCE (HEFC of England) vise depuis plusieurs années à accentuer encore davantage cette sélectivité, et à concentrer la recherche dans un petit nombre d’universités (pôles d’excellence). Cette politique volontariste s’oppose à une étude, commandée par « Universities UK » (comité des présidents d’universités) et intitulée « Diversité du financement de la recherche : Impact de l’accroissement de la concentration sur la performance de recherche des universités et la capacité de recherche régionale », qui avait conclu qu’il n’existait aucune justification à une telle stratégie de concentration. C’est pourtant cette stratégie, via le RAE, qui est considérée comme étant en partie responsable de la fermeture de nombreux départements d’universités et de déséquilibres régionaux.

2.3 Impact sur la recherche fondamentale
Par ailleurs, le RAE semble avoir découragé les études de recherche fondamentale menées sur le long terme. La fréquence des évaluations incite les chercheurs à réduire leur engagement dans des domaines multidisciplinaires ou dans des projets à risques qui ne leur permettraient pas de publier des résultats tangibles sur le court terme. Le processus de publication a par conséquent été biaisé et les carrières de chercheurs ont perdu de leur attrait, en particulier en raison de la précarité liée à la durée des projets en début de carrière. Finalement, nombreux sont ceux qui rappellent le lien fondamental entre l’enseignement et la recherche, et jugent que le RAE continuera à avoir des effets secondaires néfastes sur la carrière des universitaires dont la principale activité n’est pas la recherche. Une étude menée par Sir Graeme Davies et commandée par le Higher Education Research Forum (groupe de réflexion incluant les parties prenantes clés du monde de la recherche) sur le lien entre enseignement et recherche est en cours.

Parmi les autres effets du RAE et des décisions de financement qui en résultent, notons la pression importante exercée sur les universités. Sur le long terme, cette pression les a souvent conduit à négliger d’autres domaines tels que l’enseignement ou leur implication dans le tissu économique et social et la recherche pour le développement local ou régional, voire à surenchérir pour employer des enseignants pour leur liste de publications.

3. Les propositions de réformes du RAE

Au vu des problèmes survenus au fil des ans, l’ensemble des parties prenantes était convaincu que l’exercice lui-même nécessitait d’être réformé.

3.1 Le calendrier
Un consensus a été atteint pour que l’exercice ait maintenant lieu tous les six ans (au lieu de cinq ans) et soit simplifié, dès celui de 2008. Il y aura eu 7 ans entre le dernier exercice et le prochain, en raison des réformes apportées.

3.2 L’organisation
L’équipe d’évaluateurs est répartie entre 15 comités d’experts (de « A » à « O » pour chacun des grands domaines scientifiques) et 67 sous-comités en charge de disciplines variées, chacun sous la tutelle d’un comité principal. Neuf cents experts nationaux dont 50 internationaux ont été nommés au sein de chacun des comités, en fonction de leurs compétences dans les domaines de la recherche de pointe et de la valorisation de la recherche au plan industriel, commercial ou du service public. L’ensemble des membres de ces comités et sous-comités sont tenus de faire une déclaration d’intérêts (institution(s) à laquelle (auxquelles) ils sont affiliés ou ont été affiliés depuis janvier 2001, ou dans la/lesquelles le conjoint ou la famille proche sont employés).

Le terme « recherche » a été défini comme « une investigation originale ayant pour objectif d’accroître les connaissances et la compréhension ». Sont inclus : le travail effectué se rapportant directement aux attentes des secteurs des services, de l’industrie, mais aussi du secteur public et des secteurs associatifs ; l’attribution de bourses de recherche ; l’invention et la génération d’idées, d’images, de spectacles, d’artéfacts (incluant le design lorsque ceux-ci mènent à un approfondissement ou de nouvelles connaissances) ; l’utilisation du savoir existant dans le développement expérimental de nouveaux ou de meilleurs matériels, appareils, produits et procédés (incluant design et construction).

Toute information contenue dans les dossiers soumis aux comités du RAE 2008 est maintenue et traitée de manière confidentielle par ceux-ci et ne sera publiée sur Internet qu’après achèvement de l’exercice (à l’exception des données personnelles et des résultats confidentiels). L’acceptation de cette règle est un prérequis pour exercer la fonction d’évaluateur.

3.3 La fin de la note unique par département
Un profil de qualité des départements évalués sur une échelle à quatre points (1* à 4*) remplacera la note unique afin d’éviter l’« effet moyenne » et donc de négliger une équipe de recherche de pointe dans un département de moindre qualité.

3.4 Les critères et méthodes de travail
Les critères d’évaluation ont été publiés à la fin du mois de janvier 2006 par les HEFC, qui considèrent que le RAE « nouvelle formule » apportera un cadre flexible permettant à chaque type de recherche d’être évalué de la façon la plus équitable possible. Ces critères ont été développés spécifiquement pour chaque unité d’évaluation à la suite d’une période de consultation nationale ayant impliqué toutes les parties prenantes, (établissements d’enseignement supérieur, sociétés savantes, conseils de recherche, etc.). Les critères finals ont pris en compte les réponses obtenues au cours de cette période de consultation, d’une part pour le choix des disciplines de recherche mais également pour atteindre une évaluation cohérente entre les différents domaines scientifiques évalués.

L’évaluation de la recherche sur les seules bases d’indicateurs de performance reste sujet à controverse et semble être, selon beaucoup d’universitaires, difficilement compatible avec l’évaluation par les pairs, qui elle est considérée comme crédible et fiable. Parmi les problématiques rencontrées, certains estiment que le fait de tenir compte de l’attribution de subventions de recherche ou des résultats de recherche (comme le nombre de publications) revient à récompenser l’équipe ou le département deux fois pour un même projet de recherche, pénalisant ainsi les établissements moyens et accentuant les disparités entre les sciences humaines et les arts d’une part et les sciences dures d’autre part.

Parmi les critères retenus pour le prochain exercice, notons : l’engagement des départements d’universités à offrir l’égalité des chances pour les emplois proposés ; l’évaluation complète et équitable des différents types de recherche (interdisciplinaire, appliquée ou basée sur la pratique) ; la viabilité et la vitalité de la recherche de base par le soutien et l’aide aux carrières des jeunes chercheurs.

4. Le RAE 2008

4.1 Contenu des dossiers d’application et évaluation
Parmi les éléments obligatoires à inclure dans les dossiers soumis aux comités d’évaluation, notons en particulier : une présentation globale de tous les chercheurs choisis par les départements pour les représenter ; une note d’information détaillée sur chacun des universitaires inclus ; un maximum de quatre résultats de recherche par chercheur, produits au cours de la période s’étalant du 1er janvier 2001 au 31 décembre 2007 ; le nombre d’étudiants de recherche et de diplômes attribués ; le nombre de bourses de recherche pour étudiants et leur provenance ; les sommes et la provenance des financements de recherche externes.

L’évaluation de chaque dossier est effectuée en fonction de critères absolus d’excellence et non pas de manière relative. Si le cadre général est commun à tous les comités, il existe de légères disparités entre les sous-comités permettant d’adapter l’évaluation aux différentes disciplines scientifiques. Un commun dénominateur reste tout de même le fait qu’aucun comité ne prendra en compte le facteur d’impact d’un journal scientifique pour déterminer la qualité d’un résultat de recherche soumis à évaluation.

En ce qui concerne la recherche interdisciplinaire, les institutions pourront suggérer une double évaluation mais les membres des sous-comités seront seuls juges. Ils pourront faire évaluer une partie des dossiers soumis à des experts d’un autre sous-comité mais n’y sont pas tenus.

4.2 Construction du profil de qualité
La note unique attribuée à chaque département sera remplacée par un profil de qualité sur une échelle de 1 à 4 points, « 4 » dénotant une recherche de pointe de niveau international. La définition des notes est la suivante :

 4* : recherche à la pointe de la recherche mondiale en terme d’originalité, de valeur et de rigueur ;
 3* : recherche de qualité internationale en terme d’originalité, de valeur et de rigueur mais n’atteignant pas les standards d’excellence de pointe ;
 2* : recherche de qualité internationale en terme d’originalité, de valeur et de rigueur ;
 1* : recherche de qualité nationale en terme d’originalité, de valeur et de rigueur ;
 Non classé (u/c) : recherche dont la qualité n’atteint pas les standards nationaux, ou travaux ne rentrant pas dans les critères de recherche définit par l’exercice.

Les comités se doivent d’évaluer tous, ou virtuellement tous (plus de 90 %), les éléments du dossier avant d’établir le profil de qualité. Ces éléments correspondent à l’ensemble des données et travaux collectés par les comités : information concernant le personnel soumis à évaluation (RA1), résultats de recherche (RA2), données concernant les étudiants en 3e cycle (RA3), financements obtenus pour les projets de recherche (RA4) et une lettre d’accompagnement concernant les indicateurs de notoriété (RA5a). L’ensemble de ces éléments seront évalués et regroupés sous trois grandes catégories que sont : les résultats de recherche, l’environnement de recherche et les indicateurs de notoriété. Chaque comité peut choisir dans laquelle de ces deux dernières catégories seront évaluées les données RA3, RA4 et RA5, mais est tenu de justifier son choix. Par ailleurs, les comités assignent, dans les limites d’un intervalle bien défini, un poids (ou degré d’importance) à chacune de ces trois catégories qui module le profil final (voir figure 1).

Les sous-comités établissent un profil de qualité distinct pour chacune de ces trois catégories (tableau 1). Ces premiers résultats sont ensuite pondérés pour établir un profil d’ensemble (tableau 2a). Les sous-comités doivent confirmer que le profil global représente de façon équitable l’activité de recherche dans la catégorie et que leur évaluation a pris en compte l’ensemble des données soumises.

Tous les sous-comités adoptent une méthode de calcul identique de façon à arrondir les pourcentages au 5 % le plus proche tout en veillant à ce que le total reste 100 % (Tableau 2b). Enfin, le profil final dérive du profil cumulé et est obtenu en soustrayant au pourcentage de chaque note, celui de la note située juste au-dessus (dans l’exemple donné dans le tableau 2c, le pourcentage de chercheurs ayant obtenus la note 3* est 40-15 (pourcentage ayant obtenus la note 4*=25)).

4.3 Exemple

5. Les réactions par discipline

5.1 Sciences de la vie et sciences médicales
Les propositions initiales ont été modifiées afin d’encourager les jeunes chercheurs (personnels de tout âge ayant démarré une carrière universitaire à temps plein après le 1er août 2003), pour qui les publications nécessitent souvent plus d’années de travail que dans d’autres sciences dites « dures ». En effet, les évaluateurs craignaient que ceux-ci ne soient pas inclus par les départements en raison d’un nombre de résultats plus faible et éventuellement de moindre qualité que les seniors.

Par ailleurs, Sir John Beringer, président du comité D (sciences biologiques, sciences humaines biologiques et pré-cliniques et sciences agricoles et vétérinaires), indique que les évaluateurs de son comité s’intéresseront particulièrement aux stratégies et plans d’action mis en place par les départements. Ainsi, les départements n’incluant que leurs chercheurs de pointe dans le processus d’évaluation pourraient perdre des points car cela démontrerait qu’il n’existe pas de stratégie à moyen ou long terme.

Sir Leszek Borysiewicz, président du comité B (épidémiologie et santé publique, recherche des services de santé, soins de santé primaires et autres disciplines cliniques visant la communauté, et psychiatrie, neurosciences et psychologie clinique), a quant à lui indiqué de façon claire que les cliniciens faisant de la recherche ne seraient évalués que sur deux publications, afin de ne pas freiner leur formation clinique.
Dans ces deux comités, la recherche basée sur la pratique (practice-based research) sera fortement récompensée, et chaque résultat soumis devrait présenter un potentiel d’application au sein des services de santé (National Health Service, NHS) ou dans l’industrie.

5.2 Ingénierie et mathématiques
Pour chacun des comités de ces disciplines, un consensus large a été atteint, à savoir que tout type de recherche sera évalué à l’identique, qu’il s’agisse de recherche appliquée ou théorique.

Des approches différentes ont cependant été entérinées en ce qui concerne les jeunes chercheurs : dans le comité F (mathématiques pures et appliquées, recherche statistique et opérationnelle, et informatique et sciences de l’informatique), ceux-ci devront soumettre une publication pour chaque période de 21 mois de recherche à temps plein ; le comité G (ingénierie) a souhaité ne pas définir les critères d’évaluation de façon trop précise ; le comité E, quant à lui (sciences de la terre et de l’environnement, chimie et physique), n’a effectué que quelques changements de formulation, après consultation avec les scientifiques.

5.3 Sciences sociales
Dans ces disciplines, les comités I (économie, économétrie, finance et comptabilité, gestion et affaires et gestion de l’information et des bibliothèques) et J (droit, sciences politiques et internationales, stratégie et travail social et administration, sociologie, anthropologie et développement international) indiquent leur souhait de voir tous les universitaires soumis à l’exercice d’évaluation, afin d’éviter que les départements ne jouent avec le système. Par ailleurs, ils indiquent que la question des livres et publications variées sera étudiée au cas par cas.

5.4 Arts et sciences humaines
De la même façon que pour les sciences sociales, les ouvrages et publications variés seront étudiés au cas par cas. Les universitaires soumis à l’évaluation et incluant de tels ouvrages ne seront cependant pas autorisés à proposer une valeur des ouvrages inclus en termes de nombre de résultats de recherche (RA2). Cette décision a pour but d’empêcher un chercheur incluant un tel ouvrage de se retrouver avec moins de résultats de recherche inclus si les membres du comité ne s’entendent pas sur la valeur de l’ouvrage en question (par exemple, si un universitaire estime qu’un des ouvrages soumis possède la valeur de deux résultats, il ne soumettra que deux autres résultats pour atteindre le nombre recommandé de quatre. Si le comité estimait alors que l’ouvrage ne « vaut » qu’un seul résultat, l’universitaire n’aurait soumis que trois résultats de recherche et pourrait ainsi être pénalisé).

6. Conclusions

Pour conclure, il est largement admis que la diversité des situations ne peut être prise en compte que par un éventail de propositions financières offert par plusieurs organismes de financement employant une combinaison de critères d’évaluation pour l’attribution des financements. L’harmonisation des critères et des méthodes de travail des 15 (ou 67) comités d’évaluation et la simplification de ces critères n’empêchent cependant pas les universités d’être inquiètes face à la complexité de la tâche qui les attend. Il y a eu de nombreux petits changements depuis la première « mouture » publié à l’été 2005 mais de nombreux administrateurs estiment qu’il existe encore trop de disparités entre les comités.

La question du développement de la contractualisation avec la recherche privée reste aussi ouverte ; le gouvernement souhaite voir la dépense de R&D de ce secteur passer de 1,24 % du PIB en 2002 à 1,7 % en 2014. Pour les responsables de la recherche, il serait raisonnable qu’une partie de cette augmentation soit utilisée pour co-financer la recherche au sein des universités et fournisse ainsi un contrepoids au financement du RAE.

Sources : Research Assessment Exercice, 31/01/06, www.rae.ac.uk ; http://www.rae.ac.uk/pubs/2006/01/docs/annexes.pdf ; THES, News, 03/02/06, www.thes.co.uk

Auteur : Dr Claire Mouchot