Intervention de Jean-François Dhainaut

C'est un plaisir et un honneur de venir vous résumer aujourd'hui les quatre premières années d'existence de l'AERES, au cours desquelles nous avons effectué un « tour de France » des établissements de recherche et d'enseignement supérieur.

Je rappellerai d'abord l'originalité de l'Agence qui évalue tant la recherche que l'enseignement supérieur, ce qui est unique en Europe et crée des synergies utiles. Ceci engendre une quantité de travail importante puisque nous procédons à 4 000 évaluations annuelles.

L'agence est aujourd'hui reconnue au niveau national, tant par les anciens organismes évaluateurs que par les entités évaluées. Les 84 universités existantes ont été évaluées, ainsi que 86 écoles et 13 organismes de recherche. Le CNRS et l'ANR seront évalués cette année. Enfin, nous avons évalué l'ensemble des unités de recherche (4 000) et l'ensemble des formations LMD (10 000 diplômes).

Quel est notre impact sur les universités, les organismes de recherche et les unités de recherche ?

Notre impact sur les universités a été important :

- leur gestion de la politique qualité s'est améliorée ;

- l'auto-évaluation a progressé : les équipes de direction constituent aujourd'hui de véritables plans stratégiques ;

- l'évaluation des enseignements par les étudiants s'est développée : il s'agit d'une évaluation de la forme et non du fond des enseignements, conformément aux recommandations européennes ;

- le suivi des étudiants s'est beaucoup amélioré ;

- les universités ont progressé dans leurs stratégies de recherche, en concertation avec les établissements publics à caractère scientifique et technologique (EPST).

Dans les universités que nous avons évaluées deux fois, nous avons observé que nos recommandations avaient été suivies d'effet. Leurs performances se sont améliorées, notamment dans le domaine de la gestion des ressources humaines.

Notre impact est également important à l'échelle des organismes de recherche. Par exemple, notre évaluation de l'Institut national de la santé et de la recherche médicale (INSERM) a abouti à la constitution de l'Alliance des sciences des vivants, car six ou sept organismes travaillent dans ce domaine. Ces Alliances se sont ensuite multipliées (sciences humaines, écologie, etc.).

Notre impact sur les unités de recherche est de plusieurs ordres :

- les unités de recherche ont toutes été examinées au regard des mêmes critères, ce qui constitue un progrès important. Auparavant, seules les unités dépendant des organismes de recherche étaient évaluées ;

- nous avons mis en place une notation afin d'être en mesure d'établir des comparaisons et, finalement, une cartographie des unités de recherche ;

- la méthodologie, concertée avec les universités et organismes de recherche, a été adaptée à chaque spécialité. Par exemple, la bibliométrie joue un rôle important dans le domaine des sciences du vivant, mais un rôle faible en archéologie, en mathématiques et en ingénierie. Nous avons promu autant que possible le critère de la valorisation de la recherche, qui était peu pris en compte auparavant.

Enfin, nous avons participé au financement à la performance par l'Etat, puisque ce financement dépend aujourd'hui, entre autres critères, de nos notations des unités de recherche et du nombre de personnes qui y travaillent.

Nous avons établi environ 10 000 rapports d'évaluation ainsi que des synthèses, notamment régionales. Les étudiants sont très intéressés par ces analyses régionales. Nous avons également publié de nombreuses informations sur notre site internet.

Par ailleurs, nous avons constitué un vivier d'environ 10 000 experts dont 20 % d'étrangers.

A l'issue de nos quatre premières années d'existence, nous bénéficions d'une reconnaissance nationale, puisque plusieurs ministères nous demandent des évaluations pour leurs formations (agriculture, santé, etc.), et internationale, au sein du groupement des agences européennes d'assurance qualité (ENQA).

Comment envisager l'AERES « deuxième génération » ?

En premier lieu, je pense qu'il faut évaluer « moins » pour évaluer « mieux ». Il faut simplifier les procédures et renforcer le rôle de l'auto-évaluation. Les experts effectueraient alors des audits sur des points de dysfonctionnement, ou sur des thèmes tirés au sort. Des tableaux de bord issus de l'auto-évaluation permettraient de suivre, par ailleurs, l'évolution des différents indicateurs.

Nous aurons, fin avril, le résultat d'une étude de l'impact de l'agence sur la gouvernance des universités.

En deuxième lieu, il faut renforcer le caractère discriminant de nos évaluations. Nous travaillons avec l'Observatoire des sciences et technologies (OST) pour affiner les indicateurs, notamment dans le domaine de la valorisation. Nous travaillons également à l'établissement d'indicateurs communs avec nos homologues anglais et allemands. Nous souhaiterions que ces indicateurs permettent de suivre des évolutions au cours d'une année. Beaucoup d'indicateurs, notamment ceux utilisés dans les classements d'universités, sont beaucoup trop stables pour permettre d'identifier des changements sur une période courte.

En troisième lieu, nous allons multiplier les analyses de portée générale sur des spécialités, dans une perspective de comparaisons internationales. Nous souhaiterions travailler sur des activités sociétales ou transversales comme les sciences de l'éducation, le sport, la santé publique, l'épidémiologie, l'écologie, l'énergie, pour faire progresser la recherche dans ces domaines.