Antoine Compagnon, Professeur de littérature française à l’Université Paris IV-Sorbonne, Membre du Cneser, élu de la liste " Qualité de la science française "

05/11/2003

Suivant le projet de loi de modernisation des universités actuellement en discussion, l’enseignement supérieur reste un service public et les diplômes restent nationaux, mais l’autonomie des universités, notamment pédagogique, est accrue. La tension qui résulte de ces données proprement françaises ne peut être résolue que par une évaluation permanente des universités fondée sur des principes clairs et forts. Il y va de la crédibilité de l’enseignement supérieur français dans un environnement de plus en plus européen et international.

Le maintien des diplômes nationaux a pour conséquence, non pas d’empêcher la concurrence entre les universités, mais de la rendre moins ouverte et de ralentir ses effets. Dans un système universitaire ouvertement et immédiatement concurrentiel, où l’information circule librement, l’autonomie pédagogique peut suffire à assurer la recherche de l’excellence par tous les acteurs, chacun à son niveau. En revanche, en l’absence d’une concurrence ouverte et immédiate, l’autonomie pédagogique n’incite pas nécessairement les décideurs à la responsabilité, sauf en situation d’urgence. L’autonomie à la française, afin de ne pas mettre en péril la recherche de l’excellence, doit donc être accompagnée de mécanismes propres de régulation fondés sur l’évaluation de la qualité.

Même dans un système non ouvertement concurrentiel comme en France, la différenciation des universités est un fait. Un diplôme national n’est pas un diplôme uniforme, le même partout, mais un diplôme équivalent partout, au sens où il assure une qualification minimale.

L’accréditation des diplômes – nationale et implicite en France, explicite et dépendant d’une autorité régionale ou nationale ailleurs –, accordée sur la base de critères exclusivement pédagogiques démontrant la qualité du diplôme, garantit ce standard minimal. L’habilitation des diplômes, procédure française, inexistante dans un système universitaire véritablement concurrentiel et autorégulé, doit être distinguée de l’accréditation : elle est liée à la définition de l’enseignement supérieur comme service public, et elle vise des finalités, autres que pédagogiques, de politique universitaire, territoriale, économique, sociale. L’accréditation relève de la technique disciplinaire ; l’habilitation, de la volonté politique.

Quant à l’évaluation, intervenant ex post en général, à la différence de l’accréditation et de l’habilitation, elle se propose la recherche de l’excellence, c’est-à-dire en France l’amélioration des compétences garanties par les diplômes nationaux.

En résumé, l’accréditation, impliquée par l’habilitation, vise un standard minimal pour un diplôme national ; l’évaluation vise la qualité maximale dans chaque institution différenciée.

Dans un système ouvertement concurrentiel, le fait de rendre publiques les conclusions et recommandations des agences d’évaluation peut suffire à assurer la recherche de l’excellence. Dans un service public à diplômes nationaux, si la différenciation des universités est un fait reconnu, de même que la différenciation des compétences données par un diplôme national, les effets de l’évaluation sont atténués, notamment parce qu’elle est fréquemment confondue avec l’accréditation et l’habilitation. Dans un système non ouvertement concurrentiel comme le système français, sans évaluation institutionnelle explicite, publique, aisément accessible à tous les acteurs, la différenciation tend à être assurée par des procédures parallèles, médiatiques par exemple, comme les palmarès des universités fournis par les magazines, conduisant les étudiants et leurs familles à une attitude consumériste, c’est-à-dire à faire leur marché de formation sur la base de critères approximatifs.

L’autonomie accrue des universités devrait favoriser l’émergence d’une culture de la responsabilité et de l’évaluation dans chaque établissement. Dans l’attente du développement de cette culture, une solution pour les instances d’habilitation et d’évaluation pourrait être, dans le cadre d’une accréditation minimale, de laisser faire les universités, avec la certitude que tous leurs choix, bons et mauvais, seront un jour ou l’autre sanctionnés par une différenciation accrue conduisant à l’autorégulation du système. Cependant, vu le nombre des médiations entre les décisions et leurs sanctions, vu l’opacité et l’inertie du système universitaire français, cette transition risque d’être longue et inégale. Tant que l’enseignement supérieur sera un service public financé par l’État et à caractère national, la responsabilité vis-à-vis de la nation interdit cette solution, par ailleurs inéquitable puisque plusieurs générations d’étudiants en pâtiraient avant que le système se stabilise.

L’insuffisance actuelle de la culture universitaire de la responsabilité fait, sans doute durablement, de l’évaluation par des instances nationales la contrepartie indispensable de l’autonomie accrue des universités. Toutefois, dans un contexte international de retrait de l’État dans l’évaluation des universités, et afin de consolider la culture universitaire de l’autonomie et de la responsabilité, il revient au ministère et à ses directions de distinguer nettement les missions d’accréditation, d’habilitation et d’évaluation, et de susciter le développement d’instances indépendantes d’évaluation, internes et externes, universitaires et interuniversitaires.

Plusieurs niveaux d’évaluation, interne et externe, des universités autonomes semblent nécessaires, évaluations qui devraient être plus que des recommandations et qui devraient se traduire dans les décisions (de renouvellement de programmes, de moyens budgétaires, d’organisation) :

• l’évaluation des enseignements et des formations ;
• l’évaluation des programmes et des diplômes ;
• l’évaluation de la recherche, individuelle et collective ;
• l’évaluation des institutions, de leur gestion et de leur stratégie.

Ces niveaux seront examinés tout à tour. Quelques considérations sur le nouveau contexte européen et international de l’évaluation suivront.

Dans toute évaluation des enseignements, la prémisse doit être que les enseignants enseignent bien, sans quoi ils n’auraient pas été recrutés. Et si un enseignement ne se passe pas comme il faut, cela se sait autrement que par des évaluations, lesquelles permettent de vérifier la nature du problème et de le corriger. D’autre part, l’évaluation des enseignements doit être distinguée de l’évaluation des enseignants, qui relève d’autres instances.

L’évaluation des enseignements produit de nombreux effets pervers bien connus ; elle peut inciter à la facilité et à la démagogie. Le but étant d’accroître la qualité de l’enseignement, non de l’abaisser, toute interprétation de l’évaluation des enseignements doit procéder avec prudence.

Une exploitation systématique et centralisée de l’évaluation des enseignements, comme on peut craindre qu’elle soit mise en œuvre dans un système universitaire centralisé, se révèle sans grande vérité ni efficacité. Dans des universités autonomes, l’évaluation des enseignements est d’autant plus pertinente qu’elle est exploitée au plus près des enseignements concernés, dans les composantes elles-mêmes. Il ne semble pas rentable de les faire remonter plus haut que les composantes, UFR ou départements, ou, selon le lexique LMD, mention et spécialité.

L’évaluation des formations est plus importante et plus instructive pour le pilotage de l’université. Elle porte sur un parcours menant à un diplôme, donc sur un ensemble organisé d’enseignements, sur les conditions d’accueil, d’orientation, de travail et de vie dans une composante, et sur la réussite et l’échec dans les études. Si l’évaluation des enseignements relève des composantes, l’évaluation des formations est un indicateur indispensable pour, toujours dans le lexique LMD, le domaine. Il importe qu’elle remonte à la tête de l’université.

Beaucoup plus stratégique pour la direction des universités, et très insuffisamment développée aujourd’hui, est l’évaluation, par les universités elles-mêmes, et dans la durée, des diplômes qu’elles délivrent, c’est-à-dire le suivi des anciens diplômés, de leur insertion professionnelle, de l’adaptation à leur carrière. Absente de la culture universitaire en France, comme dans beaucoup d’universités de masse mais non dans toutes, est l’attention à la population des anciens étudiants. Dans des universités autonomes (comme c’est déjà le cas pour certains diplômes professionnels), le suivi des anciens diplômés par une enquête annuelle devient un impératif stratégique : leur répartition par fonction, employeur, région, situation, contrat, salaire, suivant les promotions, doit être connue. C’est une donnée fondamentale de l’auto-évaluation de l’université, mais aussi de son évaluation nationale et internationale.

L’évaluation ex post des formations est en effet un indicateur indispensable pour le renouvellement désormais périodique de l’habilitation des formations dans un service public, où il est nécessaire de pouvoir comparer les compétences et les performances des titulaires d’un même diplôme suivant leur université d’origine. C’est de ce point de vue que la distinction entre accréditation, habilitation et évaluation devient capitale pour la bonne gestion des ressources de l’État.

Des indicateurs d’évaluation des diplômes plus fins que ceux dont on dispose actuellement doivent être mis au point. Par exemple, du côté de la recherche, le nombre de docteurs produits par une école doctorale est moins pertinent que, corrigeant par un critère de qualité une tendance à la surproduction de diplômes pour des raisons individuelles (prime d’encadrement) et institutionnelles (renouvellement des formations), le nombre de docteurs qualifiés par le CNU.

L’évaluation et l’habilitation des diplômes et des programmes pédagogiques sont en France de la responsabilité de l’État, et le fait du ministère. La séparation des phases, pour des raisons de transparence, est indispensable, ainsi que l’explicitation des procédures et des critères, à la fois scientifiques et politiques. Trop souvent, les décisions sont transmises sans les évaluations et expertises qui les ont fondées, si elles les ont fondées. Au ministère, les commissions d’évaluation des projets pédagogiques, conseils et comités relatifs aux filières professionnelles, comités de suivi des nouveaux diplômes, etc., se sont multipliés durant les années récentes, au détriment de la transparence et de la lisibilité, même pour les experts. La confidentialité des procédures et des critères dans les instances d’expertise ministérielles (par exemple MSU hier, MSTP aujourd’hui) est préjudicable à l’émergence d’une culture universitaire de la responsabilité. Le ministère doit absolument simplifier, clarifier et diffuser ses mécanismes et critères d’évaluation et d’habilitation.

L’évaluation des enseignants-chercheurs, notamment de la recherche individuelle, est aujourd’hui le fait du CNU. Elle n’a donc lieu que sur l’initiative des enseignants, lorsqu’ils demandent une qualification, une promotion ou un congé. Elle est par conséquent épisodique et non systématique, moins régulière que pour les chercheurs du CNRS et autres EPST.

Doit-elle devenir plus régulière et être systématisée ? Doit-elle rester nationale ? Nombreux sont les enseignants qui redoutent la perspective d’une modulation individuelle des services décidée dans leur université, par leur président. Le précédent de l’attribution des décharges de service en raison de charges administratives, et de l’attribution des primes de charges administratives, peut faire craindre que la modulation individuelle des services – voir les propositions d’octobre 2003 du président Belloc au ministre pour une modification du statut des enseignants-chercheurs – soit traitée confidentiellement au sein des équipes de direction. D’autre part, les universités ne sont pas, ou sont peu, en mesure d’évaluer elles-mêmes la recherche individuelle de leurs enseignants-chercheurs. Les tentatives pour mesurer objectivement la recherche individuelle et quantifier la notoriété à partir de bases de citations dans les publications scientifiques sont contestées dans la plupart des disciplines. Dans d’autres grands pays, la qualité de la recherche individuelle est normalement évaluée par la compétition, hors de l’université, pour les financements, les offres de mutation et autre formes de reconnaissance externe. Une université rétribue cette reconnaissance externe, qui se traduit dans le salaire et les services.

Le fonctionnement du CNU comme instance d’évaluation de la recherche individuelle, s’il est convenable, pourrait gagner en légitimité, c’est-à-dire en indépendance et en transparence. Notamment, la proportion des membres nommés par le ministre – un tiers aujourd’hui [un quart avant 1984] – devrait être réduite. Ces nominations – nécessaires, puisque le CNU a le statut de commission paritaire – devraient être faites sur une liste, incluant des enseignants-chercheurs non français, proposée par [...], en ayant pour finalité principale que soient représentées dans chaque section les spécialités absentes parmi les membres élus.

L’évaluation des laboratoires de recherche par le comité national du CNRS, ou par les conseils scientifiques de l’INRA et de l’INSERM, dont dépendent directement des décisions de financement, est elle aussi généralement efficace, et son objectivité n’est pas contestée.

L’évaluation de la recherche, collective et individuelle, par la direction de la recherche du ministère, et la MSU hier, la MSTP aujourd’hui (équipes et laboratoires propres des universités, habilitation des formations doctorales, primes d’encadrement doctoral, allocations de recherche...), est plus opaque que l’évaluation de la recherche individuelle par le CNU, ou que l’évaluation de la recherche collective par le CNRS et les autres organismes nationaux de recherche. L’indépendance des instances et la continuité de la procédure ne sont pas garanties par le mode de nomination des consultants et des experts. Leur nomination à la discrétion du ministre peut faire l’objet de luttes d’influence qui n’ont guère de relation avec l’expertise scientifique. La transparence et la publicité des critères d’évaluation n’est pas assurée. La MSTP gagnerait en autorité scientifique et morale à être externalisée et à prendre le statut d’agence interuniversitaire autonome, dont les membres seraient nommés sur une liste proposée par [...] et pour une durée déterminée : quatre ans par exemple, renouvelable par moitié tous les deux ans.

La question est parfois posée de l’opportunité qu’il y aurait à réunir les diverses et nombreuses instances d’évaluation des universités dans une vaste agence unique d’évaluation. Du point de vue de la promotion de la recherche, il est difficile de défendre cette solution. L’émulation de la recherche suppose que les chercheurs et les équipes puissent s’adresser à des sources variées d’évaluation et de financement. Dans d’autres grands pays, les chercheurs et les équipes mettent en concurrence plusieurs fondations et agences, privées ou publiques, pour financer un projet individuel ou collectif. Les instances d’évaluation et de financement de la recherche doivent être elles-mêmes en concurrence, sans qu’une agence unique ait le dernier mot. C’est la condition de la promotion de l’excellence et du renouvellement de la recherche.

Il est donc essentiel que l’évaluation de la recherche individuelle et collective ne soit pas interne aux universités, notamment pour l’octroi des primes de recherche ou pour la modulation des services, si ces responsabilités devaient revenir aux universités. Cette évaluation doit dépendre d’instances extérieures – par exemple d’un CNU relégitimé –, quitte, pour l’université, à doubler la mise en cas de succès au dehors, et à amplifier le financement ou la décharge.

L’évaluation institutionnelle examine, et le cas échéant accrédite, les établissements dans leur ensemble ; elle ne s’attache pas aux programmes individualisés. Dans d’autres grands pays, l’évaluation institutionnelle, menée par une agence indépendante et reconnue, conduit à une accréditation globale de l’université.

En France, l’enseignement supérieur restant un service public, l’État assure cette évaluation et garantit la qualité de l’enseignement supérieur. De multiples instances d’évaluation institutionnelle coexistent aujourd’hui : CNE, IGAENR, CNER, DPD, Hcéé, auprès du ministère ; auxquelles s’ajoutent la Cour des comptes, le Commissariat au Plan, le Parlement, etc. La situation actuelle de l’évaluation globale des universités françaises n’est pas satisfaisante pourtant. Trop d’évaluation tue l’évaluation, diluant sa lisibilité et son efficacité, d’autant plus que les conclusions et recommandations des diverses agences ne sont pas impératives, et que les responsables, dans les universités comme au ministère, s’en inspirent peu dans leurs décisions ultérieures. Même si la phase d’auto-évaluation est toujours féconde pour une institution, et si un rapport d’évaluation extérieur peut à l’occasion servir de levier à une équipe de direction pour imposer des transformations au-dedans, les évaluations institutionnelles, par exemple celles du CNE, ont un impact réduit en raison de l’indépendance des procédures de décision ministérielle par rapport aux procédures d’évaluation. Ni les universités ni la tutelle ne sont, ni ne se sentent, obligées par les conclusions et recommandations du CNE et des autres agences d’évaluation.

Dans le contexte de l’autonomie, l’évaluation institutionnelle doit d’abord être celle de l’université par elle-même, comme le recommandent toutes les agences de contrôle de la qualité, et elle doit être continue. L’évaluation institutionnelle externe, si elle est parfois prise en compte par la direction d’un établissement, a en général une incidence faible dans ses composantes. À cet égard, une recommandation urgente serait que les universités autonomes constituent chacune un comité stratégique permanent interne relatif à chaque grand domaine ou groupe de domaines LMD.

Ce comité stratégique, composé par exemple d’une douzaine d’enseignants-chercheurs (désignés par exemple par les CA et CS), procède à l’audit de toutes les composantes et formations sur un cycle de quelques années (4 à 6 ans), en passant par les phases suivantes : auto-évaluation de la composante, audit par une équipe de deux membres du comité stratégique extérieurs à la composante, visite d’experts dans la discipline de la composante et extérieurs à l’université, conclusions et recommandations du comité stratégique sur l’avenir de la composante ou formation, rapport au président, aux CA et CS, qui disposent ainsi en permanence d’un état des lieux récent de chaque composante et de recommandations stratégiques pour son développement.

Dans les universités monodisciplinaires, un seul comité stratégique suffirait. Dans les universités pluridisciplinaires, ces comités stratégiques correspondraient aux grands domaines, ou regrouperaient plusieurs domaines. L’évaluation institutionnelle est en effet d’autant plus efficace qu’elle combine une évaluation interne par des experts extérieurs à la discipline, et une évaluation externe par des experts relevant de la discipline.

À l’usage de l’établissement, mais aussi du ministère et de l’opinion, une évaluation institutionnelle doit, comme le projet de loi le prévoit, précéder tout renouvellement de contrat avec l’État. Le CNE doit donc avoir la capacité d’évaluer l’ensemble des EPSCP au cours de la période contractuelle, qui pourrait être portée à cinq ans. Dès lors qu’une culture de l’audit stratégique interne permanent sera développée dans les établissements, une évaluation externe partielle, sous la forme d’un contrôle de suivi, pourrait avoir lieu après cinq ans, et une évaluation externe exhaustive tous les dix ans.

L’évaluation institutionnelle porte sur l’ensemble de la politique d’un établissement, pédagogique et scientifique en particulier. Elle veillera spécialement, dans la gestion des ressources humaines, aux effets pervers liés à la globalisation du budget, qui peut renforcer mécaniquement le localisme au détriment de la mobilité et de l’excellence, en incitant par exemple à préférer une promotion sur place à une mutation de l’extérieur. Le ratio des recrutements à l’extérieur et des promotions sur place, mesurant la mobilité, est un bon indicateur de la recherche de l’excellence par un établissement.

D’autres indicateurs de suivi doivent accompagner, permettre d’évaluer et de piloter le passage au budget global.

Au-delà des enseignements et des formations, des diplômes et des programmes, de la recherche individuelle et collective, qui sont l’objet de l’évaluation de l’université, du ministère et des instances d’évaluation indépendantes, l’évaluation institutionnelle s’intéresse encore à la cohérence de la stratégie de l’établissement, à sa situation dans son environnement territorial et économique, à ses relations internationales. Cette évaluation institutionnelle deviendra plus efficiente lorsque les décideurs, internes et externes, s’appuyeront sur elle.

Le projet de loi en discussion vise à adapter l’université française à la Construction de l’espace européen de l’enseignement supérieur et, au-delà, à l’internationalisation de l’enseignement et de la recherche. Dans ce cadre, l’évaluation du système universitaire français doit être, à tous les niveaux et pour tous les acteurs, transparente, lisible et crédible.

La convergence des mécanismes assurant la qualité de l’enseignement supérieur est prévue par le communiqué des ministres européens réunis à Prague en 2001. Par rapport à ce but, la difficulté de la position française doit être soulignée. Plus qu’ailleurs, pour des raisons historiques, l’évaluation reste massivement sous le contrôle de l’État. L’harmonisation européenne implique que l’État gère lui-même la réduction de son rôle, au profit de la communauté universitaire nationale et internationale, représentée par une ou des agences interuniversitaires autonomes. L’évaluation conçue comme un audit par les pairs (Peer review), supervisée par des agences d’évaluation indépendantes des gouvernements, permettra à l’avenir aux établissements de répondre aux normes de qualité partagées par la communauté universitaire internationale.

Telle est la condition de la reconnaissance européenne internationale de la recherche et de l’offre de formation des universités françaises, de leur visibilité et de leur attrait dans le monde de l’enseignement supérieur et de la recherche, de la mobilité des étudiants et des enseignants.

Aux universités d’instituer des comités permanents internes d’évaluation à divers niveaux : composantes pour les enseignements et formations ; grands domaines pour les diplômes et programmes ; groupes de domaines et université pour la gestion et la stratégie.

Au ministère de rendre publiques et transparentes les procédures d’évaluation de ses experts, de distinguer nettement évaluation, accréditation et habilitation, mais en fondant ses décisions sur l’évaluation, afin d’accélérer l’émergence d’une culture de l’autonomie et de la responsabilité, c’est-à-dire de la recherche de l’excellence à tout niveau.

Si l’on ne doute pas de la différenciation du système universitaire français et de son autorégulation à long terme, la responsabilité du service public est que les évaluations aient aussi des effets à court et à moyen terme. En favorisant l’évaluation, son indépendance et sa diffusion, le rôle de l’État est de rendre plus visible la différenciation des universités afin d’accélérer la mise en œuvre de l’autorégulation du système universitaire français au moindre coût financier, social et humain.

© Antoine.Compagnon@paris4.sorbonne.fr