Navigation – Plan du site

AccueilNumérosN°3, vol. 7EnquêtesLes sciences humaines et sociales fa(…)

Les sciences humaines et sociales face aux standards d’évaluation de la qualité académique

Enquête sur les pratiques de jugement dans une agence française
The social sciences and humanities in the face of standards for quality research. A study of academic judgment in a French evaluation agency
Clémentine Gozlan

Résumés

Depuis les années 2000 en France, la régulation du domaine académique a connu d’importantes transformations. La création d’agences nationales dans le secteur [Agence nationale pour la recherche (ANR), Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES)] s’accompagne d’une importante codification des modalités d’évaluation scientifique. Si la mise en place de standards d’évaluation a suscité des débats et des polémiques, leur incidence sur les pratiques de jugement académique n’a pas encore fait l’objet d’enquêtes approfondies. À partir d’un matériau qualitatif et quantitatif, nous analysons comment les évaluateurs des disciplines de la littérature et de la géographie mobilisent un ensemble de ressources hétérogènes pour construire leur jugement et comment ils font valoir leurs normes disciplinaires dans un cadre d’évaluation particulièrement contraint. Une approche compréhensive de l’évaluation à l’AERES permet de montrer qu’elle n’est pas réductible à l’une des deux modalités de jugement – évaluation par les pairs, évaluation standardisée – parfois présentées comme antagonistes. En effet, au sein même des sciences humaines et sociales, l’appropriation de standards conçus à l’AERES permet à une partie des évaluateurs de repositionner leur discipline dans le champ académique, tandis que d’autres préservent leur professionnalisme en contournant ces critères normalisés dans leurs pratiques de jugement. En cherchant à comprendre les mécanismes par lesquels les membres des disciplines étudiées tendent à discréditer les standards de l’AERES ou à y adosser leur échelle de valeur, cet article propose une réflexion sur la façon dont ces universitaires (re)définissent la légitimité de leurs pratiques professionnelles dans un contexte de normalisation des règles de la consécration scientifique.

The social sciences and humanities in the face of standards for quality research. A study of academic judgment in a French evaluation agency

Since2000 in France, major transformations have affected the regulation of the academic field. The creation of national agencies – such as the French Evaluation Agency for Research and Higher Education (AERES) – goes along with a significant codification of academic assessment practices. If the establishment of evaluation standards has sparked debate and controversy, their impact on scientific judgment has not yet been fully investigated. Based on qualitative and quantitative data, this paper analyses how evaluators in the disciplines of literature and geography mobilise a set of heterogeneous resources to build their judgment, and how they enforce their disciplinary standards within a very constrained evaluation framework. A comprehensive approach of academic assessment in AERES shows that this assessment is not reducible to one of the two ideal types of judgment – peer review, standardized assessment – which might be presented as antagonists. Actually, within the Social Sciences and Humanities (SSH), some evaluators incorporate the AERES standards in order to reposition their discipline in the academic field, while others protect their professionalism by circumventing the standardized criteria. Analyzing the mechanisms by which the members of two disciplines tend to invalidate the Agency’s norms or conform to its value scale, this papers reflects on the way academics (re)define the legitimacy of their professional practices when the rules of scientific consecration are subject to normalization.

Haut de page

Texte intégral

  • 1 . Selon le texte de la loi qui a l’instaurée, l’AERES a été fondée pour remédier à l’éclatement des (...)
  • 2 . Tout le personnel de l’AERES est nommé par décret. Suite aux nombreuses controverses que cette ag (...)

1Avec la création de l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES) en 20071, les conditions d’exercice du jugement académique ont connu une codification sans précédent en France. En effet, si l’organisation de l’évaluation reste confiée à des membres de la profession académique2, les évaluateurs doivent respecter dans leurs pratiques un ensemble de directives formalisées au niveau national, qui déterminent tant la conduite de l’expertise que les critères d’évaluation qui comptent.

2La mise en place d’outils de rationalisation des pratiques professionnelles est parfois traitée comme le signe d’une dépossession des « pairs » dans l’exercice de leur compétence et d’une colonisation de leur juridiction par des « experts » (Vilkas, 2009). Dans d’autres domaines, plusieurs travaux ont appelé à repenser l’opposition entre un mode de gouvernement collégial et un autre de type bureaucratique ou managérial (Lazega & Wattebled, 2010 ; Bezes & Demazière, 2011 ; Evetts, 2011). C’est dans le prolongement de ces travaux que s’inscrit cet article. En effet, plutôt que de postuler que les standards et les indicateurs de l’AERES sont porteurs de théories incompatibles avec l’échelle de valeur des professionnels, notre démarche consiste à repartir des acteurs de l’évaluation et de leur activité de jugement dans cette agence, pour comprendre à quelles conditions certains d’entre eux se saisissent de principes de classification qui peuvent entrer en dissonance avec leurs pratiques et leurs conceptions de la qualité en recherche.

3Certaines enquêtes ont décrypté, en amont de la pratique du jugement, la construction d’instruments de classement de la production scientifique (Pontille & Torny, 2010, 2012), et en aval, d’autres ont étudié les effets des standards sur les pratiques des acteurs auxquels ils s’adressent (Espeland & Sauder, 2007 ; Lee, 2007). En revanche, peu d’études empiriques prennent pour objet les pratiques d’expertise professionnelles elles‑mêmes dans des institutions dont l’une des missions centrales est de les normaliser et de les codifier.

4En effet, dans les travaux pionniers sur les pratiques de jugement dans le monde scientifique (Merton, 1973 [1942] ; Cole & Cole, 1973 ; Cole et al., 1977), il est d’abord fait peu cas des dispositifs qui encadrent la mise en œuvre de l’évaluation, les auteurs se consacrant à décrypter les mécanismes de validation internes aux disciplines. Plusieurs auteurs ont montré que les pratiques d’évaluation étaient tributaires du degré de consensus interne à une communauté de chercheurs sur ce qui fonde la validité d’un résultat de recherche (Barber, 1961 ; Zuckerman & Merton, 1971). Plus récemment, des études ont questionné les « styles épistémologiques » prédominants dans l’expertise de projets de recherche (Lamont, 2009 ; Mallard etal., 2009 ; Guetzkow et al., 2004). Ces enquêtes ont alors mis en avant le poids des cultures disciplinaires et nationales des experts dans l’explication des différences d’appréciation sur ces projets. Ainsi centrés sur les déterminants cognitifs de l’activité de jugement et l’étude des préférences axiologiques des évaluateurs, ces travaux traitent le processus de l’allocation du mérite et de la valeur académique comme le produit d’un travail conduit dans l’entre‑soi des pairs, qui repose sur la mobilisation de normes indigènes communes aux professionnels. Cette approche du jugement est peu sensible au contexte spécifique dans lequel elle se déroule et aux outils dont disposent les évaluateurs, dont il a bien été montré qu’ils avaient une forte incidence sur la définition du « bon » candidat (Musselin, 2005 ; Eymard‑Duvernay & Marchal, 1997) ou du « bon » projet de recherche (Langfeldt, 2001).

5Analyser les ressorts du jugement professionnel dans un contexte où il est massivement équipé par des standards nous permet alors de dépasser une analyse trop endogène de l’expertise – dont le résultat serait en définitive le produit de l’« intime conviction » des professionnels, de leurs représentations idiosyncrasiques et disciplinaires –, pour comprendre à quelles conditions des universitaires réfractent des logiques de standardisation exogènes à leur milieu, ou au contraire, parviennent à justifier qu’ils les contournent dans leurs pratiques évaluatives.

6Enfin, d’autres travaux ont réfléchi, d’un point de vue conceptuel, à la porosité entre les différents régimes d’évaluation, pour dépasser la dichotomie entre évaluation collégiale et évaluation par indicateurs (Louvel & Lange, 2010 ; Donovan, 2007), mais ils délaissent la question de la pratique évaluative au concret. Leur démarche idéale‑typique questionne peu la façon dont des professionnels mobilisent ces standards dans leurs opérations d’allocation de la valeur, quels usages ils font des outils d’objectivation qui sont mis à leur disposition pour fonder leur jugement sur la qualité des travaux de leurs collègues.

  • 3 . Ce premier constat s’inscrit dans la lignée des analyses de Michèle Lamont (2009) qui montrait qu (...)

7Notre enquête montre que les standards de l’AERES font l’objet d’appropriations variées de la part des évaluateurs. Leur propension à s’en emparer est d’abord différenciée en fonction de leur discipline d’appartenance3. La variation s’expliquerait par l’organisation du travail académique existant dans la discipline, qui correspondrait plus ou moins aux standards énoncés par les membres de la communauté scientifique qui travaillent à l’AERES. Mais une analyse plus approfondie révèle que c’est également en fonction de la position dans le monde académique et du type de légitimité que les acteurs cherchent à donner à leur discipline qu’il convient de comprendre leur emploi ou inversement, le discrédit qu’ils jettent sur les standards que leur dispense une agence centrale d’évaluation.

Le dispositif d’enquête

  • 4 . Dans Homo Academicus (1984), Pierre Bourdieu plaçait la littérature en haut de l’échelle du prest (...)

Notre réflexion prend pour objet le travail d’évaluation de la production scientifique des laboratoires de recherche, dans les disciplines de la littérature et de la géographie, à l’AERES. Comparer des disciplines qui appartiennent toutes deux aux sciences humaines et sociales (SHS) – supposées rétives à une standardisation formelle en raison de la nature du savoir qu’elles produisent (Becher & Trowler, 2001 [1989]), mais qui occupent des positions opposées dans le champ scientifique4 (Bourdieu, 1984), nous permet d’abord de resituer des lignes de fracture internes aux sciences humaines et sociales : les membres de ces disciplines ne partagent pas nécessairement un même système axiologique et un même rapport aux normes énoncées par l’AERES.

  • 5 . Ces données ont été recueillies dans le cadre de ma recherche de doctorat, qui interroge la const (...)
  • 6 . C’est par le terme d’« experts » qu’ils sont désignés dans la documentation de l’agence. Celui‑ci (...)
  • 7 . Les délégués scientifiques en SHS sont très majoritairement des professeurs des universités en ac (...)

Pour comprendre comment les standards d’évaluation de l’AERES affectent leurs pratiques de jugement académique, l’enquête combine quatre types de sources différentes5. Elle s’appuie principalement sur 54 entretiens semi‑directifs, d’une durée moyenne d’une heure et demi, réalisés avec différents membres intervenant pour l’AERES (20 entretiens avec des évaluateurs6 en SHS, 31 avec des délégués scientifiques7 du domaine des SHS, 3 avec différents directeurs de la section d’évaluation des laboratoires de recherche à l’AERES). Ces entretiens ont porté sur leur définition de la qualité du travail académique, sur la façon dont ils exercent ou encadrent, concrètement, la pratique du jugement à l’AERES, mais également comment ils se la représentent. Pour saisir la critériologie des évaluateurs une fois leur jugement mis en forme et repérer les divergences ou les convergences dans leur échelle de valeur, j’ai construit une base de données à partir des critères de jugement employés dans un échantillon de 54 rapports d’évaluation AERES, également répartis en géographie et en littérature. J’utilise par ailleurs des sources écrites produites par des membres des deux disciplines, à savoir des documents d’archives et des textes disponibles sur internet, pour objectiver leurs prises de positions et la position de leur discipline dans l’espace académique. J’ai enfin assisté à un comité de visite AERES en 2014, dans une équipe de littérature d’une université de la région parisienne. Si cette observation ethnographique constitue un éclairage du processus concret de production du jugement, son caractère isolé ne permet pas de la considérer comme représentative. Elle est mobilisée à titre illustratif pour compléter le faisceau de données analysées dans cet article.

  • 8 . Bien que le contenu de l’article n’engage que son auteure, c’est grâce à de nombreux conseils et (...)

8Nous montrons d’abord qu’au sein même d’une institution dont les membres œuvrent à circonscrire la définition d’un travail scientifique « de qualité », la normalisation du jugement reste inachevée : les évaluateurs ne délèguent pas leur compétence à des indicateurs qui fonctionneraient comme des « pilotes invisibles » (Lorrain, 2004) du jugement. Néanmoins, les évaluateurs des deux disciplines étudiées ont des stratégies distinctes d’appropriation de ces outils. Alors qu’une majorité des littéraires s’emploient à discréditer les repères que l’AERES met à leur disposition, en revendiquant, à la manière des experts d’art (Heinich, 1997 ; Bessy & Chateauraynaud, 1993), le caractère ésotérique de leur pratique professionnelle, les géographes font au contraire un usage beaucoup plus systématique des outils d’objectivation du jugement produits par l’agence. C’est en nous intéressant au projet réformateur qu’ils nourrissent pour leur domaine que nous pouvons comprendre leur recours variable aux standards dans leurs pratiques évaluatives8.

Des outils de mesure qui ne supplantent pas l’activité de jugement académique

  • 9 . Ces critères ne sont pas définis au sein des différents comités, comme c’est le cas dans d’autres (...)
  • 10 . Les dénominations ont changé. Le terme choisi a été, selon les années, celui de « publiant », de (...)

9Depuis sa création, l’AERES se caractérise par l’intense activité de production normative dans laquelle ses membres s’engagent. Ceux‑ci définissent des critères d’évaluation en amont9 du 10processus évaluatif et fournissent à tous les évaluateurs, quel que soit leur domaine scientifique d’appartenance, des outils de mesure de la productivité des laboratoires de recherche. Notre enquête montre que l’activité de jugement à l’AERES n’est pas réductible à un remplissage d’indicateurs. Au contraire, les évaluateurs expriment leur scepticisme, tant dans leur discours que dans leurs pratiques d’évaluation, vis‑à‑vis de leur pertinence pour étayer leur appréciation de la qualité académique.

  • 11 . D’autres indicateurs sont prévus par l’AERES (par exemple, l’impact factor des revues dans lesque (...)
  • 12 . La notation des laboratoires (A+, A, B ou C) faisait l’objet de délibérations entre les président (...)

10Le seul indicateur réellement formalisé concernant la production scientifique est celui du « taux de publiants10 » des laboratoires. Ce taux, qui doit obligatoirement figurer11 dans tous les rapports de l’AERES, est calculé par les évaluateurs. Il indique la proportion des membres du centre de recherche dont la production académique satisfait un seuil fixé par l’agence et doit leur permettre de faire le tri entre les publications produites par les membres du laboratoire pour déterminer leur niveau global. Nous ne proposons pas de renseigner la fabrique de critères et d’indicateurs d’évaluation de la recherche, dont nous avons montré ailleurs qu’elle était conflictuelle (Gozlan, 2015), ni de contribuer aux débats sur les conséquences symboliques et matérielles du comptage de l’activité scientifique sur les pratiques de recherche, déjà bien étudiées dans la littérature (Sauder & Lancaster, 2006 ; Lee, 2007). Nous cherchons plutôt à savoir dans quelle mesure des outils standardisés circonscrivent la définition de ce qu’est un travail de recherche de qualité, et d’abord, dans quelle mesure les évaluateurs indexent leur appréciation de la qualité académique sur le dénombrement des publications prévu par l’AERES. Pour comprendre dans quelle mesure ce type d’outil équipe le jugement des évaluateurs lorsqu’ils doivent déterminer la qualité du travail produit par l’équipe de recherche qu’ils évaluent, observons la relation entre les taux de publiants recensés dans notre échantillon de rapports d’évaluation en littérature et en géographie et les notes que ces équipes ont obtenues au critère « Production scientifique12 » – cette note pouvant être considérée comme un rendu synthétique de l’avis des experts sur la qualité, à proprement parler, du travail des chercheurs évalués collectivement. Le graphique de la figure 1 synthétise la distribution des notes en fonction des taux de publiants, dans notre échantillon de rapports AERES.

Figure 1 : Distribution des notes obtenues en fonction des taux de publiants*

Figure 1 : Distribution des notes obtenues en fonction des taux de publiants*

* Les figures et les tableaux ont été construits à partir d’informations contenues dans les rapports AERES, qui sont des documents publics.

Exemple de lecture : trois des laboratoires qui ont obtenu A+ au critère « production académique » ont un taux de publiants compris entre 45 % et 79 %.

11En observant le graphique de la figure 1, nous remarquons que la corrélation entre les taux de publiants et la note obtenue est relativement ténue. Certes, une équipe n’a jamais obtenu un B avec un taux de publiants inférieur à 90 %, dans notre échantillon. En revanche, un taux de 100 % de publiants ne donne pas automatiquement droit à un A+ : quatre des laboratoires ayant obtenu un A ont un taux de publiant de 100 %. Réciproquement, un taux de publiants inférieur à 80 % n’est pas discriminant pour l’obtention d’un A+ (y compris pour une équipe dont le taux était de 54 %). Ainsi, l’appréciation de ce qui fonde la qualité des travaux d’une équipe n’est pas automatiquement adossée sur le remplissage de cet indicateur. Dans les deux disciplines étudiées, le jugement sur la qualité du travail académique conduit par l’équipe n’apparaît pas comme la traduction mécanique d’un seuil quantifié fixé en amont, sur lequel les évaluateurs s’adosseraient pour rendre justifiable (et justiciable) leur jugement.

12S’il arrive que la détermination de la quantité et celle de la qualité se recoupent, leurs appréciations font l’objet d’opérations de jugement disjointes. Cet échange avec un interviewé illustre l’usage plastique qui peut être fait du comptage dans l’activité évaluative :

Question : Pour évaluer vous aviez des seuils implicites, « avec tant de publications on met un A », par exemple ?

Président de comité 1, littérature : Non. Bien sûr l’activité compte. […] Mais il peut y avoir l’inverse, il peut y avoir la situation où vous voyez qu’ils publient énormément mais de façon désordonnée, hâtive, et vous pouvez leur dire : « calmez‑vous, publiez un peu moins et réfléchissez plus ». […] C’est sûr que la quantité joue un peu parce que si je dis : « je vais écrire un article génial dans toute ma vie, mais un seul article », même s’il est génial on pourra vous dire : « tu n’as pas beaucoup bossé ». Mais ce qui compte c’est quand même qu’il soit génial ou pas.

  • 13 . Plusieurs travaux soulignent le fait que la production de repères quantifiés permet d’assurer la (...)

13Dans une agence qui rend publique l’évaluation de tous les laboratoires de recherche française, remplir des indicateurs est considéré par ses responsables comme un gage d’équité13 dans le traitement des laboratoires de recherche, comme plusieurs enquêtés le soulignent en entretien. Les indicateurs peuvent ainsi faire office de garde‑fou contre l’arbitraire des jugements idiosyncrasiques, et remplacer une évaluation à dire d’expert en fournissant des repères stabilisés qui peuvent être échangés dans l’argumentation sur la qualité académique. Pourtant, dans les disciplines étudiées, nous n’observons pas de mise en automaticité du jugement : les évaluateurs qui travaillent à l’AERES déconstruisent l’équivalence entre quantité et qualité scientifique et insistent sur le désajustement entre la recension des productions, d’un coté, et l’appréciation de leur valeur, d’autre part. Les dirigeants de l’agence reconnaissent volontiers le décalage entre la qualité de la recherche académique à proprement parler et l’instauration de normes quantifiées de publications :

Si vous mettez en place une évaluation quantitative, ça n’améliore pas forcément la science que vous faites, mais ça force les gens à publier dans les bonnes revues, c’est‑à‑dire que c’est un facteur incitatif (entretien, directeur de la section des laboratoires, AERES, physique).

14Les outils de jugement façonnés par l’AERES sont néanmoins porteurs de discours réformateurs sur les bonnes pratiques de recherche, discours auxquels les évaluateurs peuvent ne pas accorder crédit. En effet, ils adoptent souvent une attitude de défiance envers les outils de mesure qui leur sont prodigués à l’AERES, ou du moins, soulignent le caractère très incomplet de la certitude qu’ils sont supposés leur prodiguer dans la conduite du jugement :

Les indicateurs, ça permet une sorte de pré‑cadrage, on voit tout de suite quand même dans quelle catégorie on joue, si on prend une image sportive, ça ce sont les indicateurs qui le donnent, mais ça ne suffit pas, […] je ne pense pas que ce soit automatisable, […] car je crois qu’on risque de passer à côté du vrai diagnostic : on aura un cadrage, on saura quand même que tel labo joue dans la cour des grands et tel autre plus dans la cour des petits, mais on ne détectera pas que tel labo est fragile, ou que c’est celui qui va compter dans dix ans, et si on n’a pas ça, on passe un petit peu à côté de notre mission d’évaluateur (entretien, délégué scientifique 2, géographie).

15L’incertitude quant à la qualité de la production académique n’est pas réglée par la mise en œuvre de dispositifs standardisés, susceptibles de fournir des repères communs aux participants à l’action (Conein et al., 1993) ou à l’échange comme dans certains marchés (Dubuisson‑Quellier & Neville, 2003). L’appui sur des ressources partagées et codifiées peut compromettre le travail de discernement que les évaluateurs placent au cœur de la définition de leur activité, comme le souligne un enquêté :

Au bout de trois ans, moi j’ai bien vu que les dossiers [d’autoévaluation des laboratoires] […] étaient tous formatés. Les gens savaient faire : il fallait tant de sucre, tant de farine, tant de lait, tant d’œufs, un petit peu de vanille et on vous fait un gâteau. Et vous n’y voyez que du feu. Mais pour savoir si on nous mène en bateau, ou si c’est bien, alors pour cela je suis désolé, il n’y a pas de critères objectifs » (entretien, délégué scientifique 3, histoire).

16Cet extrait met en évidence la réflexivité des enquêtés sur le caractère pernicieux des outils de repérage standardisés que l’AERES leur met à disposition. Lorsque leurs collègues s’en emparent, ces outils perdent leur caractère discriminant, ce qui justifie, aux yeux des enquêtés, leur mise à l’écart dans le processus évaluatif et l’appui sur d’autres ressources pour construire leur jugement.

17Analyser le processus de jugement à l’AERES nous a permis de montrer qu’alors même que le contexte spécifique de l’évaluation pourrait supposer la mise en œuvre mécanique d’outils de mesure – forte contrainte de justification due à la publication des rapports d’évaluation, prolifération d’outils de mesure indirecte de la qualité académique –, nous observons une dichotomie entre, d’une part, les tentatives de rationalisation du jugement inscrites dans les outils de repérage standardisés de l’AERES et, d’autre part, les ressources effectives que les évaluateurs peuvent mobiliser pour fonder leur jugement.

18Quel que soit le domaine considéré en SHS, les interviewés considèrent que leur activité de jugement doit, pour reprendre la formule de l’un d’entre eux, surmonter :

Cette espèce de béance entre la réflexion intellectuelle, que requiert notre métier, et la mise en application de critères d’évaluation qui, d’un seul coup, nous fait passer dans un monde radicalement différent où l’intelligence n’est plus requise (entretien, délégué scientifique 4, linguistique).

19Alors que les dispositifs qui équipent les activités sociales agissent parfois comme les « déclencheurs automatiques [automatic triggers] » (Weaver, 1989) des décisions, dans notre cas, les évaluateurs peuvent mettre à distance ces outils d’objectivation du jugement pour fonder en connaissance de cause leur évaluation. Les universitaires, comme d’autres groupes professionnels, détiennent des compétences et des savoirs complexes qui ne se laissent pas facilement enfermer dans des indicateurs formels (Freidson, 1984 ; Mintzberg, 1982). Dans notre cas, ce que les enquêtés présentent comme le cœur de leur métier, la production académique, résiste le plus à une mise aux normes et à des formes de standardisation. Pour les membres des deux disciplines étudiées, l’appréciation de la solidité, de l’originalité, de la qualité des recherches déborde largement l’analyse quantitative des publications.

20Cela ne signifie pas pour autant qu’ils ne font aucun usage des standards de l’AERES. Nous montrons au contraire que les pratiques de jugement et la mobilisation de ces standards varient selon les disciplines. Analysons d’abord comment les littéraires justifient l’emploi d’une critériologie alternative à celle de l’AERES dans leurs pratiques d’évaluation de la qualité scientifique.

« La qualité académique, ça saute aux yeux » : les stratégies de confinement professionnel du jugement

21Au‑delà des pratiques de décompte qu’ils instituent, les membres de l’AERES produisent des principes de classements qui délimitent les pratiques de recherche à encourager et à proscrire. Nous nous intéressons ici à l’étendue du pouvoir normatif de ces outils de classification sur l’axiologie des évaluateurs du domaine de la littérature. En étudiant les critères qu’ils emploient dans les rapports d’évaluation, nous montrons que certains d’entre eux sont employés à la marge, pour réformer certaines pratiques de publication scientifique. Mais la standardisation des « bonnes » pratiques de publication et des critères du jugement qu’ils emploient est loin d’être totale. Généralement, les évaluateurs de la discipline considèrent les critères de l’AERES comme impropres à équiper leur jugement. Prendre au sérieux la façon dont les évaluateurs discréditent les standards de l’AERES permet de montrer comment ils construisent et cherchent à préserver leur juridiction professionnelle de l’emprise d’une axiologie à laquelle ils n’accordent pas nécessairement de crédit.

Une appropriation marginale des standards en littérature

  • 14 . L’annexe électronique méthodologique présente notre démarche de construction et d’analyse de cett (...)

22Commençons par observer comment les évaluateurs s’expriment, dans les rapports d’évaluation14, au sujet de la production scientifique, pour saisir dans quelle mesure ils s’approprient l’axiologie inscrite dans les catégories de l’AERES.

23Le tableau 1 offre une vision synthétique de l’usage des catégories de jugement des évaluateurs pour apprécier la qualité du travail scientifique fourni par les équipes évaluées. Pour chacune d’entre elles, nous avons indiqué son nombre total d’occurrences dans l’échantillon, ainsi que la part de ces occurrences dans les rapports en littérature.

Tableau 1. Critériologie des évaluateurs en littérature

Catégories majoritairement présentes dans les rapports en littérature

• Points forts

– Présence de supports de diffusions de l’unité (revues ou collection de l’unité)

6 occurrences, dont 100 % en littérature

• Points à améliorer et recommandations

– Améliorer la politique éditoriale de l’unité (mettre en place un comité de rédaction, un comité scientifique, en partie externes à l’établissement)

5 occurrences, dont 80 % en littérature

– Publier hors des revues/collections de l’université/unité

8 occurrences, dont 75 % en littérature

24Si nous cherchons d’abord à caractériser le type d’incitations contenues dans les rapports, nous observons qu’elles mettent en œuvre une définition procédurale de la qualité académique. Les recommandations ne concernent pas la définition du contenu de la recherche, à proprement parler, mais celle des canaux légitimes de production académique. Ce résultat prolonge ainsi l’analyse présentée dans la première section, selon laquelle l’AERES n’est pas le lieu central où se décrète ce qui fonde la qualité d’une production académique, au sens substantiel. Il contraste avec certaines études menées en Grande‑Bretagne sur la discipline de l’économie, qui montraient que l’instance d’évaluation de la recherche nationale avait réformé non seulement les lieux et les pratiques de publications des chercheurs, mais également redéfini l’approche et le contenu légitime de la recherche, en favorisant les publications dites « orthodoxes » au détriment des autres approches théoriques et méthodologiques du domaine (Lee, 2007). À l’AERES, à l’inverse, nous ne pouvons inférer des recommandations qu’elle rend publiques une vision dominante du type de méthode d’analyse légitime en recherche. Les évaluateurs peuvent cependant se saisir de leurs positions dans l’agence pour promouvoir des réformes indirectes sur la production académique. C’est ainsi que nous pouvons comprendre l’usage de la catégorie qui préconise de doter les maisons d’éditions ou les revues des équipes de recherche de procédures d’évaluation et de sélection plus systématiques des travaux qu’elles reçoivent. Cette recommandation se situe au niveau de la méta‑évaluation : elle ne vise pas à orienter directement le comportement des chercheurs eux‑mêmes, autrement dit, elle ne s’adresse pas aux producteurs du savoir, en les appelant à publier davantage par exemple, ou dans des revues labellisées. Elle concerne les modalités même de fonctionnement et de validation scientifique qui ont cours dans les revues et les collections académiques où sont entérinés les résultats des travaux de recherche.

25La deuxième recommandation propre au domaine de la littérature (elle apparaît trois fois plus que dans les rapports en géographie, toutes choses égales par ailleurs) est celle de publier hors des revues de l’université ou du laboratoire. Les évaluateurs qui formulent cette recommandation reprennent ainsi le soupçon que font peser une partie des dirigeants de l’AERES sur la pratique d’« auto‑publication », via les canaux de diffusion « maison », ou « locaux» pour reprendre leur terminologie. Selon leurs discours, ce type de production ne serait pas soumis à une évaluation suffisante pour en assurer la validité scientifique :

Le propre des SHS, c’est qu’on peut publier dans n’importe quoi. Si vous publiez dans la revue de votre université, ça ne garantit pas du tout que ce que vous publiez soit de qualité […], il n’y a pas de jugement externe (entretien, directeur de la section des laboratoires de recherche, AERES, physique).

26Il convient de remarquer que ces recommandations sont loin d’être omniprésentes dans les rapports de l’AERES en littérature. En effet, la mention, positive ou négative, de critères concernant la production académique n’est pas centrale dans les rubriques considérées. Près de 40 % des rapports en littérature n’évoquent aucun « point fort » concernant la production scientifique de l’unité de recherche, et ce taux atteint 60 %, soit plus de la moitié des rapports d’évaluation de l’échantillon en littérature, concernant les « points à améliorer et les recommandations ». Ainsi, les appréciations relatives à la qualité scientifique et aux moyens de l’améliorer sont paradoxalement discrètes au sein d’une agence nationale d’évaluation de la recherche, dans le domaine de la littérature.

27Notons enfin que le stigmate porté sur le caractère endogame des productions de recherche en littérature se trouve en opposition avec la mention de l’existence d’une revue propre à l’équipe de recherche comme « point fort ». Cette incohérence entre la valorisation de la présence de revues animées par les membres du laboratoire et l’incitation à publier ailleurs que dans ces revues, témoigne de l’oscillation entre le respect de la structuration existante du domaine académique et des incitations à une réforme des pratiques et des lieux de diffusion du savoir. Le bien‑fondé de cette injonction est loin d’être revendiqué par l’ensemble des évaluateurs. Certains d’entre eux lui opposent des arguments sur la façon dont la production du savoir est organisée dans leur discipline, afin d’ôter ainsi toute validité à une norme formelle de jugement sur la qualité académique :

Il y a une sorte de zèle de certains de nos collègues qui disent : « on remarque que la plupart de vos colloques ou ouvrages collectifs vous les publiez aux presses de [votre université]. Pourquoi ? » Alors là je n’ai pas compris tout de suite […] Quel était le sens véritable, […] c’était l’idée que c’était une solution facile et qu’il aurait été plus difficile de publier ailleurs que dans notre université. Alors si vous connaissez la situation de l’édition en littérature, la remarque est absurde. Et la dame qui l’a faite a toutes les données pour savoir qu’elle est absurde, […] en tant que spécialiste de littérature, elle avait toutes les compétences pour dire si c’était bon ou mauvais (président de comité 1, littérature).

  • 15 . « Proposition pour l’interprétation de l’échelle de notation multicritères », Rapport d’activité (...)
  • 16 . Les actes de colloques ne figurent ainsi pas dans la liste, bien qu’ils constituent une importanc (...)

28Peu d’enquêtés en littérature adhèrent à la croyance selon laquelle il est possible de trouver des éléments d’objectivation de la qualité académique. La plupart d’entre eux font part, en entretien, de leurs doutes quant à la légitimité d’outils formels permettant d’entériner la valeur d’une publication en littérature. La faiblesse du consensus sur le type de repères pertinents pour décréter la valeur des publications permet de comprendre que l’échelle de valeur prescrite par l’AERES soit relativement, voire totalement contournée dans les rapports d’évaluation en littérature. En effet, alors que l’AERES préconise explicitement, quel que soit le domaine disciplinaire, que pour obtenir un A+ dans le critère « production académique », « la production de cette unité [doit être] au meilleur niveau international », la note A sanctionnant une production « excellente dans le paysage national, [...] bien visible au niveau international15 », ces deux notes ont été mises dans les rapports de littérature sans référence explicite au niveau international de la production académique. De même, tandis que le document intitulé « Critères d’identification des chercheurs et enseignants‑chercheurs “publiants” », publié et actualisé depuis 2007, place au premier chef des publications qui comptent les articles dans des revues internationales à comité de lecture, bien distinctes des autres types de production16, l’étude des critères employés (ou qui brillent au contraire par leur absence) montre que les évaluateurs peuvent révoquer les principes de classements officialisés par l’agence, lorsqu’ils estiment devoir mobiliser d’autres ressources de jugement pour exercer en connaissance de cause leur jugement. Explorons à présent la façon dont les évaluateurs du domaine conduisent et (se) représentent leur activité d’évaluation académique, pour comprendre comme ils légitiment l’emploi d’une critériologie alternative à celle que prescrit cette agence nationale d’évaluation.

Construire le caractère inobjectivable de la qualité académique pour préserver une juridiction professionnelle

  • 17 . La procédure d’évaluation des unités de recherche prévoit un déroulement standard, qui a sensible (...)
  • 18 . Ils ont principalement échangé leurs points de vue sur l’organisation et le fonctionnement de l’é (...)
  • 19 . La prise de note a été aussi exhaustive que possible.

29Pour comprendre comment les évaluateurs du domaine fondent leur jugement sur la qualité scientifique à l’AERES, reprenons les arguments échangés lors d’un comité de visite17, auquel j’ai pu assister dans le cadre de mon enquête. Il a été surprenant de constater que, lors de leur premier huis-clos, les évaluateurs n’ont émis aucun commentaire relatif à la production scientifique de l’équipe expertisée18. Lors du second huis clos, les discussions sur le remplissage du critère « Production académique » ont été relativement brèves (une petite dizaine de minutes) sur l’heure et demi consacrée à produire la trame du rapport. Transcrivons l’échange relatif à ce sujet19 :

Président : Alors, « appréciation sur la production et la qualité scientifique ». Je trouve que c’est particulièrement remarquable.

Expert 1 et expert 2 (à l’unisson) : Oui !

Expert 1 : J’avais déjà mis un A+.

Expert 2 : Oui moi aussi.

Délégué : Bon, c’est l’assentiment général. […] Si vous avez le A+ en tête, maintenant, vous le justifiez, parce que A+ signifie que c’est bien mais qu’il y a quelque chose en plus…

Expert 1 : … Il y a quelques pointures.

Président : Eh bien voilà, ce sont des pointures !

Délégué : Alors les supports de publication, ils animent une revue. […] Il faudra insister sur les points saillants, c’est‑à‑dire les domaines où ils sont particulièrement visibles. On souligne les éléments. Vous avez noté quoi ?

Président : J’ai noté ça en style télégraphique : la présence de grosses pointures, l’attirance réelle au niveau des doctorants…

Délégué : Oui.

Président : Des domaines d’excellence, à savoir (domaines X et Y ).

Délégué : Et le volume.

Président : Un volume de production, adossé sur des stat’ précises que nous avons.

Délégué : Et une revue

Président : oui une revue

(L’expert 1, puis l’expert 2, ajoutent chacun un autre « domaine d’excellence » à la liste)

Délégué : Bon, ils publient pas mal, hein.

  • 20 . Dans le cas observé, le délégué connaissait deux des évaluateurs, les évaluateurs ne se connaissa (...)

Président : Nous sommes d’accord. On passe au point 2 (carnet d’observation, huis‑clos final20 du comité de visite AERES d’une équipe en littérature, 2014).

30S’il n’a pas vocation à représenter l’ensemble des discussions possibles sur la production académique à l’AERES, cet échange est particulièrement heuristique : il met en évidence les opérations successives et, en quelque sorte, parallèles, qui aboutissent à la mise en forme du jugement dans cette instance. Il est d’abord remarquable de constater que le niveau de qualité de la production scientifique de l’équipe a fait l’objet d’un consensus spontané entre les trois évaluateurs, sans nécessiter l’appui sur des repères partagés qu’ils échangeraient verbalement. C’est seulement dans un deuxième temps qu’ils sont amenés à légitimer leur jugement, de sorte à le rendre conforme aux impératifs de l’AERES tels que se les représente le délégué de l’agence présent lors de l’échange – objectiver le jugement en trouvant des arguments susceptibles d’être rendus publics, tels que le « volume de publications », qui intervient très brièvement à la fin de l’échange. Nous notons ainsi le caractère auxiliaire d’éléments d’objectivation du jugement dans la construction de l’évaluation. Ce n’est pas en employant des standards échangeables qu’ils produisent leur expertise. Ceux‑ci interviennent après‑coup et constituent, plutôt que de réels équipements du jugement, des éléments permettant sa justification publique a posteriori.

  • 21 . Pour une analyse approfondie de la fabrique de ces outils de classements, voir notamment Pontille (...)

31Revenons sur le premier moment de l’expression du jugement. L’accord semble s’être produit de façon immédiate, dans les deux sens de la promptitude et de l’absence de médiation argumentative pour étayer leur jugement. En effet, celui‑ci fait d’abord l’objet d’une très faible objectivation de la part des évaluateurs. Interviewés individuellement suite à la visite, ils considèrent que la facilité de l’accord provient du fait, comme le résume l’un d’entre eux, que la « qualité académique, ça saute aux yeux » (président de comité 8, littérature). La majorité des enquêtés du domaine de la littérature se rejoignent sur le fait que la détermination du niveau de la qualité relève d’une forme d’évidence, de transparence immédiate à l’œil de l’expert. Ainsi, à l’inverse des cas où le jugement se forme dans l’action ou dans l’interaction entre les participants (bien étudiés notamment par Lamont, 2009 et Eymard‑Duvernay & Marchal, 1997), le jugement des évaluateurs en littérature semble être préalable à l’échange, la qualité du travail de l’équipe existe en quelque sorte dans l’œil des évaluateurs, non seulement antérieurement à la situation de jugement à l’AERES, mais parfois même à rebours des outils d’évaluation qu’elle fournit. En littérature, ce ne sont pas seulement les pratiques de comptage du nombre des publications qui sont discréditées par les évaluateurs. Ils affichent parfois leur scepticisme quant à toute autre forme de repérage automatique de la qualité scientifique, au moyen de listes de revues21, par exemple :

Un article qui est une courge bouillie dans une revue qui a pignon sur rue, où l’article a été en fait pris parce que… eh bien parce qu’on ne peut pas dire « non » à tel ou tel collègue, mais ça peut être un article très mauvais ! (président de comité 5, littérature).

32Ainsi, au sein d’une instance qui préconise l’emploi d’indicateurs pour décréter la qualité académique, dégageant l’évaluation de toute considération idiosyncrasique ou partiale et assurant son caractère objectif, ce n’est pas en cherchant des repères communs ou communicables que les évaluateurs en littérature rendent acceptable leur jugement. Ils doivent parfois les contourner ou s’en émanciper pour accéder à une vision juste du travail de l’équipe qu’ils expertisent. Comme les experts d’art (Bessy & Chateauraynaud, 1995), qui ne peuvent discerner le « faux » du « vrai » objet d’art en prenant exclusivement appui sur un appareil de normes et de repères objectivables, les évaluateurs peuvent révoquer ces prises standardisées – tel que la quantité des publications ou leur médiatisation – lorsqu’ils les estiment inaptes à rendre compte de la valeur du travail académique effectué. Ils doivent alors s’appuyer sur d’autres ressources, et au premier chef, sur leur connaissance professionnelle du travail effectué par leurs collègues.

33En effet, loin de faire appel à des définitions objectivées d’un « bon » travail de recherche, les membres des comités mobilisent leurs principes de hiérarchisation indigènes, indexé sur leur connaissance du métier. Les évaluateurs construisent leur appartenance disciplinaire comme rempart contre une standardisation du jugement. Pour une partie des enquêtés en littérature, le système objectiviste de l’agence, qui assoit entre autres l’évaluation de la production scientifique sur les listes de revues labellisées, serait en rupture avec le système de production du savoir qui caractérise leur domaine. Ils décrivent volontiers les règles de reconnaissance académique qui y ont cours comme impossible à enfermer dans des standards, à l’inverse de celles qui caractériserait d’autres domaines de recherche, tels qu’ils se les représentent :

Le monde éditorial des sciences dures, disons, est un monde très normé, il y a des revues internationales, des revues à comité, sans comité de lecture, il y a les revues nationales et les revues locales, bon. Et dans le paysage éditorial des sciences humaines, et en particulier de la littérature qui est le domaine dont je m’occupe, c’est beaucoup plus flou, c’est très difficile de… Même la notion de « revue à comité de lecture » est une notion très problématique (entretien, président de comité 6, littérature).

34L’argument de la spécificité de la discipline est parfois poussé à l’extrême. Certains enquêtés délivrent une interprétation épistémologique de la nature du travail conduit dans leur discipline qui met en doute son caractère scientifique, pour rendre caduque toute tentative de normalisation de ce qui constitue une bonne production académique :

Le mot de « recherche » on n’a rien trouvé de mieux, ça vient à mon avis des sciences dures et de l’université anglo‑saxonne. Est‑ce que, quand je regarde ce que publient mes collègues […], je peux appeler ça de la recherche ? […] Cette intrusion du mot de recherche dans la littérature date d’après 1968, il me semble. […] Que faisait un professeur d’université en lettres en 1950 ? […] Il faisait « de la littérature », il ne faisait pas de la « recherche en littérature » ! […] Alors « recherche »… je trouve que ce que publient les gens qui sont autour de moi, ça s’appelle de l’essai, ce sont des essais (entretien, président de comité 6, littérature).

  • 22 . C’est‑à‑dire, fondé sur la notoriété de leurs collègues et de leurs travaux. Le caractère ellipti (...)

35En soustrayant les pratiques de publication en littérature à une définition scientifique stabilisée et objectivable, l’enquêté mine de l’intérieur la possibilité d’adosser le jugement sur un modèle préétabli de validité académique ou de diffuser dans celle‑ci des principes de classification opératoires dans d’autres spécialités disciplinaires. Soulignant le caractère faiblement discriminant des catégories fournies par l’AERES, une partie des évaluateurs parvient à imposer l’usage d’un registre réputationnel22 comme plus légitime que celui que leur prodigue l’AERES, quand il s’agit de justifier leur appréciation de la qualité scientifique. C’est ce qui leur permet de revendiquer, en réponse à la spécificité irréductible du travail produit dans leur domaine, la particularisation du jugement, parvenant ainsi à résister à l’imposition de critères de jugement et de principes de classement formalisés :

Question : Comment faites‑vous pour établir la qualité de la production scientifique ?

Président de comité 5, littérature : Il y a des formes de consensus qui existent, c’est‑à‑dire, on le sait, ça se dit, on sait que […]. Moi, je sais regarder une bibliographie, je vois bien si quelqu’un a publié entièrement dans des trucs du genre des publications de vulgarisation uniquement et pas de publications de recherche. Et puis, on le sait !

36Presque systématiquement lorsqu’ils sont interviewés sur les prises qu’ils mobilisent pour fonder leur jugement sur la qualité académique, les évaluateurs emploient des formules telles que « on sait », « on sent », « on voit », qui permettent de montrer que le jugement ne procède pas de l’application d’un protocole. Son exercice semble situé dans un savoir et fondé sur une compétence si incorporés par les évaluateurs qu’ils ne peuvent les commenter que sous forme tautologique – on sait, parce que l’on sait. Mais leur difficulté à déconstruire ces opérations de jugement pour les rendre intelligibles à l’enquêteur, la façon dont ils s’expriment sur leur activité d’évaluation, montrent bien qu’ils se la représentent comme la mise en œuvre de leur professionnalisme, de leur expérience du métier. Comme Michèle Lamont (2009) l’avait souligné, les évaluateurs en sciences humaines peuvent considérer leur « intime conviction » comme un ressort légitime du jugement. Mais il convient de comprendre leur propension à sacraliser l’exercice de leur jugement, à souligner le caractère inobjectivable de ce qui fonde un « bon » travail dans leur discipline, comme un moyen de discréditer les injonctions qui pèsent sur eux. Auréoler de mystère les manières pertinentes d’apprécier la production scientifique, situer la compétence des évaluateurs du côté de l’ésotérique, voire de l’indicible, pour certains enquêtés, sont les conditions qui leur permettent de préserver leur juridiction professionnelle, de ré‑endogénéiser la pratique évaluative dans un contexte où elle pourrait se transformer en remplissage de critères impersonnels fixés en amont.

37Les évaluateurs en littérature peuvent sanctuariser la spécificité de leur domaine de recherche pour souligner le caractère inopérant d’outils d’évaluation standardisés. C’est en les marginalisant qu’ils réaffirment la légitimité de leur compétence professionnelle d’évaluateur et d’évalué, instaurant du même coup une opposition entre des formes standardisées et des formes professionnelles du jugement. Mais si les évaluateurs peuvent revendiquer leur professionnalisme pour lutter contre des modalités d’évaluation qu’ils considèrent comme illégitimes, certains d’entre eux peuvent également s’emparer des standards de l’AERES pour discipliner leur discipline, en les plaçant au service d’une réforme et d’une amélioration des pratiques de recherche dans leur milieu professionnel d’appartenance.

L’incorporation des standards de jugement en géographie comme forme alternative de professionnalisme

38En littérature, la majorité des évaluateurs construisaient la spécificité de leur discipline de sorte à contourner les injonctions contenues dans les directives de l’AERES. En géographie au contraire nous remarquons un usage plus systématique des critères de jugement prévus par l’institution. Dans sa documentation officielle, l’AERES prévoit que l’usage des indicateurs et des catégories que ses membres énoncent peut être modulé en fonction des particularités des domaines de recherche expertisés. Nous cherchons à tester l’hypothèse selon laquelle ce serait parce que les critères de l’AERES sont conformes à l’axiologie propre au milieu de la géographie, que ses représentants s’en saisissent plus volontiers qu’en littérature.

Une échelle de valeur disciplinaire en adéquation avec les standards de l’AERES ?

39Tout d’abord, dans les rapports d’évaluation de l’AERES, la mention de catégories de jugement portant sur la qualité académique, dans les rubriques considérées, est bien plus importante en géographie qu’en littérature. Si la proportion de rapports qui ne mentionne aucun « point fort » concernant la production est considérable (environ 50 %), en revanche, seuls 8 % des rapports en géographie ne contiennent aucun « point à améliorer » relatif à la production scientifique. Nous ne pouvons imputer ce résultat à une faible qualité académique des équipes de notre échantillon évaluées en géographie, dans la mesure où près de 70 % d’entre elles ont obtenu un A ou un A+ au critère « production scientifique ». Nous pouvons cependant en déduire que les incitations à une réforme des pratiques de publications sont bien plus prégnantes en géographie qu’en littérature. De quelle nature sont ces incitations ? Nous reproduisons un tableau des critères utilisés dans les rapports, accompagnés de leur nombre total d’occurrence et de leur taux d’apparition dans les rapports en géographie plutôt qu’en littérature.

40Le premier élément notable est que ces catégories apparaissent exclusivement en géographie, à l’exception de la dernière recommandation, qui reste néanmoins très concentrée dans les rapports de cette discipline. Deuxièmement, nous remarquons que l’usage de ces catégories est à la fois massif (en observant leur nombre d’occurrences) et convergent : si des échelles de valeurs concurrente ou du moins, divergentes, quant à la qualité académique peuvent exister dans le domaine disciplinaire, elles ne sont pas exprimées dans les rapports d’évaluation en géographie, contrairement aux rapport en littérature. En géographie, toutes choses égales par ailleurs, l’accent est clairement placé sur la nécessité de publier dans des revues internationales, dans des revues à comité de lecture labellisées, en langue étrangère et principalement en anglais – même si les publications dans d’autres langues peuvent également être valorisées –, et d'augmenter le nombre de chercheurs et d’enseignants‑chercheurs « publiants ». Ainsi, en géographie, les évaluateurs formulent des recommandations qui cherchent à modeler ou à orienter le comportement des chercheurs individuels de façon bien plus systématique et directe que ne le laissaient entendre les critères de jugement employés en littérature.

Tableau 2. Critériologie des évaluateurs en géographie

Catégories majoritairement présentes dans les rapports en géographie

• Points forts

– Publications en langues étrangères, dont en anglais

4 occurrences, dont 100 % en géographie

– Publications dans des revues de rang A, nationales et internationales

4 occurrences, dont 100 % en géographie

• Points à améliorer et recommandations

– Augmenter le nombre des publications internationales de l’unité

16 occurrences, dont 100 % en géographie

– Privilégier les publications dans les revues à comité de lecture de rang A

18 occurrences, dont 100 % en géographie

– Augmenter le nombre de « publiants »

11 occurrences, dont 80 % en géographie

41L’étude des rapports de l’AERES permet de montrer que les représentations des évaluateurs sur les critères pertinents permettant d’entériner la qualité de la recherche varient fortement en fonction de la discipline. Encourager des pratiques de publication dans des revues labellisées et non‑francophones apparaît comme un moyen indirect de hausser le niveau global des publications en géographie, ce type de référence étant massivement mobilisé dans cette discipline, alors qu’il n’apparaît jamais dans les rapports en littérature.

  • 23 . L’AERES publie depuis une liste de revues, sans distinction entre des revues de rang A, B ou C.

42Les évaluateurs en géographie s’ajustent ainsi à l’échelle de valeur dispensée dans les documents de l’AERES, qui fait des publications « locales » des productions moins valorisées, tandis que celles qui paraissent « à l’international » et/ou dans des revues classées, sont les plus reconnues. Ils adhèrent ainsi à la représentation, revendiquée par certains dirigeants de l’AERES, selon laquelle cette axiologie permet de hausser le niveau général des recherches entreprises. Mais la mention des publications de rang A, dans les rapports en géographie, ne repose pas seulement sur les classements que conçoit l’institution : tandis que les commissions de géographie de l’AERES ont cessé de hiérarchiser les revues dès 201023, les évaluateurs continuent d’employer ce principe de classification quelle que soit l’année d’écriture des rapports.

43À première lecture, ce serait l’axiologie propre à la discipline des évaluateurs qui informerait le type de critère qu’ils emploient dans leurs rapports d’évaluation. Autrement dit, si les géographes se saisissent plus volontiers que les littéraires des principes de jugement de l’AERES, ce serait parce que l’échelle de valeur qu’elle inscrit dans ses catégories recoupe celle qui réside dans la nature ou l’épistémologie de leur discipline. La géographie serait ainsi plus internationalisée, ses modalités de validation scientifique et la stratification des lieux de publication « qui comptent » seraient plus indurées qu’en littérature. Mais pour que cette hypothèse tienne, encore faudrait‑il que les différentes spécialités qui composent la discipline soient toutes alignées sur un modèle convergent de production du savoir et positionnées sur les mêmes types de support de diffusion académique. Or, la géographie rassemble des courants dont les représentants n’ont pas tous les mêmes pratiques de production. Ainsi, les spécialistes d’analyse spatiale et de modélisation, qui publient souvent en anglais, sont prompts à revendiquer l’importance de l’internationalisation des publications :

J’ai toujours attaché beaucoup d’importance à la qualité de la recherche qui soit en prise sur la recherche internationale […] et donc une unité qui n’aurait publié que dans la petite revue d’histoire locale ou d’archéologie locale, on l’encourageait à étendre son rayon d’action vers des revues nationales ou internationales (entretien, déléguée scientifique 9, géographie).

44À l’inverse, d’autres représentants, issus par exemple de la géographie physique, attachée, comme certains courants de la géographie humaine, à l’étude approfondie d’un terrain, considèrent qu’une pratique internationalisée de la production académique est moins évidente :

Évidemment pour un géographe, comme un historien ou autre, les publications de rang A, ça ne disait pas grand‑chose. On publie peu à l’international pour des raisons évidentes, non pas qu’on ne se débrouille pas en anglais mais il est parfois difficile de traduire en anglais toute la complexité d’une démonstration d’histoire ou de sociologie ou de géographie humaine (entretien, déléguée scientifique 10, géographie).

45Si l’on cherche à tester l’hypothèse selon laquelle les géographes mobilisent l’échelle de valeur de l’AERES en raison de leur spécificité disciplinaire, il reste à vérifier que l’exercice d’évaluation est conduit par des représentants de branches particulièrement internationalisées de la discipline, qui coloniseraient pour ainsi dire l’institution et parviendraient à imposer le modèle de validation auquel ils adhèrent dans leur domaine de spécialité.

S’approprier des normes exogènes pour consolider une légitimité professionnelle

  • 24 . Cette classification s’appuie sur les termes que les présidents utilisent pour présenter leurs re (...)
  • 25 . Nous aurions pu observer la spécialité de chacun des membres des comités, mais dans la mesure où, (...)

46Quels évaluateurs emploient la référence à l’international dans leur pratique de jugement à l’AERES ? Le graphique de la figure 2 présente la répartition de l’utilisation du critère d’internationalisation (en tant que « point fort » ou « point à améliorer ») en fonction de la spécialité24 disciplinaire des président.e.s de comité25, en géographie.

Figure 2. Attention portée au caractère international des publications en fonction de la spécialité disciplinaire des évaluateurs

Figure 2. Attention portée au caractère international des publications en fonction de la spécialité disciplinaire des évaluateurs

47Nous remarquons d’abord que l’exercice d’évaluation n’est pas confisqué par les représentants d’un seul courant de la discipline, comme en témoigne la variété des spécialités des président.e.s représentées dans notre échantillon. Par ailleurs, quel que soit le courant considéré, nous remarquons que la valorisation ou l’injonction à l’internationalisation sont prégnant. Le seul cas où la mention de l’international est plus discrète, sans être néanmoins totalement absence, concerne le domaine de l’urbanisme et en aménagement. Ainsi, alors que dans certains cas, les évaluateurs expriment l’axiologie propre à leur spécialité disciplinaire lorsqu’ils produisent un jugement (Lamont, 2009), nous sommes ici face à un cas où ils peuvent mobiliser une échelle de valeur qui est en décalage avec celle qui pourrait s’appliquer au type de travail académique qui a cours dans leur domaine. En effet, la même enquêtée qui exprimait son doute quant à la dimension internationale des productions de recherche dans sa discipline précise, dans le même entretien :

[Qu’] un bon laboratoire c’est aussi un laboratoire qui a une ouverture internationale […] il faut quand même un certain nombre de publications, […] y compris d’ailleurs en anglais, qu’on le veuille ou non, sans cela c’est quand même un peu… Donc je crois que cette ouverture internationale elle est quand même très importante (entretien, déléguée scientifique 10, AERES, géographie).

48Plusieurs travaux ont caractérisé les disciplines en fonction de leur degré de cohésion paradigmatique interne, de leur degré d’universalité, pour ainsi placer les sciences humaines du côté des sciences du particulier, faiblement structurées et peu en prise avec l’international, en opposition avec des sciences expérimentales telles que la physique, décrite comme science cumulative dont les productions dépassent les frontières nationales (Becher & Trowler, 1989 ; Becher, 1994). Mais montrer comment des évaluateurs se saisissent d’une critériologie alternative à celle qui serait attendue dans leur domaine nous permet de dépasser une vision trop hiératique des modèles de validation académique pertinents et d’échapper à une conception statique des préférences des évaluateurs, qui serait mécaniquement adossée à leurs modèles de production académique dominants. Si les évaluateurs ne mobilisent pas nécessairement les critères de l’AERES parce qu’ils rejoignent le « style épistémologique » de leur discipline (Mallard et al., 2009), ni parce qu’ils seraient contraints de les appliquer sous la pression d’autres franges professionnelles – nous l’avons montré, une partie des évaluateurs en littérature les a délégitimés dans leurs pratiques d’évaluation –, comment comprendre alors l’emprise hétérogène des critères de l’AERES sur les pratiques de jugement des membres de la profession académique ?

La variété des stratégies axiologiques, entre effets de position et rapports de pouvoir internes au champ académique

49Pour comprendre l’appropriation variée des standards par les évaluateurs en géographie et en littérature, nous proposons de les resituer dans leur position au sein du monde académique. Comme certaines études récentes l’ont montré dans le cas des universités, celles qui ont la position la plus précaire sur l’échelle du prestige s’emparent d’outils de gestion et de classements internationaux tandis que d’autres, plus instituées et qui bénéficient d’une réputation ancienne, peuvent moquer ces principes de classement et refuser de les incorporer dans leurs stratégies d’établissement (Paradeise & Thoenig, 2013). Dans d’autres domaines d’action publique, comme le secteur médical, des travaux ont également montré que les membres des spécialités les plus renommées se caractérisaient par leur réticence face à toute forme d’hétéronomie dans la définition de leurs pratiques professionnelles. À l’inverse, les praticiens qui occupent des fonctions peu prestigieuses dans la division du travail, ou qui n’exercent pas dans des institutions illustres, sont susceptibles de défendre les palmarès hospitaliers et d’endosser des discours managériaux (Ponet, 2005 ; Benamouzig & Robelet, 2014 ; Belorgey, 2010).

  • 26 . Pierre Bourdieu prenait pour mesure centrale du prestige alloué aux disciplines celle du taux de (...)
  • 27 . En économie, discipline « dominante » au sein des SHS (Fourcade et al., 2015), les lois de la rec (...)

50Pour appliquer cette analyse à notre cas, reprenons la hiérarchie des disciplines telle que l’avait formulée Pierre Bourdieu. Il situait la littérature en haut de l’échelle du prestige académique, tandis que la géographie était présentée comme une discipline « dominée », « au plus bas » de cette hiérarchie26 (Bourdieu, 1984, p. 145). Un faisceau d’indices converge à montrer que ces deux disciplines n’occupent pas la même position dans le champ académique, et n’adoptent pas, par conséquent, les mêmes stratégies27.

  • 28 . Il s’agit de l’un des ancêtres de l’AERES. Le CNÉ a été créé par Laurent Schwartz en 1984 pour co (...)

51Une enquête quantitative et qualitative conduite par le Comité national d’évaluation (CNÉ)28 à la fin des années 1980 sur l’état de la géographie en France laisse transparaitre la quête de légitimité constante de la discipline. Le choix de faire porter l’enquête sur cette discipline a d’ailleurs été orienté par « les problèmes spécifiques de la géographie : une discipline fondamentale qui présente des facettes variées, aux frontières de nombreuses disciplines, et qui s’interroge passionnément sur elle‑même » (Comité national d’évaluation, 1989). Les géographes ont été les premiers à souligner les difficultés de leur domaine. Les nombreux témoignages recueillis auprès des directeurs de département de géographie et des professeurs d’université exposent les problèmes institutionnels et épistémologiques de la discipline. Ainsi, plusieurs professeurs de géographie physique accusent un déclin de cette spécialité depuis les années 1960. L’un d’entre eux observe notamment :

  • 29 . Termes soulignés dans le texte d’origine.
  • 30 . Source : Archives nationales, 20080020/255. Chemise verte « Archivage : évaluation de la géograph (...)

Un décalage29 croissant, depuis une vingtaine d’années, dans le niveau de la recherche en géographie physique en France, par rapport à la Grande‑Bretagne, l’Allemagne, la Belgique, les Pays‑Bas, l’URSS […]. Cela ne signifie pas que la recherche physico‑géographique française n’ait pas de points forts et des chercheurs efficaces, mais elle n’arrive pas à suivre le rythme de croissance de ses voisins. Jusque vers 1960, elle était relativement forte et jouait un rôle de leader au plan national […]. Des domaines entiers de la géographie physique sont progressivement pris en charge par d’autres disciplines plus « scientifiques », bénéficiant d’une meilleur crédibilité auprès des instances nationales (professeur des universités, géographie physique, 198830).

  • 31 . Il s’agit d’une institution centrale de la recherche scientifique dans la discipline. Elle représ (...)

52Ces documents n’occultent pas les points forts de la discipline, mais c’est néanmoins l’image d’un domaine de recherche menacé, située à la charnière d’autres sciences et parfois placée à leurs marges, qui se dégage des propos de ces représentants. Ainsi, selon le président du Comité national français de géographie (CNFG)31 à l’époque, les résultats de cette enquête « confirme[nt] qu’en effet l’image de la géographie n’est pas bonne et la dévalorisation de la spécialité, est surtout après 1945, réelle » (Dalmasso, 1991). En ce qui concerne la littérature – comme dans d’autres disciplines –, les pratiques et les méthodes de recherche ont évolué et été questionnées au sein de la communauté académique au cours du xxe siècle. Cependant, nous n’y constatons pas les signes d’une crise de légitimité, d’identité et de périmètre semblable à celle que décrivent les enseignants‑chercheurs en géographie.

  • 32 . Ce communiqué est disponible sur la plateforme internet « Fabula. La recherche en Littérature ». (...)

53Étant donnée la position de leur discipline dans le champ scientifique, les géographes disposeraient de moins de ressources que les membres d’autres domaines pour résister à des pressions normatives visant à standardiser le processus d’allocation de la valeur académique. Et en effet, nous constatons symétriquement en littérature que ses membres sont parvenus à préserver leur juridiction de l’introduction d’instruments standardisés dans leur discipline. Les membres de la section 35 du Comité national du CNRS, où se trouve la littérature, ont constamment rejeté des formes d’évaluation bibliométrique, comme en témoigne l’ouvrage dirigé par une ancienne présidente de la section (Cassin et al., 2014). Ils sont rejoints en cela par les représentants des sections du Conseil national des universités (CNU) chargées des langues à la littérature française en passant par l’art, et par des sociétés savantes telles que la Société française de littérature générale et comparée. Ces différents acteurs se sont mobilisés collectivement à l’occasion des commissions mises en place dès 2007 par l’AERES en vue de la constitution de classements de revues et ont, avec l’appui du représentant de ces disciplines à l’agence, proclamé publiquement et solidairement leur refus de participer à toute entreprise de hiérarchisation des productions académiques32.

54Ainsi, la faculté inégalement distribuée des disciplines à mobiliser des relais à la fois incontournables dans le gouvernement de la discipline et cohésifs – du moins, pour l’occasion – dans la défense de leur représentation des réformes à encourager ou à proscrire permet d’éclairer la faible naturalisation d’outils de classement en littérature et leur pénétration dans d’autres disciplines.

55Deux précisions importantes doivent enfin être apportées à cette grille de lecture.

56D’une part, les membres des disciplines « dominées » ne subissent pas de façon passive une mise aux normes de leurs pratiques. En s’appropriant des standards valables à l’extérieur de leur discipline ou dans une spécialité de la discipline, les géographes peuvent adopter (consciemment ou non) une stratégie de retournement du stigmate, par laquelle ils repositionnent leur discipline dans le champ académique.

57D’autre part, établir au terme de l’analyse des stratégies différenciées selon les disciplines ne doit pas conduire à les réifier ou à les analyser comme des espaces unifiés de prises de positions. En effet, dans une même discipline, celles‑ci peuvent être polarisées ou du moins, dissonantes. L’unanimisme des littéraires et leur rejet d’un système axiologique aligné sur celui d’autres disciplines ne sont pas absolus : certains d’entre eux relayent des standards exogènes concernant ce qu’est une publication académique de qualité, alors même que ces standards peuvent effriter la légitimité des types de production scientifique en vigueur dans leur discipline. Dans un article précédent (Gozlan, 2015), nous avons montré que certains représentants de la littérature pouvaient défendre l’hétéronomie de la recherche et étudié à quelles conditions (à savoir, des alliances avec des représentants d’autres disciplines) ceux‑ci parvenaient à faire valoir un projet réformateur inattendu étant donné les caractéristiques de leur discipline. Dans le cas analysé ici, la faible incorporation de standards dans les pratiques de jugement en littérature ne vient pas du fait que la totalité des membres de la discipline s’accorde à les discréditer, mais du fait que les rapports de pouvoir entre les opposants et les défenseurs d’une normalisation des pratiques académiques était défavorables, en l’occurrence, aux seconds. Le succès ou l’invalidation d’une stratégie est alors le produit de rapports de force évolutifs et non sédimentés, et d’alliances temporaires ou réversibles entre les diverses institutions qui composent le champ académique.

58Ainsi, inférer les diverses représentations de « ce qui compte » en recherche de la nature des disciplines, qui seraient intrinsèquement plus ou moins rétives à des formes de normalisation, n’est pas suffisant. La critériologie des évaluateurs s’arrime également aux projets réformateurs qu’ils nourrissent pour leur domaine professionnel et aux conditions sociales inscrites dans l’histoire des rapports de pouvoir internes au monde scientifique, qui leur permettent ou non de les faire valoir.

Conclusion : représentations professionnelles et outils néo‑managériaux

59L’une des caractéristiques majeures des professions, la maîtrise d’un savoir ésotérique qui préserve ses membres de formes de contrôles exogènes (Freidson, 1984), est parfois présentée comme mise à mal depuis une vingtaine d’année par l’intrusion de logiques managériales (Pierru, 2012). Étudier les pratiques concrètes de jugement académique en contexte contraint, dans des domaines qui semblent particulièrement réticents à des formes de standardisation, permet de revisiter l’hypothèse selon laquelle des outils managériaux supplanteraient les savoir‑faire professionnels.

60Notre enquête a en effet mis au jour la diversité des principes de hiérarchisation dont usent les représentants de la profession quant ils apprécient la valeur des travaux de leurs pairs. Plutôt qu’une standardisation qui serait imposée du haut, par une agence d’évaluation nationale, c’est à un type de standardisation professionnelle (Castel & Robelet, 2009 ; Freidson, 1994) que nous assistons, dans la mesure où une partie des professionnels œuvre à normaliser les « bonnes pratiques » de recherche de leurs collègues.

61Nous avons enfin cherché à éclairer à quelles conditions des normes de jugement imposées peuvent rejoindre l’axiologie d’une partie des universitaires. Nous avons montré que leur usage des standards n’était pas seulement tributaire des modalités de fabrique du savoir caractéristiques de leur discipline d’appartenance. Autrement dit, ce n’est pas parce que les standards rejoindraient l’axiologie propre à la géographie que les représentants de la discipline s’en empareraient plus volontiers que les littéraires. Ce n’est enfin pas parce qu’ils leurs accorderaient nécessairement crédit. En effet, les membres des deux disciplines étudiées ne cherchent pas tous à s’autonomiser des injonctions réformatrices qui pèsent sur leur domaine, bien qu’ils manifestent leur scepticisme quant à la validité de critères uniformes et procéduraux pour fonder leur jugement sur la qualité académique. Ils témoignent de leur réflexivité quant aux potentiels effets pervers des indicateurs et autres formes de quantification, ou à leur inaptitude à enfermer la définition de la qualité académique. Mais alors que les littéraires tendent à utiliser cette réflexivité comme ressource argumentative pour s’opposer à l’usage de principes de classification, les géographes n’adoptent généralement pas une stratégie visant à préserver leur discipline d’injonctions exogènes, et ce, alors même qu’elles peuvent entrer en discontinuité avec leurs représentations de ce qu’est « faire de la recherche ». Ils relayent des modèles de hiérarchisation de la recherche hérités d’autres franges de la profession (sciences expérimentales), voire d’inspiration néo‑managériale (classements et avatars du benchmaking) de sorte à réformer et repositionner leur discipline dans le champ professionnel considéré.

62Ainsi, l’échelle de valeur que revendiquent les évaluateurs, leur représentation de ce qui compte en recherche, sont plutôt le reflet des stratégies réformatrices implicites ou explicites qu’ils adoptent pour (ré)établir la légitimité de leur discipline dans un contexte d’homogénéisation des règles de la consécration scientifique.

Haut de page

Bibliographie

Barber B. (1961), « Resistance by Scientists to Scientific Discovery », Science, vol. 134, pp. 596‑602.

Becher T. (1994), « The Significance of Disciplinary Differences », Studies in Higher Education, vol. 19, no 2, pp. 151‑161.

Becher T. & Trowler P. (2001 [1989]), Academic Tribes and Territories: Intellectual Enquiry and the Cultures of Disciplines, Philadelphie, The Society for Research into Higher Education & Open University Press.

Belorgey N. (2010), L’Hôpital sous pression. Enquête sur le « nouveau management public », Paris, La Découverte.

Benamouzig D. & Robelet M. (2014), « Les indicateurs qualité et l’intégration bureaucratique de l’hôpital », Quaderni, no 85, pp. 68‑85.

Bessy C. & Chateauraynaud F. (1993), « Les ressorts de l’expertise. Épreuves d’authenticité et engagement des corps », in Conein B. et al., Les Objets dans l’action, Paris, Éditions de l’EHESS, pp. 141‑164.

Bessy C. & Chateauraynaud F. (1995), Experts et faussaires. Pour une sociologie de la perception, Paris, Métailié.

Bezes P. & Demazière D. (dir.) (2011), « New Public Management et professions dans l’État : au‑delà des oppositions, quelles recompositions ? », Sociologie du travail, Dossier‑débat, vol. 53, no 3, pp. 293‑348 [Numéro spécial].

Bourdieu P. (1984), Homo academicus, Paris, Éditions de Minuit.

Cassin B. et al. (2014), Derrière les grilles. Sortons du tout‑évaluation, Paris, Fayard.

Castel P. & Robelet M. (2009), « Comment rationaliser sans standardiser la médecine ? Production et usages des recommandations de pratiques cliniques », Journal d’économie médicale, vol. 27, no 3, pp. 98‑115.

Cole S. & Cole J. (1973), Social Stratification in Science, Chicago, University of Chicago Press.

Cole S., Rubin L. & Cole J. (1977), « Peer Review and the Support of Science », Scientific American, vol. 237, no 4, pp. 34‑41.

Comité national d’évaluation (1989), « L’évaluation transversale d’une discipline : la géographie dans l’université française », Bulletin du CNÉ, no 9, pp. 1‑4.

Conein B., Dodier N. & Thévenot L. (dir.) (1993), Les Objets dans l’action, Paris, Éditions de l’EHESS.

Dalmasso E. (1991), « La Géographie dans tous ses états (à propos d’un rapport et de trois grands livres) », Annales de Géographie, vol. 100, no 557, pp. 76‑84.

Donovan C. (2007), « Introduction. Future Pathways for Science Policy and Research Assessment: Metrics vs Peer Review, Quality vs Impact », Science and Public Policy, vol. 34, no 3, pp. 538-542.

Dubuisson‑Quellier S. & Neuville J.‑P. (dir.) (2003), Juger pour échanger, Paris, Éditions de la Maison des sciences de l’Homme.

Espeland W. & Sauder M. (2007), « Ranking and Reactivity: How Public Measures Recreate Social Worlds », American Journal of Sociology, vol. 113, no 1, pp. 1‑40.

Evetts J. (2011), « A New Professionalism? Challenges and Opportunities », Current Sociology, vol. 59, pp. 406‑422.

Eymard‑Duvernay F. & Marchal E. (1997), Façons de recruter, Paris, Métailié.

Fourcade M., Ollion E., Algan Y. (2015), « The Superiority of Economists », Journal of Economic Perspectives, vol. 29, no 1, pp. 89-114.

Freidson E. (1984), La Profession médicale, Paris, Payot.

Freidson E. (1994), Professionalim Reborn. Theory, Prophecy and Policy, Cambridge, Polity Press.

Gozlan C. (2015), « L’autonomie de la recherche scientifique en débats : évaluer l’“impact” social de la science ? », Sociologie du travail, vol. 57, no 2, pp. 151‑174.

Guetzkow J., Lamont M. & Mallard G. (2004), « What is Originality in the Social Sciences and the Humanities? », American Sociological Review, vol. 69, no 2, pp. 190‑212.

Heinich N. (1997), « Les frontières de l’art à l’épreuve de l’expertise. Politique de la décision dans une commission municipale », Politix, vol. 10, no 38, pp. 111‑135.

Lamont M. (2009), How Professors think?, Cambridge, Harvard University Press.

Langfeldt L. (2001), « The Decision‑making Constraints and Processes of Grant Peer Review, and their Effects on the Review Outcome », Social Studies of Science, vol. 6, no 31, pp. 820‑841.

Lazega E. & Wattebled O. (2010), « Deux définitions de la collégialité et leur articulation : le cas d’un diocèse catholique », Sociologie du travail, vol. 52, no 4, pp. 480‑502.

Lee F. (2007), « The Research Assessment Exercise, the State and the Dominance of Mainstream Economics in British Universities », Cambridge Journal of Economics, vol. 31, no 2, pp. 309‑325.

Lorrain D. (2004), « Les pilotes invisibles de l’action publique. Le désarroi du politique », in Lascoumes P. & Le Galès P. (dir.), Gouverner par les instruments, Paris, Presses de Sciences Po, pp. 163‑197.

Louvel S. & Lange S. (2010), « L’évaluation de la recherche : l’exemple de trois pays européens », Sciences de la société, no 79, pp. 11‑26.

Mallard G., Lamont M. & Guetzkow J. (2009), « Fairness as Appropriateness: Negotiating Epistemological Differences in Peer Review », Science, Technology and Human Values, vol. 5, no 34, pp. 573‑606.

Merton R. K. (1973 [1942]), The Sociology of Science. Theoretical and Empirical Investigations, Chicago, University of Chicago Press.

Mintzberg H. (1982), Structure et dynamique des organisations, Paris, Les Éditions d’Organisation, pp. 309‑335.

Musselin C. (2005), Le Marché des universitaires. France, Allemagne, États‑Unis, Paris, Presses de Sciences Po.

Paradeise C. & Thoenig J.‑C. (2013), « Academic Institutions in Search of Quality: Local Orders and Global Standards », Organization Studies, vol. 34, no 2, pp. 189‑218.

Pierru F. (2012), « Le mandarin, le gestionnaire et le consultant. Le tournant néolibéral de la politique hospitalière », Actes de la recherche en sciences sociales, vol. 4, no 194, pp. 32‑51.

Ponet P. (2005), « La guerre des mondes : de quelques rapports entre univers sociaux différenciés. Le cas des “palmarès des hôpitaux” », Politix, vol. 4, no 72, pp. 125‑154.

Pontille D. & Torny D. (2010), « Revues qui comptent, revues qu’on compte : produire des classements en économie et gestion », Revue de la régulation, vol. 8, pp. 1‑32.

Pontille D. & Torny D. (2012), « Rendre publique l’évaluation des SHS :
les controverses sur les listes de revues de l’AERES », Quaderni, no 77, pp. 11‑24.

Porter T. (1995), Trust in Numbers, Princeton, Princeton University Press.

Sauder M. & Lancaster R. 2006, « Do Rankings Matter? The Effects of US News & World Report Rankings on the Admissions Process of Law Schools », Law & Society Review, vol. 40, no 1, pp. 105‑134.

Vilkas C. (2009) « Des pairs aux experts : l’émergence d’un “nouveau management” de la recherche scientifique ? », Cahiers internationaux de sociologie, vol. 126, no 1, pp. 61‑79.

Weaver K. (1989) « Setting and Firing Policy Triggers », Journal of Public Policy, vol. 9, no 3, pp. 307‑336.

Zuckerman H. & Merton R. K. (1971), « Patterns of Evaluation in Science: Institutionalization, Structure and Functions of the Referee System », Minerva, vol. 9, pp. 66‑100.

Haut de page

Notes

1 . Selon le texte de la loi qui a l’instaurée, l’AERES a été fondée pour remédier à l’éclatement des structures d’évaluation de la recherche et de l’enseignement existantes. Elle centralise des fonctions dévolues, soit à des instances majoritairement électives (telles que le Comité national du CNRS, CoNRS), soit ministérielles. La production de l’évaluation des universités, des laboratoires de recherche et des formations est principalement organisée par des enseignants‑chercheurs et des chercheurs en exercice, qui nomment des comités d’évaluateurs chargés de rédiger des rapports rendus publics. En tant qu’Agence administrative indépendante (AAI), l’AERES est formellement séparée du ministère de la Recherche. Elle n’a ainsi pas de compétence décisionnelle – par exemple, en matière d’attribution de crédits.

2 . Tout le personnel de l’AERES est nommé par décret. Suite aux nombreuses controverses que cette agence a suscitées, un Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur (HCERES) l’a remplacée en 2014, mais son champ de compétence et les modalités de sélection de ses membres n’ont pas – pour le moment – évolué de façon significative.

3 . Ce premier constat s’inscrit dans la lignée des analyses de Michèle Lamont (2009) qui montrait que l’appartenance disciplinaire des projets évalués et celle des évaluateurs structuraient la formation de leur jugement.

4 . Dans Homo Academicus (1984), Pierre Bourdieu plaçait la littérature en haut de l’échelle du prestige académique tandis qu’« au plus bas » apparaissait la géographie (p. 144). Nous reviendrons infra sur les positions occupées par les disciplines.

5 . Ces données ont été recueillies dans le cadre de ma recherche de doctorat, qui interroge la construction des politiques d’évaluation de la recherche à l’AERES.

6 . C’est par le terme d’« experts » qu’ils sont désignés dans la documentation de l’agence. Celui‑ci est ambigu et peut laisser supposer qu’il ne s’agit pas de « pairs », mais de personnalités externes à la communauté académique. Nous emploierons le terme d’« évaluateurs », moins connoté.

7 . Les délégués scientifiques en SHS sont très majoritairement des professeurs des universités en activité. Ils représentent leur discipline au sein de l’AERES et ont pour charge de nommer les comités d’évaluateurs relevant de leur champ de compétence, de superviser le déroulement de l’évaluation et l’écriture du rapport. Ces professeurs continuent d’enseigner et de produire de la recherche, mais ils se distinguent par le fait qu’ils ont pour la plupart occupé des fonctions dans l’administration de la recherche – par exemple, en ayant dirigé un laboratoire ou été vice‑président du Conseil d’administration à l’Université. Par ailleurs, ils se sont presque tous investis dans l’évaluation scientifique ou institutionnelle, à différentes échelles.

8 . Bien que le contenu de l’article n’engage que son auteure, c’est grâce à de nombreux conseils et relectures que les arguments qui y sont développés ont été réorientés puis approfondis. Je souhaite remercier chaleureusement Christine Musselin, Jérôme Aust, Emmanuelle Marchal, ainsi que les évaluateurs du comité de Sociologie, pour leur accompagnement tout au long de l’écriture.

9 . Ces critères ne sont pas définis au sein des différents comités, comme c’est le cas dans d’autres assemblées évaluatives, tels que les sections d’évaluation du Comité national de la recherche scientifique (CoNRS).

10 . Les dénominations ont changé. Le terme choisi a été, selon les années, celui de « publiant », de « produisant », ou encore d’« actif ». Cet indicateur n’est pas conçu de toute pièce par l’AERES, il lui préexiste largement. En 1997, les fiches d’expertise du ministère de la Recherche contiennent deux rubriques, placées côte à côte : celle du « nombre déclaré de chercheurs et enseignants‑chercheurs » qui jouxte celle de leur « nombre réellement actif ». Sources : Archives nationales, « Contrats Quadriennaux 97‑2001 », 20080487 art. 2. Nous rejoignons ici les auteurs qui soulignent l’inscription des outils produits par l’AERES dans une continuité historique (Pontille & Torny, 2012).

11 . D’autres indicateurs sont prévus par l’AERES (par exemple, l’impact factor des revues dans lesquelles publient les membres du laboratoires), mais ils ne sont pas systématiquement renseigné, contrairement à celui du « taux de publiants ». C’est la raison pour laquelle nous centrons notre attention sur ce dernier et sur l’usage qu’en font les évaluateurs.

12 . La notation des laboratoires (A+, A, B ou C) faisait l’objet de délibérations entre les présidents de comités de visite et le délégué scientifique du domaine disciplinaire concerné une fois l’ensemble des équipes expertisées. Une note globale était attribuée aux laboratoires, jusqu’à sa disparition en 2012, et des sous‑notes portaient sur chacune des rubriques à renseigner (production académique, rayonnement, organisation de l’équipe, projet). Ces rubriques elles‑mêmes ont changé d’intitulés et de nombre au cours du temps, et ont cessé de faire l’objet d’une notation en 2014.

13 . Plusieurs travaux soulignent le fait que la production de repères quantifiés permet d’assurer la confiance des usagers dans les décisions, en vertu de l’objectivité qu’ils leur confèrent (Porter, 1995).

14 . L’annexe électronique méthodologique présente notre démarche de construction et d’analyse de cette base de données, qui recense les critères de jugement présents dans un échantillon de 54 rapports AERES, également répartis dans les disciplines de la littérature et de la géographie : https://sociologie.revues.org/2792.

15 . « Proposition pour l’interprétation de l’échelle de notation multicritères », Rapport d’activité AERES 2009, publié en octobre 2010, p. 97.

16 . Les actes de colloques ne figurent ainsi pas dans la liste, bien qu’ils constituent une importance part de la publication académique dans plusieurs disciplines des SHS.

17 . La procédure d’évaluation des unités de recherche prévoit un déroulement standard, qui a sensiblement évolué au cours du temps mais dont le principe est resté le même. Le comité de visite, accompagné d’un(e) délégué(e) scientifique de l’AERES, comprend un(e) président(e), qui animait les débats, et des évaluateurs. Un premier huis clos se tient avant la visite, les évaluateurs échangent les impressions qu’ils se sont forgées à la lecture du dossier d’auto‑évaluation de l’équipe préalablement reçu. Suivent des réunions avec les différents membres du laboratoire et la tutelle. La journée se conclut sur un second huis clos pendant lequel les membres du comité s’accordent sur les grandes lignes de leur rapport d’évaluation. La journée de visite observée a duré de 9 heures à 17 heures.

18 . Ils ont principalement échangé leurs points de vue sur l’organisation et le fonctionnement de l’équipe.

19 . La prise de note a été aussi exhaustive que possible.

20 . Dans le cas observé, le délégué connaissait deux des évaluateurs, les évaluateurs ne se connaissaient pas entre eux mais ont échangé tout au long de la journée, y compris sur leurs propres travaux, sur les difficultés rencontrées dans leurs équipes (certains d’entre eux en ont dirigé). Le huis clos s’est déroulé dans une atmosphère informelle et cordiale – à plusieurs reprises, les membres du comité ont plaisanté. L’équipe visitée avait mis à disposition du comité une salle décorée de posters. Les évaluateurs se sont installés autour de quelques tables rapprochées et agencées en carré. Sur une autre table étaient disposés les ouvrages publiés par l’équipe.

21 . Pour une analyse approfondie de la fabrique de ces outils de classements, voir notamment Pontille & Torny, 2010.

22 . C’est‑à‑dire, fondé sur la notoriété de leurs collègues et de leurs travaux. Le caractère elliptique des justifications de ce type – « on connaît le nom des revues », « ce sont des pointures » – souligne que ces hiérarchies scientifiques, connues et déterminées dans le milieu intime de la discipline, sont en quelque sorte inaccessibles au profane.

23 . L’AERES publie depuis une liste de revues, sans distinction entre des revues de rang A, B ou C.

24 . Cette classification s’appuie sur les termes que les présidents utilisent pour présenter leurs recherches, dans leurs curricula. Même si ces dénominations ne laissent pas suffisamment transparaitre la variété interne à chacun des sous‑champs, ni à l’inverse, la porosité susceptible d’exister entre eux, considérons‑les comme des indices approximatifs de la diversité des courants et des approches de la discipline.

25 . Nous aurions pu observer la spécialité de chacun des membres des comités, mais dans la mesure où, selon les textes de l’AERES, c’est au président qu’incombe la responsabilité de rédiger le rapport, ou a minima d’organiser son écriture collective, sa critériologie est plus susceptible
d’apparaître dans les rapports.

26 . Pierre Bourdieu prenait pour mesure centrale du prestige alloué aux disciplines celle du taux de normaliens parmi les professeurs des universités, mais nous pouvons également situer les disciplines en fonction de l’ancienneté de leur institutionnalisation à l’Université. La géographie apparaît ainsi comme une discipline académique relativement jeune (fin du xixe siècle). Des statistiques sur le recrutement social spécifique à ces deux disciplines seraient intéressantes à comparer, mais les indicateurs disponibles sont généralement agrégés pour l’ensemble des sciences humaines et sociales.

27 . En économie, discipline « dominante » au sein des SHS (Fourcade et al., 2015), les lois de la reconnaissance scientifique sont fortement standardisées. Nous ne considérons donc pas que la position occupée par une discipline dans la hiérarchie académique soit automatiquement corrélée à l’adhésion ou non de ses membres à des formes de standardisation, mais explorons un cas où leur incorporation fonctionne comme un moyen, au yeux des représentants d’une discipline donnée, de revaloriser sa position sur l’échelle du prestige.

28 . Il s’agit de l’un des ancêtres de l’AERES. Le CNÉ a été créé par Laurent Schwartz en 1984 pour conduire l’évaluation des universités françaises. Il était composé majoritairement de membres de la profession académique, qui orchestraient les évaluations et lançaient ponctuellement des groupes de réflexions sur divers objets, dont l’enquête citée constitue un exemple.

29 . Termes soulignés dans le texte d’origine.

30 . Source : Archives nationales, 20080020/255. Chemise verte « Archivage : évaluation de la géographie ».

31 . Il s’agit d’une institution centrale de la recherche scientifique dans la discipline. Elle représente la communauté des géographes français auprès de l’instance internationale de la discipline.

32 . Ce communiqué est disponible sur la plateforme internet « Fabula. La recherche en Littérature ». http://www.fabula.org/.

Haut de page

Table des illustrations

Titre Figure 1 : Distribution des notes obtenues en fonction des taux de publiants*
Légende * Les figures et les tableaux ont été construits à partir d’informations contenues dans les rapports AERES, qui sont des documents publics.
URL http://journals.openedition.org/sociologie/docannexe/image/2789/img-1.png
Fichier image/png, 45k
Titre Figure 2. Attention portée au caractère international des publications en fonction de la spécialité disciplinaire des évaluateurs
URL http://journals.openedition.org/sociologie/docannexe/image/2789/img-2.png
Fichier image/png, 97k
Haut de page

Pour citer cet article

Référence électronique

Clémentine Gozlan, « Les sciences humaines et sociales face aux standards d’évaluation de la qualité académique », Sociologie [En ligne], N°3, vol. 7 |  2016, mis en ligne le 09 octobre 2016, consulté le 28 mars 2024. URL : http://journals.openedition.org/sociologie/2789

Haut de page

Auteur

Clémentine Gozlan

clementine.gozlan@sciencespo.fr
Doctorante, Sociologie, Centre de Sociologie des Organisations (CNRS /Sciences Po) - 19 rue Amélie, 75007 Paris, France

Haut de page

Droits d’auteur

Le texte et les autres éléments (illustrations, fichiers annexes importés), sont « Tous droits réservés », sauf mention contraire.

Haut de page

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search