Navigation – Plan du site
Les sciences humaines et sociales face aux standards d’évaluation de la qualité académique

Annexe électronique : L’analyse de la critériologie des évaluateurs à l’AERES

Clémentine Gozlan

Texte intégral

1Le caractère à la fois public et prolifique de la documentation de l’AERES prête sa production normative à des traitements quantifiés, qui m’ont ici permis d’objectiver les pratiques de jugement des évaluateurs. J’ai construit une base de données à partir des informations contenues dans un échantillon de 54 rapports AERES également répartis dans les disciplines de la littérature et de la géographie.

2Cette base a été constituée de sorte à représenter différentes années d’écriture des rapports (2008-2011), différentes localisations géographiques des équipes évaluées, et différents types d’équipes (équipe d’accueil ou unité mixte de recherche).

3Les catégories d’évaluation sur lesquelles la base a été fabriquée sont présentes dans les sections « points forts », « points à améliorer» et « recommandations » des rapports. D’une part, car ces rubriques d’une demi-page à deux pages qui concluent les rapports sont restées stables au fil des années, leur régularité permettant des comparaisons. D’autres part, car elles constituent la partie la moins encadrée des rapports: elles sont le lieu où les évaluateurs formulent les éléments qui ont retenu leur attention, indépendamment des rubriques thématiques qu’ils ont à renseigner.

4Me centrer sur ces sections permettait alors d’observer les caractéristiques des laboratoires que les évaluateurs eux-mêmes valorisent, ainsi que le type de prescriptions qu’ils formulent, et in fine de restituer leurs représentations de ce qui constitue un « bon » laboratoire de recherche.

5Dans cette base, leurs catégories de jugement ont été la plupart du temps consignés en langage indigène : «  originalité des travaux » a été transcrit tel quel. Mais dans certains cas, il s’agissait de transformer du discours littéraire, reposant parfois sur de nombreux implicites, en catégories de jugement objectivées. Ceci n’aurait été possible sans prêter attention au contexte d’énonciation, par une lecture assidue, y compris du rapport entier, lorsque persistaient des ambiguïtés. Pour exemple, un point à améliorer était formulé ainsi : « Le financement de la recherche dépend trop exclusivement du Ministère ». Le sens latent n’a pu être décrypté qu’en confrontant les différents éléments de discours présents dans le rapport. En l’occurrence, un faisceau d’indices (encouragement à déposer des projets ANR, s’essayer aux projets européens), a permis d’interpréter, sans déformer le sens que les évaluateurs ont donné à leur propos, que ledit point à améliorer référait aux invitations disséminées dans le texte à développer leurs recherches sur projets.

6160 catégories ont été répertoriées, mais les deux cinquièmes n’apparaissaient qu’entre une et trois fois dans l’ensemble de l’échantillon, ce qui constitue déjà en soi un indice de l’importante variation axiologique des rapports d’évaluation. Une vingtaine de catégories concernaient spécifiquement la production académique, c’est cet extrait de la base que j’analyse dans l’article. De manière générale, le nombre d’occurrences des catégories recensées est relativement faible. J’ai travaillé sur celles qui apparaissent au minimum quatre fois dans l’ensemble des rapports, et n’ai conservé que les résultats dont la significativité était attestée par un test exact de Fisher.

7Enfin, la base renseigne également certaines caractéristiques des acteurs de l’évaluation. J’ai notamment été attentive aux domaines de compétences scientifiques des président.e.s de comité de visite. Ces informations ont été obtenues grâce à l’auto-description qu’ils faisaient de leurs orientations académiques, sous formes de mots-clés, sur leur page personnelle ou sur celle de leur institution de rattachement. Ce repérage est certes imparfait, mais peut être considéré comme un proxy de leur sensibilité disciplinaire, qu’il est intéressant de relier aux critères de jugement mis en avant dans les rapports dont ils ont orchestré l’écriture.

Haut de page

Pour citer cet article

Référence électronique

« Annexe électronique : L’analyse de la critériologie des évaluateurs à l’AERES », Sociologie [En ligne], N°3, vol. 7 |  2016, mis en ligne le 23 avril 2016, consulté le 22 octobre 2017. URL : http://sociologie.revues.org/2792

Haut de page

Droits d’auteur

© tous droits réservés

Haut de page