Les entrailles du classement

Comme chaque année depuis son lancement en 2003 le Academic Ranking of World Universities - ou Palmarès académique mondial des universités - établi par l’université Jiao Tong de Shanghai donne lieu à de nombreux commentaires. A l’origine, ce classement était établi pour mesurer l’écart qui séparait les universités chinoises des meilleures universités mondiales (« Our original purpose of doing the ranking was to find out the gap between Chinese universities and world-class universities, particularly in terms of academic or research performance »), mais son retentissement en a fait un étalon utilisé par l’ensemble de la communauté scientifique et universitaire internationale et sans doute aussi un outil utilisé par les étudiants et leurs familles dans leurs choix d’éducation. On ne peut donc l’ignorer.

Cette fois-ci encore le classement des institutions françaises dans l’ARWU donne lieu à des analyses à la tonalité négative sur la qualité de nos établissements supérieurs : « Pauvres universités françaises  ! » titre Le Monde, ou encore « La France fait à nouveau pâle figure dans ce palmarès annuel aussi redouté que critiqué dans le monde universitaire », nous indique Libération. Il faut dire que la performance des universités françaises n’est a priori pas très brillante : 3 établissements dans la liste des 100 premières universités mondiales, 23 au total dans le top 500, avec Paris VI, meilleure institution française, qui apparaît seulement en 42e place… Au final, la France apparaît au 7e rang mondial de ce classement loin derrière des pays européens comparables comme la Grande-Bretagne ou l’Allemagne ou encore à égalité avec l’Australie ou la Suisse pour la présence dans le top100. L’ego national en prend un coup.

Aussi il nous a paru intéressant de mieux comprendre comment le classement était établi pour en déceler les éventuels biais. A ce titre, les auteurs de l’étude soulèvent eux-mêmes la question de son objectivité dans leur FAQ et indiquent qu’elle est sujette à polémique (« The quality of universities cannot be precisely measured by mere numbers. Therefore, any ranking is controversial and no ranking is absolutely objective »). En effet, au-delà des obstacles méthodologiques, les indicateurs retenus pour mesurer la performance des universités prédéfinissent pour une part les résultats. Nous allons y revenir en détail.

Le classement repose sur six critères qui sont codés de la façon suivante : Alumni, Award, HiCi, N&S, PUB et PCP. Le poids de chaque critère varie dans la note totale, respectivement 10 % pour Alumni, 20 % pour Award, 20 % pour HiCi, 20 % pour N&S, 20 % pour PUB et 10 % pour PCP.

§ Alumni correspond au nombre d’anciens élèves de l’institution qui ont obtenu un prix Nobel ou une médaille Fields (mathématiques) et qui ont obtenu une licence, un master ou un doctorat dans ladite institution. La mesure est pondérée en fonction de la date d’obtention du diplôme (plus on s’éloigne dans le temps moins la pondération est forte) ;

§ Award correspond aux membres du corps professoral de l’institution qui ont obtenu un prix Nobel ou une médaille Fields. Sont concernés les prix Nobel de physique, de chimie, de médecine et d’économie. La mesure est pondérée en fonction de la date d’attribution du prix Nobel ou de la médaille Fields (plus on s’éloigne dans le temps moins la pondération est forte) ;

§ HiCi correspond pour une institution donnée au nombre de chercheurs fréquemment cités, c’est-à-dire mentionnés dans les articles de leurs pairs, et ce dans 21 catégories ;

§ N&S correspond aux articles publiés dans les revues Nature et Science entre 2003 et 2007 par les membres du corps professoral d’une université ;

§ PUB est une mesure du nombre total d’articles publiés en 2007 suivant un index universitaire ;

§ PCP est un indicateur de correction qui pondère les résultats des cinq facteurs précédents en fonction de la taille du corps professoral d’une institution.

Pour chaque indicateur, la meilleure institution du classement est affectée du score 100, et les institutions suivantes obtiennent un score qui est fonction de leur performance par rapport à ce meilleur score (évidemment inférieur à 100). Imaginons par exemple que l’université de Harvard obtienne le meilleur score pour le critère Award avec 150 prix Nobel ou médailles Fields, son score sera de 100 sur le critère. Stanford avec 100 prix Nobel ou médailles Fields aura alors un score de 66,6 (100/150).

Comme on le voit tout cela est relativement complexe… mais on peut d’ores et déjà formuler des remarques de bon sens.

Tout d’abord le classement est très focalisé (uniquement ?) sur la recherche. La dimension pédagogique, d’enseignement des universités est totalement absente, ce qui est pour le moins étrange car la formation de chercheurs n’est pas l’activité principale de nombreuses universités. Un intitulé plus exact du classement devrait être le Palmarès mondial de la recherche dans les universités !

D’ailleurs on notera ici comme un paradoxe : dans un contexte où nos gouvernants conçoivent l’université avant tout comme un lieu de formation à l’emploi il y a une légère contradiction à s’alarmer outre mesure d’un classement centré sur la recherche… mais bon passons.

Le classement de Shanghai est par ailleurs essentiellement consacré aux sciences dures ; la liste des prix Nobel retenus – absence du prix Nobel de littérature, voire du Nobel de la paix – ou la mise en avant de Science et Nature comme revues scientifiques en attestent.

Enfin dernière remarque : en choisissant Science et Nature comme revues de référence (et les critères HiCi et PUB font aussi la part belle aux revues de langue anglaise) on valide a priori la suprématie de la recherche anglo-saxonne et donc on donne un avantage dès le départ aux universités anglo-saxonnes. Dès lors, des pays comme l’Australie ou le Canada sont très bien classés, sans parler des Etats-Unis qui trustent 54 des premières places, ou de la Grande-Bretagne, seul pays européen présent dans le top 10 et le top 20 avec Cambridge et Oxford.

A ce stade, le jugement qu’on peut porter sur le classement amène donc à en relativiser la portée : il s’agit avant tout d’un classement sur la recherche dans les universités, sur les sciences dures essentiellement, avec un biais culturel fort en faveur du monde anglo-saxon. On peut commencer à être un peu soulagé.

Lorsqu’on entre dans le détail de la méthodologie du classement, on peut aussi faire quelques remarques. En premier lieu, il y a un fort effet d’inertie du classement. En effet, des institutions qui ont été très performantes dans le passé bénéficient au travers des critères Alumni et Award d’une espèce de prime aux résultats antérieurs. Ainsi, même si du jour au lendemain Harvard ou Stanford « s’écroulaient », ils ne disparaîtraient pas du haut du classement.

Il y a un autre aspect méthodologique que l’on peut critiquer : un chercheur qui obtient un prix Nobel a en général un certain âge, or c’est l’institution dans laquelle il travaille au moment de l’obtention du prix qui est créditée. Le chercheur a pu passer les vingt années précédentes ailleurs, faire ses principales découvertes dans une autre université, mais c’est son employeur du moment qui récolte la gloire. Il y a là une forme d’anomalie. Ce critère favorise donc les universités riches capables d’attirer des chercheurs confirmés, potentiellement nobélisables. Il y a une prime à la puissance et à la capacité d’embauche.

Enfin, le classement privilégie la taille et le quantitatif ; malgré la pondération introduite avec le critère PCP, le classement favorise les « grosses » universités puisque avec des bases importantes d’élèves et de chercheurs on a plus de chances de figurer dans le classement (les grosses universités bénéficient notamment d’avantages qui ne sont pas seulement liées à la taille du corps professoral, mais aux effectifs administratifs et aux effets de réseaux – partenaires publics et privés notamment – induits par leur taille).

Au final, le classement de Shanghai doit être nuancé et contextualisé. Bien sûr, il met l’accent sur des faiblesses françaises : atomisation des institutions, manque de visibilité internationale tant en matière de publications que de partenariats, difficulté à fidéliser nos meilleurs chercheurs une fois ceux-ci formés, mais il est fondamental de noter qu’il favorise une certaine vision de l’université (recherche uniquement, course à la taille, alignement sur un modèle anglo-saxon) qui n’est pas forcément la plus pertinente. En outre, il sous-valorise les sciences sociales, domaine où la France est historiquement assez performante.

C’est ce que dit de façon assez juste la FAGE, fédération étudiante, dans un communiqué intitulé de façon offensive « Le Classement de Shanghai n’est pas pertinent pour juger les universités françaises ! » En ce sens, la volonté de créer d’autres formes de classement à l’échelle européenne, par exemple, et sur la base d’autres critères est une bonne initiative. Comme souvent la pluralité des points de vue serait un plus.