De l’évaluation à la domination (I) - Darcos m’a tuer

Les mauvais résultats à PISA, c’est la faute aux immigrés.

Aux résultats PISA, les Länder de l’Est font mieux que l’ouest ; en Belgique, c’est la communauté Flamande qui se distingue nettement. Or, dans chacun de ces cas, on trouve un facteur commun : l’immigration. En effet, en Saxe, il y a 4% d’élèves immigrés contre 25% à Hambourg. En Belgique francophone, il sont 18.3 % contre 6.8% en Belgique flamande. A titre indicatif, il y a en France, pays de forte immigration, 14.3% d’élèves d’origine immigrée, c’est-à-dire dont les parents sont tous deux nés à l’Etranger. Le facteur explicatif est trouvé : le mauvais classement est la faute aux immigrés. Les choses sont-elles aussi simples ? Non. Je viens de faire une manipulation statistique et linguistique. Les données sont vraies, mais elles ne permettent pas d’établir un lien de cause à effet, juste une corrélation. En plus, j’ai implémenté « pays de forte immigration » qui est un jugement - on appelle cela une modalité évaluative -, non un fait, mais le lecteur l’acceptera pour vraie dans son inconscient puisqu’il sera focalisé sur les nombres. La manipulation statistique s’en trouve ainsi renforcée. Les causalités ne peuvent être tirées que de l’étude de ces données – et non des données elles-mêmes -, de leur croisement avec d’autres indicateurs. Les corrélations ne présument donc nullement la causalité. Ainsi, selon Nicolas Gauvrit, (maître de conférences en mathématiques pures et docteur en sciences cognitives), a-t-on pu établir dans une école primaire que plus les enfants avaient de grands pieds, moins ils faisaient de fautes d’orthographe. Le cours particuliers est dépassé, l’avenir est aux podologues ! Ne rions pas : le service marketing des grands groupes industriels abusent de cet artifice pour manipuler le destinataire et le conduire à croire, par exemple, que le vin rouge est bon pour la santé. Les statistiques ne sont jamais présentées par des statisticiens. Elles sont toujours l’objet d’interprétations et de manipulations. Ainsi, les statisticiens présentent des études travaillées par des rédacteurs qui rédigent un rapport. Lorsque celui-ci déplaît à certains lobbies, les rapports sont de nouveau rédigés. Les journalistes reprennent ensuite le rapport retouché, et le public est manipulé.

 

Qui se cache derrière le consortium PISA ?

 

PISA donne une impression de transparence, de pluralité et d’universalité. Or, du début à la fin du processus élaboration-correction-analyse d’items, il y a le consortium PISA et son maître d’œuvre. Qui sont-ils ?

 

Créée en 1930, l’ACER (le maître d’œuvre) est une association australienne qui vend des évaluations, ainsi que des produits et services en matière d’éducation. NIER est un institut japonais qui s’occupe de politique éducative. ETS (Educational Testing Service) est une association américaine qui vend des produits et des services dans le domaine de l’enseignement. Deux de ses produits sont bien connus des français : le TOEFL et le TOEIC. CITO, créée par le gouvernement néerlandais en 1968, est devenue une société privée en 1999. Enfin, Westat Incorporated est une entreprise américaine (employee ownership) omniprésente dans les évaluations : PIRLS, TIMMS, NAEP, etc. 

Notons que toutes ces organisations sont d’inspiration anglo-saxonne. De même, les experts scientifiques de PISA sont anglo-saxons à l’écrasante majorité. Nathalie Mons représentera pour la première fois la France lors de PISA 2009. Ce qu’il faut retenir à ce stade, c’est qu’une culture se définit aussi par son système éducatif.

Les circonstances troubles de l’attribution du marché de l’évaluation internationale PISA

 

PISA prétend que le marché de l’évaluation internationale a été attribué selon un appel d’offre transparent, pourtant la réalité est autrement plus confuse comme on peut le lire dans l’excellent rapport Vrignaud/ Bottani, rédigé en 2005 à la demande du Haut Conseil de l’évaluation de l’école aujourd’hui dissout au profit du HCE. Rappelons également que si le Haut Conseil de l’évaluation de l’école était composé de plusieurs dizaines de personnes issues d’horizons différents, le HCE est composé de 9 personnes, dont Michel Pèbereau, un ancien président de BNP Paribas, membre du conseil exécutif du MEDEF, du comité consultatif de la Fed, et de divers autres comités. Précisons que sur le site du HCE, il est indiqué que monsieur Pèbereau a piloté la privatisation de la BNP Paribas. A qui ce message superfétatoire est-il destiné ?

 

Pierre Vrignaud est un français, maître de conférences extrêmement réputé. Norberto Bottani est un Suisse, ancien administrateur principal au CERI-OCDE. Il est aujourd’hui consultant indépendant. Norberto est l’un de ceux qui connaissent le mieux le fonctionnement des évaluations internationales.

 

Dans le rapport, les auteurs révèlent que lors de l’élaboration du programme PISA en 1997, un projet européen conduit par la France n’a pas été retenu. On comprendra avec l’extrait suivant :

 

« Ces institutions n’ont pas été choisies au hasard ; elles ont été repérées en fonction d’une stratégie concoctée par l’OCDE, mais qui est délicate à expliciter faute d’informations suffisantes. Nous n’avons pas d’éléments qui nous permettent de connaître les critères adoptés pour déterminer le cercle des candidats potentiels et de savoir si des consultations au préalable ont été menées, si des indications ont été adressées à l’OCDE ou si l’OCDE avait elle-même pris des contacts pour délimiter le cercle des candidats potentiels à la réalisation du programme PISA. Pour conclure cette partie dédiée à la description de l’organisation du programme PISA, une remarque s’impose : la mise en oeuvre de cette opération a été effectuée avec une rapidité extraordinaire. Tout a été mis sur pied en sept mois, entre juin 97 et janvier 98, y compris la préparation de l’appel d’offre, son lancement, l’évaluation des soumissions, le choix du maître d’ouvrage, la sélection des experts. Si l’on considère la taille du projet, on ne peut que rester étonnés face à la vitesse avec laquelle l’opération a été menée. On peut supposer que cela a été possible car des travaux préparatoires ont été accomplis ailleurs, en dehors du processus officiel décrit et présenté dans les documents OCDE. Le réseau A du projet INES était entré en matière depuis longtemps, mais ce n’est pas au sein du réseau A que les détails de la machine organisatrice ont été mis au point. Par ailleurs, le délai d’un mois laissé pour constituer un consortium international en mesure de soumettre une proposition pour conduire une étude est particulièrement court et à cet égard on peut émettre l’hypothèse que le consortium européen, piloté par l’Université de Bourgogne, n’a pas eu le temps suffisant pour élaborer la proposition ou n’a pas eu les informations ou les indications appropriées pour entamer une réflexion au préalable lui permettant d’être prêt avec une proposition élaborée et avec des sous-traitants identifiés au moment opportun, ou que la nature du consortium et les modalités de sa composition n’étaient pas compatibles avec la procédure et les temps imposés par l’OCDE qui supposaient comme interlocuteurs des pôles de recherche structurés autrement ou déjà existants. On peut ainsi se demander si au-delà de la relative transparence du processus, l’opération qui a mobilisé une partie importante d’anciens collaborateurs de l’IEA n’ait pas été conçue et élaborée dans d’autres instances que celles officiellement reconnues. C’est un problème important de gestion de la recherche internationale qui mériterait d’être exploré ultérieurement. »

PISA prétend que le choix des items est transparent et impartial, mais Pierre Vrignaud s’interroge :

 

«  Pourquoi ces mêmes items ont-ils été présentés tard un dimanche soir au moment où tout le monde reprenait son avion ?  »

 

Qu’est-ce qu’une compétence ?

 

PISA ne mesure pas les connaissances, mais les compétences. Les élèves ne sont donc pas évalués sur le programme scolaire, sur ce qu’ils ont acquis à l’école, mais sur les compétences nécessaires pour vivre et réussir dans le monde moderne. Naturellement il y a un lien entre compétences et connaissances, et il est vrai que l’on retrouve dans PISA une partie du programme. Mais une petite partie seulement.

 

PISA est un test psychométrique. La psychométrie est de la psychologie différentielle, c’est-à-dire qu’elle s’attache à chercher les différences. La psychométrie fournit moins une évaluation qu’une mesure. Il y a plusieurs formes d’évaluation.

PISA prétend comparer et évaluer des compétences et s’abrite derrière l’élimination des biais culturels, c’est-à-dire, pour schématiser, tout ce qui peut avantager les élèves d’un pays. Or, quand on élimine ce qui fait la spécificité des pays, on ne les compare plus que sur la base du plus petit dénominateur commun. Et c’est ce dénominateur que l’on offre comme modèle de vie et de réussite dans le monde moderne, en occultant tout le reste. Sous-entendu : monde uniforme.

 

En psychométrie, on mesure un construit. Ce construit doit être rigoureusement défini pour que le test soit valable. Or qu’est-ce qu’une compétence nécessaire pour vivre dans le monde moderne ? Faut-il déployer les mêmes compétences d’un pays à l’autre ? Ces compétences sont-elles définies à l’âge de 15 ans, celui des élèves évalués ? Autant de questions qui ont été soulevées par des centaines d’experts en sciences de l’éducation, psychologie cognitive, etc. Personne n’a été capable de donner la réponse.

 

Et surtout, qu’est-ce qu’une compétence ? Le personnel de PISA/OCDE et les gouvernements disposent-t-ils de la compétence à définir la compétence ?

A vrai dire, une tentative a été faite par l’OCDE entre 1997 et 2001 : le programme DESECO. Une équipe pluridisciplinaire mais réduite a été réunie. Elle était composée de Canto-Sperber et Dupuy (deux philosophes), de Goody (ethnologue), d’ Haste (psychologue), de Levy & Murnane (économistes), enfin de Perrenoud (sciences de l’éducation). Or, de l’avis général, leurs conclusions n’ont pas été retenues. La notion de compétence n’a pas été définie par des scientifiques pour une évaluation qui se veut scientifique ! Personne ne sait qui l’a définie.

Une évaluation internationale financée par les contribuables et confiée à des organismes exclusivement d’inspiration anglo-saxonne (avec leur culture statistique et idéologique) dans des conditions mystérieuses mériterait qu’un ministre de l’Education Nationale s’interroge et interroge. Parce que baser sa politique – dont je reconnais par ailleurs qu’elle comporte de nombreux points positifs – dans ces conditions n’est pas digne de cette responsabilité.

 

Dans les prochains billets, on verra que la fin de l’Etat-Nation a été programmée par des forces internationales, que les biais statistiques, méthodologiques et culturels invalident l’exploitation politique qui a été faite de PISA. On verra également que par le biais de l’éducation, on impose aux citoyens sans leur consentement un modèle unique de société, que ce modèle passe par le discrédit porté aux systèmes éducatifs qui n’ont pas eu l’heur d’un bon classement et que ce classement a peut-être été fait pour cela. On verra également que c’est un nouveau paradigme qui se dessine. De même, on verra enfin que le modèle finnois si admiré en raison de son classement PISA est critiqué par les plus hautes autorités de l’enseignement supérieur en Finlande. On verra enfin comment la France s’apprête à perdre, et comment l’évaluation internationale est un enjeu commercial à l’échelle planétaire, parce que derrière le marché de l’évaluation, il y a le marché de l’éducation.

 

Evaluer, c’est dominer !