Odoxa : sondage « bidonné » sur la progression de Marion Maréchal-Le Pen

Dimanche 19 avril, l'Institut ODOXA a présenté un sondage sur la perception de Marion Maréchal Le Pen.[1] qui a donné lieu à plusieurs gros titres dans la presse Française.

- Le Parisien : " 40 % des Français ont désormais une bonne opinion de Marion Maréchal-Le Pen".

- 20 minutes : " Quatre Français sur dix ont « une bonne opinion » de Marion Maréchal-Le Pen" rajoutant juste après : " Marion Maréchal-Le Pen fait son chemin auprès de l'opinion."

- L'express : " "Sondage : la popularité de Marion Maréchal-Le Pen en forte hausse"

- Le Point : "40 % des Français ont une bonne opinion de Marion Maréchal-Le Pen"

 

Ces médias ont titré sur une amélioration importante au vu des 40% de Français qui déclareraient désormais avoir une opinion positive d'elle comparativement aux 28% qui le déclaraient en janvier dernier.
Mais d'où vient cette comparaison de résultats ?
 

 

1. Faute de base de comparaison, Odoxa compare des questions incompatibles
 

Les médias ont repris les commentaires étonnants de l'institut ODOXA qui parle de "progression spectaculaire" en comparant ses propres résultats avec ceux du baromètre IFOP-Fiducial de Janvier 2015 :

" Comme pour sa tante Marine, c’est en réalité l’évolution spectaculaire des jugements positifs à son égard – auprès des Français, et plus encore auprès des sympathisants de droite – qui interpelle.

 Avec 40% de bonnes opinions, Marion Maréchal le Pen a progressé de 12 points en trois mois : elle ne disposait que de 28 % de bonnes opinions en janvier 2015 dans le sondage effectué par nos confrères de l’Ifop pour Paris Match et Sud Radio".

 

En matière de constat d'évolution, il y a pourtant une règle stricte : le constat doit être basé sur la reproduction de questions rigoureusement identiques pour permettre des résultats comparables.

Mais ODOXA ne disposait d'aucune question identique pour établir une comparaison. Il a donc été chercher la question d'un autre institut, le baromètre IFOP-Fiducial en omettant de préciser à quel point les deux questions de ces deux sondages étaient incompatibles.

ODOXA disposait pourtant de la question d'un sondage qu'il avait réalisé en novembre 2014 à l'occasion du congrès du FN et qui concluait à 33% de bonnes opinions pour MMLP [2]. Mais un chiffre qui ne permettait d'évoquer qu'une hausse plus faible.

 

2. Pourquoi les questions utilisées pour témoigner de cette hausse sont-elles incompatibles ?
 

Les scores obtenus par un sondage sont directement dépendant de la question posée et de l'échelle d'évaluation utilisée. Si les questions ou les échelles d'évaluation sont différentes, elles ne peuvent être comparées.

Nous allons montrer que la progression de popularité dont fait état ODOXA est basée sur la comparaison de questions qui ne pouvaient que produire des résultats différents.

 

Voyons les questions et les échelles de ces deux sondages :

Question posée par Odoxa en Avril 2015 : " Avez-vous une très bonne, plutôt bonne, plutôt mauvaise ou très mauvaise opinion de Marion Maréchal-Le Pen ?"
 

Question posée par l'IFOP en Janvier 2015[3] : "Pour chacune des personnalités suivantes, dites-moi si vous en avez une excellente opinion, une bonne opinion, une mauvaise opinion, une très mauvaise opinion ou si vous ne la connaissez pas suffisamment ? "
 

Deux différences principales apparaissent :

ODOXA utilise dans son sondage une échelle d'évaluation classique en 4 points :
"très bonne opinion, plutôt bonne opinion, plutôt mauvaise opinion, très mauvaise opinion".

L'IFOP en revanche, utilise une échelle en 5 points inhabituelles qui déroge aux standards classiques :
Excellente opinion, bonne opinion, mauvaise opinion, très mauvaise opinion, Ne la connait pas suffisamment (cette personne)
 

a- L'échelle de l'IFOP comporte donc une réponse supplémentaire. Les personnes interrogées peuvent répondre qu'ils "Ne connaissent pas suffisamment la personne ".
Cette possibilité de réponse supplémentaire diminue d'autant le pourcentage attribué aux autres propositions. Pour être comparés, les résultats de 2 questions doivent comporter strictement le même nombre de possibilité de réponse.
 

b- Les degrés de l'échelle IFOP sont différents de ceux utilisés par l'échelle ODOXA. Ainsi l'item "bonne opinion" utilisé par l'IFOP ne correspond pas à l'item "plutôt bonne opinion" utilisé par ODOXA. La proposition "bonne opinion" a un caractère beaucoup plus affirmatif et restrictif que la proposition "plutôt bonne opinion". C'est d'ailleurs cet item qui regroupe les principaux écarts de résultats.
 

Ce sont ces 2 différences qui expliquent les écarts de résultats entre les sondages IFOP et ODOXA et qui en interdisent la comparaison.

En observant les résultats des 2 sondages on voit que l'item supplémentaire "Ne la connait pas suffisamment" diminue de 10% les points que se partagent le reste des propositions. Il existe par ailleurs une différence de 10 points entre le résultat de l'items "bonne opinion" de l'IFOP à 22% en janvier 2015 et "assez bonne opinion" à 34% chez ODOXA en Avril 2015.

On se rend ainsi compte que la seule différence notable et significative entre les sondages de janvier et d'avril 2015 de l'IFOP, est qu'à force de parler dans les médias de MMLP, les Français finissent par la connaitre.

 

3. Une comparaison douteuse qui triple la progression de popularité de MMLP

ODOXA a donc réalisé ce sondage les 16 et 17 avril 2015 et compare les résultats qu'il obtient avec ceux d'un sondage incompatible réalisé par l'IFOP en janvier 2015.

Mais le sondage IFOP-Fiducial de janvier 2015 est un baromètre qui est reproduit périodiquement. Une nouvelle vague avec les mêmes questions et les mêmes échelles a été réalisée une semaine avant le sondage ODOXA, les 10 et 11 avril 2015[4]. Cette dernière vague qui elle, était parfaitement comparable avec la vague de Janvier 2015 n'a constaté pour MMLP que des différences faibles : 32% d'opinions positives en avril 2015 (contre 28% en janvier),
Ainsi avec une question identique, la différence de popularité de MMLP de janviers à avril 2015 n'est que de 4% (et non pas la hausse fantaisiste de 12% annoncée par ODOXA).
 

Compte tenu de l'intervalle de confiance et de la précision des 2 sondages, Cette différence de 4% peut-être considérée comme non-significative.
La preuve est donc faite que c'est bien la comparaison entre 2 sondages incompatibles comportant des échelles dissemblables qui détermine la majeure partie de la hausse annoncée et non pas une prétendue évolution.
 

On peut raisonnablement penser qu'ODOXA a intentionnellement mis en avant cette comparaison[5] pour faire apparaitre une hausse importante de résultats. Pourtant on ne peut pas imaginer qu'un sondeur compétent puisse "laisser passer" une telle accumulation de différences sans juger impossible la comparaison des 2 sondages.
 

 

4. La presse a-t-elle été bernée ou est-elle complice ? 

Cependant au-delà de cette comparaison abusive la hausse de popularité annoncée a été reprise par une grande partie de la presse sans aucune vérification de sa part.

Que dire de journalistes et de médias qui diffusent, utilisent et commentent des résultats et se laissent si facilement abuser par des comparaisons grossières alors qu'une vérification minimale aurait permis de lever la supercherie ? Il ne m'a fallu que 1/4 d'heure pour constater que cette hausse à laquelle toute la presse faisait référence renvoyait au sondage d'un autre institut, pour retrouver les chiffres et les questions exactes de cet autre institut, constater que les échelles n'étaient pas comparables et en conséquence que les hausses annoncées étaient largement fantaisistes.

Nous savons tous que les sondages peuvent être manipulés ou instrumentalisés. Certains instituts sont dans ce domaine plus spécialisés que d'autres. Mais encore faut-il que les journalistes qui les diffusent puissent jouer leur rôle de filtre et de critique.

 

Ce constat entraine plusieurs conclusions :

1. Pour l'avoir constaté depuis plus de 30 ans, il est extrêmement facile d'abuser et de manipuler les journalistes qui connaissent très mal les sondages alors qu'ils sont censés les décrypter.

2. Par ailleurs, les journalistes semblent parfois peu vérifier leurs informations et il est urgent de renforcer la formation des élèves journalistes en matière de lecture et d'interprétation de sondages.