Analyse critique de l'enquête réalisée par CSA pour le compte de
France Nature Environnement en août 2009. Lettre ouverte envoyée
début octobre.
Institut de sondages CSA
Monsieur Jean-Daniel Lévy
Directeur du Département Politique-Opinion
2 rue de Choiseul
75002 Paris
Charny, le 28 septembre 2009
Objet : Lettre ouverte au sujet du sondage CSA/FNE des 5 et 6 août 2009 sur les loisirs motorisés
Cher Monsieur,
Suite à la publication du sondage cité en objet, nous nous sommes sérieusement documentés sur les méthodes de réalisation des sondages. Il se trouve que nous avons la chance d’avoir parmi nos adhérents quelques personnes qui font le même métier que vous. Ces spécialistes nous ont donc expliqué que la méthode des quotas avec stratification est tout à fait représentative et donne des résultats fiables. Ils nous ont également confirmé que CSA réalise ses enquêtes téléphoniques et procède à leur dépouillement avec rigueur, ce qui est tout à votre honneur.
Cependant, nous avons appris par la même occasion que pour analyser les réponses obtenues, il faut aussi se pencher sur la formulation des questions, ainsi que sur la particularité de la situation d’enquête.
Nous savons donc à présent que :
un sondé préfèrera généralement donner une réponse plutôt qu’avouer qu’il ne comprend pas bien la formulation, et que de ce fait les termes peu usités doivent être explicités de manière précise ;
les questions ne doivent pas être ambigües, inductrices, complexes, ou trop longues, surtout par téléphone ;
normalement, il ne doit jamais y avoir deux propositions pour une seule réponse possible ;
les termes flous doivent être évités.
Bien entendu, je ne vous apprends rien sur cet « état de l’art » en matière de techniques de sondage.
Par contre, à la lumière de ces indications, nous avons pu apprécier la formulation des propositions de France Nature Environnement avec un œil neuf.
C’est pourquoi, si vous le permettez, nous vous soumettons quelques critiques et questions, sur lesquelles nous vous serions très reconnaissants d’apporter un éclairage.
Pour mémoire, il était demandé aux sondés (par téléphone) : « De laquelle des deux opinions suivantes êtes-vous le plus proche ? »
1ère opinion :
« Les loisirs motorisés, comme le quad, doivent se pratiquer sur des circuits et zones délimités et sécurisés, car leur pratique dans les forêts et sentiers fréquentés par les promeneurs est dangereuse et peu respectueuse de l'environnement. »
2ème opinion :
« Les loisirs motorisés, comme le quad, doivent pouvoir se pratiquer partout et même dans les forêts et sentiers fréquentés par les promeneurs, car il s'agit de la liberté de circuler pour tous et c'est un loisir comme un autre. »
Concernant la formulation de la première opinion
Il nous parait étonnant d’orienter la définition des « loisirs motorisés » (terme peu usité) vers les quads, ce qui est forcément réducteur et ne correspond à aucune définition précise des loisirs motorisés. D’ailleurs, que sont pour vous les « loisirs motorisés » ?
L’emploi de ce terme « quad » n’est d’ailleurs en lui-même pas du tout innocent, puisqu’il renvoie aux nombreux et récurrents conflits causés par l’usage anarchique de ces engins dans les cités, et à toutes les images négatives qui vont avec (rodéos urbains, accidents mortels, nuisances sonores…), ce qui est à mille lieues de l'usage paisible qui en est fait en randonnée, ou de l'usage sportif en compétition.
Nous nous étonnons également de voir la notion de « zones délimitées et sécurisées » précédée par le terme « circuit », un circuit étant par définition une zone délimitée et sécurisée utilisée pour la compétition (par exemple : Formule 1, motocross). On oriente clairement le sondé sur l’idée que la norme est le circuit, ce qui est faux.
Il nous semble aberrant de parler de « pratique dans les forêts et les sentiers », alors que la pratique des loisirs motorisés, et notamment celle de la randonnée motorisée, se fait sur des voies de circulation, qu’il s’agisse de routes ou de chemins, forestiers ou non. Le terme sentier est systématiquement interprété dans l’opinion publique comme « voie réservée aux piétons », ce qui est en effet la règle, sauf exceptions (je ne rentrerai pas dans le détail de la réglementation ici). De ce fait, on laisse entendre que les pratiquants motorisés dans leur ensemble utilisent des voies interdites car réservées aux piétons, ou des zones interdites (forêts), ce qui ne correspond pas à la réalité.
Par ailleurs, pourquoi parler uniquement de fréquentation par des « promeneurs » ? Toute voie de circulation est potentiellement occupée par des piétons, et pas seulement par des promeneurs. Le choix de ce terme nous parait donc inducteur.
Enfin, on trouve deux propositions distinctes sans lien causal : « dangereuse et peu respectueuse de l’environnement ». A quel item répond le sondé ? On nous a pourtant expliqué que poser deux propositions dans une question de sondage était absolument à proscrire (surtout sans lien).
En outre, il nous semble bien que l’utilisation de « peu respectueuse » oriente la réponse du sondé, puisqu’il ne lui est pas offert de trancher vraiment. Ce faisant, il se réfugie dans la case floue. Il nous semblait qu’un sondage devait proposer le choix entre des réponses tranchées, afin que le sondé puisse réellement se prononcer. Par exemple : très respectueuse, plutôt respectueuse, peu respectueuse, pas du tout respectueuse.
Concernant la formulation de la seconde opinion
Pourquoi utiliser « partout et même dans les forêts et sentiers » ? Ne pensez-vous pas que « partout et même » est interprété par le sondé comme « n’importe où et n’importe comment » ?
Pourquoi proposer « car il s’agit de la liberté de circuler et c’est un loisir comme un autre » ? Là encore, à quoi répond le sondé ? Impossible de savoir s’il répond à la première proposition, à la seconde, ou aux deux. Quel lien existe t’il entre « liberté de circuler » et « loisir comme un autre » ?
En résumé, ne trouvez-vous pas que :
la formulation des deux opinions a un effet clairement inducteur sur les réponses ?
les échelles de classement proposées sont floues (« peu ») ?
le principe de ne poser qu’une seule proposition par phrase n’est pas respecté ?
Enfin, étant donné la longueur et la présence de plusieurs propositions par phrase, la compréhension de ce type de formulation par téléphone nous paraît bien peu évidente. Par conséquent, les résultats obtenus ne sont-ils pas sujet à caution ?
Nous ajoutons pour terminer que si ce sondage avait eu pour seul objet d’être un baromètre pour FNE, cela n’aurait pas été très grave. Mais ça n’est pas le cas, puisque les résultats ont largement alimenté la presse, sous des titres évocateurs du type « 83 % des français jugent les loisirs motorisés peu respectueux de la nature », ce qui ne correspond pas au résultat réel du sondage.
Bien entendu, vous ne pouvez être tenu pour responsable de l’exploitation qui est faite des résultats de l’enquête par votre client. Néanmoins, comme le précise votre concurrent IPSOS sur son site internet : « L’institut de sondages est intellectuellement responsable des questions posées. Mais il lui faut souvent résister à la pression de ses clients qui cherchent, consciemment ou inconsciemment, à lui faire poser des questions rédigées dans une forme favorable à leurs points de vue. »
C’est pourquoi nous sommes naturellement particulièrement intéressés par tout éclairage que vous pourriez apporter à propos de la formulation de ce questionnaire.
Dans cette attente, je vous prie de recevoir, cher Monsieur, mes salutations distinguées.
Patrick Huet
Président du Codever
Retour liste des actualités