L’art des sondages ou comment éviter les pièges

Croyez-vous aux sondages? Certains politiciens les ignorent ou ne les commentent pas, mais ils les étudient en catimini. On ne leur fait pas toujours confiance, mais on y réfère à la première occasion, quand ça nous arrange. Malgré leurs défauts, ils sont de bons révélateurs de tendances et d’opinions et ils demeurent incontournables. Lorsqu’on est en mesure de bien comprendre leur teneur, on ne les regarde plus de la même façon. Mais quels sont leurs défauts et comment peut-on les éviter? Un sondage révèle que…

Tout est dans la méthodologie

La méthodologie d’un sondage nous révèle bien des choses. La qualité de l’information recueillie dépend largement de la rigueur entourant la réalisation du sondage et de l’interprétation de ses résultats. Mais le but de ce texte n’est pas de donner un cours sur la statistique, de décortiquer la recherche quantitative ou de dresser une liste exhaustive de tous les problèmes et biais systématiques liés aux sondages. Il s’agit plutôt d’en apprendre un peu plus sur certains biais que peut comporter un sondage pour être en mesure de porter un regard plus critique à son égard et éventuellement d’éviter les pièges lorsque viendra le moment d’en réaliser un. (Lire aussi: Intentions de vacances et concrétisation, deux réalités.

Difficile d’éviter tous les biais

Un biais est un facteur qui influence les résultats d’un sondage. Sans entrer dans toutes les considérations que nécessitent les règles d’échantillonnage, le taux de réponse, la méthode d’enquête retenue, la collecte de l’information, la marge d’erreur et l’interprétation des résultats, sachez qu’il est difficile d’éviter tous les biais qui peuvent survenir lors des diverses étapes d’un sondage. Même que certains s’y glissent délibérément lorsque le commanditaire du sondage veut favoriser un résultat.

Le milieu touristique contribue aussi à complexifier la tenue d’un sondage. Nous en donnons quelques exemples ci-après.

La constitution d’un échantillon représentatif

Un bon échantillon constitue la base d’un bon sondage. S’il s’agit d’un sondage aléatoire dans la population, on s’assurera de la présence de tous les groupes de la société. Si l’échantillon provient d’une liste, il faudra qu’elle soit la plus exhaustive possible. Lors de sondages sur les clientèles touristiques, il n’est pas toujours facile de constituer un échantillon représentatif: comment rejoindre par exemple les Américains qui ont visité Montréal au cours de l’été?

Les sondages par Internet ont présentement la cote, car on peut rejoindre un grand nombre de personnes à faibles coûts. Toutefois, à moins de contacter une clientèle bien ciblée (les abonnés du Globe-Veilleur par exemple), les listes de courriels ne sont généralement pas représentatives et l’on omet les 20% de la population, toujours pas «branchée».

L’élaboration du questionnaire

À cette étape, voilà que toutes les subtilités d’une langue deviennent une arme de manipulation. Il peut s’agir d’ambiguïtés involontaires dans la formulation ou de manipulations intentionnelles où les questions sont écrites de façon à influencer les réponses.

Certaines questions appellent la réponse. Par exemple, les résultats ne sont pas les mêmes selon que l’on demande «Pensez-vous que les compagnies aériennes doivent autoriser l’utilisation du téléphone cellulaire en vol?» ou bien «Pensez-vous que les compagnies aériennes doivent interdire l’utilisation du téléphone cellulaire en vol?»

La formulation des propositions n’est pas toujours neutre: par exemple, si l’on demande à brûle-pourpoint: Trouvez-vous important que les règles de sécurité dans les aéroports soient resserrées?», la plupart des gens répondront par l’affirmative. Toutefois, si on leur fait part des modalités qui accompagneront cette plus grande sécurité (attentes plus longues, présence policière accrue, augmentation du coût des billets, etc.), leur avis sera peut-être différent.

À l’opposé, une série de questions préalables peut induire une réponse désirée: par exemple, si l’on interroge un répondant quant aux répercussions du tourisme sur l’environnement et que, immédiatement après, on lui demande s’il serait en faveur d’une taxe pour atténuer ces impacts, il est clair que «la mise en situation» aura un effet inducteur sur sa réponse.

Les manipulations peuvent être plus probantes lorsque le résultat d’un sondage devient un argument de poids dans un débat entre deux parties en opposition. Les réponses risquent de varier grandement selon que le «commanditaire» du sondage défend un projet ou le décrie: le mont Orford en est un bon exemple. Le premier groupe fera valoir que le parc doublera sa superficie, alors que le second arguera que la montagne sera privatisée et envahie par les condominiums.

Des biais dans un questionnaire peuvent aussi se glisser de façon involontaire: si l’on demande à quelqu’un s’il prend «souvent» l’avion, la signification de ce mot ne sera pas la même pour toutes les personnes interrogées. Cela est aussi vrai lors de l’utilisation de termes plus spécifiques comme «produit écotouristique», alors que même les intervenants de l’industrie touristique ont de la difficulté à en comprendre le sens exact.

La collecte des données ou la face cachée des sondages

Il y a tout d’abord le type de collecte choisi. Chacun comporte ses avantages et ses inconvénients:

• Le sondage téléphonique est le plus à même de permettre la constitution d’un échantillon représentatif, mais il est relativement coûteux.

• Le sondage Internet est peu dispendieux, mais souvent aussi moins représentatif.
• Les entrevues en face-à-face sont nécessaires pour rejoindre une clientèle captive, mais comportent une gestion complexe et l’ensemble de la démarche est onéreux.
• Les groupes de discussion permettent de fouiller une question à fond avec des participants ciblés, mais ils sont coûteux, non représentatifs et l’on assiste souvent à un contrôle d’un groupe par des leaders qui viennent influencer les autres participants.

Par essence, une enquête quantitative par téléphone, par Internet ou en face-à-face impose un cadre rigide, comme dans la chanson de Paul Piché «Cochez oui, cochez non!». Elle n’est pas propice à capter de nouvelles tendances dans le domaine touristique, par exemple. L’exotisme des vacances et les prédispositions psychologiques rattachées sont d’ailleurs souvent contradictoires à la dimension rationnelle qu’impose une enquête quantitative.

Le moment du sondage peut également induire des biais. Par exemple, un sondage sur les destinations de voyage prévues par les vacanciers ne générera pas les mêmes résultats s’il a lieu quelques mois après une catastrophe ou quelques années plus tard. Il y a aussi le «biais de mémoire»: plus on s’éloigne de la période des vacances, plus l’information est sujette à caution. La question des dépenses en est un bon exemple: lorsqu’on interroge en décembre un répondant sur les dépenses (transport, hébergement, restauration, activités, magasinage, etc.) encourues lors de son dernier voyage quelques mois auparavant, les résultats doivent être interprétés avec discernement. Pourtant, les calculs de retombées économiques reposent souvent sur de telles réponses.

S’ajoutant à l’ambiguïté de l’interprétation des réponses et à la mauvaise compréhension des questions, certaines personnes ne donnent pas leur opinion réelle, histoire de faire bonne figure: c’est ce qu’on appelle la «désirabilité». Il sera difficile en effet à une personne de répondre par la négative à une question du type: «Seriez-vous prêt à payer plus cher une prestation de voyage pour aider les communautés locales visitées?» D’autres, ne comprenant pas la teneur d’une question, répondront quand même pour ne pas dévoiler leur ignorance.

L’enquêteur peut également influencer les réponses de l’interviewé, surtout lors d’enquêtes en face-à-face, en entrevues individuelles ou en groupes de discussion, mais parfois aussi lors d’entrevues téléphoniques: la façon de poser une question, des commentaires personnels, l’expression du visage ou encore la personnalité, le sexe ou l’âge de l’interviewer pourront avoir un effet sur la qualité de l’enquête.

D’autres biais dans la lecture et l’interprétation des résultats

La compréhension et l’interprétation des résultats sont parfois très différentes selon l’analyste. Qui n’a pas déjà entendu cet adage: «On peut faire dire n’importe quoi aux chiffres»? C’est aussi vrai pour les sondages.

C’est notamment le cas dans le regroupement d’échelles. Par exemple, si l’on demande à des voyageurs d’affaires s’ils utilisent souvent, à l’occasion, rarement ou jamais l’accès Internet dans leur chambre d’hôtel, les résultats différeront grandement selon les regroupements que l’on fera des réponses: présente-t-on les «souvent» seulement, les «souvent et à l’occasion» ou intègre-t-on aussi les «rarement» comme étant un oui?

Des conclusions peuvent être également «tirées par les cheveux», comme ce fut le cas en 2005 dans un article de la Canadian Travel Press portant sur une étude de la Banque Scotia, où l’on titrait «Les Canadiens voyagent à crédit», lesquels (titre et article) ont été repris un peu partout. Il était mentionné que «plus de la moitié (58%) utiliseront leurs cartes de crédit pour payer leurs vacances». Il existe une différence notable entre voyager à crédit et utiliser sa carte de crédit en vacances comme mode de paiement, d’autant plus que les gens qui veulent réserver par Internet ou par téléphone doivent obligatoirement le faire.

Après cela, on ne regarde plus les sondages de la même manière

Un sondage ne devrait pas être élaboré à la légère, car c’est la qualité qui en détermine la pertinence. Si l’on veut s’appuyer sur un sondage pour établir sa stratégie, il faut apporter un soin à toutes les étapes de la méthodologie, à partir de l’élaboration du questionnaire jusqu’à l’interprétation des résultats, en passant par la constitution de l’échantillon et le mode de cueillette de données. En procédant ainsi, on élimine la majorité des biais et l’on obtient des résultats fiables.

Par ailleurs, ce court aperçu des pièges que l’on peut trouver dans les sondages permettra aux lecteurs, nous l’espérons, d’interpréter les divers sondages auxquels ils sont exposés quasi quotidiennement de façon plus éclairée.

Analyse écrite en collaboration avec André Poirier, associé de la firme Écho Sondage.

Sources:

– «Aspects techniques: la fabrique du sondage», [www.eleves.ens.fr/pollens/seminaire/seances/sondages/
Technique-sondage.htm].
– IPSOS. «Les questions que vous vous posez sur les sondages», [www.ipsos.fr/CanalIpsos/
cnl_static_content.asp?rubId=35].
-Journal du net. «Gare aux sondages!», [www.journaldunet.com/science/science-et-nous/dossiers/07/
sondages/7.shtml].
– Lejeune, Michel. «La théorie des sondages»,[www.math.cnrs.fr/imagesdesmaths/pdf2006/Lejeune.pdf].
– Stafford, Jean. «La recherche touristique: Introduction à la recherche quantitative par questionnaire», Presses de l’Université du Québec, 1996, 164 pages.