Les populations. Avec ce mot, on peut désigner les clientèles, les bénéficiaires, les membres d'une organisation. Tous ces gens ont en commun qu'ils donnent un sens aux efforts de celui qui fait un sondage. Savoir comment joindre ces personnes aura un impact déterminant. C'est ce qui nous permettra de déterminer la méthode de recherche adéquate.

Souvent, les groupes dont on cherche à comprendre les opinions sont fragmentés. Rarement on aura des groupes homogènes. Une des difficultés sera alors de jauger les nuances qui permettent de distinguer les différents sous-groupes qui composent notre population. Et en même temps, il faudra être capable de saisir les points communs qui réunissent ces gens.

Le responsable de ce site : Frédéric D'Astous

Les indécis - Il ne faut jamais considérer les indécis comme une quantité négligeable. Ces gens ont souvent des caractéristiques propres.

Les échantillons de population - Qu'est-ce qu'un échantillon de population ? Quelle est la relation entre une population et l'échantillon qu'on désire construire ?

L'intervention externe dans un organisme - Comment un organisme peut-il réagir lorsqu'un intervenant externe décide d'y faire une étude ?

La réaction des répondants et l'usage des échelles - Dans les cas les plus simples, des erreurs se produisent. Une des causes d'erreurs, c'est l'attente qu'aura le répondant en face d'une échelle.

Une des choses qui causent un problème dans un sondage, c'est la présence de personnes indécises ou encore qui ne répondent pas à certaines questions. Pour tenter de les décrire on inclura une classe NSP/NRP. Cette appellation signifie : "ne savent pas, ne répondent pas".

Il est souvent tentant de les ignorer. On se dit alors que si ces gens ne répondent pas, ce n'est pas grave. On prendra comme hypothèse que ceux qui ne répondent pas ne sont pas différents de l'échantillon. Ainsi, on fera une répartition proportionnelle de ces indécis. Faire cela, c'est parfois commettre une erreur.

Les personnes qui sont indécises, ou qui ne répondent pas, ont souvent des caractéristiques différentes de la population en général. Par exemple, on pourra noter dans certains cas une moyenne d'âge différente. Parfois ce pourra être l'appartenance à un groupe social particulier.

La manière prudente, c'est de ne pas répartir ces indécis. On identifie les nombres de réponses que l'on obtient pour chacun des choix à chacune des questions. Puis ensuite, on indique séparément le nombre des personnes indécises et de celles qui ne répondent tout simplement pas.

Si on désire répartir les indécis, on peut procéder de trois manières.

• Une répartition proportionnelle.
• Une répartition suivant les tendances du sondage.
• Une répartition suivant les tendances à long terme.

On peut décider de répartir les indécis de manière proportionnelle. Si on fait cela, on répartit les indécis en suivant les proportions observées dans les autres choix de réponses de la question. Si un choix de réponses regroupe 40% des choix exprimés, on lui ajoute 40% des indécis. Et on continue ainsi pour tous les autres choix de réponses à cette question. En prenant cette décision, on "décide" que les indécis ont les mêmes caractéristiques que tout le monde. Ce n'est pas toujours prudent.

On cherchera plutôt à faire une répartition suivant les tendances du sondage. Ainsi, un réalisera un portrait des indécis. On tentera de comparer les caractéristiques des indécis avec celles des autres répondants. Ceci est facilité par le fait que les indécis répondent souvent à une partie des questions d'un sondage. On peut se servir de ces résultats fragmentaires pour définir le portrait des indécis. Si on obtient assez de renseignements, on est en mesure de prévoir plus justement les opinions des personnes dites indécises.

Idéalement, si on réalise un même sondage à plusieurs reprises, on peut utiliser des tendances à long terme. Avec les résultats des diverses répétitions on peut comparer les caractéristiques des indécis. On obtient alors un portrait bien plus net de ces gens. C'est souvent à partir d'observations de ce genre que des maisons de sondages calculent, lors de sondages politiques, des méthodes répartition des indécis qui sont utilisées à chaque sondage de ce type. En effet, les sondages politiques prennent souvent la forme d'un même questionnaire de base qui est répété à interval régulier. Mais attention, c'est l'utilisation répétée d'un même questionnaire qui permet la comparaison entre les différents résultats. Cette dernière technique peut entraîner certains dangers lorsque des questionnaires différents sont utilisés. Dans ce cas, nos indécis peuvent réagir d'une manière différente. Il se peut que des transferts se fassent entre les catégories de personnes qui s'expriment et celles qui sont indécises.

Soyez prudent !

Votre conseiller : Frédéric D'Astous

Dans des conditions idéales, un échantillon devrait être une représentation en plus petit de la population qu'on désire sonder. Évidemment, il est rare que la réalité soit idéale. Toutes les méthodes possèdent des inconvénients. Aussi, il sera important de porter une grande attention au choix de la méthode.

L'objectif à poursuivre est de viser la diminution de l'écart entre la population à sonder et l'échantillon à bâtir. On dira alors que notre échantillon est représentatif. La clef de cet objectif, c'est de trouver la méthode dont les inconvénients sont les plus contrôlables. Pour ce faire, il y a diverses stratégies possibles. On peut les regrouper en deux familles.

• La famille des stratégies probabilistes.
• La famille des stratégies non-probabilistes.

Les stratégies probabilistes sont les plus classiques. On parle aussi de stratégies aléatoires. Elles sont basées sur la loi des grands nombres. En gros, cette loi énonce ceci : si on "pige" un grand nombre de cas particuliers, au hasard, on obtiendra des cas qui seront dans les mêmes proportions que dans la population originale. C'est pour ce motif qu'il n'est pas nécessaire de réaliser 7 millions d'entrevues pour faire un sondage préélectoral au Québec. En fait, quelques milliers sont suffisants pour obtenir une précision plus qu'adéquate. En plus du nombre de répondants, le degré de précision est fonction du nombre des choix possibles. Ainsi, si 2 choix sont possibles, il faudra "piger" moins de cas que si il y a 3 ou 4 choix de réponses possibles. Si le nombre des choix augmente, il est nécessaire de sonder un plus grand nombre de gens pour obtenir la même fiabilité. Avec un nombre infini de cas, on obtient la courbe normale. Cette courbe est abordée dans la chronique : La courbe normale utilisée en statistiques

Les stratégies non-probabilistes sont plus hasardeuses. En effet, aucune règle ne permet de chiffrer la précision des informations que ces méthodes nous donnent. Pour ce motif, plusieurs regardent avec un grand scepticisme ces techniques. La précision dépendra du soin que le sondeur prendra à prévoir et contrôler les risques d'une erreur. Il est vital, pour ceux qui utilisent ces méthodes, de décrire les plus soigneusement possible la méthode utilisée. En plus, le sondeur doit pouvoir démonrter qu'il a envisagé toutes les causes possibles d'un problème. Dans ces conditions, celui qui utilise ces résultats sera en mesure de "sous-peser" l'erreur même s'il est illusoire de pouvoir la chiffrer.

En terminant, un petit commentaire pour ceux qui utilisent les résultats de sondages réalisés à l'aide de stratégies non-probabilistes. Certains sondeurs aiment bien donner un chiffre basé sur le nombre de répondants afin d'indiquer la précision de leur sondage. Dans le cas de l'utilisation d'une stratégie non-probabiliste, un tel chiffre est totalement erroné. Les formules permettant de calculer la précision d'un sondage sont basées sur les "lois du hasard". De tels chiffres sont donc valables seulement dans les cas où les répondants sont choisis de manière véritablement aléatoire.

Bon échantillonnage !

Votre conseiller : Frédéric D'Astous

Le métier de sondeur implique parfois que l'on fasse des interventions à l'intérieur des organismes. Le travail du sondeur peut alors se transformer de manière imprévue. Différents phénomènes sont susceptibles de jouer. Voici quelques considérations qui touchent l'interaction avec le milieu sondé.

Il est un facteur qui est souvent négligé : les gens détestent se faire observer ! C'est ce qui se produit lorsque le sondeur est un intervenant externe qui désire obtenir des renseignements sur le champ d'activité où opère l'organisme. L'élément perturbateur dont il faut tenir compte, c'est ici la modification du milieu observé. Il ne faut jamais perdre de vue qu'une observation transforme le milieu. Dans ce cas, il arrive parfois que la nature externe de l'observateur puisse provoquer chez certaines personnes observées (par sondage ou autrement) une réaction défensive. Elles répondront de manière à présenter une image positive de l'organisme.

Cette réaction est analogue un phénomène dit : de la "cote d'estime". Cet effet se manifeste dans les sondages de cotes d'écoute lorsque les répondants indiquent qu'ils visionnent une émission sans pour autant que ce soit vrai. Les gens désirent souvent donner une image positive de ce qu'ils considèrent comme important. Cet effet sera d'autant plus marqué si les participants au sondage se sentent fortement impliqués dans l'organisme étudié.

On comprendra que cette réaction puisse avoir des effets négatifs sur la fiabilité des résultats recueillis. Le sondeur se retrouvera confronté à des réponses qui n'ont pas la même signification. On devine la taille des difficultés d'analyser les résultats. Cela sera d'autant plus difficile que le stimulant pouvant agir sur le taux de réponse sera la volonté de donner une image positive de l'organisme en face de quelqu'un de l'extérieur.

Pour éviter cet effet, le sondeur devra rapprocher sa démarche d'un enjeu interne. L'objectif, c'est que les répondants soient en mesure d'identifier une motivation propre à l'organisme. Et il importe ici de faire une nuance capitale. Il ne s'agit pas seulement d'impliquer la direction de l'organisme. Les répondants doivent, individuellement, y percevoir un avantage.

Faisons ici un peu d'analyse organisationnelle. La personne qui est impliquée au niveau de la gestion d'un organisme a bien souvent une vision plus précise des enjeux que la personne qui en est membre. Cela signifie que, dans le meilleur des cas, il y a toujours un décalage entre les enjeux perçus par l'équipe de direction et ceux perçus par les membres de l'organisation. Cet écart se remarque, dans certains groupes, lors des assemblées générales annuelles. Des membres éliront leurs représentants en leur confiant l'organisme jusqu'à l'année suivante. Dans l'interval, ils se préoccuperont peu des enjeux de gestion.

Pour s'assurer d'obtenir des données véritablement analysables, il faudra trouver le moyen d'impliquer directement le membre à l'intérieur même des enjeux de l'étude. Cela se fera, par exemple, en bâtissant le questionnaire autour d'une question déjà identifiée par les membres de l'organisation. Ainsi, les membres verront dans ce sondage une occasion d'améliorer l'organisme qui leur tient à coeur. Le membre percevra dans cette démarche une occasion de préciser les services que l'organisme lui donne.

Une autre stratégie sera de fournir aux répondants des informations sur les résultats de l'enquête. Souvent, une démarche de sondage faite à l'intérieur d'un organisme sera vue comme une sorte d'opération de votation. Et comme dans tout processus démocratique, celui qui vote s'attend à recevoir une copie des résultats.

Ce dernier effet est susceptible d'agir en conjonction avec le précédent. Si le sondeur "vise juste" en identifiant un enjeu perceptible, il provoque une attente chez le répondant qui tendra à poser des questions sur la teneur des résultats. À l'opposé, si le sondeur planifie mal son questionnaire, il mesurera un mélange de réponses représentant à la fois la réalité et à la fois l'image que les membres désirent donner de l'organisme.

La morale de cette histoire ? Cherchez toujours à savoir quelle signification sera donnée à votre démarche de sondage. Une incompatibilité entre les objectifs du sondage et de l'interprétation faite peut rendre les données recensées inutilisables.

Votre conseiller : Frédéric D'Astous

Les échelles sont souvent utilisées dans les questionnaires. Or, même dans les cas les plus simples, il est possible que des erreurs se produisent. Une des causes d'erreurs, c'est l'attente qu'aura le répondant en face d'une échelle. Prenons, par exemple, le cas très simple d'une toute petite échelle à 5 niveaux. Imaginons ensuite que ces niveaux se présentent comme suit:

• 1 - Entièrement satisfait
• 2 - Assez satisfait
• 3 - Satisfait
• 4 - Peu satisfait
• 5 - Insatisfait.

Ensuite, imaginons que le questionnaire pose quelques questions où cette échelle est utilisée. Le répondant doit ensuite cocher, noircir ou encercler le chiffre qui correspond à la réponse de son choix. Imaginons que, le répondant, c'est un client qui s'adonne à passer par là. Maintenant, gardons à l'esprit que cet individu plein de bonne volonté a d'autres préoccupations en tête que notre sondage. Qu'est-ce qu'il fera ? Il fera preuve de bonne volonté, et répondra en faisant référence à son expérience passée. Ainsi, même les instructions les plus nettes ne serviront à rien si notre répondant est habitué à d'autres choses. Reprenons notre exemple de questionnaire, très simple en apparence, pour découvrir comment il est susceptible de nous causer un certain nombre de problèmes.

Tout d'abord, il y a l'utilisation de nombres. En utilisant 1, 2, 3, 4, 5, on fait appel à une notion de rang. Dans cette logique, la première position est la meilleure. Or, après être passées dans le système scolaire, plusieurs personnes sont habituées à voir des pointages. Or, 1 seul point cela représente plutôt une position inférieure. C'est l'inverse de la signification qu'on désirait lui donner.

Pour éviter cela, on peut répéter la signification de notre choix de réponses à chaque question. L'idée est intéressante, mais elle nous tend un piège. N'oublions pas que chaque fois qu'un sondage allonge, notre taux de réponse risque de diminuer. Or, la taille d'un sondage, ce n'est pas seulement le nombre de questions. C'est aussi sa taille physique, en d'autres termes la taille du texte ! Donc, la répétition du choix de réponse est à utiliser avec précaution. Une solution sage serait de reformuler notre question en termes de pointage. Cette dernière procédure fait référence à des comportements appris et elle a moins de chances d'être mal interprétée.

Il y a encore un autre problème. Le choix des termes descriptifs de l'échelle. En utilisant le terme "entièrement satisfait", on fait référence à une situation parfaite. Or, il y a deux manières de comprendre cette expression :

• 1 - ou cela signifie que le client considère avoir eu un service sans problème.
• 2 - ou cela signifie que le client considère avoir eu un service exceptionnel.

Plusieurs personnes auront tendance à interpréter la meilleure position d'une échelles comme devant signifier quelque chose de particulier. Nous sommes dans une société où la notion de concurrence est importante. Ainsi, la première place doit être spéciale. Ce qui renforce cette analyse, c'est que les gens indécis ont tendance à choisir la réponse du milieu. Même si les consignes mentionnent une autre interprétation. Si le client de notre exemple agit ainsi, cela signifiera qu.'il aura eu un service adéquat, sans problème. D'un autre côté, les termes utilisés pourraient laisser penser que si le répondant est simplement "assez satisfait", il doit y avoir un problème quelque part. Regardons ce qui se passe en pratique :

Imaginons que notre client considère qu'il a eu un service adéquat. S'il comprend qu'entièrement satisfait signifie une absence de problème, il cochera "1". Mais, si notre client considère que entièrement satisfait signifie un service exceptionnel, il cochera plutôt 2 ou 3. Comme on le voit, notre échelle peut être comprise de bien des manières.

La morale de cette histoire ? On risque d'obtenir des renseignements inutilisables si on ne tient pas compte des réflexes que les gens adoptent en face d'un questionnaire.

Et dans notre exemple, quelle est la solution ? Il faudra réfléchir à l'objectif précis du sondage. Est-ce qu'on désire simplement identifier la présence d'un problème? Si c'est le cas, le "bon service" devra se mériter une cote parfaite. Il faut alors prendre grand soins à la formulation. Ou encore, est-ce qu'on cherche à identifier un niveau de satisfaction, auquel cas le bon service se méritera une cote moyenne. Et dans ce cas la formulation est plus simple à réaliser.

Le responsable de ce site : Frédéric D'Astous.