Populations and groups. With those words, one can designate the customers of an enterprise, members of an organization, citizen of a city... It is all those persons we try to reach when we make a survey.

To know how to successfully communicate with these people will have a determining impact. Also, it will be important to understand how each group can be fragmented. All this will enable us to choose the most efficient method of survey.

Each characteristic in the composition of a group might means another way to interact with our survey. That is why it is important to car about the behavior of the populations and groups.

Your webmaster : Frédéric D'Astous

Influence of past experience of people with the use of scale in surveys Even in the simplest situation, it is important to be prudent. A simple cause of problem can be the past experience with questionnaires of those you plan to interview.

Creating a sample from a population What is a sample of population ? What is the relation between the sample and the population ?

L'intervention externe dans un organisme Comment un organisme peut-il réagir lorsqu'un intervenant externe décide d'y faire une étude ?

Les indécis Il ne faut jamais considérer les indécis comme une quantité négligeable. Ces gens ont souvent des caractéristiques propres.

Scales are often used in questionnaires to measure variables like "level of satisfaction". Even in the simplest case, it is important to be careful in order to avoid any mistake. One cause of problem, can be the past experience with questionnaires of those you plan to interview. Take the example of a simple scale (with 5 levels). Then, imagine that these levels are the following:

• 1 - Entirely satisfied
• 2 - Rather satisfied
• 3 - Satisfied
• 4 - Little satisfied
• 5 - Dissatisfied.

Then, imagine a questionnaire that use that kind of scale. Each person who will answer must then, encircle the number which corresponds to its answer. Who can be that person ? A customer that just entered the store! Before going further, keep in mind that this person has, most probably, others concerns than our survey. What will happened ? He might show some goodwill, and he will answer the survey. But, he might answer according to the kind of instructions he use to encounter in others questionnaires he answered . Thus, even the clearest instructions might be ignored if our "customer" is accustomed to other instructions. Let go back to our example of questionnaire, to discover how it is potentially flawed.

First of all, there is the choice of numbers. By using 1, 2, 3, 4, 5, (in this order) we are choosing the concept of rank. In this logic, the first position is always the best. But, everyone who went through some school exams, know that many people are also accustomed to see pointing. So, only 1 point represents the lowest value. It is the opposite of what is said by the descriptions in our little scale.

To avoid that problem, we can repeat our choice of answers at each question. The idea seems interesting, but it might be a trap. Let us not forget this : each time a survey became longer, our rate of answers is likely to decrease. The size of a survey, is not only the number of questions. It is also its physical size, in other words : the size of the text! Thus, the repetition of the choice of answers must be used with caution. A wise solution would be to reformulate our questions in terms of pointing. This last solution refers to learned behaviors then, it might has less of chances to be wrongly understood.

There is still another problem. The choice of the descriptive terms. By using the expression "entirely satisfied", we can designate a few kind of situations. Here are two possibilities:

• 1 - that means the customer considers to have had a service without problem.
• 2 - that means the customer considers to have had an astonishing service.

Several people will tend to interpret the "first position" of a scale like it should mean something special. We are in a society where the concept of competition is etched in many facets of our lives. Thus, the first place of something must be special. What reinforces this point of view, is that undecided people have a tendency to choose the answer in the middle of a scale. On the another hand, the terms used in our scale could means that if the customer is simply "satisfied", there is a problem somewhere. Let us look at what occurs in the real world:

Let us imagine that our customer considers that he had an adequate service. If he understands that "entirely satisfied" means "service with no problem", he will choose "1". But, if our customer understands that "entirely satisfied" means "outstanding service", he will rather choose 2 or 3. As you can see, our simple scale can be understood in many ways.

The lesson of this story? One is likely to obtain unusable information if he do not care about the past experience with questionnaires within the group he plan to interview.

And in our example, what can be the solution ? It will be necessary to think about the precise objective of the survey. Does one wish to know if there is there a problem ? What is the amplitude of that problem ? If it is the case, the good service will deserve a perfect score. It is then necessary to take care of how the question is asked. Or, one seeks to identify a level of satisfaction, in which case, the good service, will deserve a "medium" score. In such case, the formulation might be less tricky.

Webmaster : Frédéric D'Astous.

Under ideal conditions, a sample should be the exact representation (of smaller size) of the population that you wish to probe. Obviously, it is rare that reality is ideal. Also, all methods have disadvantages. Then, it will be important to make a careful choice.

When you want to build a sample, your goal should be to avoid any potential gap between the population you're probing and your sample. If so, you can consider the sample to be "representative". The key to this objective, it is to find the method whose disadvantages are most controllable. With this intention, there are various possible strategies. One can gather them in two families

• The family of the probabilistic strategies.
• The family of the non-probabilistic strategies.

The probabilistic strategies are the most conventional. They are based on the law of the great numbers. In gross words, this law states this: if you "pick" a great number of individual cases, randomly, the global characteristics of that group of individual cases will be in the same proportions as in the original population. It is for this reason that it is not necessary to carry out 7 million interviews to make a pre-election survey in Quebec (Canada). In fact, a few thousands are sufficient to obtain a precision more than adequate. In addition to the quantity of respondents, the level of accuracy is related to the number of possible choices. Thus, if 2 choices are possible, you will need less cases than if there are 3 or 4 choices of answers. If the number of the choices increases, it is necessary to probe a greater number of people to obtain same reliability. With an infinite number of cases you have the "normal curve" used by statisticians. This curve is the subject of the article "the normal curve used in statistics"

The non-probabilistic strategies are more hazardous. There is no rule to quantify the precision of information that are gathered by these methods. For this reason, several look at these techniques with skepticism. The precision will depend solely on the care which the sounder will take to avoid the risks of any error. It is vital, for those who use these methods, to thoroughly describe the methodology used. Moreover, the sounder must be able to demonstrate that he took care of any source of a potential problem. Under these conditions, those who will use these results will be able "assess" any risk of imprecision even if it is impossible to quantify it.

For those which use the results of surveys carried out using non-probabilistic strategies never forget that you will never be able to quantify the level of confidence of your survey. Some, like to give an evaluation based on the number of respondents in order to indicate the precision of their survey. Such a figure is completely erroneous for non-probabilistic strategies. The formulas making it possible to calculate it are based on the "laws of the great numbers". Such figures are thus valid only when the respondents are selected in a truly random way.

Have a good sampling !

The webmaster : Frédéric D'Astous

Une des choses qui causent un problème dans un sondage, c'est la présence de personnes indécises ou encore qui ne répondent pas à certaines questions. Pour tenter de les décrire on inclura une classe NSP/NRP. Cette appellation signifie : &laqno;ne savent pas, ne répondent pas».

Il est souvent tentant de les ignorer. On se dit alors que si ces gens ne répondent pas, ce n'est pas grave. On prendra comme hypothèse que ceux qui ne répondent pas ne sont pas différents de l'échantillon. Ainsi, on fera une répartition proportionnelle de ces indécis. Faire cela, c'est parfois commettre une erreur.

Les personnes qui sont indécises, ou qui ne répondent pas, ont souvent des caractéristiques différentes de la population en générale. Par exemple, on pourra noter dans certains cas une moyenne d'âge différente. Parfois ce pourra être l'appartenance à un groupe social particulier.

La manière prudente, c'est de ne pas répartir ces indécis. On identifie les nombres de réponses que l'on obtient pour chacun des choix à chacune des questions. Puis ensuite, on indique séparément le nombre des personnes indécises et de celles qui ne répondent tout simplement pas.

Si on désire répartir les indécis, on peut procéder de trois manières.

• Une répartition proportionnelle.
• Une répartition suivant les tendances du sondage.
• Une répartition suivant les tendances à long terme.

On peut décider de répartir les indécis de manière proportionnelle. Si on fait cela, on répartie les indécis en suivant les proportions observées dans les autres choix de réponses de la question. Si un choix de réponses regroupe 40% des choix exprimés, on lui ajoute 40% des indécis. Et on continue ainsi pour tous les autres choix de réponses à cette question. En prenant cette décision, on "décide" que les indécis on les mêmes caractéristiques que tout le monde. Ce n'est pas toujours prudent.

On cherchera plutôt à faire une répartition suivant les tendances du sondage. Ainsi, un réalisera un portrait des indécis. On tentera de comparer les caractéristiques des indécis avec celles des autres répondants. Ceci est facilité par le fait que les indécis répondent souvent à une partie des questions d'un sondage. On peut se servir de ces résultats fragmentaires pour définir le portrait des indécis. Si on obtient assez de renseignements, on est en mesure de prévoir plus justement les opinions des personnes dites indécises.

Idéalement, si on réalise un même sondage à plusieurs reprises, on peut utiliser des tendances à long terme. Avec les résultats des diverses répétitions on peut comparer les caractéristiques des indécis. On obtient alors un portrait bien plus nette de ces gens. C'est souvent à partir d'observations de ce genre que des maisons de sondages calculent, lors de sondages politiques, des méthodes répartition des indécis qui sont utilisées à chaque sondage de ce type. En effet, les sondages politiques prennent souvent la forme d'un même questionnaire de base qui est répété à interval régulier. Mais attention, c'est l'utilisation répétée d'un même questionnaire qui permet la comparaison entre les différents résultats. Cette dernière technique est dangereuse lorsque des questionnaires différents sont utilisés.

Soyez prudent !

Votre conseiller : Frédéric D'Astous

Le métier de sondeur implique parfois que l'on fasse des interventions à l'intérieur des organismes. Le travail du sondeur peut alors se transformer de manière imprévu. Différents phénomènes sont susceptibles de jouer. Voici quelques considérations qui touchent l'interaction avec le milieu sondé.

Il est un facteur qui est souvent négligé : les gens détestent se faire observer ! C'est ce qui se produit lorsque le sondeur est un intervenant externe qui désire obtenir des renseignements sur le champ d'activité où opère l'organisme. L'élément perturbateur à prendre en compte, c'est ici la modification du milieu observé. Il ne faut jamais perdre de vue qu'une observation transforme le milieu. Dans ce cas, il arrive parfois que la nature externe de l'observateur puisse provoquer chez certaines personnes observées (par sondage ou autrement) une réaction défensive. Elles répondront de manière à présenter une image positive de l'organisme.

Cette réaction est analogue un phénomène dit : de la "cote d'estime". Cet effet se manifeste dans les sondages de cotes d'écoute lorsque les répondants indiquent qu'ils visionnent une émission sans pour autant que ce soit vrai. Les gens désirent souvent donner une image positive de ce qu'ils considèrent comme important. Cet effet sera d'autant plus marqué si les participants au sondage se sentent fortement impliqués dans l'organisme étudié.

On comprendra que cette réaction puisse avoir des effets négatifs sur la fiabilité des résultats recueillis. Le sondeur se retrouvera confronté à des réponses qui n'ont pas la même signification. On devine la taille les difficultés d'analyser les résultats. Cela sera d'autant plus difficile que le stimulant pouvant agir sur le taux de réponse sera la volonté de donner une image positive de l'organisme en face de quelqu'un de l'extérieur.

Pour éviter cet effet, le sondeur devra rapprocher sa démarche d'un enjeu interne. L'objectif, c'est que les répondants soient en mesure d'identifier une motivation propre à l'organisme. Et il importe ici de faire une nuance capitale. Il ne s'agit pas seulement d'impliquer la direction de l'organisme. Les répondants doivent y percevoir un avantage.

Faisons ici un peu d'analyse organisationnelle. La personne qui est impliquée au niveau de la gestion d'un organisme a bien souvent une vision plus précise des enjeux que la personne qui en est membre. Cela signifie que dans le meilleur des cas, il y a toujours un décalage entre les enjeux perçus par l'équipe de direction et ceux perçus par les membres de l'organisation. Cet écart se remarque, dans certains groupes, lors des assemblée générales annuelles. Des membres éliront leurs représentants en leur confiant l'organisme jusqu'à l'année suivante. Dans l'interval, ils se préoccuperont peu des enjeux de gestion.

Pour s'assurer d'obtenir des données véritablement analysables, il faudra trouver le moyen d'impliquer directement le membre à l'intérieur même des enjeux de l'étude. Cela se fera, par exemple, en bâtissant le questionnaire autour d'une question déjà identifiée par les membres de l'organisation. Ainsi, les membres verront dans ce sondage une occasion d'améliorer l'organisme qui leur tient à coeur. Le membre percevra dans cette démarche une occasion de préciser les services que l'organisme lui donne.

Une autre stratégie sera de fournir aux répondants des informations sur les résultats de l'enquête. Souvent, une démarche de sondage faite à l'intérieur d'un organisme sera vue comme une sorte d'opération de votation. Et comme dans tout processus démocratique, celui qui vote s'attend à recevoir une copie des résultats.

Ce dernier effet, est susceptible d'agir en conjonction avec le précédent. Si le sondeur vise juste en identifiant un enjeu perceptible, il provoque une attente chez le répondant qui tendra à poser des questions sur la teneur des résultats. À l'opposé, si le sondeur planifie mal son questionnaire, il mesurera un mélange de réponses représentant à la fois la réalité, et à la fois l'image que les membres désirent donner de l'organisme.

La morale de cette histoire ? Cherchez toujours à savoir quelle signification sera donnée à votre démarche de sondage. Une incompatibilité entre les objectifs du sondage et de l''interprétation faite peut rendre les données recensées inutilisables.

Votre conseiller : Frédéric D'Astous