L’éthique s’entend d’un ensemble de valeurs et de croyances fondées sur ce qu’une personne considère comme juste, faux, bien et mal et qui influencent les décisions que les personnes prennent. Ces valeurs peuvent être dictées par l’organisation, mais aussi par les lois du pays où travaillent les praticiens du suivi et de l’évaluation, ou encore par ce que les personnes jugent conforme à l’éthique dans un contexte donné.

Les données recueillies constituent une importante source d'informations pour les décideurs au sujet de l'intervention visée par le suivi et/ou l’évaluation. Alors que les évaluations positives peuvent permettre d’obtenir davantage de financements, de développer un projet pilote ou d’améliorer la réputation, l'identification de problèmes graves peut, pour sa part, conduire à des situations difficiles où la crédibilité du travail réalisé est en jeu. Il est fondamental de comprendre et de gérer les situations et les influences politiques afin de préserver l'intégrité du travail de suivi et d'évaluation. Il est par ailleurs essentiel d’appliquer des méthodologies bien définies et solides pour la collecte et l'analyse des données ..4

Directives et principes éthiques

Lors de la planification, de la conception, de la mise en œuvre, de la gestion et de l’établissement de rapports sur les activités de suivi et d'évaluation, les praticiens du suivi et de l'évaluation doivent s'assurer que leur travail est éclairé par des directives éthiques, notamment les suivantes :

• IOM Evaluation Policy et Monitoring Policy (septembre 2018);
• Principes relatifs à la protection des données de l’OIM (IN/00138) (mai 2009) (lien interne uniquement) ;
• Normes de conduite de l’OIM (IN/15 Rev.1) (lien interne uniquement) ;
• UNEG Ethical Guidelines for Evaluation (mars 2008, révisé en 2020).

Certains des principes éthiques communs énoncés dans les documents ci-dessus « doivent être appliqués dans le respect total des droits de l’homme, de la protection et de la confidentialité des données, des questions relatives à l’égalité entre les sexes, de l’appartenance ethnique, de l’âge, de l’orientation sexuelle, de la langue, du handicap et d’autres considérations lors de la conception et de la réalisation de l’évaluation »5 Ils peuvent être résumés comme suit :

L’adhésion à des principes éthiques communs contribue également à garantir que les informations recueillies sont exactes, pertinentes, actuelles et utilisées de manière responsable (voir le chapitre 2 et l’annexe 2.1 : Liste de vérification pour un suivi et/ou une évaluation éthique).

• L’indépendance suppose aussi d’éviter tout conflit d’intérêts et d’être capable de conserver une indépendance de jugement et de ne pas se laisser influencer par les pressions exercées par l’une ou l’autre partie en vue de modifier les constatations de l’évaluation.

• 4Morra Imas and Rist, 2009.  Voir également le chapitre 2 : Normes, règles et gestion du suivi et de l’évaluation.
• 5IOM, 2017b, p. 438.

Lors de la planification de la collecte des données, la prise en compte de certains aspects fondamentaux permet de garantir la validité et la fiabilité des données qui seront recueillies et analysées. Ces aspects sont les suivants : finalité de la collecte de données, méthodologie de la collecte de données, ressources pour la collecte de données et calendrier de la collecte de données. Une approche mixte de la collecte de données associant des méthodes qualitatives et quantitatives peut être envisagée à cet égard

Finalité de la  collecte de  données	Quelques questions à poser : Les données sont-elles recueillies à des fins de suivi ou d’évaluation ? Quels sont les principaux besoins d’information ? Quels sont les objectifs, effets direct, produits et activités sur lesquels porte le suivi ou l’évaluation ? Quels sont les résultats escomptés (intermédiaires et à long terme) ? À quels besoins d’information des parties prenantes les données répondront-elles ?
Méthodologie  et méthodes  de collecte  de données	Divers aspects doivent être pris en compte, tels que l’identification de la source de données, la périodicité de la collecte de données, comment les données seront mesurées, les noms et le nombre de personnes qui se chargeront de la collecte de données et, enfin, le choix de la méthodologie appropriée pour concevoir le ou les bon(s) outil(s) de collecte des données. Quelques questions à poser : Quels sont les critères et questions auxquels les outils de collecte de données doivent répondre ? De quel type de données a-t-on besoin pour répondre aux besoins d’information ? De multiples sources de données sont-elles nécessaires/utilisées pour répondre aux besoins d’information ? Quels types de données existent déjà ? Quelles données sont manquantes ? Les mesures utilisées pour recueillir des données sont-elles valides et fiables ? Une approche structurée ou semi-structurée sera-t-elle utilisée pour collecter les données ? Quelle est la méthode d’échantillonnage nécessaire pour suivre les progrès accomplis ou pour répondre aux questions d’évaluation ?
Ressources  pour la collecte  de données	Les ressources permettront de mettre en œuvre les choix effectués. Quelques questions à poser : • Existe-t-il suffisamment de ressources, notamment sur le plan des effectifs et du budget, pour assurer la collecte de données sur une base régulière ? Qui est responsable de la collecte de données ? Des agents de recensement externes devront-ils être recrutés ? Comment les agents de recensement devront-ils se rendre sur les sites de collecte de données ? Quels sont les coûts y afférents ? La collecte et l’analyse de données engendrent-elles des coûts additionnels ?
Calendrier  pour la collecte  de données	Le calendrier peut influencer la disponibilité des ressources, ainsi que la pertinence des données (éviter les données obsolètes). Quelques questions à poser : À quel stade du cycle de mise en œuvre les données seront-elles reueillies ? Combien de temps la collecte de données est-elle censée durer ? Les données seront-elles recueillies en temps voulu afin de refléter une situation actuelle ?

Identifier la finalité de la collecte de données 

La finalité de la collecte de données vise à répondre aux différents besoins d’information. Les besoins d’information peuvent différer selon qu’il s’agit d’un suivi ou d’une évaluation.

La collecte de données à des fins de suivi, qui a lieu pendant la mise en œuvre, contribue aux besoins d'information afférents à la mise en œuvre au moyen d’outils de collecte de données conçus pour recueillir des données qui permettent de mesurer les progrès accomplis en vue de l'obtention des résultats par rapport à des indicateurs prédéfinis. Les données recueillies à des fins d’évaluation servent à évaluer les résultats de l'intervention et les changements qu'elle a pu susciter à un niveau plus large au moyen d’outils de collecte de données conçus pour répondre aux questions d'évaluation figurant dans le mandat de l’évaluation , la matrice ou le rapport initial (voir également le chapitre 5, Planification de l’évaluation).

Les processus de planification et de conception des outils destinés à la collecte de données de suivi et d’évaluation peuvent être similaires, car les données recueillies pour le suivi peuvent également être utilisées pour l'évaluation, ce qui permettra de répondre aux divers besoins d'information de l'une ou l'autre de ces activités. Une première étape de la planification consiste à déteminer si la collecte de données est destinée au suivi ou à l'évaluation, ce qui influencera ensuite le choix d'une méthodologie et d'outils appropriés pour la collecte et l'analyse des données. Les tableaux suivants montrent comment certaines questions peuvent déterminer le type de données à recueillir pour, respectivement, le suivi et l'évaluation.

 

Source: Adapté de Fédération internationale des sociétés de la Croix-Rouge et du Croissant-Rouge (FICR), 2011

Source: Adapté de IFRC, 2011.

Dans le Manuel des projets de l’OIM il est précisé que les sources de données indiquent où et comment les informations seront recueillies en vue de mesurer les indicateurs choisis.6

En général, il existe deux sources de données qui peuvent être utilisées à des fins de suivi et/ou d'évaluation :

• a) Les données primaires, qui sont les données que les praticiens du suivi et de l’évaluation recueillent eux-mêmes au moyen de divers instruments, tels que les entretiens avec des personnes sources, les enquêtes, les discussions en groupe et les observations.
• b) Les données secondaires, qui sont les données obtenues auprès d’autres sources préexistantes, telles que le recensement national ou les données d’enquêtes réalisées par des partenaires, des donateurs ou le gouvernement.

• Lorsque l’OIM travaille avec des partenaires d’exécution qu’elle gère directement, les données recueillies sont considérées comme des données primaires directement recueillies par l’OIM.

• 6Module 2 du Manuel des projets de l’OIM , p. 143.

Au moment de choisir les sources de données, il est utile de commencer par une étude documentaire pour mieux évaluer le type de données à utiliser. Pour le suivi, cela correspond aux informations de la colonne « Source et méthode de collecte de données » de la matrice des résultats et du cadre de suivi des résultats de l'OIM (voir le chapitre 3). Pour l'évaluation, le type de données à utiliser sera précisé dans le mandat de l'évaluation, le rapport initial et/ou la matrice d'évaluation, et peut englober les données issues du suivi.

L’étude documentaire se concentre généralement sur l'analyse des sources existantes de données primaires et secondaires pertinentes. Elle peut être structurée ou non. Les études documentaires structurées utilisent une structure formelle pour l'analyse des documents, tandis que les études documentaires non structurées correspondent à une lecture de fond. Des conseils détaillés sur la façon de procéder à une étude documentaire sont fournis à l’annexe 4.2. Comment procéder à une étude documentaire.

Lors de la planification de la collecte et de l'analyse des données, le fait de connaître le type de mesure, c'est-à-dire la manière dont les données seront mesurées, peut influencer le choix de la méthodologie appropriée. Cet aspect revêt une importance particulière pour la conception d'outils de collecte de données tels que les enquêtes.

Questions à prendre en considération
	Que voulez-vous mesurer ?  Dans quel but cette mesure est-elle réalisée ?  Comment allez-vous procéder pour effectuer  cette mesure ?

Les mesures des indicateurs identifiés dans la matrice des résultats ou la matrice d'évaluation peuvent inclure des variables catégorielles (qualitatives) et/ou numériques (quantitatives). Une variable est une caractéristique ou un attribut qui peut prendre différentes valeurs et peut être mesuré pour chaque unité d'un échantillon ou d'une population (voir la section « Échantillonnage »).

• Les variables catégorielles sont des types de données qualitatives pouvant être divisées en groupes ou en catégories7 . Ces groupes peuvent être constitués d'étiquettes alphabétiques (telles que le sexe, la couleur des cheveux ou la religion) ou numériques (telles que femme = 1, homme = 0), ou d'étiquettes binaires (par exemple, oui ou non) qui ne contiennent pas d'informations autres que les fréquences relatives à l'appartenance au groupe8 .
• Les variables numériques (également appelées variables quantitatives) sont utilisées pour mesurer des éléments objectifs pouvant être exprimés en termes numériques, tels que des chiffres absolus. Par exemple, le nombre de personnes ayant reçu une formation, ventilé par sexe, un pourcentage, un taux ou un rapport

Lors de la conception des indicateurs, il est de la plus haute importance d’établir des liens logiques entre ces derniers et les résultats de l’intervention et de déterminer comment ils permettront de mesurer les résultats.

• 7Les variables catégorielles peuvent être classées en trois catégories : nominales, dichotomiques (binaires) et ordinales
• 8Pour plus d’informations, voir Laerd Statistics, s.d. concernant les différents types de variables

Toute mesure destinée à être utilisée doit être pertinente, crédible, valide, fiable et d’un bon rapport coût/ efficacité. La qualité des indicateurs est déterminée par quatre facteurs principaux :

a) La qualité du lien logique entre l’indicateur et ce qui est mesuré (par exemple, l’objectif, l’effet direct, le produit et/ou l’impact d’une intervention)

• Qu’est-ce qui est mesuré et pourquoi ? Quels sont les indicateurs potentiels ?
• Pourquoi le ou les indicateur(s) permettent-ils de mesurer l’objectif, l’effet direct, le produit et/ ou l’impact ?
• Comment l’indicateur permet-il de mesurer l’objectif, l’effet direct, le produit et/ou l’impact ?

b) La qualité de la mesure

• Les indicateurs mesurent-ils ce qu’ils sont censés mesurer (validité) ?
• Les indicateurs donnent-ils les mêmes résultats lorsque les mesures sont répétées (fiabilité) ?

c) La qualité de la mise en œuvre

• Les coûts financiers liés à la mesure des indicateurs valent-ils la peine d’être engagés au regard des informations à recueillir (rapport coût/efficacité) ?
• Les outils de collecte de données sont-ils les plus appropriés compte tenu des indicateurs établis pour mesurer les objectifs, les effets directs, les produits et/ou l’impact de l’intervention (pertinence) ? Des ressources limitées (temps, personnel et budget) peuvent souvent entraver l’utilisation des outils de collecte de données les plus appropriés.

d) La qualité de la reconnaissance accordée aux résultats des mesures et à leur interprétation

Dans quelle mesure les résultats des mesures et leur interprétation sont-ils acceptés en tant que fondement des décisions prises par les parties en présence (crédibilité) ?

Le tableau 4.1 présente une liste de vérification permettant de garantir des mesures de qualité. 

Source: Adapté de Morra Imas et Rist, 2009, p. 293.

Les valeurs que prend une variable forment une échelle de mesure qui est utilisée pour catégoriser et/ou quantifier les indicateurs. Il peut s'agir d'échelles nominales, ordinales, d'intervalle ou de rapport. Les niveaux de mesure utilisés déterminent le type de techniques d'analyse des données qui peuvent ou non être appliquées.

Niveaux de mesure

Échelles nominales

Les échelles nominales consistent à attribuer des catégories non hiérarchiques qui représentent davantage la qualité que la quantité. Les valeurs qui peuvent être attribuées aux catégories ne sont que descriptives (elles n'ont pas de valeur numérique inhérente quant à leur importance). Une mesure effectuée à partir d'une échelle nominale peut aider à déterminer si les unités observées sont différentes, mais elle ne permet pas d’identifier la direction ni l’ampleur de cette différence. Les échelles nominales sont utilisées à des fins de classification/regroupement.

La fonction la plus importante de tout indicateur est d'assurer la meilleure répartition possible des caractéristiques mesurées sur l'échelle de mesure. Cette répartition des caractéristiques « et leur dispersion statistique mesurable (variance) sur l'échelle constituent les principales connaissances acquises grâce à l'indicateur (les variables) »10

• 10Stockmann, A Practitioner Handbook on Evaluation, p. 204

Au moment de planifier la collecte de données et que l'on réfléchit au type de données qui seront recueillies, il est important d’analyser le public cible auprès duquel les données seront recueillies. Il est essentiel de déterminer la taille de l’échantillon et la stratégie d’échantillonnage en vue de sélectionner un échantillon représentatif de personnes interrogées, car cela a des conséquences budgétaires.

S'il est parfois faisable d'inclure l'ensemble de la population dans le processus de collecte de données, il arrive aussi que cela ne soit pas le cas ni nécessaire en raison de contraintes liées au temps, aux ressources et au contexte. Dans ces conditions, un échantillon doit être sélectionné.

L'échantillonnage est le processus consistant à sélectionner des unités au sein d’une population (c'est-à-dire un échantillon) dans le but de décrire ou de faire des déductions sur cette population (c'est-à-dire estimer quelles sont les caractéristiques de la population sur la base des résultats de l'échantillon).

Questions à se poser lors de l’échantillonnage

Qui seront les personnes interrogées pour la collecte de données ? Auprès de combien de personnes des données seront-elles recueillies ? Pourquoi est-il préférable de recueillir des données auprès du groupe A plutôt que du groupe B ? Combien de réponses faut-il recueillir pour que les résultats soient fiables, valides et représentatifs d’une population ou d’un groupe plus large ? Quelle est la quantité de données qu’il faut recueilir pour pouvoir réaliser une analyse approfondie ? Est-il suffisant de discuter des résultats d’une activité particulière avec uniquement quelques bénéficiaires, ou faut-il inclure toute la population cible ? Quel est l'équilibre idéal entre les informations que les participants peuvent fournir et le nombre de participants requis jusqu'à ce que les informations nécessaires soient rassemblées ?

L'échantillonnage s'applique aux méthodes de suivi/d’évaluation tant qualitatives que quantitatives. Alors que l'échantillonnage aléatoire (également appelé échantillonnage probabiliste) est souvent appliqué lorsque des outils de collecte de données essentiellement quantitatives sont utilisés à des fins de suivi/d’évaluation, l'échantillonnage non aléatoire (également appelé échantillonnage non probabiliste ou dirigé) tend à être appliqué dans le cadre d’un travail de suivi/évaluation qui s’appuie principalement sur des données qualitatives11

Une sélection appropriée, idéalement aléatoire, d’un échantillon peut réduire les risques de biais dans les données, et améliorer ainsi la mesure dans laquelle les données recueillies reflètent la situation réelle d'une intervention. On entend par biais tout processus, à n'importe quel stade de la conception, de la planification, de la mise en œuvre, de l'analyse et de la communication des données, qui génère des résultats ou des conclusions qui diffèrent systématiquement de la vérité12 . Pour plus d'informations sur les types de biais, voir l'annexe 4.3. Types de biais.

• 11 Adapté de Trochim, 2020a et Lærd Dissertation, n.d.
• 12 Adapté de Sackett, 1979.

Échantillonnage aléatoire

L'échantillonnage aléatoire est une méthode d'échantillonnage utilisée lorsqu'il est nécessaire d’interroger un grand nombre de personnes et que les résultats de l'échantillon sont généralisés à l’ensemble de la population cible. En d'autres termes, pour s'assurer que l'échantillon représente réellement la population cible dans son ensemble et qu'il ne reflète pas uniquement les points de vue d'un très petit groupe au sein de l'échantillon, des individus représentatifs sont sélectionnés de façon aléatoire. L'échantillonnage aléatoire est une méthode efficace qui permet d’éviter les biais d'échantillonnage.

Un véritable échantillonnage aléatoire nécessite une base d’échantillonnage, c'est-à-dire une liste de l'ensemble de la population cible à partir de laquelle l'échantillon peut être sélectionné. Cette méthode est souvent difficile à appliquer. C'est pourquoi il existe d'autres techniques d'échantillonnage aléatoire qui ne nécessitent pas de disposer d’une base d’échantillonnage complète (échantillonnage aléatoire systématique, stratifié et par grappes).

Échantillonnage non aléatoire/dirigé

Figure 4.7. Échantillon non aléatoire
	L’échantillonnage non aléatoire est utilisé quand : Il n’est pas nécessaire d’interroger un grand nombre de personnes ; La recherche est exploratoire ; Des méthodes qualitatives sont utilisées ; L’accès est difficile ; La population est très dispersée.

Un échantillonnage non aléatoire/dirigé est indiqué quand : l’étude porte sur un petit échantillon « n » ; la recherche est exploratoire ; des méthodes qualitatives sont utilisées ; l’accès est difficile ; ou la population est très dispersée. Pour savoir plus précisément quand un échantillonnage non aléatoire est approprié, voir Patton (2011) et Daniel (2012). La technique d’échantillonnage choisie dépendra des besoins d’information, de la méthodologie (quantitative ou qualitative) et des outils de collecte de données qui seront nécessaires.

Remarque : Le tableau ci-dessus présente les types les plus courants d’échantillonnage non aléatoire/dirigé, mais d’autres types d’échantillonnage non aléatoire/dirigé figurent dans Patton, 2015.

Limites de l’échantillonnage non aléatoire/dirigé 

L'utilisation d'échantillons non aléatoires/dirigés, en particulier les échantillons de commodité et les échantillons 
en boule de neige, présente plusieurs limites. Premièrement, il n'est pas possible de faire des généralisations 
s’appliquant à l'ensemble de la population cible. Deuxièmement, les tests statistiques pour faire des déductions 
ne peuvent pas être appliqués aux données quantitatives. Enfin, les échantillons non aléatoires peuvent être 
sujets à divers biais qui sont réduits quand l'échantillon est sélectionné de façon aléatoire. S'ils utilisent un 
échantillon non aléatoire, les praticiens du suivi et de l’évaluation doivent se poser la question suivante : « Y 
a-t-il un élément de cet échantillon particulier qui pourrait différer de la population dans son ensemble ? ». Si la 
réponse est affirmative, il se peut que l'échantillon ne soit pas suffisamment représentatif de certains groupes 
de la population. Une présentation des caractéristiques démographiques de l'échantillon peut donner une idée 
de sa représentativité par rapport à la population cible dont l'échantillon a été tiré. 

Source: Adapté de Sheppard, 2020.

La taille de l'échantillon est déterminée par ce qui doit être mesuré, le but visé et la façon dont la mesure sera réalisée. La taille de l'échantillon doit également garantir, avec le plus haut niveau de confiance possible, qu'un changement ou une différence observée entre les groupes résulte de l'intervention et n’est pas le fruit du hasard. Cependant, tel n’est pas toujours le cas quand on utilise un échantillonnage non aléatoire/dirigé.

Déterminer la taille de l’échantillon : échantillonnage 

Quand il faut interroger un grand nombre de personnes, la taille appropriée de l'échantillon est déterminée ecompte tenu du niveau de confiance et de l'erreur d'échantillonnage.

• Pour une étude nécessitant un petit nombre de participants, la sélection de petits échantillons aléatoires peut donner des estimations très trompeuses concernant la population cible. Par conséquent, l'échantillonnage non aléatoire est,dans ce cas, plus approprié.

Déterminer la taille de l’échantillon : échantillonnage non aléatoire/dirigé

Dans le cas d'un échantillonnage non aléatoire/dirigé, la saturation des données permet de savoir si un échantillon était suffisant ou non. Une fois ce point atteint, il n'est plus nécessaire de collecter d'autres données. Cependant, en raison du peu d'indications sur le nombre d'entretiens nécessaires pour atteindre la saturation, ce point peut parfois être difficile à identifier.

Les questions suivantes peuvent aider à déterminer le nombre de personnes à inclure dans l'échantillon pour atteindre aussi bien l’objectif de saturation des données que de crédibilité :

• Tous les segments de la population doivent-ils être inclus dans l’échantillon ?
• Des personnes avec des points de vue divers doivent-elles être incluses dans l’échantillon ?
• Les résultats doivent-ils faire l’objet d’une triangulation (voir la section « Triangulation ») ?

Les enquêtes sont une technique courante de collecte de données. Elles permettent de recueillir des informations ciblées auprès d’un échantillon de la population cible aux fins d’un projet, un programme ou d’une politique, notamment des données relatives aux perceptions, aux opinions et aux idées. Si les enquêtes peuvent également être utilisées pour mesurer un comportement visé, elles offrent toujours une latitude d’interprétation, et les données recueillies peuvent être moins « factuelles », dans la mesure où ce que les personnes déclarent faire ou avoir l’intention de faire peut ne pas correspondre à ce qu'elles font en réalité.

En général, une enquête est menée auprès d'un échantillon relativement important, sélectionné de manière aléatoire, de sorte que les résultats obtenus représentent la population cible dans son ensemble (voir la section relative à l'échantillonnage). Le format de l'enquête peut être structuré ou semi-structuré, selon la finalité de la collecte de données (voir le tableau 4.8), et les enquêtes peuvent être mises en œuvre de manière ponctuelle (transversales) ou être échelonnées dans le temps (longitudinales).

Les enquêtes transversales sont utilisées pour recueillir des informations sur la population cible à un moment précis, par exemple à la fin d'un projet. Ce format d'enquête peut être utilisé pour déterminer la relation entre deux facteurs, par exemple pour savoir quel impact un projet axé sur les moyens de subsistance a eu sur le niveau de connaissances de la personne interrogée pour créer une activité génératrice de revenus.

Les enquêtes longitudinales permettent de recueillir des données sur une période donnée, et donc d'analyser les changements survenus au sein de la population cible au fil du temps ainsi que l’évolution de la relation entre les facteurs au fil du temps. Il existe différents types d'enquêtes longitudinales, telles que les études par panel et les études de cohortes.13

• 13Les études par panel et les études de cohortes sont des approches en matière de conception d’études longitudinales. Les études de cohortes suivent des personnes identifiées en fonction de certaines caractéristiques spécifiques au cours d'une période définie, tandis que les études par panel visent à couvrir l'ensemble de la population (Lugtig et Smith, 2019).

Les enquêtes peuvent revêtir diverses formes, telles que des entretiens en personne, des entretiens téléphoniques, ou des questionnaires sur papier ou en ligne exigeant des réponses écrites.

Pour de plus amples informations sur les modalités de conception et de mise en œuvre d’une enquête, voir l’annexe 4.5. Conception et mise en œuvre d’une enquête, et l’annexe 4.6. Exemple d’enquête.

Interviews are a qualitative research technique used to shed light on subjectively lived experiences of, and viewpoints from, the respondents’ perspective on a given issue, or sets of issues, that are being monitored or evaluated for a given intervention. Interviews provide opportunities for mutual discovery, understanding, reflection and explanation. Interviews are of three types: (a) structured; (b) semi-structured; and (c) unstructured. Table 4.9 provides an overview of each interview approach, when to use it and some examples.

Pour en savoir davantage asur les entretiens et consulter des exemples de structures d’entretien et de questions exploratoires, voir l’annexe 4.7. Structure des entretiens et questions d’entretien (exemples dans toute l’annexe) ainsi que l’annexe 4.8. Exemple d’entretien

Les groupes de discussion sont une autre technique de recherche qualitative, qui revêt la forme d’une discussion planifiée entre un nombre limité de personnes, avec un modérateur et, si possible, des personnes chargées de prendre des notes, ainsi que des observateurs si l’on souhaite également utiliser des observations.15 Cette technique vise à recueillir diverses idées et perceptions sur un sujet de recherche dans un cadre et ouvert permettant l'expression de différents points de vue, sans pressions en vue de parvenir à un consensus. Les groupes de discussion sont également utilisés pour acquérir une compréhension approfondie d'un sujet ou d'une question, ce que ne permet généralement pas une enquête. Par exemple, une enquête pourra indiquer que 63 % de la population préfère l'activité Y, alors qu’un groupe de discussion pourra expliquer les raisons de cette préférence. Les groupes de discussion peuvent également aider à vérifier l’existence d’un biais de désirabilité sociale, qui désigne la tendance des personnes interrogées à répondre ce qu'elles pensent que l'enquêteur veut entendre plutôt que d’exprimer leur réelle opinion. Une discussion en groupe peut, par exemple, révéler que les participants préfèrent en réalité l'activité Z, et non l'activité Y comme le suggéraient leurs réponses à l'enquête. Cependant, les groupes de discussion sont moins propices à l’expression de récits individuels détaillés sur le sujet ou la question étudiée. Si ce type de données est nécessaire, il faudra plutôt se tourner vers des entretiens. Si une même personne répond trop souvent aux questions posées lors de la discussion de groupe, il est important de s’assurer si ce comportement intimide les autres participants et d’inviter les autres personnes à participer. Il est également important de comprendre qui est cette personne. Par exemple, il pourrait s’agir d’un dirigeant politique qui tente d'imposer des réponses au groupe.

Pour en savoir plus sur les discussions en groupe, voir l'annexe 4.9. Préparer, mener et animer une discussion en groupe et l'annexe 4.10. Exemple de l’OIM − Guide de discussion en groupe.

• 15En général, les discussions en groupe ne doivent pas compter plus de 15 participants. Pour un plus grand nombre de participants, des techniques d'entretien avec des groupes communautaires pourront être utilisées.

L’étude de cas est une méthode de collecte de données qualitative qui est utilisée pour analyser des situations réelles et déterminer si les constatations tirées du cas étudié peuvent illustrer des aspects de l'intervention visés par le suivi et/ou l’évaluation. Il s'agit d’un examen détaillé de cas effectué pour obtenir des informations approfondies, dans le but de comprendre les dynamiques opérationnelles, les activités, les produits, les effets directs et les interactions d'une intervention.

Les études de cas supposent une analyse contextuelle détaillée d'un nombre limité d'événements ou de situations et de leurs relations. Elles servent de base à l’application d’idées et au développement des méthodes. Les données recueillies sur la base d'une étude de cas peuvent aider à comprendre une question ou un objet complexe et consolider les connaissances dont on dispose déjà.

Une étude de cas est utile pour analyser les facteurs qui contribuent aux produits et aux effets directs. Cependant, cette méthode de collecte de données peut nécessiter beaucoup de temps et des ressources considérables, et les informations qu’elle permet d’obtenir peuvent être difficiles à analyser et à extrapoler.

L'observation est une technique de recherche que les praticiens du suivi et de l’évaluation peuvent utiliser pour mieux comprendre le comportement des participants, ainsi que l’environnement physique dans lequel un projet, un programme ou une politique est mis en œuvre. Observer signifie regarder les individus et les environnements dans lesquels ils évoluent, et relever leurs comportements et interactions en mobilisant les cinq sens : la vue, le toucher, le goût, l’ouïe et l’odorat.

Les observations doivent être utilisées dans les cas suivants :

• Pour recueillir des données sur les comportements individuels ou sur les interactions entre les personnes et leur environnement ;
• Lorsqu’il est nécessaire de connaître un environnement physique ;
• Lorsqu’il n’est pas possible de recueillir des données à partir d’entretiens ou d’enquêtes.16

L’approche suivie pour mener des observations peut être structurée, semi-structurée ou non structurée

Pour de plus amples informations, conseils et exemples concernant les observations ainsi que leur planification et leur réalisation, voir l’annexe 4.11. Exemples, planification et réalisation d’observations.

• 16CDC, 2018.

• 17Les informations figurant dans le tableau sont adaptées de IFAD, 2002

Une fois que la conception du suivi et de l’évaluation a été identifiée et que la ou les méthode(s) et outils ont été élaborés, la collecte de données peut commencer. Il est recommandé d'organiser une formation sur la méthodologie avec la ou les équipe(s) de collecte de données. Cette formation doit porter de façon détaillée sur chacun des outils de collecte de données qui seront utilisés, et comporter des exercices pratiques sur la façon de les mettre en œuvre.

Un guide de la collecte de données contenant des instructions claires à l'usage des agents de recensement est un outil de référence utile, pendant et après la formation, pour la collecte de données proprement dite. L’exemple ci-dessous présente un extrait d'une enquête figurant dans un guide de la collecte de données. En vous conformant à ces étapes, vous aurez la garantie que les données recueillies sont exactes et qu’elles comportent un nombre minimum d'erreurs. Dans certains cas, toutefois, il n'est pas possible d'organiser une formation complète faute de temps et de ressources, si bien qu’il peut être important d’élaborer un guide de la collecte de données.

Les données recueillies doivent ensuite être transférées dans une application informatique, telle que Microsoft Word ou Excel. La conversion des données en format électronique facilitera leur nettoyage et leur analyse. Pour les données quantitatives, la première étape de la saisie consiste à créer le(s) fichier(s) de données afin d'assurer un transfert sans heurts entre une feuille de calcul et un logiciel statistique, tel que SPSS ou Stata, pour procéder aux analyses statistiques.

Pour les données qualitatives, la première étape du processus de saisie des données consiste à transférer toutes les notes des entretiens, des discussions en groupe et des observations dans un document Word afin de procéder à une analyse de contenu à l'aide de logiciels d’analyse de données qualitatives, tels que NVivo ou MAXQDA.

Une autre composante de la saisie des données consiste à attribuer à chaque sujet (ou unité d'analyse) un identifiant (ID) unique (par exemple : 01, 02, 03, etc.), à moins que cela ne soit directement fait pendant le processus de collecte de données. Pour ce faire, il faut créer un fichier distinct où l’on apparie les informations d'identification de chaque sujet (unité d'analyse) à son identifiant unique. L'attribution d'un identifiant unique à chaque personne interrogée garantit que les données demeureront anonymes dans le cas où elles seraient divulguées à d'autres parties.

Une fois que les données ont été transférées du support utilisé pour consigner les informations vers une application informatique (Word ou Excel), elles doivent être examinées afin de détecter la présence d’erreurs. Après quoi, toute erreur doit être diagnostiquée et traitée.

Des erreurs de données peuvent se produire à différentes étapes de la conception, de la mise en œuvre et de l'analyse des données (voir la figure 4.8) :

• Lors de la conception des outils de collecte de données (par exemple, stratégies d’échantillonnage inappropriées, mesures invalides, biais, etc.) ;
•  Lors de la collecte ou de la saisie des données ;
• Lors de la transformation, de l’extraction ou du transfert des données ;
•  Lors de l’étude ou de l’analyse des données ;
•  Lors de la soumission du projet de rapport pour examen par les pairs26

*  HCR, 2015

• 26UNHCR, 2015.
• 27Ibid.

Une fois les données suspectes identifiées, l'étape suivante consiste à examiner toutes les réponses données par une personne interrogée afin de déterminer si les données font sens compte tenu du contexte dans lequel elles ont été recueillies. À l’issue de cet examen, il existe plusieurs diagnostics possibles pour chaque point de données suspect identifié :

• Le point de données est manquant. Les données manquantes peuvent résulter de réponses omises par les personnes interrogées (absence de réponse), de questions sautées par l’enquêteur (saisie ou saut de questions erronés) ou par les agents de saisie des données, ou encore d'abandons (pour les recherches longitudinales).
•  Le point de données est une vraie valeur extrême. Les vraies valeurs extrêmes sont des réponses qui semblent élevées mais qui peuvent en réalité être justifiées par d'autres réponses.
• Le point de données est une vraie valeur normale. Les vraies valeurs normales constituent des réponses valides.
• Le point de données est une erreur. Les erreurs peuvent être des fautes de frappe ou des réponses inappropriées (les questions posées ont été mal comprises par les personnes interrogées). Parfois, les erreurs peuvent être rapidement identifiées, lorsqu'il existe des seuils prédéfinis parce que les valeurs sont logiquement ou biologiquement impossibles. Tel est le cas, par exemple, quand un échantillon ne comprend que des personnes âgées de 18 à 35 ans mais que, dans l’enquête, il est indiqué qu’une personne interrogée a 80 ans, ce qui n’est pas possible28

• 28 Ibid.

Une fois que les observations problématiques ont été identifiées, il faut les traiter avant de procéder à l’analyse des données. Voici quelques-unes des principales approches permettant de traiter les erreurs de données :

• Laisser les données inchangées. Cette approche est la plus conservatrice, car elle suppose d’accepter les données erronées comme s’il s’agissait de réponses valides sans effectuer aucun changement. Pour les études portant sur un large échantillon, laisser une réponse erronée n’a pas nécessairement de conséquences pour l’analyse. Cependant, pour les études portant sur un petit échantillon, la décision de laisser les données telles quelles peut être plus problématique.
• Corriger les données, sans toutefois modifier l’intention de la personne interrogée ou le sens que celle-ci a voulu donner.
•  Supprimer les données. Il est important de se rappeler que l’exclusion de données peut donner l'impression que les données ont été « sélectionnées » pour obtenir les résultats souhaités. Un autre possibilité consiste à créer une variable binaire (1 = enregistrement suspect ; 0 = enregistrement non suspect) et à l’utiliser comme un filtre d'enregistrement dans des tableaux croisés dynamiques ou dans le filtrage des tableaux afin de comprendre l'impact de données potentiellement erronées sur les résultats finaux.
• Mesurer à nouveau les valeurs suspectes ou erronées si le temps et les ressources le permettent.29

• 29Ibid.
• 30Ibid.

Les valeurs manquantes appellent une attention particulière car elles ne peuvent être simplement ignorées. La première étape consiste à décider quelles cellules vides doivent être remplies de zéros (parce qu'elles représentent une observation négative ; par exemple « non », « absent » et « option non choisie ») et lesquelles doivent être laissées vides (si l'on utilise des cellules vides pour indiquer une valeur manquante ou non applicable). Les cellules vides peuvent également être remplacées par des codes de valeur manquante. Par exemple, 96 (je ne sais pas), 97 (refus de répondre), 98 (sauter la question/sans objet) et 99 (vide/manquant).

Si la proportion de données manquantes ou incomplètes est importante pour une catégorie de données, cela pose un problème grave pour le suivi et l’évaluation. Dès qu’on sait qu’il manque un ensemble de données, il est important de savoir si les données manquantes sont aléatoires ou si elles varient de manière systématique, et de déterminer l'ampleur du problème. Les valeurs manquantes aléatoires peuvent être dues au fait que le sujet a omis de répondre à certaines questions par inadvertance. L’enquête peut être trop complexe et/ou longue, ou l'enquêteur peut être fatigué et/ou distrait et avoir manqué une question. Les valeurs manquantes aléatoires peuvent également provenir d'erreurs de saisie des données. S'il n'y a qu'un petit nombre de valeurs manquantes au sein de l'ensemble de données (habituellement, moins de 5 %), il est extrêmement probable qu'il s'agisse de valeurs manquantes aléatoires. Les valeurs manquantes non aléatoires peuvent être dues au fait que la personne source a délibérément omis de répondre à certaines questions (question prêtant à confusion ou sensible, absence de choix appropriés tels que « sans opinion » ou « ne s’applique pas »). 

L’option par défaut pour traiter les données manquantes consiste à les filtrer et à les exclure de l'analyse :

(a) Suppression par liste/par cas : Les cas pour lesquels il manque des valeurs concernant la ou les variable(s) analysée(s) sont exclus. Si l’on analyse une seule variable, la suppression par liste consiste simplement à analyser les données existantes. Si l’on analyse plusieurs variables, la suppression par liste élimine les cas pour lesquels il manque une valeur concernant l'une des variables. L'inconvénient est que cela engendre une perte de données, car toutes les données concernant les cas qui auront répondu à certaines questions et pas à d'autres (les données manquantes) sont supprimées.

(b) Suppression par paire : Toutes les données disponibles sont incluses. Contrairement à la suppression par liste, qui consiste à supprimer les cas (sujets) pour lesquels il manque des valeurs concernant l’une quelconque des variables analysées, la suppression par paire ne supprime de l'analyse que les valeurs manquantes spécifiques (et non pas le cas entier). En d'autres termes, toutes les données disponibles sont incluses. Si vous effectuez une corrélation entre plusieurs variables, cette technique permet d'effectuer une corrélation bivariée entre tous les points de données disponibles et d'ignorer uniquement les valeurs manquantes potentielles correspondant à certaines variables. Dans ce cas, la suppression par paire donnera des tailles d'échantillon différentes pour chaque corrélation effectuée. La suppression par paire est utile lorsqu’on travaille sur un échantillon de petite taille ou que les valeurs manquantes sont importantes. En effet, si l’on ne dispose déjà que d’un petit nombre de valeurs au départ, il n’est pas judicieux d’en éliminer encore davantage en appliquant une suppression par liste.

Remarque :La suppression signifie l'exclusion dans le cadre d'une procédure statistique, et non la suppression (des variables ou des cas) de l'ensemble de données.

(c) Suppression de tous les cas présentant des valeurs manquantes : Seuls les cas dont les données sont complètes sont retenus. Cette approche réduit la taille de l'échantillon de données, ce qui entraîne une perte de puissance statistique et une augmentation de l'erreur d'estimation (intervalles de confiance plus larges). Cela ne pose pas de problème pour les grands ensembles de données mais constitue un grand inconvénient lorsqu’on travaille avec de petits ensembles de données. Les résultats peuvent également être bisaisés si les sujets présentant des valeurs manquantes sont différents des sujets sans valeurs manquantes (c'est-à-dire non aléatoires), ce qui engendre un échantillon non représentatif. 

(d) Imputation (remplacer les valeurs manquantes) :Tous les cas sont préservés grâce au remplacement des données manquantes par une valeur probable fondée sur d’autres informations disponibles (telles que la moyenne ou la médiane des observations concernant la variable pour laquelle la valeur est manquante). Une fois que toutes les données manquantes ont été imputées, l’ensemble de données peut être analysé à l’aide des techniques standard applicables aux données complètes. Il existe des méthodes d’imputation plus sophistiquées, qui s’appuient sur des équations visant à prédire les valeurs des données manquantes sur la base d’un certain nombre de variables pour lesquelles les données sont disponibles. Toute méthode d’imputation peut donner lieu à des estimations biaisées. Une présentation détaillée des aspects techniques, de la pertinence et de la validité de chaque technique dépasse le cadre du présent document. En fin de compte, le choix de la bonne technique dépend des aspects suivants : i) la quantité de données manquantes (et les raisons de ce manque) ; ii) les schémas, le caractère aléatoire et la distribution des valeurs manquantes ; et iii) les effets produits par les données manquantes et la façon dont les données seront utilisées dans l'analyse. Il est fortement recommandé de faire appel à un statisticien dans des cas où les praticiens du suivi et de l’évaluation sont confrontés à un petit ensemble de données présentant une grande quantité de valeurs manquantes.

En pratique, dans des cas de suivi et d’évaluation sans grandes ressources statistiques, créer une copie de la variable et remplacer les valeurs manquantes par la moyenne ou la médiane peut être souvent suffisant et préférable à la perte de cas due à des méthodes de suppression.

Au cours du processus de nettoyage des données, il peut être nécessaire de recoder certaines variables et d’en créer de nouvelles afin de répondre aux besoins analytiques de l’exercice de suivi et d’évaluation. Les variables peuvent être recodées à différents niveaux, comme suit :

• Mise en forme : date (jour, mois et année), préfixes pour permettre un meilleur tri dans les tableaux et des arrondis (pour les variables continues).
• Syntaxe : Traduction, style et simplification.
• Recodage d’une variable catégorielle (par exemple, appartenance ethnique, profession, catégorie « autre », et corrections orthographiques).
• Recodage d’une variable continue (telle que l’âge) en variable catégorielle (telle qu’un groupe d’âge).
• Combiner les valeurs d’une variable en un plus petit nombre de catégories (par exemple, regrouper tous les problèmes causés par des difficultés d’accès).
• Combiner plusieurs variables pour en créer une nouvelle (par exemple, créer un indice basé sur un ensemble de variables).
• Définir une condition sur la base de certaines valeurs seuil (par exemple, population « à risque » contre « population à haut risque »).
• Changer un niveau de mesure (par exemple, passer d’une échelle d’intervalle à une échelle ordinale).
• Une distinction doit être faite entre les valeurs (sur le plan conceptuel).

Les variables catégorielles peuvent être recodées de trois façons :

(a) Décomposer une variable catégorielle en un plus petit nombre de catégories en combinant des catégories qui vont logiquement ensemble ou éliminer les catégories présentant un petit nombre d’observations ;

(b) Diviser une variable catégorielle en plusieurs variables avec moins de catégories ;

(c) Combiner plusieurs variables catégorielles en un moins grand nombre de variables avec plus de catégories.

Two good data management practices are transparency and the proper documentation of all the procedures followed, including the data cleaning process.

Documenting errors, changes and additions is essential to the following:

• Determining and maintaining data quality;
• Avoiding duplication of error checking by different data entry staff;
• Knowing what and by whom data quality checks have been carried out;
• Recovering data cleaning errors;
• Informing data users of the changes made to the last version of the data accessed.

To keep track of all the changes made to the data, a change log can be created. By keeping track of all the modifications made, it will be possible to roll back to the original values, when necessary. The following are some of the fields that are included in a change log:

• Table (if using multiple tables)
• Column, row
• Date changed
• Changed by
• Old value
• New value
• Comments

L'analyse des données qualitatives est un processus visant à réduire et à donner un sens à de grandes quantités d'informations qualitatives − provenant très souvent de sources multiples, telles que des notes de discussions de groupe, des notes d'entretiens individuels et des observations − afin de dégager des thèmes et schémas pertinents qui répondent aux questions de suivi et d’évaluation posées. L’analyse des données qualitatives se concentre sur la parole des personnes interrogées, le contexte dans lequel les données ont été recueillies, la cohérence et les contradictions des points de vue des personnes interrogées, la fréquence et l'intensité des commentaires des participants, leur spécificité, ainsi que les thèmes et schémas qui se dégagent. Par exemple, dans le cadre du suivi d'un projet en cours, il est décidé d’organiser dix groupes de discussion avec un nombre restreint de bénéficiaires. Que faire une fois que toutes les notes des discussions ont été recueillies ? Faut-il analyser les données de manière ad hoc ou systématique, c'est-à-dire, mettre en évidence les informations pertinentes ou les coder ?

Les codes sont des mots ou de courtes phrases qui rendent compte d’un « attribut récapitulatif, saillant, essentiel et/ou évocateur pour [...] des données linguistiques ou visuelles ».Saldana, 2009, p. 3. . Le codage est le processus qui consiste à étiqueter comme « appartenant à » ou comme représentatif d’un certain type de phénomènes qui peuvent être un concept, une croyance, une action, un thème, une pratique culturelle ou une relation. Le codage peut être réalisé manuellement, avec du papier et des surligneurs, ou par ordinateur dans un document Word, sur une feuille de calcul Excel ou à l’aide d’un logiciel d'analyse de données qualitatives comme NVivo.

Pour commencer à coder des données manuellement, rassemblez les exemplaires papier de toutes les données, annotez le texte à l'aide de stylos, de crayons, de surligneurs et de marqueurs et, enfin, coupez, collez, découpez, regroupez et associez les données. Il est conseillé de laisser de grandes marges et des espaces vides pour les annotations.

Étant donné que la plupart des praticiens du suivi et de l’évaluation ont accès à des programmes de traitement de texte et à des tableurs, ceux-ci sont couramment utilisés pour l'analyse des données qualitatives (voir la figure 4.10 qui illustre le codage dans un document Word).

Lorsqu’on doit analyser de grandes quantités de données, par exemple vingt transcriptions d'entretiens ou plus, il est possible d'acheter une licence pour un logiciel d'analyse de données qualitatives tel que NVivo cPour une présentation de NVivo et un guide d'introduction à la configuration et au codage avec ce logiciel, veuillez consulter le Guide de démarrage rapide de QSR International (2014).

Pour savoir comment analyser des données qualitatives, voir l’annexe 4.12. Étapes à suivre pour l’analyse des données qualitatives.

Une fois que les données quantitatives ont été saisies dans une feuille de calcul, elles sont prêtes à être utilisées pour générer des informations permettant de répondre aux questions de suivi ou d'évaluation. Les statistiques aident à transformer les données quantitatives en informations utiles pour faciliter la prise de décisions, par exemple en résumant les données et en décrivant les schémas, les relations et les liens. Les statistiques peuvent être descriptives ou inférentielles. Comme leur nom l'indique, les statistiques descriptives fournissent des informations qui permettent de décrire les données et de les résumer. Les représentations graphiques sous forme d'histogrammes, de diagrammes circulaires et de diagrammes à barres sont quelques autres méthodes de statistiques descriptives. De la sorte, il est possible de comparer rapidement différents ensembles de données et de repérer les valeurs les plus petites et les plus grandes, les tendances ou les changements sur une période donnée. Les statistiques inférentielles utilisent des données tirées d'un échantillon de la population pour faire des généralisations sur cette population.

Etant donné que la plupart des statistiques utilisées dans les exercices de suivi et d’évaluation sont descriptives, des outils et des exemples portant sur la façon ces statistiques sont calculées sont proposés ci-après.

Comme cela a déjà été mentionné dans la section sur les mesures, les données sont recueillies auprès d'unités, qui peuvent être, par exemple, des individus, des ménages, des écoles ou des communautés. Les différentes mesures, questions ou éléments d'information qui sont recueillis auprès de ces unités sont les variables. Il existe deux types de variables, les variables numériques quantitatives (quantitatives) et les variables catégorielles. Alors que les variables catégorielles sont constituées d'un groupe de catégories (sexe, homme/ femme, etc.), les variables numériques sont des nombres, tels que le nombre de participants à une formation.

Les groupes de données catégorielles sont toutes les unités comprises dans les différentes catégories, qui peuvent être résumées en déterminant combien de fois une catégorie se produit. Par exemple, le nombre de femmes dans une communauté, qui peut être décrit comme la fréquence des femmes au dans la communauté. Ces informations sont présentées à l'aide d'un tableau de fréquence. Celui-ci indique combien d'individus de la communauté appartiennent à chacune des catégories (hommes/femmes). Cette information peut également être représentée sous forme de pourcentage ou de proportion du total.

Des tables de fréquence peuvent être utilisées pour présenter les constatations dans un rapport, ou peuvent être converties en graphiques pour une présentation plus visuelle. Une proportion indique la fréquence relative de chaque catégorie ; elle est calculée en divisant chaque fréquence par le nombre total.

Les pourcentages sont calculés en multipliant la proportion par 100. Les proportions et les pourcentages peuvent être plus faciles à comprendre et à interpréter que l'examen des données de fréquence brutes, et sont souvent intégrés dans une table de fréquence (voir le tableau 4.15).

Le centre et la dispersion des données sont deux statistiques descriptives couramment utilisées. Alors que le centre décrit une valeur typique, la dispersion décrit la distance d'un point de données par rapport au centre des données.

Les statistiques les plus couramment utilisées pour décrire le centre sont la moyenne et la médiane. La médiane correspond à la valeur centrale d'un ensemble de données. Autrement dit, la moitié des données sont supérieures à la médiane, et l'autre moitié lui sont inférieures. La moyenne est calculée en additionnant toutes les valeurs, puis en les divisant par le nombre total de valeurs.

D’autres statistiques permettant de décrire la dispersion sont l’écart interquartile et l’écart type.

• L'écart interquartile est la différence entre le quartile supérieur et le quartile inférieur des données. Un quart (ou 25 %) des données se situe au-dessus du quartile supérieur, et un quart des données se situe au- dessous du quartile inférieur
• L'écart-type montre la différence moyenne entre chaque point de données individuel (ou l'âge du jeune dans l'exemple ci-dessus) et l'âge moyen. Si tous les points de données sont proches de la moyenne, l'écart-type est faible, ce qui montre qu'il y a peu de différence entre les valeurs. Un écart type important indique une plus large dispersion des données.

Pour de plus amples informations sur la façon de calculer des statistiques descriptives en utilisant Microsoft Excel, voir l’annexe  4.13. Calculer des statistiques descriptives

La triangulation est le processus qui consiste à comparer différentes sources de données et méthodes afin de corroborer les constatatins et de contrebalancer toute faiblesse dans les données par les forces d’autres données.

La triangulation peut renforcer la validité et la fiabilité des observations existantes sur une question donnée. Comparer et rapprocher différentes constatations et points de vue sur une même situation et/ou un même phénomène est un moyen efficace de déceler des incohérences dans les données et d'identifier des domaines à approfondir. Lorsque les constatations convergent, cela peut conduire à de nouvelles conclusions crédibles sur une question et permettre de l'envisager sous de nouveaux angles.

Bien qu'il n'existe pas de règles fixes pour l'analyse des données par triangulation, ce processus sarticule autour de plusieurs activités fondamentales :

• Évaluer les données de manière critique. Par exemple, donner la priorité aux constatations les plus pertinentes par rapport à l’objectif ou aux objectifs de la triangulation, identifier la façon dont les constatations tirées de différentes sources sont corrélées entre elles, et mettre en évidence toute lacune éventuelle en matière de données.
• Identifier les tendances éventuelles et déterminer si elles sont fondées sur une seule ou sur plusieurs sources de données.
• Formuler des hypothèses de travail afférentes à l’objectif ou aux objectifs de la triangulation des données. Par exemple, si l’objectif est de savoir si certains comportements changent parmi les bénéficiaires et si ces changements peuvent être directement reliés à l’intervention, des hypothèses fondées sur les données disponibles doivent être formulées en lien avec cet objectif. Les hypothèses peuvent être favorables à l’objectif. Par exemple, une hypothèse favorable pourrait être « la fourniture d’un soutien psychosocial a permis de réduire les signes de symptômes de stress post-traumatique parmi les bénéficiaires ».
• Confirmer ou réfuter des hypothèses. Il s’agit d’une étape cruciale de la triangulation, au cours de laquelle de nouvelles idées, angles d’approche et explications sont susceptibles d’émerger. C’est également à ce stade que les lacunes dans les données sont identifiées, ce qui peut conduire à chercher des données additionnelles. S’il n’existe pas de données additionnelles, il peut être nécessaire de modifier ou d’écarter une hypothèse. Toute hypothèse ayant été modifiée doit ensuite être confirmée à nouveau.
• Utiliser la convergence des données qui confirment ou infirment l’hypothèse pour tirer des conclusions motivées de l’exercice de triangulation. Les conclusions doivent être reliées aussi étroitement que possible aux objectifs annoncés de la triangulation. La clé de ce processus consiste à présenter les arguments les plus solides en faveur d'une hypothèse ou d'un objectif, au regard des preuves existantes. Voici quelques questions qu'il peut être utile de se poser au cours de ce processus :
  • Quelles hypothèses sont étayées par les données les plus rigoureuses ?
  • Quelles hypothèses sont étayées par des sources indépendantes ?
  • Quelles hypothèses sont étayées par des données aussi bien quantitatives que qualitatives ?
  • Les données disponibles présentent-elles des biais ou des limites importantes ?
  • Existe-t-il d'autres explications possibles qui ne sont pas couvertes par les hypothèses ?
  • Quel est votre degré de confiance dans les conclusions ?
  • La conclusion est-elle exploitable (c'est-à-dire conduit-elle à une amélioration particulière de l’intervention) ?
• Documenter soigneusement et rigoureusement les conclusions avant de les diffuser. 

Étape 1 : Identifier l’objectif de la visualisation des données

Avant que les praticiens du suivi et de l’évaluation ne commencent à concevoir une visualisation des données, les questions suivantes doivent être posées :

• Qu’est-ce que les données présentées visent à transmettre ? 
• Comment la visualisation va-t-elle inciter le public à agir en fonction des informations présentées ou le convaincre d’agir ainsi ?
• Quel est le message que le public doit retenir ?

Il est important d’être au clair sur les objectifs visés par la présentation visuelle des données, afin de la concevoir comme il se doit. Une étape cruciale du processus consiste à bien définir le message que l’on souhaite transmettre, et le graphique doit bien mettre en évidence de quelle organisation ou intervention il s’agit, et quelles sont les actions mises en œuvre.

Étape 2 : Connaître le public

Connaître le public suppose de s’interroger sur ce qu’il sait déjà, sur les informations additionnelles qu’il souhaite recevoir, sur ce qu’il souhaite apprendre et sur le degré de précision dont il a besoin pour comprendre le message transmis.

Étape 3: Réfléchir à la façon de visualiser le récit

Une fois que les données reueillies ont été nettoyées et analysées, une idée plus précise des constatations à présenter doit émerger. Le tableau 4.15 offre un aperçu des principales techniques de visualisation à utiliser en fonction de ce que les données révèlent.

Source: Carrington et Handley, 2017.

Pour de plus amples informations sur chacun des types de visualisation des données, voir l’annexe 4.14. Types de visualisation.

De quoi s’agit-il ? 

La gouvernance des données représente le cadre utilisé par l'OIM pour gérer les structures, les politiques, les principes fondamentaux et la qualité institutionnels qui garantiront l'accès à des informations exactes. Elle fixe des normes, des responsabilités et des attributions et veille à ce qu’il soit fait un usage optimal pour l’OIM de l’utilisation des données et des informations sur la migration, tout en gérant le coût et la qualité du traitement de l'information. La gouvernance des données assure l'utilisation cohérente, intégrée et disciplinée des données sur la migration par l'OIM.

En quoi est-elle pertinente pour l’action de l’OIM ? 

La gouvernance des données permet de considérer les données comme un atout pour chaque intervention menée par l'OIM et, surtout, elle constitue le fondement sur lequel toutes les initiatives de l'OIM peuvent s’appuyer. Il ne peut y avoir de programmes fondés sur des éléments factuels que si les données montrent quel est le problème et comment le résoudre. Cela signifie qu'il faut être capable de mesurer ce que l'on ne connaît pas, et de savoir ce qui est disponible et avec quoi il est possible de travailler.

Le cycle de vie des données sur la migration tout au long du cycle de projet comprend la planification et la conception, la saisie et l’élaboration, l'organisation, le stockage et la protection, l'utilisation, le suivi, l'examen et, finalement, l'amélioration des données ou leur élimination

Éléments auxquels il faut prêter attention :

a) Gestionnaire des données : Lors de la phase de mise en œuvre de l’intervention, les données à recueillir relèvent d’un gestionnaire des données clairement établi. S’il s’agit d’un projet mis en œuvre au niveau du bureau extérieur, le chef de mission sera le gestionnaire des données. Si l’intervention couvre plusieurs pays, le gestionnaire des données sera probablement le directeur régional. S’il s’agit d’un projet mondial, il faudra déterminer à quel domaine thématique le projet , et le chef de la division concernée sera alors le gestionnaire des données. Lorsque les données sont transversales, le gestionnaire des données sera probablement le chef de département.

b) Rôles et responsabilités : Tous les membres du personnel travaillant sur le projet doivent connaître leurs rôles et responsabilités concernant les données. Ils ne doivent avoir accès qu’aux données dont ils ont besoin pour leur travail.

c) Qualité des données : Les données doivent être exactes, valides, fiables, actuelles, pertinentes et complètes.

d) Classification des données pour garantir la sécurité et le respect de la vie privée : Le niveau de risque associé à la collecte de données doit être déterminé et classifié en conséquence, afin que les données puissent être stockées avec des contrôles d’accès rigoureux.

e) Traitement des données, y compris leur collecte et leur utilisation : Des outils permettant de recueillir uniquement les données nécessaires à la finalité de leur utilisation doivent être élaborés.

• Pour une liste de ressources pertinentes, voir l’encadré é Gouvernance des données sur la migration de 
  l’OIM dans le présent chapitre.

Étapes de l’examen documentaire

Étape 1 : Identifier toutes les sources possibles.

Étape 2 : Catégoriser les documents.

Étant donné que certains documents seront plus pertinents que d’autres, le même poids ou la même attention ne doivent pas être accordés à tous les documents. Afin de faciliter l’examen documentaire, les documents disponibles peuvent être catégorisés en différents niveaux :

• Le niveau I correspond aux documents portant spécifiquement sur l’objet du suivi ou de l’évaluation, tels que les rapports de situation, d’étape et de suivi, ou les propositions de projet ;
• Le niveau II correspond à des documents d’information, tels que la couverture médiatique ou les rapports d’autres organismes ;
• Le niveau III correspond à des documents qui ne sont pas directement liés au projet.

Étape 3 : Décider de l’approche à suivre (structurée ou non structurée).

Souvent, faute de temps, les activités de suivi et d'évaluation se limitent aux documents du niveau I et, en partie, à ceux du niveau II pour lesquels une approche non structurée est appropriée. Pour inclure l'intégralité des documents des niveaux II et III dans l’examen documentaire, il faut adopter une approche structurée, comme suit :

• Formulaire d'examen structuré pour y consigner les commentaires portant sur les documents parcourus ;
• Rubrique permettant de noter les différentes parties des documents, par exemple en utilisant une échelle de quatre points pour subdiviser les documents comme suit :
  • Parties ne portant pas du tout sur le sujet concerné.
  • Parties traitant du sujet concerné de façon mineure.
  •  Parties traitant du sujet de façon significative.
  •  Parties portant essentiellement sur le sujet concerné.
• Indexation et recherche de documents aux fins de l’analyse de contenu.

L'exactitude des données recueillies et des conclusions tirées dépend des praticiens du suivi et de l’évaluation et des personnes interrogées, ainsi que de la manière dont ils abordent et respectent les différentes étapes des processus de collecte, d'analyse et d’établissement de rapports. Aucune étude ne peut être entièrement exempte de biais. C'est pourquoi il est important d'être transparent au sujet des biais éventuels dans les données recueillies et d’en faire mention dans les rapports de suivi/d’évaluation. Une déclaration sur les biais potentiels indiquant les mesures prises pour les contrôler doit figurer dans tous les rapports de suivi et d’évaluation.

Biais introduit par la personne interrogée

Biais de non-réponse : Ce biais se produit lorsque les personnes sélectionnées refusent de participer à l'enquête ou qu’elles ne sont pas en mesure d’y participer. Par conséquent, les données recueillies diffèreront significativement de celles de la population cible. Pour éviter cela, les praticiens du suivi et de l’évaluation doivent s'assurer que l'échantillon sélectionné est représentatif de la population cible ou ajuster l'échantillon si ce biais devient trop important.

Biais d’acquiescement : Ce biais se produit lorsqu'une personne interrogée a tendance à être d'accord et à réagir positivement face à tout ce que l’enquêteur lui demande. Pour éviter ce phénomène, les questions qui suggèrent une réponse positive doivent être reformulées afin de savoir quel est le véritable point de vue de la personne interrogée sur la ou les question(s) abordée(s).32

Biais de désirabilité sociale : Ce biais est introduit par des réponses formulées d’une façon qui, selon les personnes interrogées, leur permettra d'être acceptées et appréciées. Pour éviter cela, il est possible de recourir à des questions indirectes consistant à demander ce qu’un tiers pense et ressent et comment il se comporterait. Une telle approche permet aux personnes interrogées de projeter leurs propres ressentis sur d’autres personnes, tout en fournissant des réponses honnêtes et représentatives33

Biais d’accoutumance : Ce biais se produit survient lorsque la personne interrogée donne la même réponse à toutes les questions formulées de manière similaire. Pour éviter cela, les questions doivent être formulées ou reformulées différemment et proposer diveses possibilités de réponse.34

Biais de financement : Étant donné que les personnes interrogées savent généralement quelle est l'organisation qui finance l'intervention, leurs sentiments et leurs opinions à son égard peuvent biaiser leurs réponses. Par exemple, les personnes interrogées peuvent dépeindre une situation désastreuse dans l'espoir d'obtenir un nouveau financement de la part de l'organisation. Ce biais peut être plus difficile à gérer, mais la même approche peut être utilisée que pour le biais d’acquiescement35

Biais d’attrition/mortalité : Lorsque les personnes interrogées cessent de participer à l'étude, l'échantillon sélectionné peut ne plus être représentatif de la population cible. L'échantillon doit alors être réajusté.

Biais de sélection : Ce biais désigne une altération des données imputable à la manière dont celles-ci ont été recueillies. Une forme courante de biais de sélection est l’autosélection, qui consiste à se porter volontaire pour participer à l'étude. Le biais provient donc ici du fait que les participants sont susceptibles de répondre différemment que les personnes qui ne se sont pas portées volontaires.

Biais de rappel : Ce biais se produit lorsque des personnes interrogées éprouvent des difficultés à se souvenir de certaines informations, si bien que les données recueillies sont inexactes. Il est possible de minimiser ce biais en reliant les questions à des événements clés que les personnes interrogées connaissent bien et qui peuvent les aider à se souvenir des informations pertinentes.

Biais introduit par l’évaluateur ou le chercheur 

Biais de confirmation : Ce type de biais se produit lorsqu'un praticien du suivi et de l’évaluation formule une hypothèse ou une conviction a sujet de l'intervention visée par le suivi ou l’évaluation et qu’il utilise les informations fournies par les personnes interrogées pour confirmer cette hypothèse ou cette conviction. Le biais de confirmation peut également se produire à la phase d'analyse, où les évaluateurs/chercheurs peuvent avoir tendance à se souvenir davantage des éléments qui étayent leurs hypothèses et qui en réfutent d'autres. Pour minimiser le biais de confirmation, les praticiens du suivi et de l’évaluation doivent régulièrement réévaluer les impressions des personnes interrogées et remettre en question les postulats et hypothèses préexistants.

Biais induit par l’ordre des questions : Ce biais se produit lorsqu'une question influence les réponses apportées aux questions suivantes. Les mots et les idées contenus dans les questions conditionnent les personnes interrogées, influençant ainsi leurs idées, leurs sentiments et leurs attitudes lors des questions suivantes. Bien que ce type de biais soit parfois inévitable, il peut être réduit en posant des questions générales avant de passer aux questions particulières, en commençant par des questions neutres avant de poser des questions dirigées, et en abordant les aspects positifs avant les aspects négatifs

Questions suggestives et biais de formulation : Ce type de biais se produit lorsque les praticiens du suivi et de l’évaluation développent la réponse d'une personne interrogée dans le but de confirmer une hypothèse, d’établir un lien ou de surévaluer leur compréhension de la personne interrogée. Pour minimiser ce biais, les praticiens doivent poser des questions en reprenant les termes des personnes interrogées et éviter de résumer avec leurs propres mots ce que les personnes ont exprimé.

Biais de publication : Ce biais se produit lorsque les résultats négatifs sont moins susceptibles d'être soumis et/ou publiés que les résultats positifs. « La plupart des évaluations sont commandées par des organismes ou des donateurs directement intéressés par les résultats obtenus. Il est donc possible que la structure d'incitation tende vers des constatations plus positives, même lorsque des consultants externes sont engagés pour effectuer l'évaluation »36

• 32Sarniak, 2015
• 33Ibid.
• 34Ibid.
• 35Ibid.
• 36Ibid.

Échantillonnage aléatoire 

Échantillonnage aléatoire simple 

Les échantillons aléatoires sont des échantillons pour lesquels chaque unité de la population ciblée aux fins du suivi et/ou de l’évaluation a la même probabilité d'être sélectionnée. Il s’agit d’une approche équitable permettant de limiter le biais de sélection, qui nuit à l'exactitude des prévisions au sujet de la population cible (voir la section « Biais »).

Idéalement, un échantillon doit être représentatif de l'ensemble de la population cible. Afin de sélectionner un échantillon aléatoire, une base d’échantillonnage est nécessaire. Chaque unité se voit attribuer un numéro d'identification unique. Après quoi, à l'aide d'une table ou d'un générateur de nombres aléatoires, un certain nombre d'unités est sélectionné de façon aléatoire.

Exemple : Le site X du pays Y abrite 1 536 personnes déplacées à l’intérieur de leur propre pays. Ce nombre étant composé de quatre chiffres, on attribue à chaque individu de la population un nombre à quatre chiffres en commençant par 0001, 0002, 0003, 0004 et ainsi de suite. Ensuite, en partant de n'importe quel point de la table de nombres aléatoires, choisissez des nombres successifs à quatre chiffres jusqu'à arriver à 300 nombres distincts compris entre 0001 et 1 536, ou générez 300 nombres aléatoires compris entre 0001 et 1 536 à l'aide d'un logiciel tel que Microsoft Excel (voir l’exemple ci-après).

Comment sélectionner un échantillon aléatoire de 300 personnes déplacées à l’intérieur de leur propre pays à partir d’une population totale de 1 536 personnes en utilisant Microsoft Excel

Étape 1 : Cliquez sur la cellule A1, tapez RANDBETWEEN(0001,1536) puis appuyez sur la touche Enter.

Étape 2 : Pour générer, par exemple,ne liste de 300 nombres aléatoires, sélectionnez la cellule A1, cliquez sur le coin inférieur droit de la cellule A1 et glissez vers le bas jusqu’à la cellule A300.

Échantillonnage aléatoire systématique

L’échantillonnage aléatoire systématique est une technique consistant à sélectionner de façon aléatoire un numéro proche du début de la liste de la base d’échantillonnage, puis à sauter plusieurs numéros, à sélectionner un nouveau numéro, à sauter plusieurs autres numéros, puis à sélectionner le nom suivant et ainsi de suite. Le nombre de noms sautés à chaque étape dépendra de la taille de l'échantillon souhaité.

Comment sélectionner un échantillon aléatoire systématique 

Étape I : Estimer le nombre d’unités présentes dans la population (par exemple, 1 536 personnes déplacées à l’intérieur de leur propre pays sur le site X).

Étape 2 : Déterminer la taille de l’échantillon (par exemple, 300 personnes déplacées à l’intérieur de leur propre pays).

Étape 3 : Diviser le résultat obtenu à l’étape 1 par le résultat obtenu à l’étape 2 (k=N/n) afin d’obtenir le nombre de numéros à sauter. Exemple : k = k = 1 536/300 = 5,12

Étape 4 : Sélectionner un sujet de façon aléatoire à partir du premier numéro K de la base d’échantillonnage (par exemple, le cinquième numéro).

Étape 5 : Sélectionner chaque numéro K apparaissant après celui-ci jusqu’à ce que l’échantillon requis soit sélectionné.

En raison de la part laissée au hasard dans le cadre d’un échantillonnage aléatoire simple, il est possible de ne  pas obtenir une bonne représentation des sous-groupes présents au sein d'une population. Afin de résoudre ce problème, il existe plusieurs autres techniques d'échantillonnage aléatoire.

Échantillonnage aléatoire stratifié 

L'échantillonnage aléatoire stratifié, également appelé échantillonnage avec probabilité proportionnelle à la taille ou échantillonnage par quotas, est une technique qui consiste à diviser la base d’échantillonnage en deux ou plusieurs strates (sous-populations) selon des caractéristiques significatives, telles que le type de migrant ou le sexe, parmi lesquelles les participants sont ensuite sélectionnés de manière aléatoire. Un échantillon aléatoire simple est ensuite sélectionné au sein de chaque strate. Lorsqu'on utilise la même fraction d'échantillonnage au sein des strates, on procède alors à un échantillonnage aléatoire stratifié proportionnel. Lorsqu'on utilise des fractions d'échantillonnage différentes au sein des strates, on utilise un échantillonnage aléatoire stratifié disproportionné. Cette technique est utile lorsque le projet, le programme ou la politique cible plusieurs groupes différents que l’on souhaite comparer.

Exemple : Parmi les personnes déplacées à l’intérieur de leur propre pays présentes sur le site du pays Y, combien sont des enfants, des jeunes, des jeunes adultes, des adultes et des personnes âgées ? Si les enfants, les jeunes et les personnes âgées ne représentent qu'une faible proportion de la population totale du site, il est possible qu’un échantillon aléatoire simple ne comporte pas de proportion suffisante d'entre eux pour permettre une analyse pertinente.

Comment sélectionner un échantillon aléatoire stratifié

Étape 1 : Diviser la population en différentes strates présentant un intérêt pour l’étude. Par exemple, sur les 1 536 personnes déplacées à l’intérieur de leur propre pays, il y a 142 enfants (0-12 ans), 157 jeunes (13-25 ans), 413 jeunes adultes (26-34), 701 adultes (35-60 ans) et 123 personnes âgées (60 ans et plus).

Étape 2 : Sélectionner un échantillon aléatoire simple au sein de chaque strate. Exemple : 142/1 536 = .092 * 142 = 13,12

Sélectionner un échantillon aléatoire simple de 13 individus dans la strate des enfants.

• Remarque : Le nombre d’unités sélectionnées dans chaque strate doit être équivalent à la proportion que représente la strate en question par rapport à la population totale.

Les techniques d’échantillonnage aléatoire simple, systématique et stratifié nécessitent toutes une base d’échantillonnage, ce qui est très difficile à obtenir lorsqu’il s’agit d’individus ou de familles. Lorsqu’il n’existe pas de base d’échantillonnage ou lorsque les unités figurant sur la liste sont si dispersées que cela serait trop coûteux en temps et en argent de procéder à un échantillonnage aléatoire simple, l’échantillonnage par grappes constitue alors une alternative intéressante.

Échantillonnage aléatoire par grappes

L'échantillonnage aléatoire par grappes consiste à diviser la population en plusieurs groupes ou « grappes », puis à sélectionner un échantillon aléatoire simple au sein de ces grappes. Les unités présentes dans les grappes sélectionnées constituent l'échantillon. Contrairement à l'échantillonnage aléatoire stratifié, l'échantillonnage aléatoire par grappes utilise le système des grappes pour identifier les unités, et non pour les comparer. L'inconvénient de cette approche est que les grappes sélectionnées peuvent présenter d’importantes différences par rapport à celles qui ne sont pas comprises dans l'échantillon, ce qui fausse l'exactitude des déductions faites au sujet de la population cible.

Comment sélectionner un échantillon aléatoire par grappes 

Étape 1 : Identifier la population ciblée (par exemple, les 1 536 personnes déplacées à l’intérieur de leur propre pays présentes sur le site X dans le pays Y).

Étape 2 : Diviser la population en un grand nombre de groupes ou grappes (il existe 10 zones dans le camp abritant chacune quelque 150 personnes déplacées à l’intérieure de leur propre pays, dont deux font l’objet d’un échantillonnage aléatoire).

Étape 3 : Sélectionner un échantillon aléatoire simple au sein des grappes (par exemple, procéder à un échantillonnage aléatoire sur deux des dix zones pour arriver à un échantillon total d’environ 300 personnes).

Échantillonnage aléatoire à plusieurs degrés

L'échantillonnage aléatoire à plusieurs degrés est une technique qui combine deux ou plusieurs méthodes d'échantillonnage aléatoire de manière séquentielle. Le processus commence généralement par la sélection d'un échantillon aléatoire par grappes, suivie d'un échantillonnage aléatoire simple ou d'un échantillonnage aléatoire stratifié. L'échantillonnage aléatoire à plusieurs degrés peut également combiner des techniques d'échantillonnage aléatoire et non aléatoire.

Exemple : Dans le pays Z, il y a sept sites de personnes déplacées à l’intérieur de leur propre pays. Afin d'évaluer le soutien apporté par l'OIM aux personnes vivant dans ces sites, sélectionnez deux des sept sites en fonction d'une série de critères. Dans chacun des deux sites, il y a huit zones abritant chacune environ 60 personnes déplacées. Sélectionnez de façon aléatoire deux zones pour chacun des deux sites, ce qui donne un échantillon total de 240 personnes déplacées à l’intérieur de leur propre pays.

Échantillonnage non aléatoire 

Échantillonnage dirigé

On parle d'échantillonnage dirigé lorsqu'un échantillon est sélectionné selon un ensemble de critères prédéterminés, censés fournir les données nécessaires au suivi ou à l'évaluation du projet, du programme ou de la politique visés. Contrairement à l'échantillonnage aléatoire, cette technique est principalement utilisée pour un nombre limité de personnes qui possèdent les informations requises et lorsqu’on dispose de peu de temps et de ressources pour recueillir ces informations. Dans des situations d'urgence, par exemple dans le cas de sociétés touchées par un conflit, cette approche peut être appropriée dans la mesure où la sélection d'un échantillon aléatoire pourrait risquer d’aggraver les tensions existantes.

Contrairement à l'échantillonnage aléatoire, l'échantillonnage dirigé est délibérément biaisé afin de sélectionner les cas les plus appropriés sous l’angle des questions de suivi ou d’évaluation. Si cette technique d'échantillonnage est appliquée, il est donc nécessaire d'être transparent et rigoureux lors de la sélection de l'échantillon, afin de contrôler et d'identifier tout biais potentiel dans les données qui devra être pris en compte lors de l’interprétation des résultats. Pour en savoir plus sur la façon de sélectionner les échantillons dirigés, voir le Guide de l'évaluation de l'action humanitaire de Buchanan-Smith et al. (2016).

Échantillonnage en boule de neige

L'échantillonnage en boule de neige est une autre forme d'échantillonnage dirigé, qui est utilisée lorsqu'on ne sait pas qui, quoi ou combien de points de vue inclure. Commencez par un entretien, puis demandez à la personne interrogée d'identifier d'autres personnes susceptibles d’être interrogées. Ce processus est reproduit jusqu'à ce qu'on atteigne un point de saturation. La saturation est le moment du processus de collecte des données où plus aucune information nouvelle ou pertinente permettant de répondre aux questions de suivi ou d’évaluation n’émerge. L'échantillonnage en boule de neige est particulièrement utile lorsqu’on vise des populations inaccessibles ou difficiles à localiser.

Lorsqu’une technique d’échantillonnage dirigé est utilisée, il convient d’inclure différents points de vue dans l’échantillon afin de garantir la crédibilité des contatations. Autrement dit, il faut procéder à une triangulation des sources de données. Par exemple, il est nécessaire de tenir compte des rôles, de la problématique femmeshommes, de l’appartenance ethnique, de la religion, de l'emplacement géographique et d'autres facteurs importants pour le problème traité par le projet, le programme ou la politique examinés, afin de refléter divers points de vue au sein de l'échantillon. Lorsque cela n'est pas possible, il faut être transparent quant aux points de vue qui ont été inclus et ceux qui ne l'ont pas été, et de le mentionner dans le rapport de suivi ou d’évaluation.

Échantillonnage par quotas 

L'échantillonnage par quotas, qui est une autre technique d'échantillonnage dirigé, consiste à sélectionner de façon aléatoire un nombre précis de différents types d'unités dans une population, conforméement à un quota préétabli. L'échantillonnage par quotas peut être proportionnel (pour représenter les principales caractéristiques de la population cible en échantillonnant une quantité proportionnelle de chacune d'entre elles) ou non proportionnel (pour définir le nombre minimum d'unités échantillonnées dans chaque catégorie sans chercher à avoir des nombres correspondant aux proportions présentes au sein de la population cible). Par exemple, dans le site de personnes déplacées à l’intérieur de leur propre pays, il est possible de sélectionner 150 femmes et 150 hommes à interroger (n = 300, proportionnel) ou 200 personnes déplacées à l’intérieur de leur propre pays, 50 migrants de retour et 50 réfugiés (n = 300, non-proportionnel).

Échantillonnage de commodité 

Les échantillons de commodité sont sélectionnés en fonction de la disponibilité ou de l'autosélection des participants (c'est-à-dire des volontaires) et/ou pour des raisons de commodité. Bien que cette technique ne soit ni dirigée ni stratégique, elle reste largement utilisée car elle est peu coûteuse et est simple et pratique. Par exemple, il suffit d'arriver sur le lieu d’un projet et d'interroger le personnel de projet disponible le jour de la visite ainsi que les bénéficiaires rencontrés en parcourant le site. Cependant, cette technique d'échantillonnage est également la moins fiable des approches d'échantillonnage non aléatoire présentées plus haut, car les personnes les plus disponibles sont surreprésentées, de sorte que la variabilité existant au sein de la population cible est sous-estimée. Si cette technique est utilisée, l'utilisation de quotas peut permettre d’obtenir un échantillon plus inclusif. Par exemple, assurez-vous d'échantillonner un nombre égal d'hommes et de femmes et de faire en sorte qu’un entretien sur deux soit réalisé avec une femme.

Format et types de questions et possibilités de réponse 

Le format des questions d'enquête peut être fermé ou ouvert. Nombre d’enquêtes ont tendance à comprendre un mélange de ces deux types de questions. Les questions fermées peuvent appeler une réponse simple ou proposer des possibilitésde réponses. Les formats les plus courants de questions fermées prévoient des possibilités de réponse qui sont :

• Dichotomiques

  Exemple : Vos enfants vont-ils à l’école ? □ Oui □ Non

• Ordonnées

  Exemple : Quelle est la fréquence des distributions de denrées alimentaires (ou d’espèces/coupons) sur le site ?

  □ Tous les jours □ Deux fois par semaine □ Une fois par semaine □ Toutes les deux semaines□ Toutes les deux semaines □Une fois par mois □ Irrégulière □ Jamais 
  □ Pas de réponse, pourquoi ? _______________

• Non ordonnées 

  Example: Raison du déplacement

  □ Conflit □ Innondation □ Incendie □ Sécheresse □ Glissement de terrain □ Autre

• À compléter

  Exemple : Combien gagnez-vous par jour ? ____

Pour plus d’informations et des exemples relatifs aux différents formats de questions fermées, voir le chapitre « Survey design » de David et Sutton dans Social Research (2011).

À l’inverse, les questions ouvertes permettent aux personnes interrogées de répondre avec leurs propres mots. Par exemple, « Pourquoi avez-vous choisi précisément ce pays de destination ? ».

Il existe six types de questions pouvant être utilisés pour concevoir une enquête37

a)  Les questions relatives au comportement ou à l’expérience, qui cherchent à savoir ce que font ou souhaitent faire les personnes interrogées, comment elles se comportent ou agissent, ce qu’elles vivent ou éprouvent, comment elles réagissent ou, simplement, ce qui se produit dans le contexte dans lequel le projet, le programme ou la politique sont mis en œuvre. Exemple : Avezvous l’intention de vous installer ailleurs ?

b)  Les questions relatives à l’opinion ou aux valeurs, qui s’intéressent aux idées, réactions, impressions, attitudes et points de vue des personnes interrogées au sujet des activités/problèmes faisant l’objet du suivi ou de l’évaluation.

Exemple:

Comment décririez-vous l’accès de votre ménage aux services publics, tels que l’éducation, l’hébergement, la santé et d’autres services dans la zone où vous résidez actuellement ?

    □ Excellent: nous ne rencontrons pas le moindre problème

    □ Bon: l’accès est bon mais nous rencontrons quelques retards mineurs

    □ Neutre.

    □ Mauvais : nous rencontrons des retards et des problèmes.

    □ Très mauvais : il y a des retards et des interdictions d’accès de la part de la communauté et des autorités locales.

c) Les questions relatives aux sentiments, qui portent sur les émotions ou les réactions d’ordre émotionnel des personnes interrogées concernant une expérience, une pensée ou un problème en particulier.

Exemple :

Considérez-vous que vous êtes intégré(e) au niveau local ?

    □ Oui  □ Partiellement intégré(e)  □ Non  □ Je ne sais pas

d)  Les questions relatives aux connaissances, qui s’intéressent aux connaissances de la personne interrogée au sujet d’une question précise. Exemple : Dans votre méange, combien de personnes souffrent d’une maladie chronique ?

e)  Les questions sensorielles, qui s’intéressent à ce que la personne interrogée voit, entend, touche, goûte et sent. Exemple : L’éclairage est-il suffisant sur le site pendant la nuit ?

f)  Les questions contextuelles/démographiques, qui visent à recueillir des informations biographiques ou historiques auprès des personnes interrogées. Exemple: 
Sexe : □ Homme □ Femme 

Lors de l’élaboration des questions d’enquête, il est important d’éviter les questions ambiguës, doubles, suggestives ou comportant une double négation. Une question ambiguë signifie que le répondant peut interpréter la question de diverses manières car les termes ou les phrases employés sont vagues. Une question double consiste à poser une question sur deux problématiques différentes en même temps. L’emploi des termes « et » ou « ou » peut indiquer qu’il s’agit d’une question double. Une question suggestive consiste à suggérer une certaine réponse à la personne interrogée. L’emploi de doubles négations dans une question induit une confusion inutile et augmente ainsi le risque de recueillir des données non fiables. En évitant ces erreurs, on s’assure que les données recueillies sont valides et fiables.

Exemple de questions ambiguës :

Exemple de questions doubles :

Exemple de questions suggestives :

Exemple de questions comportant une double négation :

Ordre des questions

L’ordre dans lequel les questions d’une enquête sont posées peut influer sur la qualité des réponses données, ainsi que sur le fait que la personne interrogée ira ou non jusqu’au bout de l’enquête. Par exemple, si l’enquête commence par des questions très sensibles, il est possible que la personne interrogée fournisse des informations inexactes, qu’elle saute des questions ou qu’elle abandonne l’enquête. Voici quelques conseils à suivre concernant l’ordre des questions d’enquête :

• Commencer avec des questions qui intéressent directement la personne interrogée.
• Poser des questions sur le présent avant de poser des questions sur le passé ou le futur.
• Répartir les questions factuelles dans l’enquête car elles ont tendance à démobiliser les personnes interrogées.
• Commencer avec des questions plus faciles et poser les questions plus difficiles ou sensibles vers la fin.
• Placer les questions personnelles/démographiques à la fin car certaines personnes interrogées peuvent ne pas se sentir à l’aise pour poursuivre l’enquête si certaines questions personnelles leur sont posées dès le début de l’enquête.
• Regrouper les questions similaires ou corrélées.
• Veiller à ce que les questions suivent un cheminement logique.
• Poser les questions les plus importantes aux deux tiers de l’enquête.
• Classez les questions par ordre de priorité, en laissant de côté celles qui ne sont pas prioritaires.

• 37Patton, 1987. Il existe d’autres type ou catégories de questions utilisées pour les entretiens et qui sont exposées plus en détail à l annexe 4.7.

Structure

Tout comme l'ordre des questions, la structure de l'enquête est également importante pour recueillir des données de qualité (en particulier dans le cas des enquêtes auto-administrées). Voici quelques uns des principaux points à inclure dans une enquête :

• Titre, date et numéro d’identification de la personne interrogée ;
• Informations de contact et de retour ;
• Déclaration liminaire/lettre d’introduction indiquant la finalité de l’enquête et la façon dont celle-ci sera utilisée ;
• Limiter le nombre de rubriques pour les sujets abordés dans l’enquête ;
• Veiller à ce que les questions soient simples, claires et concises ;
• Les questions et les propositions de réponse doivent être présentées et formulées de façon cohérente ;
• Toutes les questions doivent être numérotées ;
• Dire comment répondre à chaque question (par exemple, choisir toutes les possibilités qui s’appliquent, cocher une case, entourer la réponse ou rédiger une réponse courte) ;
• Classer les réponses du niveau le plus faible vers le niveau le plus élevé, en allant de gauche à droite (par exemple, 1 – Pas du tout, 2 – Parfois, 3 – Souvent, 4 – Toujours).

Déclaration liminaire/lettre d’introduction

La déclaration liminaire/lettre d’introduction doit être brève et facile à comprendre. Voici les principaux éléments qui y figurent généralement :

• Objectif et importance de l’enquête ;
• Nom de l’organisation qui réalise l’enquête ;
• Importance de la participation de la personne interrogée ;
• Raison pour laquelle la personne interrogée a été sélectionnée pour participer à l'enquête ;
• Temps approximatif nécessaire pour répondre à l’enquête ;
• Garantie que les informations fournies resteront anonymes et confidentielles ;
• Remerciements pour le temps et les efforts consacrés par la personne interrogée ;
• Nom et coordonnées d’une personne de contact pour toute demande de renseignements complémentaires ;
• Proposition de retour d’informations sur les résultats de l’enquête.

Établir une relation 

Au début d'une enquête (ou d'un entretien, voir la section relative aux entretiens), il est important d'établir un bon contact avec la personne interrogée. La relation est l’aptitude à nouer un lien avec la personne interrogée de sorte à établir un certain degré de confiance et de compréhension. Comment établir une bonne relation avec la personne interrogée ?

a) Veiller à ce que la première impression soit bonne.

Dès votre arrivée sur le lieu de rendez-vous pour réaliser l'enquête, faites de votre mieux pour mettre la personne interrogée à l'aise. Avec quelques mots bien choisis, il est possible de mettre la personne interrogée dans un état d'esprit favorable. Commencez par un sourire et des salutations telles que « Bonjour » ou « Bonsoir », puis passez à l'introduction.

b) Obtenir le consentement de la personne interrogée. 
c) Répondre avec franchise à toute question posée par la personne interrogée. 
d) Garantir l’anonymat et la confidentialité des réponses.

Si la personne interrogée hésite à répondre à une question ou demande à quoi serviront les données, expliquezlui que les informations recueillies resteront confidentielles, qu'aucun nom ne sera utilisé à quelque fin que ce soit, et que toutes les informations seront regroupées lors de la rédaction des rapports. Il est également conseillé de ne pas mentionner d’autres enquêtes déjà réalisées ni de montrer des formulaires d'enquête complétés à d'autres enquêteurs devant une personne interrogée ou toute autre personne.

e) Toujours adopter une approche positive. 
f) Interroger la personne seule.

La présence d'une tierce personne pendant l'enquête peut empêcher la personne interrogée de donner des réponses franches et honnêtes. Il est donc très important que l'enquête soit menée en privé et que ce soit la personne interrogée qui réponde à toutes les questions.

Si d'autres personnes sont présentes, expliquez à la personne interrogée que certaines questions sont privées et demandez-lui de pouvoir l'interroger dans un endroit où vous serez seul avec elle. Il peut arriver que le fait de demander d’être seuls éveille la curiosité des autres personnes et qu’elles veuillent écouter la conversation. Le fait de protéger la vie privée dès le début permettra à la personne interrogée d'être plus franche et plus attentive aux questions.

S'il est impossible d'être seuls, il est alors envisageable de réaliser l'entretien en présence de tiers. Dans ce cas, éloignez autant que possible la personne interrogée des autres personnes présentes.

g) Cosidérer les participants comme des experts.

Les personnes sont invitées à participer à une étude parce qu'elles sont réputées posséder des connaissances importantes et nécessaires pour le suivi ou l'évaluation d'un projet, d'un programme ou d'une politique précis. Dans ce cas, il est conseillé de dire aux participants que l'enquête a pour objectif d’apprendre d’eux. Le fait d'exprimer cela aux participants est une manière de reconnaître avec respect les contributions précieuses qu'ils apporteront au suivi et/ou à l’évaluation.

Révision, traduction, pré-test et pilotage d’une enquête 

Une fois la version initiale de l'enquête rédigée, il est recommandé d'inviter les principales parties prenantes et les experts locaux à examiner attentivement le projet et à le modifier en fonction des commentaires reçus. Il se peut que ce processus doive être répété plusieurs fois avant que l'enquête ne soit prête à être pré-testée. Si elle doit être menée dans la langue locale, elle doit être traduite avant le pré-test. Le(s) traducteur(s) doit(vent) parler couramment les deux langues et, dans la mesure du possible, être familiarisé(s) avec les questions abordées. Une fois l'enquête traduite dans la langue locale, un second traducteur doit la traduire à nouveau dans la langue d'origine. Ce processus garantit l’exactitude de la traduction. Toute lacune ou malentendu doit être corrigé avant que l'enquête ne puisse être pré-testée.

Lors de la réalisation d'un pré-test, il est important de tester l'enquête auprès d'un groupe de personnes d’horizons divers présentant un intérêt pour les questions de suivi/d’évaluation. L'objectif d'un pré-test est de s'assurer que l'enquête recueille les informations qu'elle est censée collecter. Un bon pré-test doit porter sur trois niveaux :

• La totalité : Toutes les sections de l'enquête sont-elles cohérentes ? Y a-t-il des sections différentes où la mêle question est posée ?
• Chaque section : Si l'enquête comporte plus d'une section, chaque section recueille-t-elle les informations envisagées? Les principales activités/problématiques visées par le suivi ou l’évaluation sont-elles toutes prises en compte ? Y a-t-il des questions qui ne sont pas pertinentes ?
• Les questions : la formulation est-elle claire ? La traduction est-elle correcte ? La question permetelle de donner des réponses ambiguës ? Y a-t-il plusieurs interprétations possibles ?

Pour évaluer une enquête à ces trois niveaux, une approche consiste à s'asseoir avec un petit nombre de personnes interrogées et de leur demander de réfléchir à haute voix pendant qu’elles répondent aux questions. Bien qu’elle prenne dutemps, cette approche permet d’obtenir des indications importantes sur la façon dont les futures personnes interrogées interpréteront les questions posées. Toute question mal comprise doit être révisée et testée à nouveau. Ce processus devra peut être être répété plusieurs fois, surtout si l'enquête a été traduite dans une autre langue, ce qui peut entraîner des lacunes ou des malentendus si la traduction n’est pas suffisamment précise.

Une fois l'enquête finalisée, vient la phase de pilotage auprès d'un échantillon approprié de personnes potentiellement appelées à participer à l'enquête. Cette étape permettra de se faire une idée de la validité et de la fiabilité des questions de l'enquête. Le pilotage constitue également l'occasion de s'exercer à la mise en œuvre de l'enquête, ce qui peut permettre d’identifier les difficultés susceptibles d’être rencontrées lors de la collecte des données.

Extraits du suivi réalisé par l’OIM après la distribution d’articles non alimentaires au Soudan du Sud, Wau, septembre 2017. 

Un questionnaire de suivi post-distribution par téléphone mobile a été utilisé pour recueillir des données auprès des ménages. Il comprenait des observations visuelles et des enregistrements (photos) de l'usage fait des articles distribués et de l’état d’avancement de la distribution. Sur 3 507 ménages, un échantillon initial de 88 ménages a été sélectionné à l'aide de la calculatrice de taille de l’échantillon indiquée dans les directives du groupe sectoriel des abris/articles non alimentaires au Soudan du Sud. En outre, conformément à la recommandation énoncée dans les directives, la taille de l'échantillon initial a été augmentée de 20 % afin de tenir compte des enquêtes viciées et d’une saisie incorrecte des données. Par conséquent, 19 ménages (20 % de la taille initiale de l'échantillon) ont été ajoutés, portant la taille de l’échantillon à 105 ménages. Le niveau de confiance était de 96 %, avec une marge d'erreur de 10 %. Les enquêteurs disposaient de trois jours pour réaliser l’enquête, et chaque enquêteur a collecté des données auprès de sept ménages par jour pendant trois jours. Un enquêteur a interrogé deux ménages supplémentaires, ce qui a permis d'obtenir un échantillon total de 107 ménages.

Introduction

• Présentez-vous et exposer clairement le but de votre visite à la personne interrogée.
• Obtenez la confirmation que la personne interrogée a bien reçu l’abri et les articles non alimentaires (couvertures, moustiquaires, jerricans pliables et kangas) lors de la distribution réalisée par l’OIM en mai 2017.
• Demandez le consentement de la personne interrogée avant de démarrer le questionnaire, et précisez que l’entretien durera environ 30 minutes.
• Expliquez que vous n'allez pas fournir d’articles supplémentaires et que les informations recueillies serviront uniquement à améliorer les distributions à l'avenir.
• Essayez de préserver autant que possible la confidentialité de l’entretien, afin d’éviter tout biais. Cela peut nécessiter de demander poliment aux observateurs présents de s'éloigner et/ou de trouver un espace où les autres personnes ne peuvent pas écouter.
• Confirmez que le chef de ménage et/ou la personne qui a été enregistrée et qui a récupéré les articles lors de la distribution est bien la personne avec laquelle vous menez l’entretien.

Voici quelques exemples possibles, qui ne donnent qu’un aperçu d’une petite partie de l’enquête.

Avez-vous reçu des articles non alimentaires lors de la distribution faite par l’OIM en mai 2017 ?

 □ Oui □ Non

1a. Sélectionnez l’État :

□ région administrative d’Abiye □ Équatoria Central □ Équatoria Oriental □ Jonglei 

1b. Lieu de l’entretien : ____________________________ 

2. Nom de l’enquêteur : ___________________________ 

3a. Nom de la personne interrogée (nom du bénéficiaire) : ___________________ 

3b. Indiquez le sexe de la personne interrogée :

□ Homme □ Femme 

3c. Combien de personnes votre ménage compte-t-il ? 
□ 1 □ 2 □ 3 □ 4 □ 5 □ 6 □ 7 □ 8 □ 9 □ More than 10 
4a. Avez-vous eu le sentiment de recevoir les articles à temps pour pouvoir répondre à vos besoins ? 
□ Oui, en temps voulu □ En retard □ Trop tard 

4b. Quelle était la qualité du matelas fourni ?

□ Bonne □ Moyenne □ Mauvaise 

4c. Comment évalueriez-vous l’organisation de la distribution ? 
□ Excellente □ Bonne □ Moyenne □ Médiocre □ Mauvaise 

4d. Quels changements avez-vous connus depuis que vous avez reçu les articcles ? 
(c’est-à-dire, protection contre la malaria, sommeil de meilleure qualité)

Différentes parties d’un entretien et types de questions posées 

Ouverture

Dès les premières minutes d'un entretien, il est conseillé de donner au participant des informations sur l'entretien en faisant une déclaration liminaire ou introductive similaire à celle prévue pour une enquête. La durée de l'entretien peut être confirmée en disant quelque chose comme ceci :

• L’entretien devrait durer environ une heure. Est-ce que cela vous convient toujours ? Je vous invite à développer vos réponses aux questions que je vais vous poser, mais il se peut qu’à certains moments, je sois amené(e) à recentrer notre échange afin que nous soyons sûrs d’aborder toutes les questions en une heure.

Les premières questions doivent ensuite viser à instaurer une bonne relation avec les participants, afin qu’ils se sentent à l’aise et bien informés. Par conséquent, les questions ne doivent pas être intimidantes, mais être ouvertes, faciles et engageantes, telles que des questions ouvertes relatives à l'expérience du participant, qui inciteront les personnes interrogées à raconter des histoires (par exemple, « Que pouvez-vous me dire au sujet du projet X ? ») ou des questions factuelles sur les points faisant l’objet du suivi ou de l’évaluation (par exemple, « Quels sont les services de base disponibles dans votre communauté ? »).

Corps

Après l'ouverture, vous pouvez commencer à poser des questions génératives, c’est à dire des questions non directives, non intimidantes, qui visent à créer un cadre de discussion. Les questions relatives au parcours amènent la personne interrogée à partager des connaissances descriptives familières ou des souvenirs concernant une activité ou un événement. Par exemple : « Pouvez-vous décrire une journée type ? ». Les questions relatives au parcours peuvent être suivies de questions exploratoires qui visent à demander des exemples ou des précisions chronologiques. Par exemple, « Quels sont les événements qui vous ont amené(e) à quitter votre foyer ? » Les questions hypothétiques conduisent les personnes interrogées à imaginer leurs comportements, leurs actions, leurs sentiments ou leurs pensées dans certaines situations. Par exemple, « Imaginez que vous receviez une somme d'argent X ; comment l'utiliseriez-vous ? ». Des questions relatives aux comportements et aux actions peuvent également être posées, ainsi que des questions de comparaison-opposition. Par exemple, « En quoi votre vie quotidienne est-elle identique ou différente de celle que vous aviez avant de quitter votre foyer ? ». Enfin, les questions peuvent porter sur les motivations (de la personne interrogée et/ou d'une autre personne). Ces questions peuvent notamment porter sur des sentiments, des actions ou des comportements et être formulées en commençant par « pourquoi » ou « comment ». Après avoir posé des questions sur les expériences passées et présentes, des questions sur les perspectives d’avenir peuvent être posées pour obtenir d'autres informations connexes, par exemple : « Où vous voyez-vous vivre dans un avenir proche ? ».

Pour obtenir des informations précises, on utilise des questions directives. La forme la plus simple de question directive est la question fermée, qui comporte des possibilités de réponse prédéterminées, uniques, dichotomiques ou multiples. Il existe également des questions typologiques, qui invitent les personnes interrogées à organiser leurs connaissances en différents types ou catégories. Par exemple, « Quels types d'activités récréatives pratiquez-vous régulièrement ? ». Des invites peuvent être utilisées pour inciter les participants à énoncer diverses catégories ou différents de types. Si vous souhaitez demander au participant de commenter les données collectées jusqu'à présent, vous pouvez utiliser des questions de réflexion du participant. Par exemple, « Sur la base de mon travail de terrain mené jusqu'à présent, il me semble que l'une des raisons pour lesquelles ... est ... Que pensez-vous de mon interprétation ? » Si des questions potentiellement menaçantes/intimidantes doivent être posées (telles que des questions d’ordre personnel ou politique), celles-ci doivent être laissées pour la fin de l'entretien car elles peuvent être moins problématiques aprèss qu’une bonne relation a été établie avec les participants.

Clôture 

Il existe plusieurs types de questions pour clore un entretien. Des questions récapitulatives permettent d’éclaircir certains détails ou de compléter des histoires inachevées. Par exemple, « Selon vous, quelle question ne vous ai-je pas posée et que j'aurais dû vous poser ? ». C’est également à la fin d'un entretien qu’il faut poser des questions de renforcement de l'identité, qui permettent à la personne interrogée de quitter l’entretien en se sentant appréciée et reconnue en tant qu’experte. Par exemple : « Quelle est, selon vous, la chose la plus importante dont nous avons parlé aujourd'hui, et pourquoi ? ». Les réponses à ces questions peuvent également permettre d’orienter les futurs entretiens. En ce qui concerne les questions démographiques, le débat reste ouvert sur la question de savoir quand et comment elles doivent être posées. Certains chercheurs et praticiens pensent qu'elles devraient être posées au début d’un entretien, au cas où le participant mettrait fin prématurément à l'entretien. D'autres estiment qu'elles peuvent nuire à l’établissement d’une bonne relation avec le participant. À la fin de l'entretien, n'oubliez pas de remercier les personnes interrogées et de les rassurer quant à l'anonymat et à la confidentialité des réponses données.

Formulation des questions d’entretien

Des questions d’entretien bien conçues doivent présenter les caractéristiques suivantes :

• Être simples et claires (pas de sigles, d’abréviations ni de jargon) ;
• Ne pas comporter de questions doubles ;
• Promouvoie des réponses ouvertes et détaillées;
• Remarque : S’il a été décidé d’inclure des questions auxquelles il faut répondre par oui ou par non, celles-ci doivent être suivies par une question demandant « Pourquoi ? » ou « De quelle façon ? », ou alors elles doivent être reformulées afin de susciter une réponse plus détaillée (par exemple, « Dans quelle mesure … ? »).
• Être claires et directes (pas de double négation), neutres et non suggestives ;
• Ne pas être menaçantes à l’égard de la personne interrogée,
• Être accompagnées de questions exploratoires appropriées.

Questions exploratoires

Les questions exploratoires sont des questions réactives posées en vue de clarifier ce qui a été exprimé par la personne interrogée. L'objectif est d'obtenir des précisions, des détails ou une compréhension approfondie du ou des sujet(s) faisant l'objet du suivi ou de l'évaluation.

Exemples de questions exploratoires visant à obtenir des clarifications :

• Vous ai-je bien compris lorsque vous dites que … ? 
• Lorsque vous dites …. Que voulez-vous dire exactement ?

Exemples de questions exploratoires visant à obtenir des détails :

• Comment avez-vous fait face à … ?
• Pouvez-vous m’en dire davantage sur … ?

Exemples de questions exploratoires analytiques :

• Comment décririez-vous … ?
• Qu’est-ce qui est/était important concernant … ?

Exemples de questions exploratoires sur les variations possibles ou de questions exploratoires contrefactuelles :

• Feriez-vous face à X de la même façon la prochaine fois ?
• Certaines des personnes avec qui j’ai parlé m’ont dit que … Quel est votre avis sur la question ?

Révision, traduction, pré-test et pilotage d’un entretien 

À l’instar des enquêtes, les entretiens doivent également faire l’objet de révisions, d’une traduction (si nécessaire), d’un pré-test et d’un pilotage. Pour savoir comment procéder, voir la sous-section et l'annexe relatives aux « Enquêtes ».

Conseils pour mener des entretiens 

• nformez la personne interrogée de la finalité et de la durée de l'entretien, de la raison pour laquelle elle est interrogée, de la manière dont elle a été sélectionnée, de la façon dont les données seront utilisées (anonymat et confidentialité), de la possibilité de recevoir une copie du rapport, et précisez que des notes de synthèse de l'entretien seront à sa disposition si elle le souhaite.
• Choisissez un moment et un lieu sûr, facilement accessible, calme et exempt de distractions.
• Faites appel à un preneur de notes et/ou enregistrez l'entretien si cela est possible.
• Si vous prenez des notes, veillez à ne pas vous laisser distraire de la conversation :
  • Maintenez un contact visuel autant que possible ;
  • Notez des mots et des phrases clés (ne notez pas tout textuellement) ;
  • Si vous souhaitez prendre note d’une réponse en particulier, demandez à la personne interrogée de répéter, afin d’avoir suffisamment de temps pour pouvoir tout noter ;
  • Pour les réponses importantes, demandez à la personne interrogée si les termes exacts qu’elle a employés peuvent être utilisés ou cités.
• Respectez l'approche choisie pour l'entretien (structuré, semi-structuré, non structuré).
• Établissez une bonne relation avec la personne interrogée et évitez de poser des questions sensibles jusqu'à ce qu’elle semble être suffisamment à l'aise.
• Donnez à la personne interrogée suffisamment de temps pour répondre.
• Soyez conscient des normes culturelles relatives au contact visuel, à la problématique femmeshommes et aux questions directes.
• Rédigez les notes d'entretien aussi vite que possible après l'entretien.

Évaluation : Projet de lutte contre la traite d’êtres humains mené par l’OIM au Timor Leste – Protocole d’entretien pour les parties prenantes et le projet. 

Des questions pertinentes ont été extraites de la liste exhaustive ci-après, en fonction du rôle de la personne interrogée (par exemple, selon qu’il s’agisse du réalisateur du projet ou d’une partie prenante) et de ses domaines de compétence.

Il m'a été demandé de mener une évaluation du projet de l'OIM intitulé « Strengthening government and service provider responses to human trafficking in Timor-Leste: A capacity-building initiative » (« Renforcer les réponses du Gouvernement et des fournisseurs de services à la traite d’êtres humains au Timor-Leste : projet de renforcement des capacités »). Les objectifs de l'évaluation sont les suivants : a) mesurer les progrès accomplis par le projet ; b) identifier les difficultés rencontrées dans la mise en œuvre du projet ; et c) identifier les enseignements tirés, les pratiques exemplaires et les domaines potentiels de conception et de mise en œuvre de projets futurs. L'évaluation porte plus particulièrement sur les activités menées au titre de ce projet précis, et non sur l'ensemble du programme d'activités mené par l'OIM dans le pays. Dans le cadre de cette évaluation, les principales personnes interrogées sont : le personnel de l'OIM associé à la mise en œuvre du projet, les organisations partenaires d’exécution, les bénéficiaires des activités du projet, et les parties prenantes du Gouvernement et de la société civile. Les réponses individuelles resteront confidentielles, et nous ne partagerons que des constatations généralisées et des commentaires anonymes.

Merci pour votre temps et pour votre coopération !

Informations de base

(a)) Quel est votre titre et votre rôle, et quelles sont vos responsabilités dans le cadre du projet mené par l'OIM ?

(b) Depuis combien de temps occupez-vous cette fonction ?

Pertinence 

(c) À votre connaissance, quels sont les objectifs du projet de l’OIM ?

(d) Dans quelle mesure les objectifs du programme sont-ils toujours valides ?

(e) À votre connaissance, quels sont les principaux produits et activités du programme ?

(f) Les activités et les produits du programme sont-ils cohérents par rapport aux effets directs et à l’objectif visé ?

(g) Selon vous, quelles sont les hypothèses qui relient les activités, les produits, les effets directs et les objectifs ?

Efficacité

(h) Votre organisation a-t-elle été associée à la mise en œuvre de l'une quelconque des activités de ce projet ?

Viabilité

i) Quels facteurs favoriseront ou entraveront la continuité des réalisations du projet après son achèvement ?

j) Dans quelle mesure les produits du projet ont-ils été institutionnalisés ? Par exemple, des lignes directrices, un mandat, des documents d’orientation, une législation ou d'autres éléments ont-ils été adoptés par des institutions nationales ?

État d’avancement du projet (pour les réalisateurs du projet)

k) Quelles sont, selon vous, les principales réalisations du projet à ce jour ?

l) Quelles ont été les principales déceptions ?

m) Dans quelle mesure la mise en œuvre du projet respecte-t-elle le calendrier fixé? Pourquoi ?

n) Quels ont été les points forts et les points faibles de la mise en œuvre du projet pilote ? (Par exemple, sur le plan du respect desdélais, de la gestion des risques, des partenariats et de l’affectation des ressources)

o) Quels sont les principaux enseignements tirés de la mise en œuvre du projet à ce jour ? Quelles recommandations ou suggestions pouvez-vous formuler en ce qui concerne la période de mise en œuvre restante du projet ? Et au-delà du projet ?

Préparation d’une discussion de groupe

Une discussion de groupe rassemble en moyenne six à huit personnes, 15 au maximum, et dure entre une et deux heures. Lors de la sélection des participants à une discussion de groupe, il est important de s’assurer que le groupe est homogène, afin que les participants se sentent à l'aise pour exprimer leurs opinions. Pour sélectionner des groupes homogènes, il faut notamment tenir compte des points suivants :

• Le sexe : Les hommes et les femmes se sentiront-ils à l'aise pour discuter de ce sujet au sein d’un groupe mixte ? Par exemple, les femmes pourraient se sentir mal à l'aise de discuter de la question X si des hommes font partie du groupe.
• L'âge : L’âge influera-t-il la façon dont les personnes réagissent face au sujet ? Par exemple, un jeune peut se sentir mal à l'aise de parler de la question X en présence de membres plus âgés de sa communauté.
• Les rapports hiérarchiques : Des personnes occupant des positions hiérarchiques différentes pourront-elles discuter du sujet sur un pied d’égalité ? Par exemple, un habitant du village A pourrait se sentir mal à l'aise de discuter de la question X en présence de l'administrateur local38

Parmi d’autres aspects à prendre en considération, on peut citer la participation de fonctionnaires gouvernementaux, qui risquent d’influencer les réponses, ou les différences culturelles, susceptibles d’influer sur les réponses données (en mélangeant des autochtones et des non autochtones).

• 38Humans of Data, 2017

Une fois les participants sélectionnés, il est faut obtenir leur consentement éclairé, oralement ou par écrit au moyen d’un formulaire. Concernant le lieu, il est important de choisir un endroit calme et sûr, facilement accessible pour tous les participants. Lorsqu’il n'est pas nécessaire de mener une enquête et de recueillir des données démographiques, un bref formulaire peut être conçu et remis aux participants à la fin de la discussion de groupe.

Comment mener une discussion de groupe

Introduction

Au début de la discussion de groupe, le modérateur doit présenter l'objectif de la discussion et donner un aperçu des sujets qui seront abordés, donner aux participants l’assurance que leurs réponses resteront confidentielles et anonymes, et fixer les règles de base. Voici un exemple d'introduction à lire à voix haute au début d’une discussion de groupe :

Échauffement

Avant d’aborder le questionnaire ou le guide thématique avec le groupe de discussion, un temps d'échauffement peut être ménagé pour mettre les participants à l'aise et pour qu’ils se sentent en confiance afin de s'ouvrir et de partager leurs idées, expériences et opinions. Pour ce faire, commencez par demander aux participants de se présenter (par exemple : « Tout d'abord, j'aimerais que chacun se présente. Pouvez-vous nous dire votre nom ? »), ou proposez un exercice destiné à briser la glace (voir l'encadré « Exemple »).

Questionnaire/guide thématique

À l’instar des entretiens, les discussions de groupe peuvent être plus ou moins structurées. Si vous avez une idée précise des questions à étudier, envisagez d'élaborer un questionnaire (le nombre de questions dépendra de la durée de la session et du nombre de participants, mais il ne devrait pas dépasser dix questions). Si vous ne connaissez pas bien les questions à étudier, envisagez d'élaborer un guide thématique qui permettra au groupe de définir lui-même l'ordre du jour et le déroulement de la discussion.

Synthès

• « Qu’est-ce qui vous a paru vraiment important dans ce que vous avez entendu ici ? »
• « Merci pour votre temps et votre participation. Cette discussion a été très fructueuse ».
• « Les opinions que vous avez exprimées seront précieuses ... Nous espérons que vous avez trouvé la discussion intéressante ».

Après la discussion de groupe

Si la discussion est enregistrée, ce qui doit avoir été signalé d’entrée de jeu, transcrivez les discussions dès que possible afin de ne perdre aucune des nuances qui ont été faites.

Conseils pour animer une discussion de groupe

a) Écouter activement les participants et rester neutre. 

Une écoute active consiste à entendre ce que dit chaque personne tout en observant l’attitude corporelle et les expressions du visage, ce qui peut donner des indications sur la façon la plus appropriée de faire participer les membres du groupe. Il est important de rester aussi impartial que possible, même si vous avez une opinion tranchée sur un sujet. Si les participants sentent que vous avez votre propre opinion, ils peuvent être tentés de modifier leurs réponses afin de paraître socialement plus désirables, et de ne pas exprimer ce qu'ils pensent ou ressentent réellement à propos d’un sujet.

b) Montrer aux participants que vous écoutez ce qu’ils disent.

Parmi les signes courants qui indiquent que vous prêtez attention à ce qu’une personne dit, citons le fait de se pencher légèrement en avant, de regarder directement les participants pendant qu'ils parlent, et de hocher la tête aux moments opportuns. Le fait de détourner fréquemment le regard et/ou de regarder votre montre ou, pire encore, de bailler risque de donner aux participants l'impression qu'ils ne sont pas écoutés ou qu'ils sont ennuyeux, ce qui peut les amener à se désengager de la discussion.

c) Mettre à profit le silence pour encourager la formulation d’idées plus approfondies

Le fait d'autoriser le silence à certains moments de la discussion peut inviter les participants à développer davantage leur propos.

d) Utiliser des questions exploratoires.

Lorsque les participants donnent des réponses incomplètes ou hors sujet, il est possible de solliciter des réponses plus détaillées et plus claires. Voici quelques suggestions de techniques exploratoires :

•  Répétez la question ; 
•  Marquez une pause pour attendre la réponse ; 
• Répétez la réponse ; 
• Demandez quand, quoi, où, qui et comment ; 
• Utilisez des commentaires neutres tels que « avez-vous autre chose à ajouter ? »

Le fait de poser des questions exploratoires pour obtenir des clarifications permet également de renforcer chez les participants le sentiment de posséder des connaissances spécialisées, fondées sur leur expérience directe des sujets ou des questions visés par le suivi ou l'évaluation. De bonnes questions exploratoires font comprendre aux participants qu'ils sont écoutés et qu'il est intéressant d'en savoir davantage sur ce qu'ils ont à dire. Il faut éviter de poser des questions suggestives, car elles peuvent laisser transparaître une opinion et donner l’impression aux participants que vous ne cherchez pas à apprendre d’eux en les écoutant de manière impartiale. Ce type de questions peut également amener les participants à donner des réponses socialement désirables.

e) Laisser parler les participants. 

Afin d'éviter d'interrompre les participants lorsqu’il est nécessaire d’approfondir un élément, notez-le mentalement et interrogez-les à ce sujet une fois qu’ils ont terminé leur réflexion.

f) Garder la notion du temps.

Certaines personnes ont tendance à parler longuement de leurs idées, expériences et opinions. Le modérateur doit structurer la discussion de groupe de manière à pouvoir obtenir des réponses complètes sans brusquer les participants, tout en respectant les contraintes de temps.

g) Faire avancer la discussion. 

Lorsque les participants partagent des informations moins pertinentes ou hors sujet, il est possible de faire avancer poliment les discussions de groupe, en soulignant par exemple un élément dont parle le participant et qui est pertinent par rapport à une autre question ou à la série de questions préparées pour la discussion. Une autre façon d’avancer consiste à signaler que le temps passe, et d’inviter les participants à passer à un autre sujet en expliquant qu’il y a encore d’autres aspects à aborder.

h) Réduire la pression qui pousse le groupe à se conformer à un point de vue dominant.

Lorsqu'une idée est directement adoptée sans susciter de discussion générale ni de désaccord, il est probable qu’une pression du groupe pousse participants à se conformer à un point de vue dominant. Pour minimiser cette dynamique de groupe, il est suggéré de rechercher des points de vue alternatifs. On peut, par exemple, poser la question suivante : « Nous avons eu une discussion intéressante, mais tournons-nous vers d’autres idées ou points de vue. Quelqu'un a-t-il une idée ou une expérience différente qu'il ou elle souhaite partager ? ».

i) Prise de notes.

Les notes manuscrites doivent être exhaustives et dûment refléter la teneur de la discussion de groupe, ainsi que toutes les observations marquantes relatives à l’attitude non verbale, telle que les expressions du visage, les mouvements des mains et la dynamique de groupe.

Guide de la discussion de groupe : Extraits du suivi réalisé par l’OIM après la distribution d’articles non alimentaires au Soudan du Sud (Wau, septembre 2017)

Deux discussions de groupe ont été organisées, l'une avec des femmes (11 participantes) et l'autre avec des hommes (9 participants). Des agents de mobilisation communautaire ont aidé à réunir les participants. Un interprète local était présent pour faciliter les discussions de l'arabe vers l'anglais et vice versa.

Efficacité

• Quels articles avez-vous reçus ?
• Comment avez-vous entendu parler de l’inscription à la distribution ?

Protection

• Avez-vous constaté des changements après avoir reçu l’abri et les articles non alimentaires ? (Précisez les changements survenus dans vos relations avec la communauté, la famille et d’autres personnes. Y a-t-il eu des jaloux ? Cela a-t-il eu des répercussions sur votre sentiment de sécurité ? Y avait-il des voleurs ?)

Pertinence (des articles)

• Les articles que vous avez reçus ont-ils répondu à vos besoins ? (Pouvez-vous classer les articles en commençant par ceux dont vous aviez le plus besoin au moment de la distribution)

Couverture

• Toutes les personnes déplacées à l’intérieur de leur propre pays ont-elles été inscrites à la distribution ?

Qualité de l’intervention (services fournis par l’organisation)

• La communauté, les autorités locales et les bénéficiaires ont-ils été associés à l’établissement des critères et des besoins en matière d’articles non alimentaires ?

Responsabilité

• Un bureau des plaintes a-t-il été mis en place ?

Exemples d’observations

Les observations structurées sont réalisées au moyen d’une fiche d’observations ou d’une liste de vérification précisant les observations que l’on souhaite effectuer.

Les observations semi-structurées peuvent être faites à l’aide de guides d’observation.

Les observations non structurées sont généralement réalisées en cours de route ou en parcourant le site d’observation (voir le tableau A4.4).

Planification des observations

Lors de la planification des observations, il est conseillé de tenir compte des étapes suivantes :

Étape 1: Déterminer sur quoi porte le suivi ou l’évaluation, c’est-à-dire identifier les indicateurs faisant l’objet du suivi, les critères d’évaluation et les questions à analyser.

Étape 2:Déterminer les points particuliers pour lesquels des données doivent être recueillies et comment rassembler les informations nécessaires (fiches d’observations et listes de vérification, guides d’observation et/ou notes de terrain).

Étape 3: Sélectionner les sites où seront réalisées les observations.

Étape 4: Sélectionner et former des observateurs.

Étape 5: Tester les procédures de collecte de données d’observation.

Étape 6: Planifier les observations de manière à garantir l'observation des composantes de l'activité qui permettront de répondre aux questions d’évaluation39

La procédure de collecte de données d'observation doit être testée avant d'être utilisée dans le cadre du suivi et de l’évaluation. Pour ce faire, au moins deux observateurs doivent se rendre au même endroit et remplir la fiche de relevé des observations. Une fois remplies, les fiches doivent être comparées. Si des différences importantes apparaissent, les observateurs auront peut-être besoin d’une formation supplémentaire ou de précisions. S'il y a peu de différences, la procédure peut être appliquée pour le suivi et l’évaluation.

Conseils pour effectuer des observations

À faire

a) Commencer le processus d’observation sans idées préconçues ni attentes prédéfinies.

b) Prendre note des observations et des informations fournies volontairement qui concernent des sujets dépassant le cadre des préoccupations de l'évaluation formelle.

c) Consigner les informations contradictoires ou inattendues.

d) Rester concentré afin de faire des comparaisons utiles.

e) Se montrer actif et curieux pendant le processus d'observation, dont le principe consiste à voir, entendre, sentir, goûter, ressentir et toucher.

f) Être conscient de ce que vous n’avez pas vu, comme l’absence de personnes, de services et d’infrastructures.

g) Respecter la culture locale.

À ne pas faire

a) Débuter le processus d’observation avec des attentes prédéfinies ou chercher à recueillir des données principalement dans le but de confrmer une hypothèse préexistante.

b) Se fier à sa mémoire pour retenir les informations. Consignez les observations sur la fiche d’observations.

c) Se concentrer uniquement sur la misère et le dénuement. Être conscient des capacités, des possibilités et du capital social existant au sein de la communauté touchée.

d) Être intrusif. Faites en sorte d'être aussi délicat et respectueux que possible.

e) Prendre des photos sans en avoir demandé la permission.

• 39CDC, 2018

Étape 1 : Se familiariser avec les données

Avant de commencer l’analyse des données, les praticiens du suivi et de l’évaluation doivent se familiariser avec elles. Ce processus consiste à lire et à relire les notes prises (les données) dans leur intégralité. À mesure qu'ils parcourent les données, ils doivent prendre note de toutes les réflexions qui leur viennent à l'esprit et synthétiser toutes les transcriptions et tous les éléments de données qui seront analysés. À ce stade, l'objectif est de s’imprégner des données recueillies et d'y réfléchir, en notant ses réflexions et ses intuitions mais en réservant son jugement. Les questions ouvertes que l'on peut se poser comprennent par exemple : « Que se passe-t-il ici? » ou « Qu'est-ce qui vous frappe ? »40

Étape 2 : Cycle initial de codage 

Une fois que le contenu des données est connu, il est possible de commencer à coder le matériel pour regrouper les informations en thèmes et sujets clés pouvant aider à répondre aux questions de suivi et d’évaluation.

Il existe deux grandes approches du codage de données qualitatives. La première consiste à créer un cadre indiquant les buts et objectifs du suivi ou de l'évaluation, qui est ensuite utilisé pour évaluer les données recueillies. Il s'agit d'une approche déductive, car les concepts et les questions qui intéressent l’analyse sont d'abord identifiés, ce qui permet de se concentrer sur certaines réponses particulières des personnes interrogées et d’ignorer le reste.

Le cycle initial de codage commence par un examen des données et l'attribution de mots ou de phrases qui en résument l'essence. Ceux qui suivent une approche manuelle peuvent écrire le code dans la marge, et ceux qui utilisent un logiciel de traitement de texte peuvent taper le code dans la fonction « Commentaire » ou dans une autre colonne.

Les codes attribués à ce stade sont généralement, mais pas toujours, des codes de premier niveau, qui se concentrent sur « ce qui » est présent dans les données. Ils sont descriptifs et reflètent des activités et processus de base contenus dans les données (par exemple, RIRE), de sorte qu’ils ne demandent pas à être interprétés. L’interprétation intervient lors de la deuxième phase de codage.

Tout au long du processus de codage, il est important de comparer sans cesse les données applicables à chaque code et de modifier les définitions des codes pour les adapter aux nouvelles données (ou les codes pour en créer un nouveau). Le regroupement des données en de grands ensembles ou leur fractionnement en tranches plus petites présentent chacun des avantages et des inconvénients41  . Ceux qui fractionnent d'abord les données en petits ensembles, chacun ayant son propre code, regroupent généralement ces ensembles en des catégories plus larges lors des phases ultérieures du codage. En revanche, ceux qui commencent d’abord par regrouper les données procèdent généralement à des distinctions plus fines par la suite.

Quelles données doivent être codées en premier ? Nombre d’experts des analyses qualitatives suggèrent de coder d'abord les données représentatives ou qui sont intéressantes d'une manière ou d’une autre, puis de passer aux données contrastives. Les premiers textes de données codés influenceront le système de codage qui en résultera. Lors des phases initiales, il est donc conseillé de choisir des textes qui représentent une large gamme des données disponibles. Par ailleurs, une approche itérative n’exige pas de soumettre tout le corpus de données à un premier cycle de codage fragmenté et détaillé. Après avoir lu toutes les données à plusieurs reprises et procédé à un codage initial ligne par ligne sur une partie d'entre elles, il est possible d'envisager certaines activités en particulier.

Au moment de s’engager dans le cycle initiale de codage, il est utile de créer une liste de codes et de donner une brève définition ou un exemple représentatif de chacun d'entre eux, surtout si les codes ne sont pas explicites. À mesure que le codage devient plus précis, il est judicieux de créer un livre de codes systématique – une présentation des données qui énumère les principaux codes, définitions et exemples qui seront utilisés pour l'analyse. Les livres de codes sont en quelque sorte des « légendes » des données, qui facilitent la tâche de parcourir des pages de transcriptions, de surlignages et d’annotations.

• 40Tracy, 2013
• 41Bazeley et Jackson, 2013.

En plus de la création d'un livre de codes, il est important de revenir fréquemment aux questions de suivi ou d'évaluation. Étant donné que la plupart des praticiens du suivi et de l’évaluation font face à diverses contraintes de temps et de ressources, nombre d’entre eux s’engagent dans des voies d'analyse qui s'accordent non seulement avec les thèmes qui se dégagent du codage initial, mais également avec ceux qui correspondent aux objectifs, à l’expérience et aux délais du suivi et de l’évaluation.

Tout au long de l'analyse, le fait de revenir sur les questions de recherche et sur d’autres notions sensibilisatrices permet de s'assurer qu'elles sont toujours pertinentes et intéressantes. Les intérêts initiaux ne constituent que des points de départ, et d'autres questions plus saillantes peuvent émerger au cours de l'analyse des données.

Étape 3 : Second cycle de codage 

Le second cycle de codage consiste à examiner de manière critique les codes identifiés lors du cycle de codage initial de codage et à les organiser, les synthétiser et les ranger dans des catégories de concepts interprétatifs. Il a pour objectif d’expliquer, de théoriser et de synthétiser les codes définis lors du cycle initial en identifiant les schémas, règles ou relations de cause à effet et en faisant des interprétations.

Par exemple, s’ils identifient des codes qui réapparaissent continuellement dans les données, les praticiens du suivi et de l’évaluation pourront décider de les relier de manière à répondre à la question de suivi ou d’évaluation posée.

Par conséquent, cette étape permet de mieux savoir quelles données seront les plus importantes pour l’analyse. Certaines données, même si elles sont déjà recueillies, n’auront peut-être qu'un rapport indirect avec les questions étudiées, si bien qu’elles seront exclues de l’analyse. C'est également à ce stade que les praticiens du suivi et de l’évaluation verront si des données supplémentaires doivent être recueillies pour étoffer un nouveau code ou expliquer ce qui est observé dans les données existantes. Pour savoir si des données supplémentaires sont nécessaires, une méthode consiste à poser la question suivante : « L'analyse émergente répond-elle de manière intéressante et significative à la question de suivi ou d’évaluation qui est posée ? ». Si ce n'est pas le cas, cela peut signifier qu’il faut davantage de données ou qu’il est nécessaire de procéder à des activités de synthèse additionnelles.

Tout au long du processus de codage, il est important de noter systématiquement les réflexions et idées qui apparaissent. Il faut, tout d’abord, créer un document dans lequel toutes les activités d'analyse sont consignées de manière chronologique (date et description de ce qui a été accompli en matière d'analyse). Il faut, ensuite, rédiger des notes analytiques. Celles-ci non seulement font partie intégrante du processus d’analyse, mais sont aussi un effet direct de l’analyse. Les notes analytiques sont des espaces de réflexion personnelle sur les données à disposition. Elles aident les praticiens du suivi et de l’évaluation à comprendre ce que disent fondamentalement les données et font office de passerelle entre le codage et la rédaction d'une analyse préliminaire. Bien qu'elles puissent prendre de nombreuses formes, les notes analytiques sont généralement caractérisées par un ou plusieurs des éléments suivants:

• Elles définissent le code aussi précisément que possible ;
•  Elles expliquent ses propriétés ;
• Elles fournissent des exemples de données brutes qui illustrent le code ;
•  Elles précisent les conditions dans lesquelles il apparaît, est conservé et évolue ;
• Elles décrivent ses conséquences ;
• Elles montrent en quoi il est corrélé à d’autres codes ;
• Elles formulent des hypothèses relatives au code44

• Les notes analytiques sont très utiles pour examiner la façon dont les codes sont corrélés.

Les praticiens devront également se faire l'avocat du diable en procédant à une analyse des cas négatifs. Cette pratique consiste à rechercher activement les données discordantes qui ne semblent pas étyaer l'hypothèse émergente, puis à réviser les arguments afin qu'ils correspondent mieux à l’ensemble des données. L'analyse des cas négatifs dissuade de recourir uniquement à des exemples de données conformes aux premières pistes d’explication et d’ignorer les éléments factuels contradictoires. L'analyse des cas négatifs permet donc de garantir la fiabilité et la crédibilité des explications qui se font jour.

En plus des notes analytiques, les praticiens du suivi et de l’évaluation devront créer une trame d'analyse qui reprend les questions posées et indique comment, potentiellement, les codes émergents y répondent.

Une fois les données codées, il faut résumer les thèmes associés aux codes. À ce stade, les praticiens doivent examiner les codes et les regrouper pour représenter des thèmes communs, marquants et significatifs. Pour ce faire, il peut être utile d'écrire les titres des codes sur des bouts de papier et de les étaler sur une table. Ce processus donnera une vue d'ensemble des différents codes et permettra également de les déplacer et de les regrouper par thèmes. L’objectif est de rechercher les schémas et structures sous-jacents – y compris les différences entre les diverses catégories de personnes interrogées (par exemple, entre les adultes et les enfants, ou entre les hommes et les femmes) si celles ci sont analysées ensemble. Il faut ensuite étiqueter ces groupes de codes (voire certains codes uniques) avec un « thème de base » plus interprétatif. Prenez alors une nouvelle feuille de papier, écrivez l'étiquette du thème de base et placez-la à côté du groupe de codes. La dernière étape consiste à examiner les thèmes de base et à les regrouper en « thèmes principaux » d'ordre supérieur ayant une plus haute valeur interprétative.

• 44Tracy, 2013.

Le calcul de statistiques descriptives peut être facilement effectué avec Microsoft Excel. Pour ce faire, installez le logiciel d’analyse de données (Data Analysis Tool pack). Ouvrez Excel, allez dans FICHIER | OPTION| ADD INS et ajoutez l'outil d'analyse. Une fois cette opération effectuée, l'outil d'analyse des données devrait apparaître à l'extrême droite de la barre d'outils. L'avantage de l'outil d'analyse des données est qu'il peut faire plusieurs choses à la fois. Si un aperçu rapide des données est nécessaire, il fournira une liste de statistiques descriptives permettant d’expliquer vos données.

Il existe de multiples méthodes et outils de visualisation des données. Voici quelques-uns des exemples et des types les plus courants.

Tableau récapitulatif

Les tableaux récapitulatifs présentent les données de manière simple et digeste. L'utilisation d'un tableau récapitulatif permet d’apprécier les données et de relever les valeurs ou les relations significatives qui apparaissent. La figure A4.1 présente un tableau récapitulatif des types de sites accueillant des personnes déplacées à l’intérieur de leur propre pays en raison du conflit persistant au Soudan du Sud.

Faits et chiffres 

Les infographies sont un moyen utile d'attirer l'attention sur des faits et des chiffres importants dans les données. Des icônes et des images, ainsi que différentes tailles de police, peuvent être utilisées pour présenter les valeurs des données de manière attrayante et facile à comprendre (voir la figure A4.2 à titre d’exemple).

Comparaison, classement et distribution

Les diagrammes à barres et les cartes thermiques permettent de comparer, classer et montrer la distribution des valeurs des données. Les diagrammes à barres utilisent un axe horizontal (X) et un axe vertical (Y) pour représenter des données catégorielles ou des données longitudinales. Les diagrammes à barres comparent ou classent les variables en regroupant les données par barres. La longueur des barres est proportionnelle aux valeurs que le groupe représente. Les diagrammes à barres peuvent être tracés verticalement ou horizontalement. Dans les diagrammes à barres verticales, les catégories comparées se trouvent sur l'axe horizontal, et dans les diagrammes à barres horizontales (voir figure A4.3), les pays comparés sont placés sur l'axe vertical. Les diagrammes à barres sont utiles pour classer des données catégorielles en examinant comment deux ou plusieurs valeurs ou groupes se situent entre eux du point de vue de leur grandeur relative à un moment donné.

Les histogrammes sont des représentations graphiques de la distribution et de la fréquence des données numériques. Ils montrent la fréquence à laquelle apparaît chaque valeur différente dans un ensemble de données quantitatives et continues. Les histogrammes regroupent les données en tranches ou en plages pour montrer la distribution et la fréquence de chaque valeur

La figure A4.4 montre la proportion de personnes interrogées ayant déclaré avoir été exploitées sur l’une quelconque des routes de la Méditerranée centrale, par groupe d'âge. Ici, l'âge des personnes interrogées est regroupé par « tranches », plutôt qu’indiqué individuellement.

Une autre approche pour visualiser la distribution des données consiste à utiliser des cartes thermiques. La figure A4.5 montre la concentration de migrants de retour au départ du Pakistan et de la République islamique d’Iran dans trois provinces d’Afghanistan (Laghman, Nangarhar et Kounar).

Note: Cette carte n’est donnée qu’à titre d’illustration. Les frontières et les noms, ainsi que les désignations qui y figurent n’impliquent ni reconnaissance ni acceptation officielle de la part de l’OIM

Proportion ou partie d’un ensembl

Les diagrammes circulaires ou en anneau sont des graphiques circulaires divisés en parts, la taille de chaque part indiquant la valeur relative, généralement exprimée en pourcentage. Les diagrammes circulaires ou en anneau donnent une vue d’ensemble des catégories à un moment donné (voir les figures A4.6 et A4.7).

Si vous décidez d’utiliser un diagramme circulaire, veillez à limiter le nombre de parts à cinq, car un trop grand nombre de parts risquerait de détourner le lecteur de l’information essentielle. Il peut arriver que des parts aient relativement la même valeur, ce qui complique la comparaison entre elles. Dans ce cas, un diagramme à barres horizontales sera plus indiqué pour montrer clairement la différence entre les part.

Évolution au fil du temps 

Les diagrammes à barres peuvent également être utilisés pour représenter des données longitudinales qui se répètent dans le temps, afin d'aider à identifier des tendances et des schémas temporels (voir la figure A4.8). Pour montrer des tendances, les graphiques linéaires sont eux aussi très utiles (voir la figure A4.9)

Relations et tendances

Les diagrammes de dispersion sont couramment utilisés pour montrer la relation entre les variables, l’axe horizontal et l’axe vertical étant tous deux des axes de valeurs, et non des axes catégoriels. Par exemple, les Nations Unies ont publié une nouvelle étude qui établit une relation de cause à effet entre les sécheresses de longue durée en El Salvador, au Guatemala et au Honduras et l'augmentation de la migration irrégulière au départ de ces pays vers les États-Unis. « La probabilité que des membres de la famille émigrent est de 1,5% plus élevée parmi les ménages touchés par la sécheresse que parmi les autres ménages similaires ailleurs. Bien qu'il s'agisse d'une valeur faible, son importance tient au fait que la corrélation entre la fréquence des sécheresses et l'émigration est positive et que la probabilité d'émigrer est plus grande que pour les familles qui ne sont pas originaires du Couloir sec »45 . Un diagramme de dispersion peut être utilisé pour illustrer cette relation positive (plus la durée de la sécheresse augmente, plus la migration irrégulière augmente). Dans la figure A4.10, le diagramme de dispersion montre une relation positive entre le nombre d'unités vendues par famille de produits et le revenu. Plus le nombre d'unités vendues est élevé, plus le revenu est important

Le graphique à bulles est une variante du diagramme de dispersion dans laquelle les points de données sont remplacés par des bulles, avec une dimension supplémentaire des données qui est représentée par la taille des bulles. Tout comme le diagramme de dispersion, le graphique à bulles n'utilise pas d'axe catégoriel ; tant l’axe horizontal que l’axe vertical sont des axes de valeurs

• 45Programme alimentaire mondial, 2017, p. 16.

Analyse de texte

L’analyse de texte désigne divers processus permettant de modifier des données qualitative afin de pouvoir les organiser et les décrires de manière claire et intuitive. Pour résumer des textes recueillis, tels que les notes des discussions de groupe, il est possible d’effectuer des résumés et des analyses de texte sommaires. L'un des moyens les plus courants pour y parvenir consiste à utiliser les fréquences de mots (listes de mots et Rde leurs fréquences) ou les nuages de mots (voir la figure A4.11).

Tableau A4.5. Liste de vérification pour évaluer des données visuelles

Pour plus d'informations et d'exemples sur les points énumérés dans la liste de vérification pour évaluer des données visuelles (figure A4.2), voir le chapitre 13 de Yuk et Diamond (2014) : « Evaluating real data visualizations », dans Data Visualization for Dummies.