Ce chapitre donne une vue d'ensemble de la gestion des évaluations, et plus particulièrement de la planification et de la réalisation d’une évaluation, de la suite qui lui est donnée et de son utilisation, ainsi que des avantages tirés de l'apprentissage et de la responsabilité découlant de l'évaluation. Il décrit les responsabilités et les étapes nécessaires pour commander et gérer une évaluation, et indique comment différencier les divers types d'évaluation, utiliser les critères d'évaluation et identifier et promouvoir les approches d'apprentissage. Ce chapitre ne porte pas sur la façon dont les évaluateurs doivent mener les évaluations. Les membres du personnel de l'OIM qui souhaitent développer leurs compétences en matière d'évaluation pour être inscrits sur la liste des évaluateurs internes de l'OIM peuvent participer à la formation destinée aux évaluateurs internes de l'OIM, qui aborde cette question.
L’évaluation est définie comme l'appréciation systématique et objective d'une intervention en cours ou achevée, y compris un projet, un programme, une stratégie ou une politique, sa conception, sa mise en œuvre et ses résultats. L'évaluation est un exercice de responsabilité et d’apprentissage qui vise à informer les parties prenantes de la mesure dans laquelle les ressources ont été utilisées de manière efficiente et efficace en vue de l’obtention des résultats, et à fournir des connaissances empiriques sur ce qui, dans une intervention, a ou non marché et pourquoi.
En contribuant à l’acquisition de connaissances et en fournissant des informations sur la performance et la réalisation des activités, les évaluations permettent aux responsables politiques, aux administrateurs de programme et aux autres parties prenantes clés de prendre des décisions en connaissance de cause. Depuis 2011, l'OIM a rendu obligatoire l'inclusion d'évaluations dans ses propositions de projet.
La dimension de responsabilité s'adresse généralement aux donateurs et aux autres parties prenantes, y compris les bénéficiaires, et consiste à montrer que le travail a été accompli comme convenu et que les résultats escomptés ont été atteints, conformément aux normes établies.
Outre la responsabilité, l'apprentissage, la prise de décisions et la promotion, l’évaluation peut également avoir d’autres finalités, telles que l’orientation, la levée de fonds et la visibilité.
Pour favoriser une culture de l'évaluation à l'OIM, il est important de tenir compte des multiples aspects qui contribuent à façonner la manière dont l'évaluation est pensée au sein de l'Organisation. Il s'agit notamment de construire la culture de l’évaluation elle-même. Cela peut se faire en clarifiant ce qu’est l'évaluation, en encourageant la planification, la gestion et la réalisation des évaluations, et en portant une attention particulière à l'utilisation qui est faite des évaluations.
Les efforts mis en œuvre par l’OIM en matière d’évaluation sont largement décentralisés, comme indiqué dans sa politique relative à l’évaluation (IOM Evaluation Policy)
L'OIM propose la définition suivante de l'évaluation décentralisée : « Les évaluations décentralisées sont des évaluations commandées et gérées hors de la fonction centrale d’évaluation de l'OIM (Unité d’évaluation d’OIG) − par les départements du Siège, les bureaux régionaux et les bureaux de pays − qui portent sur les activités, les thèmes, les domaines opérationnels, les politiques, les stratégies et les projets relevant de leurs domaines de travail respectifs »
Conformément à son mandat, la fonction d'évaluation du Bureau de l'Inspecteur général (Unité d’évaluation d’OIG) est chargée de fournir des orientations sur la mise en œuvre des approches d'évaluation décentralisées
- Les évaluations décentralisées sont menées par des évaluateurs indépendants internes ou externes, et sont gérées par les bureaux de pays, les bureaux régionaux et les départements du Siège de l'OIM, qui les financent dans le cadre de leurs projets et activités.
- Les évaluations décentralisées portent le plus souvent sur des projets et des programmes, ou sur des domaines opérationnels aux niveaux mondial, régional et national, mais elles peuvent aussi couvrir des domaines thématiques et des stratégies d'importance nationale ou régionale
OIM, 2018a, pp. 4-5.
Quatre grands rôles sont à distinguer dans le cadre du processus d'évaluation : a) le commanditaire de l'évaluation, b) le responsable de l'évaluation, c) l'évaluateur et d) l'utilisateur de l'évaluation.
|
Le commanditaire de l’évaluation est la partie ou la partie prenante qui décide qu’une évaluation doit être réalisée. Il peut s’agir de l’administrateur de programme de l’OIM, du chef de mission concerné de l’OIM, d’un spécialiste thématique ou d’unité(s) du Siège et/ou d’un bureau régional/de pays, ou encore du donateur ou d’une combinaison de toutes ces parties prenantes. |
|
Le responsable de l’évaluation est la personne qui gère l’évaluation. Il peut appartenir à l’entité ou au bureau qui a commandé l'évaluation. À l'OIM, le responsable de l'évaluation est généralement l’administrateur du programme ou du projet. Il est important de noter que, parfois, plusieurs parties prenantes peuvent faire partie d'un comité de gestion de l'évaluation et qu’elles supervisent ensemble le processus d'évaluation. |
|
L’évaluateur est la personne chargée de mener l'évaluation. Les évaluateurs peuvent être des consultants externes, des membres du personnel de l'OIM ou des évaluateurs recrutés par l'OIM, les donateurs, les organisations partenaires et les gouvernements. |
|
Les utilisateurs de l'évaluation sont des acteurs clés qui garantissent la pleine utilisation et les avantages tirés de l'évaluation. Il peut s'agir d'utilisateurs directs, qui sont, par exemple, directement concernés par la mise en œuvre des recommandations et les objectifs en matière de responsabilité, ou d'utilisateurs indirects, qui peuvent être davantage intéressés par la dimension d'apprentissage de l'évaluation. |
| En plus de ces fonctions, il existe d'autres groupes de référence et mécanismes de mobilisation des parties prenantes qui jouent un rôle important, notamment pour ce qui est de l'assurance-qualité. Pour plus d’informations sur les groupes de référence, voir l’encadré Information. | |
|
Les Normes et règles d’évaluation (2016) du Groupe des Nations Unies pour l’évaluation (GNUE) donnent plus de précisions sur l'engagement des parties prenantes et les groupes de référence. L’engagement des parties prenantes et les groupes de références sont recommandés dans le cas d’évaluations complexes, portant sur divers pays et divers programmes et associant un large éventail de parties prenantes. Dans ces cas, de tels groupes peuvent être particulièrement utiles et peuvent garantir une approche plus participative tout au long de l'évaluation. |
Les Normes et règles d’évaluation (2016) du GNUE définissent les différents groupes comme suit:
Groupes de référence : Les groupes de référence sont composés de groupes restreints de parties prenantes capables d’offrir plusieurs points de vue et d’apporter des connaissances sur le sujet évalué. Il convient de consulter les groupes de référence : a) sur la conception de l’évaluation, pour la rendre plus pertinente ; b) sur les constatations préliminaires, pour en accroître la validité ; c) sur les recommandations, pour en améliorer la faisabilité, l’acceptabilité et l’appropriation ; d) à tout moment du processus d’évaluation, selon que de besoin. Consulter les groupes de référence permet d’améliorer la pertinence, la qualité et la crédibilité des processus d’évaluation
Groupes d’apprentissage : Des groupes d’apprentissage axés sur l’utilisation de l’évaluation peuvent être créés avec les parties prenantes. Les groupes d’apprentissage jouent généralement un rôle moindre que les groupes de références dans l’amélioration de la qualité ou la validation des constatations.
Groupes d’orientation : Le cas échéant, certaines parties prenantes peuvent jouer un rôle plus important en prenant part à un groupe d’orientation. Cette démarche leur permet de s’approprier davantage l’évaluation. Les groupes d’orientation fournissent des conseils, mais également des directives concernant l’évaluation.
Groupes consultatifs : Les groupes consultatifs sont composés de spécialistes de l’évaluation ou du sujet évalué. Généralement, les membres du groupe n’ont pas un intérêt direct dans le sujet évalué, ils peuvent donc fournir des conseils objectifs à propos des évaluations. En formulant des directives et des conseils, en partageant leurs connaissances et en validant les constatations, ces groupes contribuent à améliorer la pertinence, la qualité et la crédibilité des processus d’évaluation.
Le module 6 du Manuel des projets de l’OIM, publié en 2017, définit trois phases pour le processus d’évaluation : a) la planification de l’évaluation ; b) la gestion de l’évaluation ; et c) l'utilisation de l’évaluation.
Ressources de l’OIM
2015 Résolution no 1309 sur les relations entre l’OIM et les Nations Unies (en anglais), adoptée le 24 novembre 2015 (C/106/RES/1309).
2017 Module 6. In: Manuel des projets de l’OIM. Deuxième édition. Genève (lien interne uniquement).
2018a IOM Evaluation Policy. Bureau de l’Inspecteur général (OIG), septembre.
Ressources externes
Banque mondiale
2015 Managing Evaluations: A How-to Guide for Managers and Commissioners of Evaluations. Groupe indépendant d’évaluation, Groupe de la Banque mondiale, Washington, D.C.
Groupe des Nations Unies pour l’évaluation (GNUE)
2016 Normes et règles d’évaluation. New York
Organisation for Economic Co-operation and Development (OECD)
2019 Des meilleurs critères pour des meilleures évaluations : Définitions adaptées et principes d'utilisation. Réseau d’évaluation du Comité d’aide au développement (CAD) de l’OCDE.
L'OIM recommande vivement de mener des évaluations, et une utilisation efficace de l'évaluation commence par une bonne planification. Le Manuel des projets de l'OIM (IN/250) dispose que toutes les propositions doivent prévoir l'inclusion d'une évaluation dans le cadre du projet. La première étape de la planification a donc lieu lors de l’élaboration du projet.
Si aucune évaluation n'est prévue au stade de l’élaboration du projet, une justification appropriée doit être fournie. Les raisons avancées peuvent être les suivantes :
a) Le donateur escompté a indiqué, avant la soumission de la proposition, qu'il ne financerait pas d'évaluation ;
b) Le donateur prévoit de réaliser sa propre évaluation, indépendamment du cycle de mise en œuvre de l'OIM ;
c) D'autres approches d'évaluation ont été convenues avec le donateur, telles que des analyses de la performance du projet ou des analyses a posteriori.
Bien qu’il puisse exister d'autres exceptions, il convient de noter que les motifs suivants ne sont pas considérés comme des justifications valables ou suffisantes pour exclure l'évaluation de la conception du projet : « Le projet fonctionne bien sans évaluation » ; « Le projet étudiera le bien-fondé d'une évaluation plus tard » ; « Le projet peut dépenser cet argent d'une meilleure manière » ; « Le donateur ne veut pas d'évaluation » , sans négociation plus approfondie avec le donateur. Ces exemples témoignent en outre d’une faible culture de l'évaluation et d’une incapacité à comprendre et à dûment promouvoir les avantages d’une évaluation.
Si une évaluation à part entière n'est pas possible faute de fonds ou de ressources ou en raison de la courte durée de mise en œuvre, il est toujours possible d’adopter d'autres approches d'évaluation.
Contrairement à d'autres approches évaluatives, l'avantage de l’évaluation réside dans le fait qu’elle repose sur une méthodologie plus robuste et plus rigoureuse. L'évaluation permet une analyse détaillée, fondée sur un cadre logique prédéfini, ainsi que la participation d'un plus grand nombre de parties prenantes, et elle appuie une solide approche fondée sur des éléments factuels pour documenter la performance globale et le changement apporté par une intervention, qui sont mesurés au regard d’un ensemble de critères d'évaluation largement acceptés et testés.
Dans le Système PRIMA d’information et de gestion des projets − comme c’était déjà le cas auparavant −, les concepteurs de projet sont censés fournir dans le module d’évaluation un minimum d’informations sur les évaluations planifiées lors de la création de la proposition de projet sur la plateforme
Pour plus d'informations concernant la planification d’une évaluation au stade de l’élaboration du projet dans PRIMA, voir la section Créer une proposition (modèle de l’OIM) du guide interne de l’utilisateur de PRIMA (PRIMA User Guide).
Pendant la mise en œuvre, la planification de l'évaluation a généralement lieu quelques mois avant que celle-ci soit menée ; elle se décompose en trois grandes trois étapes : a) définir la finalité et l'évaluabilité de l'évaluation ; b) élaborer le mandat d'évaluation ; et c) sélectionner les évaluateurs.
La première étape de la planification d'une évaluation consiste à définir la finalité et l'évaluabilité de l'évaluation. La finalité de l'évaluation indique la raison générale pour laquelle l'évaluation est menée ainsi que les résultats attendus. Les organismes et organisations peuvent utiliser des terminologies différentes, et l'OIM est prête à accepter la terminologie souhaitée lors de l’élaboration du mandat d'évaluation.
Les organismes, organisations et ressources documentaires parlent également d’objectifs de l’évaluation et, respectivement, de ses objectifs spécifiques. La définition de l'objectif de l’évaluation est similaire à celle de la finalité de l'évaluation, c’est-à-dire la raison générale pour laquelle l'évaluation est menée. Pour leur part, les objectifs spécifiques de l'évaluation font généralement référence aux critères couverts par le projet ou à la portée de l'évaluation.
Voici quelques questions visant à guider la définition de la finalité d'une évaluation :
| Questions visant à guider la définition de la finalité d'une évaluation |
|---|
|
Identifier et mobiliser les parties prenantes concernées dès le début du processus de planification à la faveur d’une approche participative. Cela peut offrir l’occasion de préciser certains aspects essentiels de l'évaluation, et permettre de s’entendre sur la portée et les questions clés de l'évaluation.
Apprécier l'évaluabilité – ou, en d'autres termes, la faisabilité - d'une évaluation est une étape essentielle du processus de planification de l'évaluation, qui permet d’augmenter la probabilité que l'évaluation produira des informations crédibles en temps voulu ou après en avoir restreint le champ.
Il est important d'examiner les stratégies ou documents de projet pertinents afin de savoir ce qui a déjà été convenu avec le donateur ou au niveau institutionnel et gouvernemental. Étant donné qu’un certain temps peut s'être écoulé depuis le début de la planification de l'intervention à évaluer, il est également important d’examiner les choix faits jusqu’ici dans le cadre de l'intervention, afin de s'assurer que les décisions prises précédemment sont toujours valables au moment de l'évaluation. L’administrateur de programme devra éventuellement s’entretenir avec le donateur de tout changement prévu.
Le processus de planification d'une évaluation suppose de faire des compromis, car le responsable de l’évaluation devra soupeser le coût et la faisabilité des différents modèles d'évaluation, ainsi que les avantages de l'évaluation (sur le plan opérationnel, institutionnel et stratégique).
Pour définir la finalité d’une évaluation et en estimer l'évaluabilité, les responsables doivent connaître les types courants d'évaluation, de méthodologie et de critères d'évaluation. La compréhension de ces concepts et des exigences et spécificités techniques qui y sont associées peut également aider les responsables de l'évaluation à gérer leurs évaluations de manière plus efficace.
Types d’évaluation
Les différents types d’évaluation peuvent être définis en fonction des éléments suivants, sachant que les évaluations peuvent combiner plusieurs catégories :
Type d’évaluation en fonction du calendrier
Une distinction est établie en fonction du calendrier de l’exercice d’évaluation, c’est-à-dire quand, dans le cycle de vie de l’intervention, l’évaluation est réalisée.
|
Évaluation a priori |
Une évaluation a priori est réalisée avant la mise en œuvre d’une intervention, afin d’apprécier la validité de la conception, des populations cibles et des objectifs. Une évaluation a priori comprend des critères et une analyse qui ne sont pas couverts par les évaluations des besoins, les appréciations ou les études de faisabilité. |
|
Évaluation en temps réel |
Les évaluations en temps réel sont principalement effectuées dans des situations d’urgence, aux premiers stades de la mise en œuvre, afin de fournir aux responsables de l’intervention un retour d’informations instantané sur une opération en cours. |
|
Évaluation à mi-parcours |
Une évaluation à mi-parcours est réalisée pendant la phase de mise en œuvre d’une intervention à des fins d’amélioration de sa performance ou, dans certains cas, en vue d’en modifier l’objectif si celui-ci n’est plus réaliste en raison de facteurs inattendus ou de difficultés de mise en œuvre. |
|
Évaluation finale |
Une évaluation finale est effectuée à la fin, ou presque à la fin, d’une intervention afin d’examiner la performance générale et l’obtention des résultats, mais aussi pour informer les parties prenantes qui ne sont pas directement associées à la gestion et à la mise en œuvre de l’intervention (donateurs ou entités gouvernementales). |
|
Évaluation a posteriori |
Une évaluation a posteriori est effectuée quelques mois après la fin d’une intervention afin d’évaluer les effets directs immédiats et à moyen terme ainsi que la durabilité des résultats. Elle examine notamment la mesure dans laquelle l’intervention a contribué à des changements directs ou indirects. Cependant, une évaluation a posteriori n’est pas aussi robuste qu’une évaluation d’impact. |
Types d’évaluation en fonction de la finalité
Les évaluations définies en fonction de leur finalité peuvent être formatives ou sommatives. Les évaluations formatives sont réalisées pendant la mise en œuvre dans le but d’améliorer la performance. Elles visent à aider les responsables à ajuster et à améliorer la mise en œuvre du projet, du programme ou de la stratégie sur la base des constatations de l’évaluation ainsi que des suggestions et des besoins des parties prenantes. Les évaluations sommatives sont menées à la fin d’une intervention, également au profit des parties prenantes qui ne sont pas directement associées à la gestion de la mise en œuvre, telles que les donateurs. Elles fournissent des informations sur l'efficacité de l'intervention et donnent l'occasion d'utiliser les e mettre à profit les pratiques exemplaires identifiées lors de l'évaluation. Une évaluation sommative peut éclairer la prise de décisions de niveau supérieur, par exemple lorsqu’il s’agit de transposer une intervention à plus grande échelle, de la consolider ou de continuer à financer les phases de suivi.
| En fonction de la finalité de l'évaluation | |||
|---|---|---|---|
|
|
||
Types d’évaluation en fonction des personnes chargées de la réaliser
Une troisième distinction est faite en fonction de la ou des personnes qui effectuent l’exercice d’évaluation. Il existe trois types d’évaluation en fonction des personnes qui réalisent l’évaluation : a) interne ; b) externe ; et c) mixte.
|
Évaluation interne |
|
|
Évaluation externe |
|
|
Évaluation mixte |
|
Les évaluations conjointes sont effectuées par un groupe d’organismes, éventuellement avec la participation de donateurs. « Il peut y avoir plusieurs degrés de partenariat, selon que les partenaires coopèrent plus ou moins au processus d’évaluation, regroupent leurs ressources et restituent ensemble les résultats ».
? Si les évaluations conjointes sont très utiles et encouragées, leur organisation est toutefois plus exigeante que pour une simple évaluation externe ou interne, en raison de la coordination requise entre les parties participantes concernant la planification, la définition du mandat et le financement de l'exercice.
Les conséquences financières et logistiques de chaque type d’évaluation varieront en fonction de la ou des personnes qui effectuent l’évaluation. Si une personne (ou une société) ou une équipe d’évaluation externe est chargée de réaliser l’évaluation, elle facturera ce service. Les honoraires des évaluateurs dépendront de leur expérience, de leurs qualifications et de l’endroit où ils exercent (à expérience égale, des évaluateurs recrutés localement seront souvent moins chers que des évaluateurs recrutés sur le plan international), ainsi que de la complexité et de la difficulté du mandat. Des honoraires additionnels pourront être facturés pour les déplacements dans des lieux dangereux. Le montant à inscrire au budget variera en outre selon que l’évaluation doit être effectuée par un évaluateur seul ou par une équipe d’évaluation.
Pour plus d’informations concernant la décision de recourir à un évaluateur seul ou à une équipe d’évaluation, voir la sous-section Sélection du ou des évaluateur(s) du présent chapitre.
Lors de la phase d’élaboration du cycle du projet, les concepteurs de projet doivent consulter les fonctionnaires chargés des achats et des ressources humaines pour estimer la rémunération usuelle des différents membres de l’équipe d’évaluation envisagée et, si nécessaire, demander conseil auprès de l’Unité d’évaluation d’OIG.
Les concepteurs de projet devront également estimer la durée de l’évaluation en fonction de son objectif et de sa portée, afin de pouvoir anticiper le coût potentiel de l’exercice. Les honoraires des évaluateurs sont souvent calculés sur la base d’un taux journalier, et les concepteurs de projet doivent donc estimer combien de jours sont nécessaires pour chacune des tâches suivantes:
- Examen initial des documents et de la littérature spécialisée ;
- Voyages (le cas échéant) ;
- Établissement du rapport initial ;
- Collecte et analyse des données ;
- Présentation des constatations initiales ;
- Établissement du projet de rapport ;
- Révisions et finalisation du rapport d’évaluation.
À l’OIM, le nombre de jours de travail pour effectuer une évaluation se situe habituellement entre 20 et 40 jours, répartis sur une période allant de un à trois mois.
Si une évaluation interne est effectuée par un membre du personnel de l’OIM en poste dans un autre bureau et qui ne participe pas au projet, le temps passé sur place pour l’évaluation sera considéré comme un déplacement officiel (TDY). Pour une auto-évaluation interne, ou des évaluations réalisées par un membre du personnel du bureau d’exécution, il n'y a normalement pas d’honoraires à inscrire au budget, à l'exception de ceux associés à la collecte et à l'analyse des données (par exemple, pour la collecte de données effectuée par des enquêteurs ou pour les visites sur le terrain).
Les fichiers d'évaluateurs internes et externes sont gérés par l’Unité d’évaluation d’OIG et les fonctionnaires régionaux chargés du suivi et de l’évaluation. Les évaluateurs internes ont généralement été formés dans le cadre de la formation des évaluateurs internes gérée par le Bureau de l’Inspecteur général et les fonctionnaires régionaux chargés du suivi et de l’évaluation, qui peuvent aider les bureaux à identifier des évaluateurs internes et externes répondant à leurs besoins.
? Pour plus d’informations sur la budgétisation d’une évaluation dans le cadre d’une intervention de l’OIM, voir l’annexe 5.1. Budgétisation de l’évaluation.
Types d’évaluation en fonction des spécificités techniques et de la portée
Le quatrième groupe des types d’évaluation est défini en fonction des spécificités techniques et de la portée de l’évaluation. Ce groupe étant le plus diversifié, cette section présente les types d’évaluation les plus courants et renvoie à des références additionnelles fournies dans l’encadré Ressources et dans les annexes. La portée d’une évaluation permet de savoir sur quoi l’exercice portera et le type d’évaluation à effectuer.
L’OIM effectue généralement des évaluations de programme ou de projet qui examinent, respectivement, une série d’activités regroupées en vue d’atteindre des objectifs précis en matière d’assistance au niveau mondial, régional, national ou sectoriel, et une activité individuelle conçue pour atteindre des objectifs précis dans les limites d’un budget et d’une période donnés. L’OIM peut également effectuer des évaluations de stratégie ou de politique. Ces évaluations peuvent recourir à des approches similaires à celles adoptées pour les évaluations de programme ou de projet. En outre, l’OIM réalise des évaluations thématiques, qui portent sur un certain nombre d’aspects ou sur des questions transversales de différents types d’assistance (tels que la pauvreté, l’environnement ou la problématique femmes-hommes).
Les types d’évaluation suivants sont relativement courants à l’OIM et dans le cadre d’activités de coopération internationale, et méritent donc d’être mentionnés. Une évaluation de processus analyse la dynamique interne des organisations d’exécution, leurs moyens d’action, leurs mécanismes de fourniture de services, leurs pratiques de gestion et les corrélations entre eux. Une évaluation de programme de pays ou évaluation de l’assistance pays est plus couramment réalisée par les organismes des Nations Unies et dans le cadre d’une assistance bilatérale utilisant des approches de programmation par pays : Elle se définit comme l’évaluation du portefeuille de projets de développement d’un ou plusieurs donateurs ou organismess.
En outre, l’OIM réalise également des metaévaluations, qui visent à évaluer la qualité, le bien-fondé, la valeur et l’importance d’une ou plusieurs évaluations.
Les évaluations peuvent également être définies en fonction de leur spécificité technique et de l'approche qui sera utilisée au cours de l'évaluation. Il peut par exemple s’agir d’une évaluation participative, qui peut être définie comme une méthode d'évaluation selon laquelle les représentants des organismes et des parties prenantes (y compris les bénéficiaires) travaillent ensemble à la conception, à la réalisation et à l'interprétation d'une évaluation. L'effort de collaboration mérite d'être souligné, mais il supposent des contraintes organisationnelles qui rendent l'exercice relativement complexe. Il convient aussi d’établir une distinction entre l'évaluation participative et les techniques participatives. Ces dernières consistent, par exemple, en des discussions de groupe ou des réunions préparatoires, et peuvent être incluses en tant que méthodes d’évaluation indépendamment des autres types d'évaluation choisis.
- Pour plus d’informations sur les types d'évaluation fondés sur la portée et les spécificités techniques, ainsi que sur d’autres types d'évaluation relevant de cette catégorie, voir l'annexe 5.2. Liste élargie des types d'évaluation en fonction de leurs spécificités et de leur portée.
Ressources de l’OIM
2017a Module 6. In: Manuel des projets de l’OIM. Deuxième édition. Genève (lien interne uniquement). Geneva (Internal link only).
2018a IOM Evaluation Policy. OIG, septembre.
Ressources externes
Aubel, J.
1999 Participatory Program Evaluation Manual: Involving Program Stakeholders in the Evaluation Process. Child Survival Technical Support Project and Catholic Relief Services, Maryland.
Cosgrave, J., B. Ramalingam and T. Beck
2009 Real-time Evaluations of Humanitarian Action – An ALNAP Guide. Réseau d’apprentissage pour la responsabilisation et l’efficacité en matière d’assistance humanitaire (ALNAP).
Ministère des affaire étrangères (Danemark), Danida
2004 Meta-Evaluation: Private and Business Sector Development Interventions. Copenhagen.
Organisation de coopération et de développement économiques (OCDE)
2010 Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats. CAD de l’OCDE, Paris.
Groupe des Nations Unies pour l’évaluation (GNUE)
2016a Norme et règles d’évaluation. New York.
United States General Accounting Office (GAO)
1992 The Evaluation Synthesis. GAO/PEMD 10.1.2. Révisé en mars 1992.
Une évaluation d’impact vise à déterminer tous les changements à long terme, positifs et négatifs, primaires et secondaires, prévus ou imprévus, produits directement ou indirectement par le projet.
Comme indiqué ci-dessus, une évaluation d'impact vise spécifiquement à déterminer l'ensemble des effets découlant d'une intervention, y compris les effets et changements à long-terme positifs et négatifs, primaires et secondaires produits par le projet, directement ou indirectement, intentionnellement ou non.
De telles évaluations visent également à établir la quantité des changements identifiés attribuables à l'intervention. Elles sont souvent effectuées quelque temps après la fin de l'intervention.
Les évaluations d'impact nécessitent des méthodologies spécifiques et des étapes techniques précises et systématiques afin de pouvoir élaborer des conclusions et des recommandations valides et vérifiées. Le budget nécessaire à la réalisation d'une évaluation d'impact peut être élevé, car elle exige de mener des enquêtes détaillées sur de larges échantillons de population et des groupes de contrôle. En outre, cet exercice peut prendre beaucoup de temps. Il est important d’établir une distinction claire entre une analyse de l’impact ou analyse de l'impact attendu, que l'on peut trouver dans plusieurs types d'évaluation qui utilisent l’impact comme critère d'évaluation, et une évaluation d'impact ou évaluation d'impact rigoureuse, qui requièrt des méthodologies et des approches statistiques pertinentes et strictes pour mesurer l’impact.
? Un principe de base à appliquer avant de décider de réaliser une évaluation d’impact est que les avantages tirés de l’évaluation doivent contrebalancer ses coûts et limites.
Ressources externes
Fonds international de développement agricole (FIDA)
2015 Chapitre 8 : Evaluation de l’impact. In: Manuel de l’évaluation. Deuxième édition. Rome, pp. 96-100.
Public Health England, Gouvernement du Royaume-Uni
2018 Guidance: Outcome Evaluation. 7 août.
Rogers, P.
2014 Présentation de l’évaluation d’impact. Note méthodologique – Evaluation d’impact no 1. UNICEF, Florence.
Groupe des Nations Unies pour l’évaluation (GNUE)
2013 Impact Evaluation in UN Agency Evaluation Systems: Guidance on Selection, Planning and Management. Document d’orientation.
Pour plus d’informations sur la méthodologie de collecte et d’analyse des données pour les évaluations d’impact, voir le Chapitre 4 : Méthodologies de collecte et d’analyse de données pour le suivi et l’évaluation.
L’évaluation axée sur l’utilisation, mise au point par Michael Q. Patton, est une approche possible de l’évaluation. Elle ne préconise pas un type ou une méthodologie d'évaluation en particulier, et peut être appliquée indépendamment du type ou des méthodes choisis pour l'évaluation.
L'évaluation axée sur l'utilisation « part du principe que les évaluations doivent être jugées en fonction de leur utilité et de leur utilisation réelle. Par conséquent, les évaluateurs doivent faciliter le processus d'évaluation et concevoir toute évaluation en tenant soigneusement compte de la façon dont tout ce qui est fait, du début à la fin, influera sur l'utilisation... L'évaluation axée sur l'utilisation se concentre donc sur l'utilisation prévue par les utilisateurs prévus ».
En d'autres termes, l’utilité qu’aura l’évaluation pour ceux qui l'utiliseront. L'évaluation axée sur l’utilisation encourage les évaluateurs à concevoir et à réaliser des évaluations en gardant à l'esprit ce principe fondamental, en veillant à ce que chaque décision et chaque action soient prises de manière à encourager l'utilisation. Cette approche associe d’un bout à l’autre les utilisateurs prévus, exigeant une étroite collaboration entre l'évaluateur, le responsable de l’évaluation et les utilisateurs prévus de l'évaluation, selon le principe voulant que « les utilisateurs prévus sont davantage enclins à utiliser les évaluations s'ils comprennent le processus et les constatations de l'évaluation et qu’ils se les approprient ».
? Une liste de vérification en 17 points a été élaborée en vue de faciliter la mise en œuvre de l’évaluation axée sur l’utilisation.
Patton, M.Q.
2008 Utilization-Focused Evaluation. Quatrième édition. SAGE Publications, Thousand Oaks.
2012 Essentials of Utilization-Focused Evaluation. Première édition. SAGE Publications, Thousand Oaks.
2015 Evaluation in the field: The need for site visit standards. American Journal of Evaluation, 36(4):444-460.
Ramírez, R. et D. Brodhead
2013 Utilization Focused Evaluation: A primer for evaluators. Southbound, Penang.
Critères d’évaluation
L'évaluation s’appuie sur un ensemble de critères pour apprécier une intervention. Les critères d'évaluation sont des normes à l’aune desquelles une intervention peut être évaluée. Bien qu’il existe divers critères, l'OIM utilise principalement deux références établies en matière de critères d'évaluation : a) les critères du CAD de l’OCDE, qui avaient initialement été élaborés pour évaluer les interventions axées sur le développement et ont été ajustés en décembre 2019 pour être également pertinents pour les interventions humanitaires ; et b) les critères du Réseau d'apprentissage pour la responsabilisation et l’efficacité en matière d’assistance humanitaire (ALNAP), qui ont été élaborés pour les interventions humanitaires.
| Tableau 5.1. Sélection des critères d'évaluation | ||
| Type d'intervention | Intervention de développement | Intervention humanitaire |
| Description | Les interventions de développement visent à répondre à des questions structurelles permanentes, en particulier la pauvreté systémique, qui peuvent entraver le développement socioéconomique et institutionnel dans un contexte donné. |
Les interventions humanitaires visent à sauver des vies, à soulager la souffrance et à préserver la dignité humaine pendant et après des crises provoquées par l’homme et des catastrophes naturelles, ainsi qu'à les prévenir et à s'y préparer. |
| Critères d’évaluation |
Critères du CAD de l’OCDE
? Les critères de l’ALNAP peuvent également s’appliquer aux interventions de développement, le cas échéant. |
Critères de l’ALNAP
? Les critères révisés du CAD de l’OCDE peuvent également s’appliquer aux interventions humanitaires, le cas échéant. |
|
|
|
Les critères d'évaluation servent à faciliter l’identification des questions clés auxquelles l'évaluation doit répondre. Les questions d'évaluation doivent être ciblées sur ce qui est nécessaire et pertinent par rapport aux exigences du commanditaire de l'évaluation.
Les critères du CAD de l’OCDE sont communément utilisés par les praticiens de l'évaluation et ont été mis à jour et ajustés en 2019, avec l'ajout d'un nouveau critère, le critère de « cohérence ». Un tableau reflétant ces changements est présenté.ided.
Le CAD de l'OCDE souligne que les critères qu'il énonce, ainsi que leurs définitions, doivent être compris dans un contexte plus large et être lus conjointement avec ses normes et lignes directrices et d’autres normes et lignes directrices relatives à la réalisation d'évaluations.
Le CAD de l'OCDE fait précéder ses critères par les deux principes d'utilisation suivants.
Principe un
Les critères devraient être appliqués de façon réfléchie afin de promouvoir la qualité et l’utilité des évaluations. Ils devraient être appréhendés en tenant compte du contexte – c.-à-d. du cadre spécifique de l’évaluation, du type d’intervention évaluée et des parties prenantes. Les questions d’évaluation (ce que l’on cherche à déterminer) et l’utilisation envisagée des réponses à ces questions devraient éclairer l’interprétation et l’analyse des critères.
Principe deux
L’utilisation des critères dépend de la finalité de l’évaluation. Les critères ne devraient pas être appliqués mécaniquement, mais au contraire être utilisés selon les besoins des parties prenantes concernées et le contexte de l’évaluation. L’analyse évaluative de chaque critère prendra plus ou moins de temps et engagera des ressources plus ou moins importantes selon l’objet de l’évaluation. La disponibilité des données, les contraintes en termes de ressources, le calendrier et les aspects méthodologiques peuvent également influer sur la prise en compte effective d’un critère donné pour l’évaluation et dans l’affirmative, sur la manière dont il est alors pris en compte.
En plus des définitions mises à jour, des exemples de questions d'évaluation sont également présentés pour chaque critère.
Critères d’évaluation du CAD de l’OCDE et de l’ALNAP
| Critères | Définition | Exemples de questions d'évaluation |
|---|---|---|
| Pertinence (CAD de l’OCDE) |
La pertinence est la « mesure dans laquelle les objectifs et la conception de l’intervention correspondent aux besoins, aux politiques et aux priorités des bénéficiaires, du pays, de la communauté internationale et des partenaires/institutions et demeurent pertinents même si le contexte évolue. Remarque : L’expression ‘correspondent aux’ signifie que les objectifs et la conception de l’intervention tiennent compte des conditions – économiques, environnementales, d’équité, sociales, liées à l’économie politique et aux capacités – dans lesquelles l’intervention est menée. Le terme « partenaires/institutions » englobe les administrations (nationales, régionales, locales), les organisations de la société civile, les entités privées et les organismes internationaux participant au financement, à la mise en œuvre et/ ou à la supervision de l’intervention. L’évaluation de la pertinence consiste à examiner les différences et les arbitrages entre des priorités ou des besoins différents. Elle exige également d’analyser toute évolution du contexte pour pouvoir déterminer dans quelle mesure l’intervention peut être (ou a été) adaptée afin de conserver sa pertinence ». |
|
| Caractère approprié (ALNAP) | L’analyse du caractère approprié d’une intervention examine la « proportion selon laquelle les activités humanitaires sont adaées aux besoins locaux, et augmentent en fonction l’appropriation, la redevabilité et la rentabilité ». |
|
| Cohérence (CAD de l’OCDE, récemment ajouté dans la version 2019 et par l’ALNAP) |
Pour le CAD de l’OCDE, la cohérence s’intéresse à la « mesure dans laquelle l’intervention est compatible avec les autres interventions menées au sein d’un pays, d’un secteur ou d’une institution. Remarque : Ce critère cherche à examiner comment d’autres interventions (en particulier des politiques) appuient ou affaiblissent l’intervention évaluée, et inversement. Sont englobés la cohérence interne et la cohérence externe : la cohérence interne concerne les synergies et les interdépendances entre interventions menées par la même institution/ administration, ainsi que la cohérence entre l’intervention et les normes et critères internationaux pertinents auxquels l’institution/administration adhère. La cohérence externe concerne la cohérence entre l’intervention considérée et celles menées par d’autres acteurs dans le même contexte. Elle englobe la complémentarité, l’harmonisation et la coordination avec les autres acteurs, et vérifie que l’intervention apporte une valeur ajoutée tout en évitant le chevauchement d’activités ». L’ALNAP utilise également le critère de « cohérence ». Pour l’ALNAP, la cohérence se réfère dans ce contexte à la « proportion selon laquelle les politiques sécuritaires, développementales, commerciales et militaires ainsi que les politiques humanitaires sont cohérentes et prennent en compte les considérations humanitaires et relatives aux droits de l’homme » |
|
| Efficacité (CAD de l’OCDE et ALNAP) |
Pour l’OCDE/CAD, l’efficacité examine la « mesure dans laquelle les objectifs et les résultats de l’intervention ont été atteints, ou sont en train de l’être, y compris les résultats différenciés entre populations. Remarque : L’analyse de l’efficacité suppose de prendre en come l’importance relative des objectifs ou des résultats ». L’ALNAP utilise ce critère de façon similaire. Il définit l’efficacité comme la « proportion selon laquelle une activité atteint son objectif, ou dans quelle mesure cela pourrait arriver étant donné les résultats ». |
|
| Couverture (ALNAP) |
La couverture est définie comme la « proportion selon laquelle les principaux groupes de population dont la vie est menacée ont été atteints par l’action humanitaire ».
? La couverture peut souvent être incluse dans l’analyse de l’efficacité. |
|
| Coordination (ALNAP) |
La coordination est la « proportion selon laquelle les interventions de différents acteurs sont en phase avec d’autres, promeuvent la synergie, évitent les lacunes, les duplications et les conflits de ressources ».
? La coordination peut souvent être incluse dans l’analyse de l’efficacité. |
|
| Efficience (CAD de l’OCDE et ALNAP) |
L’efficience, pour le CAD de l’OCDE, désigne la « mesure dans laquelle l’intervention produit, ou est sus ceible de produire, des résultats de façon économique et dans les temps. Note: Le terme ‘économique’ désigne la conversion des intrants (fonds, expertise, ressources naturelles, temps, etc.) en extrants, réalisations et impacts de la façon la plus économiquement avantageuse possible, par rapport aux oions envisageables dans le contexte. L’expression « dans les temps » désigne le fait de respecter les délais fixés ou des délais raisonnablement adaés aux exigences du contexte en évolution. Il peut s’agir d’évaluer l’efficience opérationnelle (mesure selon laquelle l’intervention a été bien gérée) ». L’ALNAP inclut également le critère d’efficience et le définit comme « les produits – qualitatifs et quantitatifs – réalisés comme résultat des moyens ». |
|
| Impact (OECD/DAC and ALNAP) |
Pour le CAD de l’OCDE, l’impact examine la « mesure dans laquelle l’intervention a produit, ou devrait produire, des effets importants et de vaste portée, positifs ou négatifs, intentionnels ou non. Remarque : Le critère d’impact porte sur l’importance ultime et les effets potentiellement transformateurs de l’intervention. Il vise à déterminer quels sont ses effets sociaux, environnementaux et économiques à plus long terme ou à plus vaste échelle que ceux déjà évalués au titre du critère d’efficacité. Au-delà des résultats immédiats, le critère d’impact vise à évaluer les conséquences indirectes, secondaires et potentielles de l’intervention, à travers l’examen des évolutions globales et durables des systèmes ou des normes, ainsi que des effets potentiels sur le bienêtre des populations, les droits humains, l’égalité des sexes et l’environnement ». Le critère d’impact de l’ALNAP porte sur « les effets plus larges du projet – sociaux, économiques, techniques et environnementaux – sur les individus, les groupes des deux sexes et d’âge, les communautés et les institutions ». Tout comme pour le critère de l’OCDE/CAD, « les impacts peuvent être intentionnels ou non, positifs et négatifs, macro (sectoriels) et micro (ménages) ». |
|
| Viabilité (CAD de l’OCDE) |
La viabilité désigne la « mesure selon laquelle les bénéfices nets de l’intervention perdureront ou sont susceibles de perdurer. Remarque : Englobe l’examen des capacités financières, économiques, sociales, environnementales et institutionnelles des systèmes nécessaires à la continuité des bénéfices nets dans le temps. Cela comprend les analyses de la résilience, des risques et des arbitrages potentiels entre priorités. Selon le moment où l’évaluation est effectuée, ce processus permettrait d’analyser le flux réel de bénéfices nets ou à estimer la probabilité que les bénéfices nets perdurent à moyen et long terme ». |
|
| Interdépendance (ALNAP) |
Le critère d’interdépendance s’intéresse à la « proportion selon laquelle les activités relevant de l’urgence à court terme sont réalisées dans un contexte qui prend en come les problèmes à plus long terme et interdépendants ».
? Le critère d’interdépendance ajoute une dimension humanitaire au critère de viabilité. |
|
L'importance accordée à certains critères peut varier selon les différentes étapes du cycle de vie de l'intervention. Dans une évaluation a priori, l'accent peut être mis sur la pertinence, tandis que pour une évaluation à mi-parcours, il peut être plutôt placé sur l'efficacité et l'efficience afin de permettre la formulation de recommandations d'amélioration pendant la mise en œuvre. À la fin du cycle de vie de l’intervention, les évaluations finales et a posteriori sont plus indiquées pour apprécier la performance générales de l’intervention, sa viabilité et sont impact. Cependant, les critères d'évaluation doivent toujours tenir come des exigences spécifiques de l'évaluation ainsi que de l'intérêt des utilisateurs finals de l'évaluation et d’autres parties prenantes.
Le commanditaire et/ou le responsable de l’évaluation, en concertation avec les parties prenantes concernées, sélectionne les critères d'évaluation à utiliser et les questions auxquelles l’évaluation doit répondre. Les critères sélectionnés doivent être clairement énoncés dans le mandat et dûment refléter la inalité et la portée de l'évaluation.
Buchanan-Smith, M., J. Cosgrave et A. Warner
2016 Guide de l’évaluation de l’action humanitaire. Réseau d’apprentissage pour la responsabilisation et l’efficacité en matière d’assistance humanitaire de l’Overseas Development Institute (ALNAPde l’ODI), Londres.
Coalition humanitaire
s.d. De l’aide d’urgence au redressement (en anglais).
Organisation de coopération et de développement économiques (OCDE)
2019 Des meilleurs critères pour des meilleures évaluations Définitions adaptées et principes d’utilisation. Réseau du Comité d’aide au développement (CAD) de l’OCDE sur l’évaluation du développement.
2021 Applying Evaluation Criteria Thoughtfully. Éditions OCDE, Paris.
s.d. Critères. Critères du CAD de l’OCDE pour l’évaluation de l’aide au développement.
Le mandat d'évaluation est un cadre essentiel et un outil de planification pour la gestion d'une évaluation, car il donne des précisions claires et détaillées sur les objectifs et la portée de l'évaluation, ainsi que sur les rôles et responsabilités des parties concernées, telles que le responsable de l'évaluation, le ou les évaluateurs, les utilisateurs de l'évaluation et/ou les partenaires éventuels. Il fournit également des informations sur le calendrier, la méthodologie et le budget de l'évaluation. Un mandat mal élaboré peut être une source de confusion et donner lieu à des divergences en matière d’attentes et de priorités parmi les parties concernées. Une bonne compréhension des différents types et critères d'évaluation décrits dans les sections précédentes facilitera la rédaction du mandat d’évaluation. Celui-ci fait partie de l'accord conclu entre l'OIM et les évaluateurs, car il énonce les obligations de l’évaluateur à toutes les étapes du processus, ainsi que les attentes du commanditaire et/ou du responsable de l'évaluation.
À l’OIM, c’est presque toujours l’Organisation elle-même qui fait exécuter l’évaluation, même si, parfois, des donateurs disposent qu’ils en effectueront une à leur niveau. L’entité qui demande l’évaluation doit généralement aussi en établir le mandat. Dans le cas d'évaluations commandées conjointement, cette responsabilité peut être partagées entre les entités participantes. Dans tous les cas, l’OIM, ses partenaires, le cas échéant, et le donateur devront examiner et s’accorder sur le mandat avant sa finalisation.
|
Contexte de l’évaluation |
La section relative au contexte de l’évaluation décrit succinctement le contexte politique, économique, social, environnemental et/ou juridique dans lequel le projet est mis en œuvre. Cette section comprend également une brève description de l’OIM, un résumé succinct de son histoire dans le pays, notamment sous l’angle des domaines thématiques qui sont couverts, ainsi qu’une description de l’intervention à évaluer, de ses objectifs et de ses résultats escomptés. |
|
Finalité/objectif de l’évaluation |
La section relative à la finalité ou à l’objectif de l’évaluation explique pourquoi l’évaluation est menée et quel en est le principal objectif. Elle indique également le public visé par l'évaluation et la manière dont l'évaluation sera utilisée. Il s’agit d’éléments importants qui fournissent des informations sur l’utilisation de l’évaluation à des fins de responsabilité et d'apprentissage, ainsi que sur les personnes susceptibles d’être concernées par les recommandations formulées. |
|
Portée de l’évaluation |
La portée de l’évaluation indique ce sur quoi l’évaluation portera, y compris, par exemple, les composantes ou phases de l’intervention qui seront évaluées, la période de l'intervention à couvrir (phases pertinentes ou années données) ainsi que toute(s) autre(s) intervention(s) devant également être prise(s) en compte ou la zone géographique à couvrir. Cette section peut également indiquer les attentes en matière de recommandations, de bonnes pratiques et d'enseignements susceptibles d’être tirés de l'analyse. S'il existe des aspects précis qui sont exclus de l’évaluation, tels que certaines zones géographiques, ou des limitations en matière de sécurité, il y a lieu de les mentionner dans la section consacrée à la portée de l'évaluation. |
|
Critères d’évaluation |
Les critères d’évaluation sont ceux décrits dans la section précédente de ce chapitre. Les critères sélectionnés pour l’évaluation doivent être clairement énumérés dans cette section du mandat. |
|
Liste des questions de l’évaluation |
Les questions de l’évaluation doivent être définies sur la base des critères d’évaluation sélectionnés. Les questions doivent être classées par critère. |
|
Section relative à la méthodologie |
Cette section décrit les méthodes de collecte et d’analyse de données à appliquer pour réaliser l’évaluation, et informe l'évaluateur en conséquence. Des informations plus précises sur la méthodologie peuvent être fournies par les évaluateurs dans les propositions soumises lors du processus de sélection ou pendant la phase initiale de l’évaluation. Pour plus d’informations sur la méthodologie de l’évaluation, voir le chapitre 4 des Lignes directrices de l’OIM relatives au suivi et à l’évaluation. |
|
Éthique, règles et normes d’évaluation |
Il faut faire figurer la déclaration suivante à la fin du mandat : L'OIM respecte les Normes et règles du GNUE et attend de toutes les parties prenantes de l'évaluation ainsi que du ou des consultants qu’ils connaissent les directives éthiques du GNUE pour l'évaluation (UNEG Ethical Guidelines for Evaluation), ainsi que les codes de conduite du GNUE applicables aux évaluations au sein du système des Nations Unies (UNEG Codes of Conduct for Evaluation in the UN System). |
|
Thèmes transversaux |
Les thèmes transversaux couverts doivent être expliqués dans le mandat et figurer dans la section relative à la portée de l'évaluation, ainsi que dans une sous section spécifique de la section relative aux questions de l’évaluation ou par le biais de questions précises associées aux critères pertinents. En outre, dans la section relative à la méthodologie de l’évaluation, il peut être demandé aux évaluateurs d'envisager des approches et des méthodes d'évaluation qui permettent de dûment traiter les thèmes transversaux (par exemple, lors de la collecte des données et de la présentation de données ventilées par sexe, par zone géographique et par revenu). Le mandat d'évaluation doit tenter de couvrir tous les thèmes transversaux (qui sont, à l'OIM, principalement la problématique femmes-hommes, les droits de l'homme, l'environnement et la responsabilité à l’égard des populations touchées dans les situations d'urgence) ou, le cas échéant, expliquer pourquoi certains thèmes ne sont pas couverts. L'annexe 5.3. Intégration des thèmes transversaux à l'OIM donne une description détaillée des thèmes transversaux utilisés à l'OIM, ainsi que des questions visant à guider l’intégration des thèmes transversaux dans le suivi et l'évaluation. |
|
Budget |
Cette section détaille les ressources disponibles pour l’évaluation, y compris les ressources en nature fournies par l’OIM, telles que le transport ou les services de traduction. Cette section décrit également les coûts liés à l'évaluation qui seront couverts par l'OIM, et ceux qui doivent être couverts par le consultant ou le fournisseur de services. Il s'agit notamment des honoraires du consultant, des frais de voyage, de l'indemnité journalière de subsistance, ainsi que de tous les coûts liés à la collecte de données ou les coûts techniques à prendre en considération. Pour plus d'informations concernant la budgétisation d’une évaluation, voir l'annexe 5.1. Budgétisation de l'évaluation. |
|
Description des rôles |
Cette section décrit les rôles des parties intervenant dans l’évaluation, afin que toutes sachent quelles sont ses tâches à accomplir et ce qu’on attend d’elles. Il s'agit, par exemple, de fournir des informations générales sur la gestion du projet et les points de contact pertinents, tels que ceux chargés de faciliter l'accès aux documents afférents au projet, d'organiser des réunions ou de recueillir des données auprès des partenaires du projet. Une évaluation peut nécessiter la mise en place d'un comité, tel qu'un groupe de référence, un comité de gestion ou un groupe d'apprentissage. Si c’est le cas, il faut le préciser dans cette section. Ces comités sont particulièrement utiles et recommandés pour les évaluations complexes (portant sur plusieurs pays ou plusieurs programmes) qui associent de nombreuses parties prenantes, et ils permettent de garantir une approche participative tout au long de l'évaluation. |
|
Calendrier |
Un calendrier indicatif précise, dans l’ordre chronologique, les dates auxquelles les tâches devront être effectuées ou les documents remis, la quantité de temps impartie pour l’achèvement des tâches ou des produits, et la ou les personnes responsables de l’achèvement de chaque tâche ou document. Le calendrier peut également comprendre les dates des visites de terrain et des enquêtes à réaliser. |
|
Section relative aux prestations à fournir |
Cette section indique les produits devant être générés aux différents stades du processus d’évaluation, ainsi que la ou les personnes responsables de chaque prestation attendue (étant entendu que cela concernera principalement le travail de l’évaluateur). La liste des prestations comprendra vraisemblablement une matrice d'évaluation (voir l'encadré Informations pour plus de détails) et/ou le rapport initial, le projet de rapport d'évaluation à soumettre pour commentaires, ainsi que le rapport d’évaluation final et un mémoire d'évaluation. Elle peut également comprendre des informations concernant une première présentation des constatations ou un atelier de présentation du rapport final aux principales parties prenantes. Pour plus d'informations, voir la sous-section Réalisations attendues de l'évaluation. |
Avant sa finalisation, le mandat peut être transmis à des fins de contrôle de la qualité aux chargés régionaux du suivi et de l’évaluation ou à OIG.
Ressources de l’OIM
s.d.a IOM Checklist - Evaluation ToR (lien interne uniquement).
Annexe 5.4. Modèle de mandat d’évaluation (en anglais) (lien interne uniquement).
Annexe 5.5. Exemples de matrices d’évaluation de l’OIM pour un projet axé sur le développement et pour un projet humanitaire (en anglais) (lien interne uniquement).
Lors de la phase de planification, une fois que la finalité et l'évaluabilité de l'évaluation prévue ont été définies et que le mandat d'évaluation a été élaboré, il y a lieu de sélectionner le ou les évaluateurs, conformément à ce qui a été convenu dans la proposition de projet et/ou le mandat.
Différences entre évaluateurs internes et évaluateurs externes
Le tableau présente certains des avantages respectifs des évaluateurs internes et externes :
| Évaluateur(s) interne(s) | Évaluateur(s) externe(s) |
|---|---|
|
|
Note: Adapté du Module 6 du Manuel des projects de l'OIM, (lien interne uniquement).
Une metaévaluation portant sur des évaluations effectuées par l’OIM entre 2017 et 2019 a montré que le degré de qualité était le même pour les évaluations internes et les évaluations externes.
Il peut être fait appel à une équipe mixte d'évaluateurs internes et externes, dont les rôles et les responsabilités seront définis en fonction des points forts respectifs énumérés ci-dessus. Un évaluateur externe pourrait, par exemple, s’appuyer sur la connaissance de l'organisation que possède un évaluateur interne pour élaborer le rapport initial et se concentrer sur la méthodologie, compte tenu de son expertise en matière d’évaluation.
| Aspects à prendre en considération au moment de sélectionner un évaluateur interne ou externe |
|---|
|
Étant donné les avantages énumérés plus haut, il est utile de tenir compte des points suivants au moment de sélectionner un évaluateur interne ou externe :
|
La durée, le calendrier et la complexité escomptés de l'évaluation peuvent également influer sur le choix entre un évaluateur interne ou externe. Une évaluation peut nécessiter beaucoup de temps et de déplacements dans divers endroits, un aspect qu’il faut prendre en considération lorsqu’on recourt à un évaluateur interne, qui devra continuer à effectuer ses tâches habituelles parallèlement à l’évaluation et, de ce fait, ne sera peutêtre disponible que pour une visite de terrain de courte durée. Il est également possible que le supérieur hiérarchique de l'évaluateur interne s'oppose à un détachement pour une durée et une absence plus longues. Pour mener à bien l’évaluation, les évaluateurs internes peuvent être amenés à travailler sur le rapport d'évaluation pendant une période de trois mois en moyenne, tout en assumant les responsabilités de leur poste à temps plein.
Les questions relatives au calendrier et aux contraintes liées à la sélection d'un évaluateur doivent donc être prises en considération, et le processus de recrutement doit être lancé bien avant la date prévue pour le démarrage de l'exercice d'évaluation. Le recrutement d'un évaluateur externe exige que l'OIM lance un appel à évaluateur(s), qu’elle organise un processus de sélection et qu’elle fasse approuver et signer le contrat conformément aux procédures voulues, ce qui peut également prendre du temps. De telles procédures ne sont pas nécessaires lorsqu’on fait appel à un évaluateur interne, mais la disponibilité de ce dernier doit, dans ce cas, être négociée avec son supérieur hiérarchique à l'OIM. En outre, comme indiqué plus haut, plus de temps sera peut-être nécessaire pour mener à bien l'exercice d’évaluation en raison des tâches en cours du personnel interne.
Sélection du ou des évaluateurs
Parallèlement à la décision de sélectionner un évaluateur interne ou externe, la question de recourir à un ou plusieurs évaluateurs peut également se poser. Par exemple, une équipe peut être nécessaire si une expertise particulière est requise pour analyser la performance d'une intervention (par exemple, un ingénieur pour examiner un aspect du programme lié à la construction, ou un spécialiste de la santé pour examiner la riposte à une maladie précise dans le cadre d'un programme), ou si des évaluateurs nationaux supplémentaires peuvent apporter une valeur ajoutée à l'exercice (comme dans le cas d'interventions complexes nécessitant une bonne connaissance du contexte national, des parties prenantes ou de la politique). Le commanditaire de l'évaluation, le responsable de l’évaluation ou le comité de gestion peuvent décider de l’option la plus adaptée en fonction de la tâche à accomplir, la mentionner dans le mandat et adapter le processus de sélection en conséquence.
Les principaux points à prendre en considération au moment de choisir entre un évaluateur unique ou une équipe d’évaluation peuvent être résumés comme suit :
a) Complexité de l'évaluation : Si l'évaluation nécessite de recueillir beaucoup de données et d’effectuer de nombreuses visites approfondies sur le terrain, que sa portée couvre plusieurs pays, qu’elle nécessite une combinaison de différentes méthodes d'évaluation et l'utilisation de plusieurs langues, ou que le point de vue et l’expertise d'un évaluateur national est nécessaire, il sera peut-être préférable de faire appel à une équipe d’évaluation.
b) Durée de l'évaluation : Si la durée de l'évaluation est courte, il peut être préférable d'envisager une équipe, dont les membres peuvent travailler ensemble et réaliser l'évaluation dans un délai plus court.
c) Domaines d'expertise multiples : Si une évaluation requiert différentes compétences très particulières que ne possède pas un seul évaluateur, il peut être nécessaire d'envisager une équipe d'évaluation qui, grâce à l’expertise de ses différents membres, remplira les conditions requises.
Processus de sélection
La section suivante porte sur le processus de sélection pour recruter un ou plusieurs évaluateurs externes. Ce processus revêtira principalement les deux formes suivantes : a) recrutement d'un consultant individuel ; ou b) engagement d'une société de consultants ou d'un fournisseur de services. Ce processus ne s'applique qu'aux évaluateurs externes, puisque les évaluateurs internes de l'OIM sont pré-identifiés aux niveaux mondial et régional et qu’ils peuvent être recrutés après négociation directe avec le supérieur hiérarchique du ou des évaluateurs identifiés.
Après avoir élaboré le mandat d'évaluation, les bureaux de l'OIM qui souhaitent réaliser une évaluation interne doivent contacter le chargé régional du suivi et de l'évaluation qui leur est désigné. Celui-ci les aidera à identifier un évaluateur disponible sur la base du fichier mondial ou régional existant.
Sélection de consultants individuels
Pour le recrutement d'un seul évaluateur, un appel à évaluateur(s) est lancé, comprenant le mandat d'évaluation (voir l’annexe 5.4. Modèle de mandat d’évaluation) et les éléments additionnels suivants :
- Exigences : liste des compétences requises pour la personne recrutée ;
- Instructions relatives à la soumission des candidatures : Ces instructions doivent indiquer les documents additionnels à soumettre dans le cadre de la candidature, tels que des rapports d'évaluation précédents. Elles doivent également indiquer la date limite de soumission des candidatures et les coordonnées de la personne à laquelle les candidatures doivent être envoyées.
La fonction d’évaluation d’OIG et les chargés régionaux du suivi et de l’évaluation de l’OIM gèrent un fichier de consultants et de fournisseurs de services externes (lien interne uniquement) renfermant des informations détaillées sur l'expertise, les langues pratiquées et les spécialisations, entre autres.
À réception des candidatures, le responsable de l’évaluation ou le comité d'évaluation les examine et présélectionne les candidats. L'OIM a élaboré une fiche de notation et d’analyse des candidatures (voir l’annexe 5.6), qui est un outil utile pour le processus de sélection. Une fois la sélection faite, le responsable de l’évaluation et/ou l’administrateur de programme établissent un contrat conformément aux instructions de l'OIM relatives au recrutement de consultant(s) [IN/84 Guidelines for Selection and Employment of Consultants (lien interne uniquement)].
Sélection d’une société de consultants
Pour sélectionner une équipe d'évaluation, il faut faire une demande de propositions conformément aux instructions de l’OIM relatives aux achats figurant dans le Manuel des achats de l'OIM (lien interne uniquement). Un modèle de demande de propositions pour les évaluations est proposé dans le présent document pour les situations dans lesquelles il est nécessaire de faire appel à une société de consultants (lien interne uniquement).
Le personnel de l'OIM est fortement encouragé à déterminer à l'avance si un seul évaluateur ou une équipe d’évaluation est nécessaire pour une procéder à une évaluation. Si cela n’est pas possible, ils doivent s'adresser à leur chargé régional du suivi et de l’évaluation ou à la fonction d’évaluation d’OIG pour savoir comment sélectionner les évaluateurs et quels processus peuvent les aider.
Annexes
- Annexe 5.4. Modèle de mandat d’évaluation (lien interne uniquement).
- Annexe 5.6. Fiche de notation et d’analyse des candidatures pour les évaluations faisant appel à des évaluateurs externes (lien interne uniquement).
- Annexe 5.12. Modèle de demande de propositions (en anglais).
Ressources de l’OIM
2006 Guidelines to the Differences between Individual and Service Provider Contracts (IN/73) (lien interne uniquement).
2016a Manuel des achats de l’OIM : Achats de biens, de travaux et de services (en anglais) (lien interne uniquement).
2021a Sélection et recrutement de consultants (IN/84 rev.1) (en anglais) (lien interne uniquement).
2021b Changes to Procurement, Implementing Partners Selection and Related Contracting Procedures (IN/284) (lien interne uniquement).
s.d.b Page SharePoint consacrée aux praticiens du suivi et de l’évaluation de l’Unité d’évaluation d’OIG (en anglais) (lien interne uniquement).
- Veillez à ce que des clauses relatives à la confidentialité et à la protection des données, ainsi qu'à la prévention et à la lutte contre l’exploitation et les atteintes sexuelles, figurent dans les contrats.
Il convient en outre d'attirer l'attention des consultants sur les ressources suivantes et, au besoin, de leur fournir ces documents:
Ressources de l’OIM
2010 Manuel de protection des données de l’OIM. Genève.
Autres ressources
Groupe des Nations Unies pour l’évaluation (GNUE)
2010a UNEG Quality Checklist for Evaluation Terms of Reference and Inception Reports. Document d’orientation, UNEG/G/(2010)1.
2008 UNEG Code of Conduct for Evaluation in the UN System. Document de base, UNEG/FN/ CoC(2008).
2016 Normes et règles d'évaluation. New York.
Une fois que le ou les évaluateurs ont été mandatés, le travail d'évaluation proprement dit peut commencer, et trois grandes tâches doivent être accomplies par le responsable de l’évaluation:
a) Superviser la mise en œuvre et le plan de travail de l’évaluation ;
b) Fournir un retour d’informations sur les activités menées aux fins d’élaboration du rapport ainsi que sur le projet de rapport lui-même ;
c) Faire en sorte que les exigences en matière de qualité soient bien comprises et que le contrôle de la qualité fasse l’objet d’un suivi.
Le ou les évaluateurs effectueront l'évaluation au cours de cette phase. C’est pourquoi cette section du chapitre fournit également des informations sur les réalisations attendues que le ou les évaluateurs doivent produire au cours de l'évaluation. Ces informations sont résumées dans la section intitulée Réalisations attendues de l'évaluation.
Le processus de supervision consiste non seulement à superviser le ou les évaluateurs, mais aussi à gérer et à organiser la collecte des documents et autres matériels nécessaires pour l'évaluation, à organiser les visites sur le terrain, les entretiens et les enquêtes écrites, et à maintenir la communication avec les parties prenantes clés.
Lorsqu'ils organisent des activités d'évaluation, les responsables de l'évaluation doivent garder à l'esprit les demandes faites aux parties prenantes, aux bénéficiaires et aux populations touchées en ce qui concerne le temps, les ressources et les efforts qu'ils doivent investir pour fournir des données dans le cadre de l'évaluation. Outre l'obtention du consentement éclairé (voir le chapitre 2 : Normes, règles et gestion du suivi et de l'évaluation), il faut s’assurer que toutes les parties concernées auprès desquelles des données seront collectées soient informées à l’avance et de manière organisée de ce qui leur sera demandé. Il faut également tenir compte des autres activités en cours liées au suivi et à la mise en œuvre qui peuvent formuler des demandes similaires, afin d'éviter de surcharger les parties prenantes clés.
Dès le début de cette phase, le responsable de l'évaluation, le commanditaire de l'évaluation, le comité de gestion de l'évaluation (le cas échéant) et le ou les évaluateurs sélectionnés doivent examiner ensemble le mandat d’évaluation pour s'assurer qu'il n'y a pas de commentaires, de questions ou d’éléments importants devant être renégociés. Il est également d'usage d'organiser une réunion de gestion au début du processus d'évaluation pour s'assurer que le responsable de l'évaluation, le ou les évaluateurs et les parties prenantes (le cas échéant) ont une compréhension commune du processus d'évaluation et des différents rôles et responsabilités. Les évaluateurs doivent en outre rédiger un rapport initial, qui permettra de se faire une idée de la façon dont ils comprennent le mandat d’évaluation et fournira d’utiles informations sur la manière dont ils mèneront l'évaluation (pour plus d’informations sur le rapport initial, voir la section Réalisations attendues de l'évaluation). Tout changement découlant de la révision du rapport initial doit être dûment documenté et mentionné dans les documents pertinents et/ou dans le mandat. À ce stade, le responsable de l’évaluation doit déjà avoir fourni à l'évaluateur ou aux évaluateurs les documents essentiels qui sont nécessaires pour commencer l'évaluation. Des ressources additionnelles pourront être communiquées une fois que l'accord final sur le travail à réaliser est conclu.
En plus des documents concernant spécifiquement l’intervention, les responsables de l'évaluation doivent fournir certains documents clés à l’appui de l’évaluation, afin de s’assurer que les évaluateurs répondent aux attentes de l’OIM en matière d’évaluation :
- IOM Guidance for Addressing Gender in Evaluations: Ce document fournit des orientations pratiques pour faire en sorte que la problématique femmes-hommes soit rises en compte dans les évaluations ;
- IOM Gender and Evaluation Tip Sheet: Cette fiche de conseils vise à aider le personnel associé à la gestion et à la réalisation des évaluations à formuler la portée, les méthodologies et les constatations du suivi et de l’évaluation compte tenu de la problématique femmes-hommes. Elle fournit des orientations détaillées, ainsi que des exemples de critères, d'indicateurs et de constatations soucieux de la problématique femmes-hommes ;
- Une copie du présent chapitre (chapitre 5) des Lignes directrices de l’OIM relatives au suivi et à l’évaluation, en attirant l’attention sur la section Réalisations attendues de l’évaluation, afin que les évaluateurs comprennent bien quelles sont les prestations attendues ;
- Une copie des modèles de rapport initial, de matrice des résultats et de rapport d’évaluation de l’OIM, qui peuvent servir de guide ;
- Les liens vers les listes de contrôle de la qualité du GNUE (et de l’OIM), afin que les évaluateurs sachent comment les évaluations seront examinées ;
- L’annexe 5.10. Modèle de mémoire d’évaluation et orientations.
Une définition claire des rôles et des responsabilités de toutes les parties directement associées à l'évaluation est également essentielle pour une bonne mise en œuvre, chaque personne ayant des tâches précises à accomplir et des délais à respecter afin de garantir la qualité de l’évaluation.
Il est attendu des évaluateurs qu’ils fournissent une série de prestations essentielles, qui doivent être clairement indiquées dans le mandat. Chacune de ces prestations est décrite ci-dessous, avec des informations clés sur leur contenu et leur structure potentielle.
|
Rapport initial
Un rapport initial doit toujours être demandé dans le mandat d’évaluation de consultants externes. Dans le cas d'une évaluation interne, une matrice d'évaluation sera suffisante car elle permettra de structurer la compréhension de l'évaluateur interne concernant l’exercice d’évaluation.
Un élément essentiel du rapport initial est la matrice d'évaluation. Celle-ci est un outil qui oriente l'évaluation en précisant les éléments suivants : a) les critères évalués par l'évaluation ; b) les questions et sousquestions auxquelles il faudra répondre pour évaluer chaque critère ; c) les indicateurs à utiliser pour orienter l'évaluation ; d) les sources de données et les outils de collecte de données. Elle peut représenter clairement la manière dont l'évaluation sera menée, sans toutefoir remplacer le besoin d’un rapport initial complet. Pour des exemples de matrices d'évaluation pour un projet de développement et un projet humanitaire, voir l'annexe 5.5. Exemples de matrices d'évaluation de l'OIM pour un projet axé sur le développement et pour un projet humanitaire. |
|
Rapport d’étape
Le responsable de l'évaluation doit s'assurer que des dispositions logistiques appropriées sont prises pour la collecte des données. En cas de circonstances particulières indépendantes de la volonté de l'OIM ou de l'évaluateur (telles que des conditions météorologiques ou des événements sociaux ou politiques qui empêchent d’effectuer certaines visites sur le terrain), le ou les évaluateurs et le responsable de l'évaluation doivent déterminer si ces circonstances nuiront à la qualité et à la crédibilité de l'exercice et, le cas échéant, envisager des solutions de rechanges méthodologiques et pratiques pertinentes. |
|
Point sur les constatations initiales
|
|
Rapport d’évaluation
? Les rapports d’évaluation finals doivent être établis dans l’une des langues officielles de l’OIM. Si ce n’est pas possible, il faut rédiger un résumé des constatations et des recommandations dans l’une de ces langues. Bien que l'OIM n'exige pas des évaluateurs qu’ils utilisent tous le même modèle de rapport, les rapports sont censés comprendre les tous les éléments suivants :
C'est sur la base de ce rapport que l'évaluation/l’assurance/le contrôle de la qualité seront effectués (voir la section de ce chapitre consacrée aux moyens de garantir la qualité de l'évaluation).
? Des orientations plus détaillées pour chaque composante du rapport d'évaluation sont fournies à l'annexe 5.8. Modèle des composantes des rapports d'évaluation de l'OIM. Un modèle de rapport est fourni à l'annexe 5.9. Modèle de rapport d'évaluation final de l'OIM. |
|
|
|
Présentation finale de l’évaluation
|
|
Matrice préliminaire de réponse de la direction
Pour plus d’informationssur la matrice de réponse de la direction, voir la section de ce chapitre consacrée au suivi et à l'utilisation de l'évaluation. Un modèle de matrice de réponse de la direction est disponible dans le document Management Response and Follow-up on IOM Evaluation Recommendations publié par la fonction d’évaluation d’OIG. |
L’examen du projet de rapport d'évaluation et les réactions à son sujet sont une étape essentielle du processus d'évaluation. La participation du commanditaire de l’évaluation, du responsable (ou du comité de gestion), ainsi que d'autres parties prenantes clés à ce processus offre aussi la garantie que tous les utilisateurs de l'évaluation recevront les informations dont ils ont besoin. Si cela n'est pas fait correctement, l'évaluation risque d’être discréditée par ses utilisateurs après sa publication. Cette étape permet un processus transparent et ouvert d’examen de l'évaluation avant sa finalisation.
Les principales parties prenantes doivent avoir la possibilité de commenter le rapport, ce qui constitue une pratique courante dans le cadre des approches participatives. Si un groupe de référence ou un autre mécanisme de collaboration des parties prenantes a été établi aux fins de l'évaluation, il est possible, en les associant au processus, de garantir une participation plus large au mécanisme de retour d’informations. Les parties prenantes externes peuvent englober les partenaires, les donateurs et les bénéficiaires. Les parties prenantes internes de l'OIM peuvent être les chefs de missions, les spécialistes thématiques régionaux et d'autres membres du personnel ayant contribué à la mise en œuvre (faisant par exemple partie d'autres programmes ayant influencé la mise en œuvre du programme évalué).
Lorsque le projet de rapport est soumis par le ou les évaluateurs, le responsable de l’évaluation doit coordonner les commentaires et les réponses et regrouper tous les retours d'information pour les présenter à nouveau à l’évaluation ou aux évaluateurs sans délai. Le retour d’informations doit se concentrer sur les aspects techniques de l'évaluation ainsi que sur les éléments factuels. Il faut garder à l'esprit que l'évaluateur est tenu d'apporter des corrections factuelles, mais qu’il ne doit pas (et ne devrait pas non plus recevoir de demande dans ce sens) réviser les constatations, les conclusions ou les recommandations d'une manière qui diverge des données factuelles qui sont présentées, ce qui contreviendrait aux normes éthiques en matière d'évaluation.
Si des problèmes importants surgissent durant la phase finale d’élaboration du rapport, l'évaluateur et le responsable de l’évaluation doivent revoir le processus et arrêter un plan pour résoudre les problèmes identifiés. Les difficultés doivent être analysées en profondeur pour savoir si des erreurs ont été commises et si elles peuvent être rectifiées. Toutes les parties concernées peuvent également s'assurer que les recommandations du rapport sont acceptables et faisables.
Si le responsable de l'évaluation et le ou les évaluateurs ne s’accordent pas sur l'interprétation des données et/ ou sur les conclusions et recommandations qui en découlent, le responsable de l’évaluation peut préparer un avis de la direction indiquant les désaccords assortis de justifications.
En général, la révision du rapport final ne doit pas être l’occasion de fournir de nouvelles informations pour l’évaluation, étant donné que les informations pertinentes doivent avoir été fournies au cours des phases de collecte et d'analyse des données. Cependant, si de nouvelles informations pertinentes viennent seulement d’être mises à disposition, ou si un événement récent ou simultané influe sur l'analyse ou les recommandations (comme cela s'est produit avec la crise inattendue de la COVID-19), le responsable de l’évaluation doit en discuter avec l'évaluateur, et un délai supplémentaire peut être accordé aux fins d’intégration des données et informations nouvelles dans le rapport ou un additif au rapport (par exemple, en examinant l’impact de la COVID-19 sur les recommandations déjà formulées).
Les chargés régionaux du suivi et de l’évaluation et/ou la fonction d’évaluation d’OIG peuvent apporter leur aide en cas de désaccord sur les constatations, les conclusions et les recommandations d’un rapport d’évaluation.
Après avoir reçu le retour d’informations consolidé, l'évaluateur révise le rapport selon que de besoin et soumet la version finale.
Il est essentiel de communiquer sur l’état d’avancement de l'évaluation afin de garantir la qualité et la pertinence des rapports. Toutes les parties ont un rôle à jouer, en particulier le responsable de l’évaluation et le ou les évaluateurs. Il est particulièrement important de respecter les normes de qualité en matière d’évaluation car cela permet également de renforcer la crédibilité et l'objectivité de l'exercice. Les normes de qualité garantissent que les évaluations sont menées conformément aux règles de procédure et aux exigences techniques, ainsi qu'aux normes et règles d'évaluation appliquées dans l'organisation.
Chaque acteur de l'évaluation peut contribuer au respect des normes de qualité en apportant des contributions pertinentes. Le contrôle de la qualité relève au premier chef du responsable de l’évaluation, qui doit s'assurer que l’évaluation est menée conformément à la politique et aux directives de l'OIM relatives à l’évaluation, ainsi qu'aux exigences et normes convenues avec d'autres parties prenantes, par exemple le donateur de l'intervention.
| Rôles et activités clés visant à garantir une évaluation de qualité |
|---|
|
Le responsable de l’évaluation doit :
Le ou les évaluateurs doivent :
|
L’OIG recommande d'utiliser les listes de contrôle de la qualité du GNUE pour s’assurer que les normes de qualité sont respectées. Deux listes différentes ont été élaborées conformément aux Normes et règles du GNUE : le document UNEG Quality Checklist for Evaluation Terms of Reference and Inception Reports (Liste de contrôle de la qualité du cahier des charges de l’évaluation et des rapports de lancement du GNUE) et le document UNEG Quality Checklist for Evaluation Reports (Liste de contrôle de la qualité des rapports d'évaluation du GNUE).
L’OIM prévoit de publier son propre outil de contrôle de la qualité/assurance qualité, qui sera destiné à être utilisé par les responsables des évaluations lors de l’examen des rapports.
Il est essentiel de communiquer sur l’état d’avancement de l'évaluation afin de garantir la qualité et la pertinence des rapports. Toutes les parties ont un rôle à jouer, en particulier le responsable de l’évaluation et le ou les évaluateurs. Il est particulièrement important de respecter les normes de qualité en matière d’évaluation car cela permet également de renforcer la crédibilité et l'objectivité de l'exercice. Les normes de qualité garantissent que les évaluations sont menées conformément aux règles de procédure et aux exigences techniques, ainsi qu'aux normes et règles d'évaluation appliquées dans l'organisation.
Chaque acteur de l'évaluation peut contribuer au respect des normes de qualité en apportant des contributions pertinentes. Le contrôle de la qualité relève au premier chef du responsable de l’évaluation, qui doit s'assurer que l’évaluation est menée conformément à la politique et aux directives de l'OIM relatives à l’évaluation, ainsi qu'aux exigences et normes convenues avec d'autres parties prenantes, par exemple le donateur de l'intervention.
| Rôles et activités clés visant à garantir une évaluation de qualité |
|---|
|
Le responsable de l’évaluation doit :
Le ou les évaluateurs doivent :
|
L’OIG recommande d'utiliser les listes de contrôle de la qualité du GNUE pour s’assurer que les normes de qualité sont respectées. Deux listes différentes ont été élaborées conformément aux Normes et règles du GNUE : le document UNEG Quality Checklist for Evaluation Terms of Reference and Inception Reports (Liste de contrôle de la qualité du cahier des charges de l’évaluation et des rapports de lancement du GNUE) et le document UNEG Quality Checklist for Evaluation Reports (Liste de contrôle de la qualité des rapports d'évaluation du GNUE).
L’OIM prévoit de publier son propre outil de contrôle de la qualité/assurance qualité, qui sera destiné à être utilisé par les responsables des évaluations lors de l’examen des rapports.
Les cadres analytiques du GNUE permettant d’analyser la qualité de l'évaluation (voir l’encadré Ressources) doivent être fournis aux évaluateurs pour s'assurer qu'ils connaissent bien les attentes de l'OIM en matière de qualité de l'évaluation. Ils peuvent également être utilisés par les responsables de l’évaluation et les chargés régionaux du suivi et de l'évaluation lors de l’élaboration du mandat d’évaluation et des rapports initiaux, ainsi que lors de l’examen du rapport d'évaluation.
Si le ou les évaluateurs engagés produisent un rapport initial de mauvaise qualité, le responsable de l'évaluation doit leur offrir la possibilité de le modifier jusqu'à ce qu'un consensus soit atteint sur sa qualité. Si le rapport initial demeure insatisfaisant et qu'il figure parmi les principales prestations attendues, il faut envisager de résilier le contrat plutôt que de prendre le risque de recevoir un produit final de mauvaise qualité. Les chargés régionaux du suivi et de l’évaluation et/ou la fontion d’évaluation d’OIG peuvent également être contactés pour des conseils sur le processus de négociation avec le ou les évaluateurs et sur la décision de mettre fin au contrat.
Il est important que le contrat avec le ou les évaluateurs soit structuré de manière à permettre au responsable de l'évaluation de réagir de manière appropriée, et qu’il comprenne une clause stipulant que l'OIM se réserve le droit de retenir le paiement, en totalité ou en partie, si les services ne sont pas fournis dans leur intégralité ou sont insuffisants. Cette même clause peut être appliquée pour la finalisation du projet de rapport d'évaluation, ce qui en permettra de retenir le paiement final si les normes de qualité ne sont toujours pas atteintes après plusieurs tentatives de correction.
- Les chargés régionaux du suivi et de l'évaluation et/ou la fonction d’évaluation d’OIG peuvent être consultés pour définir les paramètres de qualité et, en coordination avec le Bureau des affaires juridiques de l'OIM, si des mesures contractuelles doivent être prises en cas de non respect des normes de qualité.
Ressource de l’OIM
2019 Management Response and Follow-Up on IOM Evaluation Recommendations. Unité d’évaluation d’OIG (lien interne uniquement).
Autres ressources
American Society for Quality (ASQ)
s.d. Quality assurance and quality control.
Banque mondiale
2015 Managing Evaluations: A How-To Guide for Managers and Commissioners of Evaluations. Washington, D.C.
Outils
Groupe des Nations Unies pour l’évaluation (GNUE)
2010a UNEG Quality Checklist for Evaluation Terms of Reference and Inception Reports. Document d’orientation, UNEG/G(2010)1.
2010b UNEG Quality Checklist for Evaluation Reports. Document d’orientation, UNEG/G(2010)/2.
Une fausse idée largement répandue au sujet de la gestion d'une évaluation consiste à croire que le processus d'évaluation est réputé terminé une fois que le rapport final a été soumis et approuvé. En réalité, l’élaboration et l'approbation du rapport ne représentent que les deux premiers tiers du processus, étant entendu que la principale raison d'être et le principal intérêt d'une évaluation résident dans le dernier tiers, à savoir l'utilisation du rapport, de ses constatations et de ses recommandations.
| Le dernier tiers |
|---|
|
Après l'approbation du rapport final, le commanditaire ou le responsable de l'évaluation doit travailler sur le suivi des recommandations de l'évaluation en coordination avec la haute direction et les parties prenantes du projet, le cas échéant. Le commanditaire et le responsable de l'évaluation doivent également examiner avec les entités pertinentes la manière dont les constatations du rapport seront diffusées auprès d’un public plus large. Le responsable de l'évaluation finalisera ensuite la matrice de réponse de la direction rédigée par l'évaluateur conformément aux instructions données dans la publication de l'OIM Management Response and Follow-Up on IOM Evaluation Recommendations.
| La matrice de réponse de la direction est un outil destiné à: |
|---|
|
Il s’agit d’un outil de suivi auquel il y a lieu de se reporter à intervalles réguliers, jusqu’à ce que toutes les mesures de suivi soient menées à bien ou qu’elles ne soient plus applicables. L'utilisation pertinente des évaluations en tant qu'outil de responsabilité doit se faire rapidement. C’est pourquoi il est recommandé de mener à bien les mesures de suivi et le processus d'examen dans les 18 mois suivant la soumission finale de l'évaluation, même si toutes les mesures de suivi n'ont pas été finalisées. La surveillance de la mise en œuvre de la matrice de réponse de la direction peut être confiée à un membre du personnel en particulier du bureau. L'état d'avancement des mesures de suivi indiquées dans la matrice doit être communiqué aux entités concernées, ainsi qu’aux chargés régionaux du suivi et de l’évaluation et à la fonction d’évaluation d'OIG pour archivage.
La matrice de réponse de la direction peut être complétée directement dans PRIMA, mais une version Word peut aussi être téléchargée dans PRIMA. Les administrateurs de programme et de projet recevront un rappel pour remplir la matrice de réponse de la direction, et 12 mois après la finalisation du rapport d'évaluation, un autre rappel sera envoyé pour faire le point sur l’état d’avancement de la mise en œuvre des recommandations.
Il est important de partager les rapports d'évaluation et de les faire largement connaître afin de garantir qu’une utilisation pertinente en soit faite. Les responsables et/ou les commanditaires de l’évaluation peuvent vouloir étudier et élaborer une stratégie de communication et de diffusion, ce qui nécessitera de prendre des mesures et d’effectuer une analyse afin d’atteindre le public visé. Les aspects suivants peuvent être pris en considération :
- Comment l’évaluation sera-t-elle utilisée et diffusée ?
- Comment les constatations du rapport d’évaluation seront-elles communiquées aux divers groupes de parties prenantes susceptibles d’avoir des points de vue divergents ?
- Quel est le meilleur moment pour diffuser l’évaluation afin qu’elle soit utilisée de manière optimale ?
La diffusion des évaluations permet d’atteindre l’objectif d'apprentissage, car elle permet aux connaissances acquises grâce à l'évaluation d’être largement utilisées aux fins d’amélioration de la qualité des nouvelles interventions et des méthodes de mise en œuvre. Il est recommandé de réfléchir dès le début de la phase de planification à la manière dont les évaluations seront diffusées et auprès de qui. Ces décisions doivent également tenir compte des besoins spécifiques lorsqu'il s'agit de décider de partager les évaluations en interne, au sein de l'OIM, ou à l’extérieur.
L'approche de l’évaluation axée sur l’utilisation peut fournir d’utiles informations lorsqu’on planifie la diffusion de l'évaluation et/ou élabore une stratégie de communication et de diffusion. Pour plus d'informations, voir l'encadré d'information Évaluation axée sur l'utilisation.
La politique de l’OIM relative à l’évaluation (IOM Evaluation Policy) précise que tous les rapports d'évaluation doivent être publiés, mais que la stratégie de diffusion peut varier. Dans le cas d'une évaluation diffusée à l’extérieur – par exemple, l'évaluation d'une stratégie de l'OIM (institutionnelle, régionale ou nationale) ou d'une politique (généralement institutionnelle) – tous les États Membres de l'OIM et, éventuellement, certains donateurs, pourraient être intéressés, alors que les évaluations de projet ne présenteront peut-être un intérêt que pour le ou les gouvernements locaux et le ou les donateurs qui ont financé le projet. Cependant, dans le cas des projets, la diffusion en externe peut s’étendre aux partenaires d’exécution, aux organisations non gouvernementales (ONG) participantes et/ou aux bénéficiaires, ce qui ne sera pas nécessairement le cas pour l'évaluation d'une stratégie de l'OIM.
Une distinction similaire peut être faite dans le cas des rapports diffusés en interne. Si l'évaluation d'une politique est généralement diffusée au niveau des départements, les évaluations de projets, de programmes et de stratégies locales ou régionales, pour leur part, sont plus utilies pour les bureaux extérieurs concernés et les spécialistes thématiques pertinents aux niveaux régional et départemental. Si l'évaluation d’une politique est principalement diffusée au niveau des départements à des fins d’organisation du suivi ou de l’apprentissage, elle peut également être partagée plus largement, y compris avec l’ensemble des bureaux de l'OIM du monde entier, susceptibles d’être intéressés par une politique institutionnelle. Il existe en outre des cas de figure très spécifiques ; par exemple, les chargés régionaux du suivi et de l’évaluation et la fonction d’évaluation d’OIG doivent être tenus informés de la publication des évaluations afin de les ajouter à leur registre central de rapports d'évaluation et/ou de les publier sur la page Web de l'OIM consacrée à l'évaluation.
D’une manière générale, il est recommandé d’avoir une seule et même version d'un rapport pouvant être diffusée à la fois à l’extérieur et en interne auprès de toutes les parties prenantes, quels que soient leurs points de vue. Il est arrivé, dans un petit nombre de cas, que deux versions d'un rapport d'évaluation soient produites – l'une destinée à une diffusion limitée et à un usage interne, et l'autre destinée à une utilisation externe. Tel peut être le cas, par exemple, lorsque certaines sections d’un rapport traitent de questions confidentielles ou sensibles liées à des activités de démobilisation. En cas de doute concernant la diffusion d'un rapport d'évaluation, le responsable de l'évaluation doit consulter le chef de mission pour les interventions à l’échelle des pays, les directeurs régionaux pour les interventions régionales ou interrégionales, et/ou le chargé régional du suivi et de l’évaluation ou la fonction d’évaluation d’OIG.
Une fois approuvés, les rapports d'évaluation doivent être transmis à la fonction d’évaluation d’OIG, qui les ajoutera au registre central et les publiera sur la page Web de l'OIM consacrée à l’évaluation.
Comme indiqué dans la section du présent chapitre sur les réalisations attendues de l'évaluation, un résumé ou mémoire d'évaluation distinct est également requis. Ce document doit être élaboré par l'évaluateur, afin de fournir un rapport plus court et succinct sur certains éléments clés. Des orientations relatives à l’élaboration d'un mémoire d'évaluation, qui constitue une prestation obligatoire, ainsi qu'un modèle de mémoire d'évaluation, sont disponibles à l'annexe 5.10. Modèle de mémoire d'évaluation et orientations.
| Modalités de partage des évaluations |
|---|
|
|
Ressources de l'OIM
2019 Management Response and Follow-Up on IOM Evaluation Recommendations. Fonction d’évaluation d’OIG (lien interne uniquement).
s.d.c Registre des évaluations de l’OIM (en anglais).
s.d.d Page Web de l’OIM consacrée à l’évaluation (en anglais).
L’utilisation des informations issues des évaluations présente de multiples avantages. Les praticiens doivent les appliquer comme il se doit afin de renforcer la responsabilité, d’améliorer la performance et de consolider les prises de décision grâce à l'apprentissage. La responsabilité peut être définie comme « l’obligation de rendre compte du fait que le travail a été conduit selon les règles et les normes convenues, ou l’obligation de rendre compte de façon claire et impartiale sur les résultats et la performance, au regard du mandat et/ou des objectifs fixés. Cela peut exiger une démonstration précise, voire juridique, que le travail a été accompli selon les termes du contrat ».
L'une des façons d'utiliser les informations tirées de l'évaluation consister à les diffuser au niveau de l'organisation, ce qui permet de générer des connaissances à des fins de planification et de mise en œuvre actuelles et futures, ainsi que de favoriser une culture de l’apprentissage et de la connaissance dans l'organisation et de contribuer à sa responsabilité générale. Les connaissances tirées des évaluations permettent également de fournir des informations fondées sur des éléments factuels à l’organisation. L'apprentissage doit se trouver au cœur de l’évaluation, notamment à travers des systèmes efficaces d’apprentissage et de partage de l'information.
Organisation de coopération et de développement économiques (OCDE)
2010 Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats. CAD de l’OCDE, Paris.
Les connaissances et l’apprentissage découlant de l'évaluation peuvent contribuer aux processus institutionnels d'apprentissage et de planification grâce à une réflexion régulière, à l'accessibilité des rapports d'évaluation et à d'un échange régulier d'informations lors de sessions d'apprentissage. Ceci peut être visualisé comme suit :
Outre l'évaluation, d'autres processus peuvent renforcer l’apprentissage tiré des interventions. Voici trois exemples d'approches évaluatives qui peuvent intégrer une dimension d'apprentissage en plus d’une dimension de responsabilité et qui sont également utilisées à des fins de suivi :
a) Enseignements tirés ;
b) Analyse de la performance du projet ; et
c) Analyses a posteriori.
Enseignements tirés et apprentissage
Les enseignements tirés peuvent être compris comme des généralisations fondées sur les expériences d'évaluation de projets, programmes, stratégies ou politiques, qui ne tiennent pas compte des circonstances spécifiques afin de pouvoir s’appliquer à des situations plus larges. Souvent, les enseignements tirés mettent en évidence les points forts et les points faibles en matière de préparation, de conception et de mise en œuvre qui influent sur la performance, les effets directs et l'impact d’une intervention. En d'autres termes, ils décrivent les connaissances tirées des expériences faites dans des situations précises. En documentant les enseignements tirés et en les intégrant dans d'autres interventions, on peut améliorer la qualité de la fourniture de services. Plus particulièrement, les enseignements tirés peuvent permettre d’éviter certaines pratiques qui échouent régulièrement à produire les résultats escomptés ou de ne pas commettre d’autres erreurs courantes.
Le graphique ci-après donne un aperçu du processus d'identification des enseignements tirés (par la mise en œuvre et l'évaluation de la mise en œuvre), de la façon dont ils sont formulés et, enfin, de leur intégration et de leur utilisation en vue d’améliorer la mise en œuvre.
Si les enseignements tirés ressortent généralement de la mise en oeuvre d'une évaluation, ils peuvent également être dégagés à l’occasion d'ateliers d’apprentissage qui réunissent diverses parties prenantes afin qu’elles réfléchissent aux performances et identifient les enseignements tirés d'une intervention. Cette approche peut également être suivie pour les interventions menées aux niveaux politique ou stratégique ; dans ces cas, les parties prenantes pourront être invitées à réfléchir à leur façon d’aborder un sujet ou un domaine thématique spécifique au fil du temps.
Autre concept similaire en matière de production de connaissances tirées d'une évaluation, la notion de bonne pratique peut être définie comme l'identification d'une procédure qui a démontré qu'elle produit des résultats de manière satisfaisante et qu’il est proposé d’utiliser comme pratique « standard » pouvant être largement adoptée. Un enseignement tiré d'une pratique identifiée comme produisant des résultats véritablement satisfaisants et comme méritant d'être reproduite et éventuellement étendue, peut, avec le temps, être considéré comme une « bonne pratique émergente ».
Bien que l'apprentissage soit abordé ici comme une approche d’évaluation parmi d'autres, il est important de souligner que les évaluateurs sont généralement censés intégrer les enseignements tirés dans leur rapport. Voir la section Planification de l'évaluation : élaboration du mandat d'évaluation (Portée de l'évaluation).
En général, la diffusion des enseignements tirés peut se faire dans le cadre de la diffusion d'un rapport d'évaluation final ou d’une manière similaire. Ils peuvent, en particulier, être incorporés dans tout document résumant l'évaluation mis à la disposition des utilisateurs concernés. Le modèle de mémoire d'évaluation et orientations (annexe 5.10) contient une section consacrée à la présentation des enseignements tirés, le cas échéant.
Dans certains cas, les enseignements tirés pourront présenter un intérêt particulier pour des spécialistes thématiques, qui les diffuseront plus largement à des fins d’application dans des interventions analogues. Il est fondamental de tenir compte des enseignements tirés lors de la conception de nouvelles interventions, au niveau des projets ou des programmes, ainsi que lors de l'élaboration d'orientations stratégiques et politiques fortes concernant un domaine d’action précis de l'OIM. Par conséquent, les responsables de l'évaluation doivent réfléchir attentivement aux personnes auxquelles ils communiqueront les enseignements tirés et les bonnes pratiques identifiées à des fins d’intégration optimale dans les interventions futures planifiées de l'OIM.
Organisation internationale du travail (OIT)
2014 Evaluation Lessons Learned and Emerging Good Practices. Note d’orientation 3, 25 avril.
Analyse de la performance du projet
L'OIM a mis au point un outil d’analyse de la performance des projets, qui évalue principalement la performance d'un projet ou d'un programme en utilisant les critères du CAD de l’OCDE, en portant une attention particulière à l'efficacité et à l'efficience. L’analyse de la performance d’un projet vise à aider les bureaux extérieurs à évaluer la performance de leurs interventions selon une approche constructive, participative et coordonnée. Cet exercice a généralement lieu durant la mise en oeuvre, afin que des mesures correctives puissent être prises en cas de besoin. Il consiste à analyser succinctement les critères de pertinence, d'impact et de durabilité, et peut s’intéresser à la mesure dans laquelle les effets directs d'une intervention sont atteints ou peuvent l'être grâce aux activités mises en œuvre, ainsi que la mesure dans laquelle les produits sont obtenus.
Une analyse de la performance du projet s’intéresse également aux questions transversales, analyse le niveau de responsabilité à l’égard des bénéficiaires et des populations touchées, en particulier dans les situations d'urgence, et examine le lien entre l'intervention et les stratégies à l’échelle mondiale, régionale ou nationale.
Il est important de noter qu'une analyse de la performance n’est pas une évaluation, car elle est moins complète. Une évaluation nécessite plus de temps et de préparation, couvre les questions plus en détail et permet une analyse et des constatations davantage fondées sur des éléments factuels. Les autres différences entre une analyse de la performance et une évaluation peuvent être résumées comme suit :
Ressources de l'OIM
2018b Planifier, réaliser et utiliser des analyses de la performance des projets (en anglais). Unité d’évaluation d’OIG, juin (lien interne uniquement).
- Modèle d’outil d’analyse de la performance d’un projet
- Modèle de rapport d’analyse de la performance d’un projet
- Lecteur pour les rapports d’analyses de la performance des projets
- Préparation pour les analyses de la performance des projets
- Plan d’action relatif aux recommandations de l’analyse de la performance d’un projet
After-action review
Une analyse a posteriori est un examen structurel d’une intervention qui permet à une équipe d'examiner et de réfléchir à ce qui s'est produit, pourquoi cela s'est produit et comment préserver les points forts et améliorer les points faibles.
Une analyse a posteriori comprend les étapes suivantes :
Source: Adapté de Buchanan-Smith et al., 2016 et USAID, 2006.
Dans un premier temps, les participants réfléchissent collectivement à leur compréhension du ou des objectifs ou de la visée de l’action menée. Ils établissent ensuite une chronologie de ce qui s'est réellement produit et de ce qui a changé au fil du temps. L'étape suivante est davantage axée sur une approche analytique, puisqu'ils identifient ce qui a bien marché et pourquoi, ainsi que ce qui aurait pu mieux marcher et pourquoi. À la fin du processus, les conclusions relatives à ce qui pourrait être mieux fait la prochaine fois sont résumées sous forme d’enseignements tirés. En cas de points de vue multiples, il est possible d’inviter les participants de voter pour ce qu'ils jugent être les trois enseignements tirés les plus importants. Une discussion d’analyse a posteriori est un processus facilité qui ne durera pas plus d'une demi-journée ou d'une journée. En fonction du temps et des ressources disponibles, elle peut être soit formelle, ce qui suppose un travail préparatoire supplémentaire, soit informelle, comme présenté dans l'encadré ci-dessous.
| Principales caractéristiques de l'analyse a posteriori | |
|---|---|
|
Analyses formelles
|
Analyses informelles
|
Source: Adapté de USAID, 2006.
Buchanan-Smith, M., J. Cosgrave et A. Warner
2016 Guide de l’évaluation de l’action humanitaire. ALNAP/ODI, Londres.
USAID
2006 After-Action Review: Technical Guidance. PN-ADF-360. Washington, D.C
D’autres exemples d’approches et d’outils d’évaluation sont résumés ci-dessous :
| Approches et ressources additionnelles | |
|---|---|
|
Changement le plus significatif |
De quoi s'agit-il ?
L’approche dite du changement le plus significatif (MSC) est un outil participatif qui consiste à recueillir des récits personnels de changements perçus et à déterminer lequel de ces récits est le plus significatif et pourquoi.
Une explication plus détaillée de cette approche est donnée à l’annexe 5.11. Approches évaluatives : changement le plus significatif. |
Boîtes à outils et guides concernant le changement le plus significatif
Asadullah, S. et S. Muñiz
2015 Participatory Video and the Most Significant Change: A guide for facilitators. InsightShare, Oxford.
BetterEvaluation
s.d. Changement le plus significatif. Ressource en ligne.
Davies, R. et J. Dart
2005 The ‘Most Significant Change’ Technique – A Guide to Its Use.
Réseau Pan Asie du Centre de recherches pour le développement international
2008 Jess Dart – Most significant change, partie I. Vidéo.
| Approches et ressources additionnelles | |
|---|---|
|
Modèle de Kirkpatrick |
De quoi s'agit-il ?
Le Modèle de Kirkpatrick est un modèle d’évaluation de la formation qui comprend les quatre niveaux suivants : a) réaction ; b) apprentissage ; c) comportement ; et d) résultats. Il s'agit d'une méthode couramment appliquée pour évaluer les résultats acquis lors d'une formation. Un formulaire générique d'évaluation post-formation a été élaboré, qui peut être facilement modifié en fonction des besoins des parties intéressées.
|
OIM
2017b Reaching results through training. Webinaire, 25 juillet (lien interne uniquement)
MindTools
s.d. Kirkpatrick’s four-level training evaluation model: Analyzing learning effectiveness.
| Approches et ressources additionnelles | |
|---|---|
|
Examen par les pairs |
De quoi s'agit-il ?
L'examen par les pairs est un processus qui peut aider à donner des conseils sur des questions relatives à la qualité et sur la conformité avec des normes. Il est généralement mené par d'autres spécialistes du même domaine, choisis pour leur connaissance du sujet. Ce processus a été utilisé à l'OIM pour, par exemple, l'examen de la mise en œuvre du Plan d’action à l’échelle du système des Nations Unies pour l’égalité des sexes et l’avancement des femmes (UN-SWAP), auquel ont participé deux ou trois autres organismes faisant l'objet d'un examen mutuel. Un mécanisme d'examen par les pairs a également été mis au point par le GNUE en partenariat avec le CAD de l'OCDE en vue d’examiner la politique d'évaluation des membres du GNUE.
|
Groupe des Nations Unies pour l’évaluation (GNUE)
2011a UNEG Framework for Professional Peer Reviews of the Evaluation Function on UN Organizations. Document de référence, UNEG/ REF(2011)1.
2018a Background note on the UNEG peer review mechanism. Document de travail.
2018b Modalities for evaluating, reviewing or assessing an evaluation function. Document de travail.
s.d. Integrating gender equality and human rights in evaluation – UN- SWAP guidance, analysis and good practices.
| Approches et ressources additionnelles | |
|---|---|
|
Récolte des résultats |
De quoi s'agit-il ?
La récolte des résultats est une approche évaluative qui peut être utilisée pour collecter des données sur des interventions. Comme son nom l'indique, la récolte des résultats permet de rrecueillir (« récolter ») des éléments factuels attestant des changements survenus (effets directs). Une fois les changements identifiés, on travaille à rebours pour déterminer si et comment ces changements sont liés à l’intervention visée.
|
Outcome Harvesting
s.d. Page d’accueil (en anglais).
Outcome Mapping
2014 What is outcome harvesting? Video, 15 January.
Wilson-Grau, R.
2015 Outcome harvesting. BetterEvaluation.
Adapté du Module 6 du Manuel des projets de l’OIM (lien interne uniquement).
Cliquez ICI pour plus d'informations.
Adapté de fonction d’évaluation d’OIG, IOM Evaluation Guidelines (janvier 2006), annexe 2.
Évaluation groupée : Évaluation qui analyse un ensemble d'activités, de projets ou de programmes connexes afin d'identifier les éléments et thèmes communs.
Évaluation de programme national / Évaluation-pays : Évaluation de l’ensemble des mesures de développement d’un ou plusieurs donateurs ou organismes.
Évaluation transversale : Évaluation systématique de divers rapports d'évaluation sur un type de projet précis, sur des projets mobilisant un secteur en particulier, ou sur un instrument ou thème particulier, destinée à examiner et, éventuellement, mettre à jour des directives existantes en matière de politique de développement.
Évaluation de l’autonomisation : Évaluation qui promeut une collaboration étroite entre l'évaluateur et les participants au projet/programme afin de produire des résultats d'évaluation plus intéressants et plus utiles. L'évaluation de l'autonomisation est nécessairement une activité de groupe collaborative, et non une démarche individuelle.
Évaluation approfondie : Approche qui consiste à axer l'évaluation ou une partie de l'évaluation sur une catégorie de produits ou sur un groupe ou une catégorie d'impacts.
Évaluation intégrée : Approche de la mise en œuvre fondée sur une autoévaluation relativement continue des principaux acteurs et participants, selon des critères préétablis liés à la finalité et à l’objectif de l'assistance fournie.
Métaévaluation : Évaluation visant à juger de la qualité, du bien-fondé, du travail et de l'importance d'une évaluation ou de plusieurs évaluations.
Évaluation partielle du système : Évaluation également utilisée dans les situations d’urgence, qui ne couvre qu’une partie du système. Elle peut être associée à des évaluations thématiques ou sectorielles.
Évaluation participative : Méthode d’évaluation selon laquelle les représentants des organismes et les parties prenantes (y compris les bénéficiaires) collaborent à la conception, à la réalisation et à l'interprétation d'une évaluation.
Évaluation de processus : Évaluation de la dynamique interne d’organismes d’exécution, de leurs instructions politiques, de leurs mécanismes de fourniture de services, de leurs pratiques de gestion et des articulations entre tous ces éléments.
Évaluation d’impact quasi expérimentale : Évaluation qui compare différents groupes avant et après la mise en œuvre d’un programme, afin d'évaluer l'impact de ce programme et la valeur ajoutée d’investissements additionnels. Elle utilise des études rapides et économiques qui combinent l'exploitation des ensembles de données existants avec des enquêtes rapides par sondage, des études rétrospectives, des entretiens, etc.
Évaluation en temps réel : Évaluation effectuée dans des situations d'urgence qui vise à fournir un retour d’information rapide sur les interventions humanitaires et à stimuler directement une amélioration des performances organisationnelles et opérationnelles. La méthodologie ne peut pas être rigide, et nécessite flexibilité et adaptabilité tout en garantissant la qualité.
Évaluation sectorielle : Évaluation de diverses mesures d’aide qui relèvent toutes du même secteur, soit dans un pays, soit dans plusieurs pays. Un secteur couvre un domaine d'activités précis, tel que la santé, les entreprises, l'éducation, le transport ou l'agriculture.
Évaluation de l’intervention d’un seul organisme : Évaluation effectuée elle aussi dans des situations d'urgence, qui couvre la réponse générale mise en oeuvre par un organisme en particulier.
Évaluation d’un seul organisme/projet : Évaluation visant un seul projet mené par un seul organisme dans une situation d'urgence.
Évaluation par les parties prenantes : Évaluation qui associe des organismes, des organisations, des groupes ou des individus qui sont directement ou indirectement intéressés par l'aide au développement ou qui influencent la mise en œuvre et ses résultats ou qui en profitent ou en subissent les effets. Les parties prenantes travaillent ensemble pour élaborer et finaliser des instruments et procédures, formuler des recommandations et prendre des décisions tout au long du processus d'évaluation (terme associé : évaluation participative, axée sur la méthodologie).
Évaluation stratégique : Évaluation d'une question particulière visant à en promouvoir une compréhension plus approfondie, à réduire le champ des incertitudes associées aux différentes options envisagées pour traiter cette question, et à aider à parvenir à un modus vivendi entre les parties concernées. Elle est généralement indiquée lorsque l'urgence de la question entraîne des risques élevés pour les parties prenantes et que des divergences de vues sont apparues.
Évaluation de synthèse : « Procédure systématique visant à organiser les constatations de plusieurs études d'évaluation disparates, permettant ainsi aux évaluateurs de rassembler les résultats de différents rapports d'évaluation et de poser des questions concernant le groupe de rapports ainsi constitué ».
Évaluation à l’échelle du système : Évaluation effectuée dans des situations d'urgence qui porte sur la réponse apportée par l'ensemble du système à une catastrophe ou une crise particulière.
Évaluation à base théorique : Évaluation visant à permettre une compréhension approfondie du fonctionnement d'un programme ou d'une activité, de la théorie ou de la logique qui sous-tendent un programme. Elle ne doit pas supposer de simples relations linéaires de cause à effet, mais doit identifier les facteurs déterminants ou causaux jugés importants pour la réussite d’un programme ou d’une activité, ainsi que la manière dont ces facteurs sont susceptibles d’interagir.
United States General Accounting Office (GAO)
1992 The Evaluation Synthesis. GAO/PEMD 10.1.2. Révisé en mars 1992.
Les thèmes transversaux peuvent être définis comme des aspects ou des domaines additionnels qui recoupent une intervention, ou qui peuvent être facilement intégrés dans cette dernière, sans que l’intervention ne soit détournée de ses objectifs principaux. L'intégration d'un thème transversal s’entend généralement d’une stratégie visant à faire en sorte qu’en raison de son importance, ce thème fasse partie intégrante de la conception, de la mise en œuvre et du suivi et de l'évaluation des politiques et interventions de l'organisation. L’intégration de thèmes transversaux peut évoluer au fil du temps, et de nouveaux thèmes peuvent être ajoutés. Ces thèmes ne sont pas nécessairement les mêmes dans toutes les organisations, et tous ne présentent pas forcément un intérêt pour une intervention.
Cette section aborde les thèmes suivants : a) approche fondée sur les droits ; b) protection transversale ; c) inclusion du handicap ; d) prise en considération systématique de la problématique femmes-hommes ; e) vulnérabilité et durabilité environnementales ; et f) responsabilité à l’égard des populations touchées. Il est important de noter que la présente annexe ne traite que du suivi et de l'évaluation des questions transversales. Lorsqu’un de ces domaines thématiques devient la composante principale d'une intervention, il ne doit plus être considéré comme un thème transversal.
? Dans le mandat d’évaluation, il y a lieu de veiller à ce que les questions relatives à l’intégration des thèmes transversaux pertinents figurent dans une section spécifique ou qu’elles soient reprises sous les critères correspondants, en précisant qu’elles seront examinées en tant que thèmes transversaux.
| Approche fondée sur les droits |
|---|
|
De quoi s'agit-il ?
L’approche fondée sur les droits est un cadre conceptuel et un outil méthodologique pour l’élaboration de politiques et de pratiques. Ce terme désigne l'intégration consciente et systématique de droits, normes et règles découlant du droit international dans les programmes, en mettant principalement l’accent sur la migration dans le cas de l'OIM. Une approche des programmes de migration fondée sur les droits vise à autonomiser les détenteurs de droits et à renforcer la capacité de débiteurs d’obligations à s’acquitter de leurs obligations de protection à l’égard des détenteurs de droits. |
|
Bien qu'il n'existe pas de concordance de vues universelle sur la manière d’appliquer concrètement une approche fondée sur les droits dans les interventions, elle comprend généralement les aspects suivants, qui peuvent être mis en œuvre dans le contexte de la migration :
|
|
Comment procéder au suivi et à l'évaluation de l'approche fondée sur les droits
Lorsqu'elle est considérée comme un thème transversal, l’approche fondée sur les droits exige de mesurer le processus de programmation et son respect des principes relatifs aux droits. Ces principes peuvent être intégrés dans une matrice des résultats et faire l’objet d’un suivi en conséquence. Ils peuvent également être mesurés sans être énoncés dans la matrice, au moyen d’un outil de suivi. Enfin, l'approche fondée sur les droits peut et doit être intégrée dans une évaluation ; celle-ci doit analyser les questions relatives aux droits, même si les projets proprement dits ne visent d'objectif ou d’effet direct spécifiquement fondé sur les droits. |
Les personnes chargées du suivi de l'approche fondée sur les droits dans le cadre d'une intervention peuvent également se référer au manuel de l'OIM intitulé Rights-based Approach to Programming, qui comprend une section sur le suivi et l’évaluation et présente un outil de suivi à l’annexe IV.
Voici quelques questions pouvant être posées lors des processus de suivi et d'évaluation afin de s'assurer qu’une approche fondée sur les droits est suivie :
Participation
- Les différentes parties prenantes (y compris les détenteurs de droits et les débiteurs d’obligations) ont-elles été associées à la planification et à la conception du suivi et de l’évaluation du projet, ainsi qu’à la détermination du type de données à recueillir ?
- D'autres personnes ou groupes, tels que des groupes locaux de la société civile ou des ONG locales, sont-ils associés au processus ?
- Des groupes clés, en particulier les groupes de détenteurs de droits les plus marginalisés, sont-ils inclus et/ou associés au processus de suivi et d’évaluation ?
Égalité et absence de discrimination
- Le processus de suivi et d’évaluation est-il expressément conçu, au travers de ses objectifs et de ses effets directs, pour déceler ou mesurer la discrimination à l'encontre de groupes particuliers ?
- Les données recueillies sont-elles correctement ventilées, par exemple par âge, handicap, appartenance ethnique, sexe, nationalité et statut migratoire, afin de repérer les éventuelles lacunes en matière d’égalité et de non-discrimination au niveau des produits et des effets directs de l'intervention ?
Responsabilité, transparence et état de droit
- Les processus de suivi et d’évaluation sont-ils directement liés à des droits ? Mesurent-ils, par exemple, la réalisation de droits particuliers ?
- Les processus de suivi et d’évaluation prévoient-ils une forme ou une autre de mécanismes de dépôt de plaintes, et comment celles-ci sont-elles traitées ?
- Les constatations issues du processus de suivi et d’évaluation sont-elles partagées publiquement et de manière transparente ?
- Les constatations issues du processus de suivi et d’évaluation sont-elles utilisées pour promouvoir des changements dans la législation ou la politique de l’État ?
Pendant l'évaluation, l'évaluateur doit également tenir compte des conseils suivants pour s'assurer que l’approche fondée sur les droits est bien intégrée dans le processus d'évaluation :
a)Prévoir des mécanismes garantissant que les groupes de détenteurs de droits les plus marginalisés sont ou ont été associés à l'évaluation.
b) En tant qu'évaluateur, se demander si toutes les parties prenantes ont été incluses, et comment l'évaluation détectera ou mesurera la discrimination à l'égard de groupes particuliers ? Par exemple, l'évaluation peut être conçue pour détecter toute forme de pratique discriminatoire qui pourrait s’être produite pendant la mise en œuvre du projet ou par suite du projet.
c) Identifier les canaux permettant de traiter toutes les plaintes susceptibles d’être reçues au cours de l'évaluation.
Ressources de l’OIM
2015b Annexe IV: Rights-based monitoring tool. In: Rights-based Approach to Programming. Genève, p. 144.
2017a Annexe 4.2: Questions visant à orienter la prise en considération des thèmes transversaux lors de la phase de gestion et de suivi du cycle de projet de l’OIM (Module 4). In: Manuel des projets de l’OIM. Deuxième édition. Genève (lien interne uniquement).
| Protection transversale |
|---|
|
De quoi s'agit-il ?
La protection transversale s’entend de « [l’inclusion des] principes de protection humanitaire dans les réponses à une crise, en veillant à ce que toute intervention soit assurée en fonction des besoins et de manière à éviter toutes conséquences négatives involontaires (ne pas nuire), à ce qu’elle donne la priorité à la sécurité et à la dignité, qu’elle repose sur la participation et l’autonomisation des capacités locales et, en définitive, qu’elle oblige les acteurs humanitaires à rendre compte de leur action aux personnes et communautés touchées ». |
|
L'OIM est déterminée à intégrer la protection dans tous ses programmes humanitaires car elle vise à garantir une programmation sûre. L'OIM intègre les quatre principes de la protection transversale, qui sont fondamentaux pour les interventions menées dans des situations de crise et d'après-crise :
|
|
En adhérant à la Déclaration du Comité permanent interorganisations (IASC) sur la place centrale de la protection dans l'action humanitaire, l'OIM réaffirme que la protection de toutes les personnes et communautés touchées ou à risque doit être au cœur des prises de décision et des interventions humanitaires avant, pendant et après une crise Les dimensions des crises humanitaires se rapportant à la mobilité se traduisent souvent par des flux de migration et des schémas de mobilité complexes et de grande ampleur qui impliquent généralement des vulnérabilités importantes et variées pour les personnes et les communautés touchées. Pour les interventions élaborées dans le cadre des secteurs d'assistance du Cadre opérationnel de l’OIM en cas de crise migratoire (COCM), |
|
Dans le cadre de l’action humanitaire, la protection peut prendre la forme de trois interventions principales :
Les projets qui utilisent la première approche, c’est-à-dire la protection transversale, veillent à ce que toutes les réponses soient apportées dans le respect de chacun des principes régissant la protection transversale au sein de l'intervention elle-même. La protection transversale relève de la responsabilité de l’ensemble des acteurs.
L'intégration de la protection consiste à incorporer les objectifs de protection dans la programmation des interventions d’autres secteurs […] en vue d’atteindre les résultats souhaités en la matière.”
Les activités de protection spécialisées visent directement à prévenir et à combattre les violations des droits de l’homme et du droit humanitaire ou à restaurer les droits des personnes particulièrement vulnérables à la négligence, à la discrimination, aux abus et à l’exploitation ou exposées à ces risques. Les activités de protection ponctuelles englobent des activités visant à prévenir des risques précis en matière de protection […], des violations […] et des besoins et à y répondre, notamment pour des groupes ciblés, tels que les femmes, les enfants, les personnes présentant un hndicap les personnes âgées, les personnes déplacées et les migrants.” |
|
Comment procéder au suivi et à l'évaluation de la protection transversale
As per the Guidance Note on Protection Mainstreaming, relevant interventions should monitor to what extent protection mainstreaming was effectively integrated during implementation. Furthermore, evaluations should be conducted through a participatory and inclusive approach to integrate protection mainstreaming considerations. Examples include sex and age diversity during consultations and not exclusively relying on community leaders to identify respondents such as marginalized groups. |
La Note d'orientation sur la protection transversale présente un outil de suivi et d'évaluation à l’annexe 3.
|
Voici quelques questions à envisager pour effectuer le suivi et l'évaluation de la protection en tant que thème transversal, ainsi que pour garantir l'adhésion aux principes de protection :
|
|
Quelques conseils sont donnés ci-après aux fins de l’intégration de la protection transversale dans les évaluations :
|
Ressources de l’OIM
2012 Cadre opérationnel de l’OIM en cas de crise migratoire, MC/2355.
2016b Note d’orientation sur la protection transversale dans toutes les interventions de l’OIM en cas de crise (ou dans tous les secteurs d’assistance du Cadre opérationnel en cas de crise migratoire) (en anglais). IN/232.
2017a Annexe 4.2: Questions visant à orienter la prise en considération des thèmes transversaux lors de la phase de gestion et de suivi du cycle de projet de l’OIM (Module 4). In: Manuel des projets de l’OIM. Deuxième édition. Genève (lien interne uniquement).
2018c Cadre institutionnel de lutte contre la violence basée sur le genre en situation de crise. Genève.
s.d.e Protection transversale dans toutes les interventions de l’OIM en cas de crise (en anglais).
s.d.f Note d’orientation sur la protection transversale – Annexe 3 (en anglais) (lien interne uniquement).
Autres ressources
2013 La place centrale de la protection dans l’action humanitaire : Déclaration des hauts responsables du Comité permanent interorganisations (en anglais).
2016 Politique du Comité permanent interinstitutions sur la protection dans le cadre de l’action humanitaire (en anglais).
| Inclusion du handicap |
|---|
|
L'inclusion du handicap dans les interventions de l'OIM a gagné en importance ces dernières années, dans la ligne des initiatives promues par les Nations Unies. L'inclusion du handicap requiert une attention particulière afin qu’elle soit pleinement intégrée en tant que question transversale dans les efforts de suivi et d'évaluation.
De quoi s'agit-il ?
On estime que les personnes handicapées représentent 15 % de la population mondiale. Dans certaines situations humanitaires, elles peuvent représenter un pourcentage beaucoup plus élevé et faire partie des personnes les plus marginalisées dans les communautés touchées par une crise. Les personnes présentant un handicap peuvent subir de multiples formes de discrimination et être exposées à un risque accru de violence et de maltraitance, souvent lié à leur situation sociale et à d'autres identités croisées (sexe, âge, race et groupes autochtones).
La Convention relative aux droits des personnes handicapées affirme que les États parties doivent protéger et promouvoir les droits des personnes présentant un handicap dans leurs lois, leurs politiques et leurs pratiques. Ils doivent également se conformer aux normes établies par ce traité dans le cadre de la coopération internationale. La Convention relative aux droits des personnes handicapées, ainsi que les objectifs de développement durable et le Cadre de Sendai pour la réduction des risques de catastrophes énoncent de nouvelles normes qui protègent les personnes présentant un handicap. |
|
Outre les cadres juridiques, l’action de l'OIM en matière d'inclusion du handicap s’inspire également der la Stratégie des Nations Unies pour l'inclusion du handicap (UNDIS), lancée en 2019, ainsi que des Directives du IASC sur l’intégration des personnes handicapées dans l'action humanitaire. Les engagements pris par l'OIM au Sommet mondial sur le handicap en 2018 occupent une place importante dans l’élaboration de programmes qui prennent le handicap en considération. |
|
La Convention relative aux droits des personnes handicapées définit les personnes handicapées comme des personnes qui présentent des incapacités physiques, mentales, intellectuelles ou sensorielles durables dont l’interaction avec diverses barrières peut faire obstacle à leur pleine et effective participation à la société sur la base de l’égalité avec les autres. Conformément à la Convention relative aux droits des personnes handicapées, l’OIM doit veiller à ce que ses interventions tiennent compte des obstacles qui empêchent les personnes présentant un handicap dans toute leur diversité de participer ou d'accéder aux services et/ou à la protection. La Stratégie des Nations Unies pour l’inclusion du handicap et les directives du IASC recommandent toutes deux d'adopter une approche à deux volets, qui combine des programmes généraux inclusifs et des interventions ciblées à destination des personnes handicapées. |
Les Directives du IASC renferment des orientations sectorielles sur la manière d'assurer un suivi et une évaluation intégrant le handicap dans l’action humanitaire.
|
Comment assurer le suivi et l'évaluation de l'inclusion du handicap Afin de garantir l’inclusion du handicap dans une intervention, il est recommandé de surveiller le respect des principes et normes suivants : a) promouvoir une participation significative ; b) éliminer les barrières rencontrées par les personnes handicapées ; et c) autonomiser les personnes handicapées afin de les aider à développer leurs capacités. Une série de questions et d'actions sont énumérées ci-après, qui sont nécessaires pour s'assurer que ces principes sont respectés dans le cadre des interventions. |
|
Promouvoir une participation significative des personnes handicapées
Est-ce que l’intervention :
Éliminer les barrières rencontrées par les personnes handicapées
Est-ce que l’intervention :
Autonomiser les personnes handicapées afin de les aider à développer leurs capacités
Est-ce que l’intervention :
|
|
Les directives du Groupe des Nations Unies pour l’évaluation (GNUE) intitulées Intégrer les droits de l’homme et l’égalité des sexes aux évaluations, l’indicateur 10 relatif à l’évaluation du cadre de responsabilité de la Stratégie des Nations Unies pour l'inclusion du handicap, ainsi que les directives du IASC énoncent des règles sur la façon d’évaluer l’action de l’OIM en matière d’inclusion du handicap, ainsi que les points suivants, applicables à une analyse transversale :
Les questions d’évaluation couvrent différents aspects de l’inclusion du handicap. Les questions d'évaluation relevant des différents critères d'évaluation ou d’un critère précis montrent l'étendue et la qualité de l'inclusion du handicap. Les méthodes de cartographie des parties prenantes à l’évaluation et de collecte de données font participer les personnes handicapées et les organisations qui les représentent. Les personnes présentant un handicap et les OPH peuvent contribuer à l'évaluation par des informations de première main sur leur situation et leur expérience. L'évaluation examine si les obstacles ont été éliminés pour permettre la pleine participation des personnes handicapées. Elle peut également inclure une analyse de l'impact à long terme sur la vie des personnes handicapées et la reconnaissance de leurs droits conformément aux normes internationales. |
Ressources de l’OIM
s.d.e Protection transversale dans toutes les interventions de l’OIM en cas de crise (en anglais).
s.d.g Page SharePoint consacrée à l’inclusion du handicap (en anglais) (lien interne uniquement).
Autres ressources
Gouvernement du Royaume-Uni
s.d. IOM’s commitments made at the Global Disability Summit in 2018.
Comité permanent interorganisations (IASC)
2019 Directives sur l’intégration des personnes handicapées dans l’action humanitaire (en anglais).
Nations Unies
s.d.a Indicator 10: Evaluation. In: Entity Accountability Framework. Notes techniques.
s.d.b Stratégie des Nations Unies pour l’inclusion du handicap (UNDIS) (en anglais).
Groupe des Nations Unies pour l’évaluation (GNUE)
2011b Intégrer les droits de l’homme et l’égalité des sexes aux évaluations – Vers un document d’orientation (en anglais). UNEG/G(2011)2.
| Prise en considération de la problématique femmes-hommes |
|---|
|
De quoi s'agit-il ?
L'OIM s’emploie activement à intégrer la problématique femmes-honnes dans toutes ses interventions. Diverses politiques et orientations sont disponibles à l’appui de cet engagement (voir l'encadré Ressources). L'Unité de coordination des questions de sexospécificité de l’OIM est chargée de promouvoir l'égalité entre les sexes à l'OIM et propose les éléments de réflexion suivants et les définitions ci-après du genre, de l’analyse des sexospécificités et de la prise en considération de la problématique femmes-hommes : |
|
Genre : Attributs et potentialités associées au sexe d’une personne et aux rapports entre personnes appartenant à des sexes et à des groupes d’âge différents (comme les femmes, les hommes, les filles et les garçons), et relations entre personnes de même sexe. Ces attributs, potentialités et rapports sont socialement construits et sont intériorisés dans le cadre du processus de socialisation. Ils sont propres à un contexte et à une époque et peuvent évoluer. Le genre détermine ce qui est attendu, autorisé et valorisé chez les personnes en fonction de leur sexe dans un contexte donné. Dans la plupart des sociétés, il existe des différences et des inégalités entre personnes de sexe différent sous l’angle des responsabilités attribuées, des activités entreprises, de l'accès et de contrôle des ressources, ainsi que des possibilités décisionnelles. Le genre est indissociable du contexte socioculturel plus large. Analyse des sexospécificités : Examen critique de la façon dont les différences entre les rôles, les expériences, les besoins, les possibilités et les priorités des hommes et des femmes touchent des personnes de sexe et de groupes d’âge différents dans une situation ou un contexte donné. Une analyse des sexospécificités doit être intégrée dans toutes les évaluations sectorielles et dans les analyses de situation, à commencer par l'évaluation des besoins. |
|
Prise en considération de la problématique femmes-hommes : Processus d'évaluation des conséquences de toute action planifiée, y compris des lois, des politiques ou des programmes, pour des personnes de sexe différent, dans tous les domaines et à tous les niveaux. Il s'agit d'une approche visant à faire en sorte que les préoccupations et les expériences de chacun soient pleinement prises en considération dans la conception, la mise en œuvre, le suivi et l'évaluation des interventions dans toutes les sphères politiques, économiques et sociétales, afin que les personnes de tout sexe en bénéficient sur un pied d’égalité et que les inégalités ne se perpétuent pas. L'objectif ultime de la prise en considération de la problématique femmes-hommes est de parvenir à l'égalité entre les sexes. |
|
Comment procéder au suivi et à l'évaluation de la prise en considération de la problématique femmes-hommes
D’un bout à l’autre de ses interventions, l'OIM vise à promouvoir l'égalité entre les sexes et à s'assurer que l’ensemble de ses bénéficiaires et des populations auxquelles elle vient en aide reçoivent les services et le soutien dont ils ont besoin, compte tenu de leurs expériences sexospécifiques, afin que les interventions ne perpétuent pas les inégalités entre les sexes.
Voici quelques éléments simples permettant de garantir la prise en considération de la problématique femmeshommes et d’en assurer le suivi dans le cadre d'une intervention en tant que thème transversal :
Marqueur de l’égalité hommes-femmes : Le marqueur de l’égalité hommes-femmes de l'OIM est un outil qui permet de déterminer dans quelle mesure les interventions prennent en considération les questions relatives à la problématique femmes-hommes. Il établit un ensemble clair de normes minimales régissant la prise en considération des questions d’égalité entre les sexes et définit un système de codage fondé sur le nombre de normes minimales respectées. Il permet à l'OIM de mesurer le pourcentage de ses interventions et de ses ressources financières destinées à contribuer à l'égalité entre les sexes. Le marqueur de l’égalité hommes-femmes vise à améliorer la qualité des interventions de l'OIM en soulignant l'importance de répondre aux besoins et préoccupations spécifiques des femmes, des filles, des garçons et des hommes, y compris des personnes qui se définissent comme lesbiennes, gays, bisexuels, transgenres et/ou intersexués (LGBTI), appartenant à des groupes d’âge différents, afin que chacun puisse bénéficier des interventions de manière appropriée. L'évaluation peut offrir la garantie qu'une attention appropriée est accordée aux éléments sumentionnés (et à toute autre question relevant de la problématique femmes-hommes) et qu'ils sont correctement pris en compte dans la méthodologie d'évaluation, les constatations/résultats, les difficultés et les enseignements tirés. L'OIM a élaboré des directives relatives à la prise en considération de la problématique femmes-hommes dans les évaluations (Guidance for Addressing Gender in Evaluations), qui sont disponibles dans l'encadré Ressources et peuvent être utilisées pour examiner cette problématique en tant qu'élément transversal d’une intervention. Au cours de l'évaluation, l'évaluateur doit également tenir compte des conseils suivants, qui visent à faire en sorte que l’évaluation intègre la prise en considération de la problématique femmes-hommes.
|
|
Les évaluations doivent comprendre des questions visant à évaluer la prise en considération de la problématique femmes-hommes au cours du processus, comme suit :
(e) Tenir compte de la problématique femmes-hommes lors de l'analyse des réussites et des défis, des actions entreprises, des enseignements tirés et des pratiques exemplaires au cours du processus d'évaluation. |
L'intranet de l'OIM (réservé au personnel de l'OIM) et le site Internet de l'OIM (accessible au public) contiennent de nombreuses références utiles pour le suivi de la prise en considération de la problématique femme-hommes dans les interventions de l'OIM, notamment en tant que question transversale, en particulier le marqueur de l’égalité hommes-femmes de l'OIM qui doit être pris en compte dans toutes les interventions. Le Plan d'action à l'échelle du système des Nations Unies pour l'égalité des sexes et l'autonomisation des femmes, (ONU-SWAP) constitue également une ressource importante en ce qui concerne l’inclusion de la problématique femmes hommes.
Ressources de l’OIM
2018d Guidance for Addressing Gender in Evaluations. OIG.
s.d.h IOM Gender and Evaluation Tip Sheet.
s.d.i IOM Gender Marker (lien interne uniquement).
s.d.j Gender and migration.
Autres ressources
ONU-Femmes
s.d. Promouvoir la responsabilisation des Nations Unies (ONU-SWAP et UN-SWAP).
| Vulnérabilité et durabilité environmentales | ||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
De quoi s'agit-il ?
La vulnérabilité environnementale doit être prise en compte par toutes les interventions de l'OIM. Elles doivent protéger l’environnement et ne pas nuire. Aucun projet ne doit avoir d’effets négatifs directs sur l’environnement, et tout doit être mis en œuvre pour prévenir des dommages à la biodiversité et aux écosystèmes, tels que la destruction ou la contamination de ressources naturelles. La durabilité environnementale exige de répondre aux besoins de l’homme sans mettre en péril la capacité des générations futures de satisfaire à leurs propres besoins, et d’éviter de causer des dommages irréversibles au milieu naturel Lorsque les ressources et l’expertise disponibles sont suffisantes, les projets de l’OIM doivent tendre à la durabilité environnementale. |
||||||||||||||
|
? Les questions environnementales doivent être identifiées et analysées tout au long de l’intervention dans le cadre de l’analyse initiale des risques et, lorsque les risques environnementaux sont inévitables, elles doivent également être traitées dans le plan de gestion des risques. La prise en considération systématique de la durabilité environnementale « suppose d’intégrer des principes relatifs à la gestion durable, à la protection, à la conservation, au maintien et à la réhabilitation des habitats naturels, ainsi que de la biodiversité et des fonctions des écosystèmes qui y sont associées ». |
||||||||||||||
|
Comment procéder au suivi et à l'évaluation des aspects environnementaux
Lorsqu’une intervention n’est pas spécifiquement conçue pour traiter de questions environnementales – comme c’est le cas des programmes de l'OIM relatifs à la préparation en cas de catastrophe et à la réduction des risques de catastrophes afin de prévenir des migrations forcées dues à des facteurs environnementaux, ou des programmes de réinstallation de populations au départ de zones touchées par des dégradations de l’environnement – divers éléments peuvent être pris en considération dans le cadre du suivi et de l’évaluation de la prise en considération de la vulnérabilité et de la durabilité environnementales en tant que question transversale.
Dans son document de 2018 intitulé IOM’s engagement in migration environment and climate change, l'OIM propose d’examiner les points suivants afin de comprendre le lien entre la migration et l’environnement. D'autres suggestions sont faites concernant le moment où ces points peuvent être intégréset la façon dont ils peuvent faire l’objet d’un suivi dans une intervention en tant que thème transversal :
Voici une série de questions qui pourraient figurer dans le mandat d'évaluation afin que la vulnérabilité et la durabilité environnementales soient correctement prises en considération.
|
Ressources de l’OIM
2017a Annex 4.2: Guiding questions for incorporating cross-cutting themes into the project management and monitoring phase of the IOM project cycle (Module 4). In: Manuel des projets de l’OIM. Second edition. Geneva, p. 344 (Internal link only).
2018e IOM’s engagement in migration environment and climate change. Fiche d’information.
s.d.k Migration, environnement et changement climatique. (en anglais) internet de l’OIM (lien interne uniquement).
s.d.l Portail de la migration environnementale (en anglais).
Autres ressources
Programme des Nations Unies pour le développement (PNUD)
2014 Normes environnementales et sociales (en anglais). New York.
| Accountability to affected populations |
|---|
|
De quoi s'agit-il ?
La responsabilité à l’égard des populations touchées désigne un engagement actif des acteurs humanitaires à utiliser leur pouvoir de manière responsable en tenant compte des personnes auxquelles ils prêtent assistance, en leur faisant rapport et en leur rendant des comptes. La responsabilité à l’égard des populations touchées figure au programme humanitaire depuis plus de 20 ans et était d’abord appelée « responsabilité à l’égard des bénéficiaires ». L’adoption de la notion de « responsabilité à l’égard des populations touchées » permet de tenir compte du fait que l’assistance touche non seulement les bénéficiaires de l’aide, mais aussi la communauté dans son ensemble. Cette expression vise à considérer les populations touchées comme des partenaires plutôt que des bénéficiaires passifs, en reconnaissant ainsi leur dignité et leurs capacités et en leur donnant les moyens d’agir dans les efforts qui les intéressent. La responsabilité à l’égard des populations touchées va au-delà de la pratique limitée de la responsabilité à l’égard des « bénéficiaires » identifiés, car elle s'adresse également aux personnes involontairement exclues de l’assistance fournie, ce qui arrive souvent aux groupes marginalisés, notamment les personnes présentant un handicap, les personnes âgées et les groupes LGBTI. En outre, l'engagement en faveur de la responsabilité à l’égard des populations touchées se distingue de la traditionnelle responsabilité à l’égard des seuls donateurs en ce qu’il exige des acteurs humanitaires qu'ils placent les personnes au cœur de la réponse apportée, qu'ils promeuvent leur droit à être associées aux processus décisionnels les concernant et qu’ils orientent l’élaboration des programmes de manière à ce qu’ils soient adaptés et répondent à leurs besoins. |
|
La responsabilité à l’égard des populations touchées a gagné en importance grâce à l’Agenda transformatif (2011) et aux engagements pris à l’occasion du Sommet mondial sur l’action humanitaire (2016), notamment le Grand compromis (2016). Ces initiatives ont permis d’élaborer une vision commune de la responsabilité à l’égard des populations touchées au sein de la communauté internationale et de formuler une série d’engagements institutionnels collectifs et individuels visant à tenir compte des bénéficiaires de l’aide dans la prise des décisions qui ont une incidence sur leur vie, à encourager une collaboration significative avec les parties prenantes locales et à prévenir l’exploitation et les atteintes sexuelles (SEA). |
|
Le Cadre de responsabilité à l’égard des populations touchées définit l’approche commune adoptée par l’Organisation internationale pour les migrations (OIM) en vue de mettre en œuvre et d’intégrer la responsabilité à l’égard des populations touchées dans tous les aspects de ses activités de crise, comme indiqué dans le Cadre opérationnel en cas de crise migratoire. Il aide l’Organisation à élaborer des programmes adaptés et de qualité, conformes aux besoins variables des populations et communautés touchées, et à veiller à l’application effective de sa politique de « tolérance zéro » en matière d’exploitation et d’atteintes sexuelles (SEA) et d’autres manquements. Les engagements pris au titre de ce cadre ont été formulés dans la lignée des engagements du Comité permanent interorganisations (IASC) en matière de responsabilité à l’égard des populations touchées et adaptés aux réalités opérationnelles de l’OIM. Il est obligatoire d’adhérer aux principes de ce cadre, d’honorer ses engagements et d’atteindre ses objectifs. Il existe de nombreuses manières de mettre en œuvre et d’intégrer la responsabilité à l’égard des populations touchées, et il faut que ces efforts soient adaptés au contexte. Par conséquent, il convient de lire le Cadre de responsabilité conjointement avec le document d’orientation relatif à l’espace de collaboration de l’OIM pour la responsabilité à l’égard des populations touchées (lien interne uniquement), dont l’objectif est d’aider le personnel de l’OIM à identifier et à adapter des interventions portant sur la responsabilité à l’égard des populations touchées. La responsabilité à l’égard des populations touchées est fondée sur deux principes opérationnels des programmes humanitaires : a) l'approche fondée sur les droits ; et b) l'efficacité de l'aide. La responsabilité à l’égard des personnes touchées réaffirme l'obligation de l'OIM de respecter, d'appliquer et de protéger les droits de l'homme et la dignité humaine. La réalisation de ces engagements est essentielle pour la qualité des programmes. |
|
L'OIM est déterminée à fournir une aide humanitaire d'une manière qui respecte et promeut les droits des bénéficiaires. Elle est consciente qu'il existe souvent un important déséquilibre de pouvoir intrinsèque dans les interactions entre les membres du personnel de l'OIM et les bénéficiaires. Étant donné que la responsabilité à l’égard des populations touchées est un engagement actif de l'OIM, l'Organisation la conçoit concrètement comme suit :
|
|
Comment procéder au suivi et à l'évaluation de l'intégration de la responsabilité à l'égard des populations touchées Il est donc fondamental que les communautés bénéficiaires de l’aide soient aussi associées au suivi et à l'évaluation des interventions de l'OIM, et que leurs points de vue sur les réussites et les échecs, ainsi que sur l'impact de l'intervention, soient pris en compte en vue d’améliorer les pratiques et les interventions futures. La responsabilité a toujours été intégrée dans la structure organisationnelle de l'OIM, ainsi que dans ses politiques et procédures opérationnelles. Le suivi de la responsabilité à l’égard des populations touchées est également nécessaire pour traiter de la relation entre les bénéficiaires et l'OIM et pour s'assurer que les besoins des populations sont satisfaits et qu'elles participent à l'intervention aux stades de la planification, de la conception, de la mise en œuvre et du suivi et de l'évaluation. Le Cadre de responsabilité à l’égard des populations touchées tient lieu de référence pour les activités de suivi connexes. Par ses interventions, l'OIM vise à faire en sorte que l’ensemble de ses bénéficiaires et des populations touchées auxquelles elle vient en aide bénéficient des services et du soutien dont ils ont besoin. Les questions de suivi et d'évaluation suivantes peuvent être posées lors de l’examen de la responsabilité à l’égard des populations touchées en tant que question transversale.
Les questions identifiées dans les thèmes transversaux précédents, tels que l'approche fondée sur les droits, la protection ou l’égalité entre les sexes, peuvent également être appliquées aux éléments liés à la responsabilité à l’égard des populations touchées. |
IOM resources
2016c Politique et procédures en matière de prévention et de lutte contre l’exploitation et les violences sexuelles (en anglais). IN/234 (lien interne uniquement).
2020 Cadre de responsabilité à l’égard des populations touchée. Genève.
s.d.m Accountability to affected populations SharePoint (en anglais) (lien interne uniquement).
Cliquez ICI pour plus d'informations.
Groupe des Nations Unies pour l’évaluation (GNUE)
2008 UNEG Code of Conduct for Evaluation in the UN System. Document de base, UNEG/FN/ CoC(2008).
2016 Normes et règles d’évaluation. New York.
Module 6 du Manuel des projets de l’OIM (lien interne uniquement)
Cliquez ICI pour plus d'informations.
Cliquez ICI pour plus d'informations.
Module 6 du Manuel des projets de l’OIM (lien interne uniquement)
Cliquez ICI pour plus d'informations.
IOM resources
2021 IOM quality control tool - inception report . Central Evaluation Unit.
Cliquez ICI pour plus d'informations.
IOM resources
2022 Guidance On Quality Management Of IOM Evaluations. Central Evaluation Unit.
2022 Quality Control Tool - Evaluation Reports. Central Evaluation Unit.
Cliquez ICI pour plus d'informations.
IOM resources
2022 Guidance On Quality Management Of IOM Evaluations. Central Evaluation Unit.
2022 Quality Control Tool - Evaluation Reports. Central Evaluation Unit.
Cliquez ICI pour plus d'informations.
IOM resources
n.d.a Evaluation Brief Templates. (Internal link only).
De quoi s’agit-il ?
Le changement le plus significatif est une technique de suivi et d’évaluation participative.
Quand l’appliquer ?
Le changement le plus significatif est aussi appelé « suivi sans indicateurs » ou « approche narrative », car il n'utilise pas d'indicateurs de performance et que la réponse à la question de savoir comment est survenu un changement est formulée sous forme de récit. Dans ce sens, il est très utile pour expliquer comment et quand un changement se produit, ce qui en fait un outil utile à l’appui de l’élaboration d'une théorie du changement.
Comment l’appliquer ?
Les spécialistes peuvent ne pas être d'accord sur le nombre d'étapes que comporte l’utilisation du changement le plus significatif. Toutefois, celles-ci peuvent être résumées en trois étapes de base :
- Des groupes de parties prenantes clés à différents niveaux hiérarchiques (personnel de terrain, personnel chargé des programmes, responsables et donateurs, par exemple) décident ensemble du type de récits de changement significatif devant être recueillis. À mesure que ces récits remontent du terrain, les parties prenantes clés identifient les grands domaines de changement ainsi que la fréquence devant faire l’objet d’un suivi, tels que les changements survenus dans la vie des personnes.
- Après avoir été analysés, ces récits sont transmis aux différents niveaux de pouvoir généralement présents dans une organisation et, à chaque niveau, un changement le plus significatif est identifié, accompagné d’une explication détaillée des critères de sélection.
- Les récits sont partagés, et les valeurs et critères de sélection sont discutés avec les parties prenantes, contribuant ainsi à l'apprentissage.
Points forts et limites
La technique du changement le plus significatif ne soutient pas seulement le processus d’apprentissage tiré des récits, au sens où il fournit des informations sur l’impact in/attendu d’une intervention, mais elle permet aussi de clarifier les valeurs défendues par les différentes parties prenantes pour ce qui est d’identifier une réussite. Il est à noter qu’en soi, elle n’est pas suffisante à des fins d’analyse d’impact, car elle ne n'exlique pas suffisamment pourquoi un changement se produit et qu’elle fournit des informations sur des situations extrêmes et non sur l’expérience habituellement vécue. L’une des limites du changement le plus significatif réside dans le fait qu’il prend beaucoup de temps et qu’il nécessite un suivi approfondi ainsi que de nombreuses réunions avec les parties prenantes.
Asadullah, S. et S. Muñiz
2015 Participatory Video and the Most Significant Change: A guide for facilitators. InsightShare, Oxford.
Davies, R. et J. Dart
2005 The ‘Most Significant Change’ Technique – A Guide to Its Use.
International Development Research Centre’s Pan Asia Networking
2008 Jess Dart – Most significant change, part I. Vidéo.
Overseas Development Institute (ODI)
2009 Strategy Development: Most Significant Change. Toolkit.