Le présent chapitre traite des éléments essentiels du suivi d’une intervention (un projet/programme et/ou une stratégie ou une politique). Il présente la théorie du changement et la matrice des résultats de l’OIM, et décrit les types de suivi de base, y compris le suivi des activités, des résultats et des risques, le suivi financier et d’autres types de suivi. Il aborde également la gestion et le suivi à distance et le suivi par un tiers, et explique comment les différents éléments de suivi s’assemblent pour former un plan de suivi et d’évaluation général et, enfin, s’intéresse au suivi et à l’établissement de rapports sur les résultats.
Une conception de projet solide pose les fondements d’un suivi réussi. La phase d’élaboration de la proposition énonce clairement les résultats escomptés d’une intervention, la manière de les atteindre, et la façon de mesurer les progrès. Les modules 1 (Conceptualisation), 2 (Élaboration d’une proposition) et 4 (Gestion et suivi du projet) du Manuel des projets de l’OIM donnent un aperçu de ce processus et montrent comment jeter les bases d’un suivi réussi.
Ce chapitre développe les principaux points mentionnés dans le Manuel des projets de l’OIM, qu’il complète par des orientations techniques, introduit de nouveaux concepts, tels que la théorie du changement. Il porte essentiellement sur le suivi d’un projet ou d’un programme et montre également que les principes régissant le suivi d’un projet ou d’un programme sont applicables au suivi d’une stratégie et/ou d’une politique. Si de nombreux concepts abordés ici sont importants à la fois pour le suivi et pour l’évaluation − tels que l’élaboration d’une théorie du changement, la matrice des résultats de l’OIM, les thèmes transversaux de l’OIM, la gestion à distance et l’élaboration d’un plan de suivi et d’évaluation −, la conduite d’une évaluation à l’OIM est traitée en détail au chapitre 5 des Lignes directrices de l’OIM relatives au suivi et à l’évaluation. L’OIM se concentre sur quatre domaines clés pour le suivi : a) les activités, b) les résultats, c) les budgets et les dépenses, et d) les risques.
Il existe plusieurs définitions de la théorie du programme, mais la présente section traite plus particulièrement des approches les plus adaptées au contexte opérationnel de l’OIM.
La théorie du programme est un processus de réflexion logique sur la manière d’aborder une situation et d’y répondre par une intervention. Elle peut donc fournir un cadre conceptuel pour le suivi et pour l’évaluation.
Il existe différents types de théories du programme, y compris le modèle logique, la logique d’intervention, le modèle causal, la chaîne de résultats et la théorie du changement. Le présent chapitre présente deux approches complémentaires qui sont pertinentes pour les interventions de l’OIM : a) la théorie du changement et b) et le cadre logique, représenté à l’OIM par la matrice des résultats.
Si ces approches indiquent toutes deux comment une intervention conduit à des résultats, chacune vise toutefois un objectif légèrement différent.
BetterEvaluation
s.d. Page d’accueil.
Rogers, P.
s.d. Développer la théorie du programme/la théorie du changement (en anglais). BetterEvaluation.
Une formulation claire des résultats escomptés ou du changement souhaité au titre d’une intervention constitue le fondement du suivi et de l’évaluation. Il est nécessaire d’identifier ce qui nécessite un changement, ce à quoi ressemble le changement attendu et, enfin, comment celui-ci peut être atteint grâce aux interventions de l’OIM. La théorie du changement est utile à cet égard. Bien qu’il existe de nombreuses définitions, la présente section est centrée sur les approches pertinentes pour le contexte de l’OIM.
La théorie du changement peut être considérée comme un outil ou une méthodologie permettant de déterminer la séquence logique d’une intervention, des activités aux résultats et de montrer les multiples voies qui mènent au changement, y compris celles qui sont sans lien avec l’intervention planifiée. Elle peut également être considérée comme un processus de réflexion approfondie et un dialogue entre le personnel et les parties prenantes, reflétant les valeurs et la philosophie du changement qui rendent plus explicites les hypothèses sous-jacentes du comment et du pourquoi un changement se produit par suite d’une intervention. Dans le meilleur des cas, la théorie du changement est une combinaison de ces deux points de vue.
Le plus souvent, elle est définie comme illustrant le lien entre activités, produits, effets directs et objectifs, et créant une chaîne de résultats dite voie du changement ou voie causale.
Qu’est-ce que la théorie du changement ?
|
Une théorie du changement peut être considérée comme le produit d’une série d’exercices de réflexion critique qui permettent de donner une image complète des différents niveaux de changement attendu grâce à une intervention, au stade de son élaboration, durant la mise en œuvre et après son achèvement.
Center for Theory of Change (Centre pour la théorie du changement)
s.d.a Theory of Change examples.
s.d.b What is theory of change?
s.d.c Home page.
Stein, D. et C. Valters
2012 Understanding theory of change in international development. Justice and Security Research Programme (JSRP) Paper 1. JSRP et The Asia Foundation.
Le recours à une théorie du changement est de plus en plus courant, quel que soit le type d’intervention. Elle peut s’appliquer à la conception, au suivi ainsi qu’à l’évaluation de différents types d’intervention, et elle est particulièrement indiquée pour mesurer la complexité d’une transformation et d’un changement. Parce qu’une théorie du changement reconnaît que celui-ci n’est pas linéaire, mais dynamique et complexe, elle tente souvent d’exprimer des changements sociaux, politiques et communautaires ainsi que des initiatives d’autonomisation. Une théorie du changement est une approche axée sur le processus pouvant être utilisée pour analyser les corrélations et/ou interactions à l’intérieur des systèmes complexes dans lesquels interviennent l’OIM, ses partenaires et ses alliés. Un tel processus permet de s’orienter dans des environnements imprévisibles et complexes ainsi que de suivre et d’évaluer les changements survenant dans le système auxquels une intervention peut contribuer.
Il est important de noter que différents termes peuvent s’appliquer lors de la définition des multiples voies de changement, tels que : a) objectifs, effets directs et produits; b) effets directs à long terme, à moyen terme et à court terme ; ou c) effets directs et conditions préalables. Dans la présente section, nous emploierons les termes objectifs, effets directs, produits et activités dans un souci de conformité avec la terminologie du suivi et de l’évaluation de l’OIM et afin d’élaborer ou de compléter les matrices des résultats de l’OIM.
La théorie du changement est un cadre d’orientation pour toutes les étapes de la réflexion, de l’action et de la recherche de sens pour les interventions concernant des processus de changement social et/ou politique.
Représentation graphique
Pour représenter graphiquement une théorie du changement, les diagrammes auront généralement une structure souple et pourront être simples ou complexes, verticaux, horizontaux ou circulaires.
La représentation graphique de la théorie du changement permet de cartographier de multiples voies causales pour identifier celle qui est la plus réalisable pour une intervention donnée. Elle présente aussi l’avantage de rendre les liens de causalité plus compréhensibles et immédiatement visibles. Elle permet de comparer les différentes voies et d’identifier les hypothèses implicites.
Approche participative
Le processus d’élaboration de la théorie du changement doit être participatif et collaboratif et associer les principales parties prenantes, ainsi que les bénéficiaires ou les personnes auxquelles l’Organisation tente de prêter assistance et/ou les populations touchées, dont les différents points de vue peuvent permettre de définir les contours d’un changement escompté à l’intérieur d’un domaine thématique particulier.
Voies de changement multiples
Une théorie du changement reconnaît que le changement est dynamique et complexe et qu’il peut révéler de multiples voies pour y parvenir (voir la figure 3.2 où chaque couleur des flèches représente une voie différente). Le processus d’élaboration d’une théorie du changement permet de révéler ces multiples voies de changement.
Un problème qui se pose couramment quand on recourt à une théorie du changement tient à l’absence de « théorie » et/ou à la faiblesse de la théorie utilisée. Par exemple, les théories faibles n’expliquent pas comment le changement est censé se produire ni n’énoncent/établissent clairement les hypothèses. Il est important de s’assurer que la théorie du changement énonce réellement une théorie logique, explicitant les mécanismes causaux implicites et complétant la représentation graphique.
En élaborant une théorie du changement valide et pertinente, les responsables de la mise en œuvre peuvent s’assurer que leurs interventions correspondront à des activités appropriées sous l’angle des résultats souhaités et réalistes. De la sorte, les interventions sont plus faciles à suivre, à évaluer, à transposer à l’échelle voulue et à pérenniser, car chaque étape − des idées et des hypothèses sous jacentes aux résultats voulus en passant par les ressources nécessaires − est clairement formulée dans la théorie. Une théorie du changement bien formulée peut aussi promouvoir une conception commune de l’intervention parmi tous les acteurs associés à sa mise en œuvre, facilitant ainsi une approche cohérente et commune.
Le processus d’élaboration d’une théorie du changement peut permettre d’identifier si, et à quel stade ou niveau, les hypothèses, les raccourcis logiques ou les étapes manquantes dans le processus de changement se confirment. L’élaboration d’une théorie du changement est un bon moyen de poser de nouvelles questions, comme suit :
a) Pourquoi un changement particulier est-il attendu ?
b) Quels éléments d’information confirment que le changement escompté se produira ou s’est produit?
c) Quels raccourcis logiques sont pris?
d) Quelles hypothèses sont formulées?
Lors de l’élaboration d’une théorie du changement, il est important d’en saisir la finalité. Une théorie du changement peut être appliquée à différents niveaux, allant de la conception du monde, de stratégies et de politiques aux projets ou programmes en passant par les activités. Par exemple, une conception du monde peut aider à préciser la théorie politique et sociale qui sous-tend la réflexion d’une personne. Une théorie du changement organisationnelle peut aider à éclairer la vision, la mission et les valeurs dont l’organisation a besoin pour contribuer au changement social. Quant aux théories du changement politiques, elles peuvent aider à identifier la manière dont une organisation s’attend à ce que le changement évolue dans un secteur donné et comment elle y contribue.
Les spécialistes ne se sont pas mis d’accord sur une définition générale de la théorie du changement ni sur une méthodologie applicable à son élaboration, si bien que les donateurs peuvent suivre différentes approches pour rédiger une théorie du changement. Par exemple, l’approche du Ministère des affaires étrangères, du Commonwealth et du développement du Royaume-Uni est très différente de celle de l’Agence des États-Unis pour le développement international (USAID) ou de l’Union européenne.
Source: Vogel et Stephenson, 2012
Note: Le Ministère des affaires étrangères, du Commonwealth et du développement du Royaume-Uni est anciennement le Ministère du développement international (DFID).
Source: Kedzia, 2018
Quelle que soit la façon dont les différentes parties prenantes abordent une théorie du changement, elles ont toutes un point commun : elles permettent de définir comment, pourquoi et dans quelles conditions un changement est censé se produire dans un contexte spécifique. Bien qu’il n’existe aucune approche normalisée de l’élaboration d’une théorie du changement, la section suivante présente une formule qui peut s’appliquer dans la plupart des contextes et qui est couramment utilisée par USAID pour mesurer le changement social et comportemental.
Center for Theory of Change
s.d.a. Exemples de théorie du changement (en anglais).
Kedzia, K.
2018 Theory of change: It’s easier than you think. USAID Learning Lab, 13 mars.
Organisation de coopération et de développement économiques (OCDE)
2019 Des critères améliorés pour des évaluations meilleures : Critères d’évaluation révisés et actualisés. Réseau du CAD de l’OCDE sur l’évaluation du développement.
Vogel, I. et Z. Stephenson
2012 Appendix 3: Examples of theories of change. FCDO, Londres.
Si les théories du changement peuvent être illustrées de diverses façons, la logique de la chaîne de résultats, ou voie causale, peut être testée à l’aide de la formule « Si, alors, car ». En d’autres termes, elle permet de révéler des hypothèses « testées » par des actions/activités, tandis que les hypothèses jouent un rôle central dans l’élaboration de la théorie du changement.
Chaque mesure prise, depuis l’objectif général de l’intervention à chacune de ses activités, repose sur une théorie du changement qui explique et énonce les corrélations logiques (ou les différentes voies) entre les résultats de niveau inférieur, tels que les produits et les effets directs, et entre les résultats de niveau supérieur, tels que les effets directs et les objectifs.
Lors de la conception d’une intervention, les raccourcis et lacunes logiques constituent une difficulté commune. Il y a souvent un écart entre une analyse solide du problème et des activités apparemment sans rapport avec elle, avec des liens faibles et/ou des hypothèses entre les objectifs, les effets directs, les produits et les activités. En faisant ressortir les hypothèses sous-jacentes, la théorie du changement constitue un pont entre l’analyse et l’élaboration des programmes.
En général, une théorie du changement peut être énoncée à l’aide de la formule « Si X, alors Y, car Z», c’est-à-dire « Si l’action X se produit, alors le résultat Y se produira, en raison des ou de l’hypothèse(s) Z». Ce processus de mise en évidence des hypothèses sous-jacentes permet à la fois de repérer les raccourcis logiques et d’identifier les principales étapes manquantes dans le processus de changement.
La section suivante est consacrée à l’une des nombreuses voies possibles illustrant l’application de la formule « Si, alors, car », étant entendu que cet exercice peut être répété pour de nombreuses voies différentes et pour différents niveaux.
Les éléments suivants développent cet exemple en identifiant les hypothèses qui ont potentiellement émergé grâce à ce processus pour cette voie en particulier, jusqu’au niveau des produits. Étant donné que de multiples voies peuvent exister pour chaque niveau, cet exercice peut être réalisé pour chacune d’elles.
- Voies multiples : Au cours du processus d’identification des multiples voies, il est important de noter que toutes ne peuvent pas être mises en œuvre par l’OIM, et que certaines peuvent être mises en œuvre par des acteurs autres que l’OIM et hors du contrôle de l’OIM.
Objectifs : Contribuer à la stabilité et à la sécurité et poser les bases du développement politique et social dans des communautés exposées au risque de conflits dans le pays X. |
Théorie du changement au niveau des objectifs |
Si les relations entre les autorités locales et les communautés exposées au conflit dans la zone Y du pays X sont renforcées, alors la stabilité, la sécurité et les bases du développement politique et social dans les communautés exposées au conflit du pays X seront soutenus, car :
|
|
Théorie du changement au niveau des effets directs |
Si l’accès aux moyens de subsistance des communautés exposées au conflit dans le pays X est amélioré, alors les relations entre les autorités locales et les communautés de la zone Y du pays X sont renforcées, car :
|
|
Théorie du changement au niveau des produits |
Si les compétences professionnelles des bénéficiaires des communautés exposées au conflit du pays X sont développées/renforcées, alors leur accès aux moyens de subsistance augmentera car :
|
|
D’autres exemples d’hypothèses émergeant des théories du changement donnant lieu à des voies multiples figurent dans le resources énumérées à la fin de la présente section. |
Lors de l’examen d’une théorie du changement, on peut se concentrer sur les liens que cette dernière tente d’établir. La liste de vérification suivante contient cinq questions simples pouvant faciliter le processus d’examen :
a) L’action (X) et le résultat (Y) sont-ils tous deux clairement formulés? L’approche suivie est elle claire ? Concernant le résultat, il faut s’assurer que les termes utilisés sont clairs. Se demander si les résultats sont mesurables et, dans l’affirmative, quelle serait la bonne source pour le vérifier. Comment suivre cela et comment atteindre les sources de vérification ?
b) Le résultat est-il réaliste et atteignable au regard de l’ampleur de l’action, des ressources et du calendrier? Tenter de déterminer si les résultats sont proportionnels à l’ampleur et à la portée de l’action. Le résultat est-il observable ? Est-il immédiat, intermédiaire ou à long terme ? Comment sera-t-il mesuré ? Existe-t-il des raccourcis et/ou des lacunes logiques entre une action modeste et un résultat ambitieux ?
c) Les hypothèses expliquent-elles en quoi l’approche est appropriée ? Une hypothèse forte peut dire pourquoi l’approche choisie doit produire le résultat/changement escompté. Cela reflète l’analyse du problème de l’intervention.
d) Les conditions préalables nécessaires au succès sont-elles comprises dans les hypothèses? Les hypothèses ciblant les conditions préalables nécessaires reflètent principalement les conditions échappant au contrôle de l’intervention qui sont jugées nécessaires pour atteindre des résultats, mais elles n’expliquent pas comment/pourquoi le changement se produira. Cela peut être considéré comme étant lié à la réflexion sur le risque. Afin d’identifier de telles hypothèses, il est utile de se demander où pourrait se trouver la faille en cas d’échec de l’intervention.
e) La théorie du changement fait-elle sens si elle est inversée ?
Il a été montré plus haute que les théories du changement peuvent être appliquées à une activité, un projet, un programme, une stratégie ou une politique. La figure ci-après illustre la manière d’examiner une théorie du changement à tous les niveaux en appliquant à chacun d’entre eux la formule « Si X, alors Y, car Z ». Lorsque cette formule est appliquée, l’énoncé « Si » de la théorie de niveau supérieur devient l’énoncé « alors » de la théorie du changement de niveau inférieur, signifiant que pour chaque énoncé, l’action/intervention de la théorie du changement de niveau supérieur doit correspondre au résultat/changement souhaité de la théorie de changement de niveau inférieur.
Figure 3.8 applies this method of ToC review to the above example:
Suivi des énoncés SI : Inclure dans les outils de collecte de données des questions qui se rapportent directement à l’énoncé « Si ».
Exemple de théorie du changement au niveau des produits :
- Si l’accès aux moyens de subsistance des communautés exposées au risque de conflit dans le pays X est amélioré
— Les connaissances et les compétences professionnelles se sont-elles accrues ? (Déterminer s’il y a augmentation des connaissances au moyen du test réalisé avant/après la formation ; réaction des bénéficiaires) ;
— Les bénéficiaires utilisent-ils les connaissances et les compétences professionnelles acquises ? Si oui, comment ? Si non, pourquoi (rédiger un enseignement à tirer) ?
Suivi des énoncés « Alors » : Inclure dans les outils de collecte de données des questions qui se rapportent directement à l’énoncé « Alors ».
Exemple de théorie du changement au niveau des produits :
- Alors leur accès aux moyens de subsistance s’améliorera
— Les moyens de subsistance des bénéficiaires cibles ont-ils augmenté ?
— Si oui, est-ce dû à l’intervention ? Si non, pourquoi ? (Rédiger un enseignement à tirer)
Suivi des énoncés « Car » : Inclure dans les outils de collecte de données des qui se rapportent directement à l’énoncé « Car ».
Exemple de théorie du changement au niveau des produits :
- Car l’amélioration des compétences professionnelles peut accroître les chances des bénéficiaires de trouver un emploi
— Les bénéficiaires étaient-ils au chômage avant la formation ?
— Ont-ils trouvé un (meilleur) emploi grâce l’amélioration de leurs compétences (réaction des bénéficiaires) ?
- Car les capacités correspondent aux possibilités dans les régions cibles
— Demander aux bénéficiaires si cela est exact
- Il existe des possibilités dans la région
— Réaliser une analyse du contexte.
Autres ressources
Anderson, A.A.
2006 The Community Builder’s Approach to Theory of Change: A Practical Guide to Theory Development. The Aspen Institute, New York.
BetterEvaluation
s.d. Page d'accueil.
Brown, A.-M.
2016 What is this thing called ‘Theory of Change’? USAID Learning Lab, 18 mars.
Davies, R.
2018 Representing theories of change: Technical challenges with evaluation consequences. Centre of Excellence for Development Impact and Learning Inception Paper 15, Londres.
Hivos
2015 Hivos ToC Guidelines: Theory of Change Thinking in Practice. La Haye.
Lysy, C.
2018 Illustrer des modèles et des thérories du changement. BetterEvaluation, 10 janvier.
Rogers, P.
2014 Theory of Change. Methodological Briefs: Impact Evaluation No. 2. Centre de recherche UNICEF, Florence.
2017a Mieux utiliser les modèles logiques et les théories du changement dans l'évaluation. BetterEvaluation, 19 mai.
2017b FAQ Better Evaluation : Comment utilisez-vous la théorie des programmes pour évaluer les systèmes? BetterEvaluation, 21 juin.
Valters, C.
2015 Theories of Change: Time for a radical approach to learning in development. Overseas Development Institute, Londres.
Vogel, I.
2012 Review of the use of ‘Theory of Change’ in international development. Rapport d’examen. Ministère des affaires étrangères, du Commonwealth et du développement.
Outils de représentation graphique
Evaluation Toolbox
s.d. Problem Tree/Solution Tree Analysis.
Microsoft
s.d. Microsoft Visio.
Theorymaker
s.d. Home page.
Comme indiqué précédemment, le cadre logique fait également partie de la théorie du programme. Il aide à déterminer la conception opérationnelle d’une intervention et constitue le fondement du suivi et de l’évaluation. Il donne un aperçu de l’approche envisagée d’une intervention pour atteindre des résultats, sur la base de l’analyse de la situation et du problème effectuée à l’étape de conceptualisation. Plus particulièrement, il utilise une matrice pour résumer la séquence logique selon laquelle une intervention vise à obtenir les résultats souhaités, les activités nécessaires pour atteindre ces résultats ainsi que les indicateurs et les sources de vérification qui permettent de mesurer les progrès accomplis dans la réalisation des objectifs.
À l’OIM, la matrice des résultats qui figure dans le Modèle de proposition de projet de l’OIM, également appelée cadre des résultats, est celle qui ressemble le plus au cadre logique. Le Module 2 du Manuel des projets de l’OIM fournit des orientations détaillées sur l’élaboration, la rédaction et la conception de la matrice des résultats. Le Manuel des projets de l’OIM considère la matrice des résultats comme un outil stratégique de gestion qui facilite « la planification, le suivi, l’évaluation et l’établissement de rapports sur la mise en œuvre d’un projet et les progrès accomplis en vue de la réalisation des résultats »
Le Système PRIMA d’information et de gestion des projets de l’OIM saisit les données relatives aux projets. Tous les documents relatifs au projet qui sont nécessaires pour son suivi sont disponibles dans PRIMA, dont la proposition de projet, la matrice des résultats de l’OIM et les documents relatifs au budget. Le PRIMA User Guide est disponible en interne sur l’intranet de l’OIM
Ressources de l’OIM
- 2017a Module 2. In: Manuel des projets de l’OIM. Deuxième édition. Genève (lien interne uniquement).
- 2019a PRIMA User Guide. MA/00651 (lien interne uniquement).
Il est difficile de dissocier la théorie du changement et le cadre logique car tous deux sont issus de la même famille d’approches afférentes à la théorie du programme. Une théorie du changement, telle que décrite dans la section précédente, part du principe que le processus de changement social est complexe. Elle tient compte de points de vue différents et analyse les hypothèses qui sous-tendent la conception d’une intervention. Pour sa part, un cadre logique propose une image simplifiée de la logique de l’intervention, sans tenir compte de toutes les hypothèses sous-jacentes et des liens causaux connexes, en se focalisant plutôt sur ceux qui se rapportent à l’intervention en question et qui ont été sélectionnés lors de la conceptualisation initiale du projet. Un cadre logique peut être considéré comme un mode de réflexion plus rigide et plus linéaire sur le changement.
À l’origine, les cadres logiques visaient à résumer les discussions complexes des parties prenantes au sujet des objectifs et des résultats qu’une intervention allait atteindre et auxquels elle contribuerait. Tel est également le cas de l’exposé de la justification de la théorie du changement. Le but était d’analyser les liens de dépendance internes et externes susceptibles d’influer sur l’efficacité de l’intervention, y compris les hypothèses directes nécessitant d’être prise en compte dans l’analyse
Tableau 3.1. Comparer et opposer la théorie du changement et le cadre logique
Théorie du changement | Cadre logique |
|
|
Source: Adapté de Hivos, 2015, p. 15.
Si les hypothèses jouent un rôle central dans l’élaboration d’une théorie du changement et de la matrice des résultats de l’OIM, il convient toutefois de clairement différencier les hypothèses utilisées dans la théorie du changement et celles indiquées dans la matrice des résultats de l’OIM. Les distinctions les plus importantes peuvent être résumés comme suit :
Hypothèses : Théorie du changement et matrice des résultats de l’OIM | |
Hypothèses dans la théorie du changement | Hypothèses dans la matrice des résultats de l’OIM |
Les hypothèses de la théorie du changement permettent d’énoncer la corrélation logique/ voie causale entre les résultats de niveau inférieur et ceux de niveau supérieur.
|
Les hypothèses au sein de la matrice des résultats de l’OIM sont les conditions préalables (nécessaires et positives) desquelles dépendent les résultats de niveau supérieur
|
Une explication plus détaillée des hypothèses du cadre logique utilisées dans la matrice des résultats de l’OIM est donnée plus loin dans la présente section.
Malgré ces différences, la théorie du changement et le cadre logique demeurent complémentaires. Ils peuvent être utilisés ensemble, et la réflexion qui sous-tend la théorie du changement peut s’appliquer au processus de rédaction de la matrice des résultats de l’OIM. De la sorte, les concepteurs d’une intervention sont invités à expliciter les hypothèses de la théorie du changement concernant la façon dont le changement recherché va se produire, en soulignant le processus de changement et les voies causales connexes entre les résultats escomptés. Ces hypothèses peuvent ensuite être énoncées quand on aborde le « pourquoi » et le « comment » dans la section Justification du modèle de proposition de projet, plus particulièrement en proposant une réflexion stratégique qui éclaire les « hypothèses et les postulats qui sous-tendent les relations causales entre les activités, les produits et les effets directs ».
Ressources de l’OIM
2017a Module 1 et Module 2. In: Manuel des projets de l’OIM. Deuxième édition. Genève (lien interne uniquement).
Autres ressources
Hivos
2015 Hivos ToC Guidelines: Theory of Change Thinking in Practice. La Haye
Vogel, I.
2012 Review of the use of ‘Theory of Change’ in international development. Rapport d’examen. Ministère des affaires étrangères, du Commonwealth et du développement.
L’élaboration d’une matrice des résultats de l’OIM pose l’un des fondements du suivi d’une intervention à l’OIM. Elle donne un aperçu des paramètres pour mesurer les résultats de l’intervention. La matrice des résultats est obligatoire pour toutes les propositions de projet de l’OIM et figure dans le Manuel des projets de l’OIM. Elle peut également être utilisée pour la mise en œuvre d’une stratégie ou d’une politique et est établie lors de la phase initiale d’élaboration.
Une bonne compréhension de la façon dont une matrice de résultats est élaborée peut contribuer à une meilleure compréhension générale des modalités d’un suivi efficace des progrès et des résultats d’une intervention. Les sections suivantes présentent les différentes étapes de l’élaboration d’une matrice des résultats.
L’élaboration de la matrice des résultats doit reposer sur l’analyse réalisée lors de la phase de conceptualisation. En particulier, l’arbre à problèmes et l’arbre à solutions, s’ils sont élaborés lors de l’analyse de la situation, peuvent déjà établir les différentes voies causales.
Note: Visualisation d’une matrice de résultats dans le Module 2 du Manuel des projets de l’OIM.
Logique verticale
La logique verticale s’entend de « la relation moyens-fins entre les activités et les résultats, ainsi que les résultats et leur contribution à la réalisation de l’objectif global ».
La matrice des résultats de l’OIM utilise les termes « objectif », « effet direct », « produit » et « activité » pour mettre en relief la logique verticale. Le diagramme ci-dessous est une représentation visuelle de la logique verticale (et de la logique horizontale) dans une matrice des résultats.
Source: Adapté de Module 2 du Manuel des projets de l’OIM (lien interne uniquement).
La logique verticale est focalisée sur les résultats à chaque niveau. Il s’agit d’énoncer les étapes logiques allant des objectifs aux activités, afin de relier les résultats et de montrer comment, à chaque niveau, les résultats contribuent au suivant. Correctement reliés, les résultats font apparaître la relation causale d’un niveau de résultat à l’autre, formant une voie causale ou une chaîne de résultats.
Une approche participative de l’élaboration d’une matrice des résultats qui, idéalement, tient compte des points de vue des principales parties prenantes, y compris les bénéficiaires ou les personnes auxquelles l’OIM tente de prêter assistance, permettra de mieux formuler les résultats et les indicateurs. Cette étape est essentielle pour un suivi réussi après le début de l’intervention.
Réaliser une analyse des parties prenantes au cours de la phase de conceptualisation d’une intervention permet d’identifier les parties prenantes pertinentes et de déterminer leurs intérêts et la façon dont ceux-ci influeront sans doute sur l’intervention ainsi que sur leur niveau de participation. Ce processus peut faciliter l’identification des principales parties prenantes à associer au processus d’élaboration.
Logique horizontale
La logique horizontale « est la méthode permettant de définir les modalités selon lesquelles les niveaux de la logique verticale seront mesurés, ainsi que les hypothèses qui doivent être réunies pour que puissent se produire les relations moyens-fins».
Source: Adapté du Module 2 du Manuel des projets de l’OIM (lien interne uniquement).
La logique horizontale complète la matrice des résultats en ce qu’elle permet d’identifier les hypothèses nécessaires à l’obtention des résultats et la manière dont les progrès pour chacun des résultats seront mesurés.
Ressources de l’OIM
2017a Module 1 et Module 2. In: Manuel des projets de l'IOM. Deuxième édition. Genève (lien interne uniquement).
Pour exprimer les résultats dans une matrice de résultats, toutes sortes de termes sont employés par les différents organismes et organisations. Cependant, la logique qui sous-tend l’élaboration de la matrice des résultats est la même, et permet d’aligner les concepts et les rapports connexes, ainsi que les processus de suivi et d’évaluation. Le tableau ci-après présente des exemples de termes afférents à la matrice des résultats employés par l’OIM par le passé, ainsi que les termes qu’elle emploie actuellement, et les compare à la terminologie en usage dans d’autres entités clés chargées du développement. Il y a lieu de veiller attentivement à ce que les résultats à chaque niveau de la logique verticale soient alignés lors du transfert d’interventions entre les structures de présentation des donateurs/partenaires et les modèles de l’OIM.
L’OIM travaille avec différents donateurs et d’autres acteurs du développement. Une bonne connaissance de la terminologie employée par ces acteurs et de la façon dont correspond à celle de l’OIM permet un suivi et des rapports plus précis et efficaces sur les résultats des interventions.
Source: IOM Project Development Training, 2018.
Note: Le Ministère des affaires étrangères, du Commonwealth et du développement du Royaume-Uni est anciennement le ministère du Développement international (DFID).
Appliquer la logique verticale
L’OIM emploie actuellement les termes objectif, effet direct, produit et activité pour faire apparaître la logique verticale, et les termes indicateur, hypothèse, source et méthode de collecte des données, cible et base de référence pour élaborer la logique horizontale. Les définitions de ces termes sont résumées ci-dessous :
Définitions de la logique verticale |
||
Objectif | L’objectif est le but le plus important et le plus réaliste auquel l’intervention peut contribuer. Il doit s’inscrire dans une stratégie, interne ou externe, plus vaste et à plus long terme. |
|
Effets directs | Il s’agit des changements escomptés dans la performance institutionnelle, dans le comportement ou les attitudes d’une personne ou d’un groupe, ou dans la situation politique, économique ou sociale des bénéficiaires ou des personnes auxquelles l’OIM tente de prêter assistance. |
|
Produits | Ce sont les changements escomptés dans les compétences ou les capacités des bénéficiaires ou des personnes auxquelles l’OIM tente de prêter assistance, ou dans la disponibilité de nouveaux biens ou services par suite de la mise en œuvre des activités de l’intervention. |
|
Activités | Les activités comprennent la coordination, l’assistance technique, la formation, la production, la fourniture, le transport et toute autre tâche organisée et exécutée au titre de l’intervention. |
|
Ressources de l’OIM
2017a Manuel des projets de l’OIM. Deuxième édition. Genève (lien interne uniquement).
Autres ressources
Church, C. et M. Rogers
2006 Designing for Results: Integrating Monitoring and Evaluation in Conflict Transformation Programs. Search for Common Ground, Washington, D.C.
Outils pour créer des matrices de résultats
s.d. Microsoft Visio.
Appliquer la logique horizontale
Les sections suivantes précisent comment la logique horizontale est appliquée à la matrice des résultats. Les composantes de la logique horizontale sont les hypothèses, les indicateurs, la base de référence, les cibles et la source et la méthode de collecte des données. La logique horizontale relie la mesure des résultats (au moyen des indicateurs) aux hypothèses concernant la manière dont les résultats sont censés se produire.
Hypothèses
Voir la visualisation de la matrice des résultats de l’OIM plus haut pour identifier la colonne Hypothèses dans la matrice des résultats.
« Les hypothèses sont les conditions nécessaires et positives, garantes d’une relation moyens-fins satisfaisantes entre les différents niveaux de résultats »
Module 2 du Manuel des projets de l’OIM (lien interne uniquement).
Les hypothèses complètent la logique de l’intervention et permettent de situer celle-ci dans le contexte dans lequel elle sera mise en œuvre. Les hypothèses permettent également de déterminer les conditions importantes dont dépend la réussite de l’intervention et sur lesquelles l’OIM n’a pas prise. Dans ce sens, les hypothèses identifient les conditions préalables requises pour l’obtention des résultats.
Une liste de vérification rapide concernant les hypothèses figure en tant qu’outil dans le Manuel des projets de l’OIM.
Des exemples d’hypothèses bien rédigées sont donnés dans le Module 2 du Manuel des projets de l’OIM.
Indicateurs
Voir la visualisation de la matrice des résultats plus haut pour identifier la colonne Indicateurs dans la matrice des résultats.
Après avoir arrêté des résultats réalisables et bien définis et identifié les hypothèses connexes, il convient de passer à l’étape suivante de l’élaboration d’une matrice des résultats, qui consiste à sélectionner les indicateurs pour suivre les progrès accomplis dans la réalisation desdits résultats. Les indicateurs sont des informations qui signalent un changement.
Les indicateurs sont « des facteurs ou variables, quantitatifs ou qualitatifs, qui permettent de mesurer des résultats ou qui informent des changements escomptés ».
Les indicateurs ne visent pas à démontrer pourquoi l’intervention a fait changer les choses ; cet aspect est notamment couvert par l’évaluation. De même, ils ne montrent pas comment le changement se produit, ce qui est couvert, entre autres, par la théorie du changement ou l’évaluation. Ils permettent de comprendre si un changement s’est produit.
Il n’existe pas de règle spécifique sur le nombre idéal d’indicateurs pour un résultat donné, mais il faut que ceux-ci permettent de déterminer si le résultat a été obtenu.
Composantes d’un indicateur | ||||
Ce qui doit être mesuré | Unité de mesure | Population cible | Direction du changement |
Qualitatif | Quantitatif |
Par exemple :
|
Par exemple :
|
Indicateur binaire (peut être qualitatif ou quantitatif) | |
Par exemple :
|
|
Indicateur indirect | |
Par exemple :
|
Le tableau 3.2 résume l’utilisation d’indicateurs aux différents niveaux de résultats.
Tableau 3.2. Niveaux de contrôle de l’intervention
Niveau de résultat | Description de l’indicateur | Niveau de contrôle de l’intervention |
Objectif |
Permet de confirmer les changements survenus dans : — Les conditions politiques, économiques et/ou sociales des bénéficiaires. |
|
Effet direct |
Permet de confirmer le changement escompté dans : — La performance institutionnelle ; — Le comportement et les attitudes individuels et/ou collectifs ; — Les positions politiques, économiques et/ou sociales immédiates des bénéficiaires. |
|
Produit |
Permet de confirmer le changement escompté dans : — Les compétences et/ou les capacités des bénéficiaires — La disponibilité de nouveaux produits ou services. |
|
Pour que les effets d’une intervention sur les différentes populations cibles envisagées ou involontaires puissent être effectivement mesurés, il est important de ventiler les indicateurs par âge, sexe, situation migratoire et tout autre identifiant pertinent pour l’intervention.
Il est important, dès le stade de l’élaboration d’une intervention, de réfléchir à la manière d’obtenir des effets directs dans le délai imparti de l’intervention ou en sachant comment mesurer leur réalisation après la fin de l’intervention. Il peut y avoir des effets directs à court ou moyen terme, également en fonction de la nature et de la durée du projet.
La formulation d’un effet direct de façon que les indicateurs puissent être mesurés pendant la période de mise en œuvre ou au moyen des mécanismes en place pour les mesurer peu après la fin de l’intervention dépendra largement des éléments suivants :
a) Type et complexité de l’intervention.
b) Type de résultats que l’intervention vise à obtenir.
c) Durée de l’intervention.
d) Ressources disponibles pour la vérification.
Pour une intervention de renforcement des capacités, comprenant une action de formation pour les fonctionnaires d’une institution gouvernementale, les changements institutionnels devront être mesurés sous l’angle de l’application des connaissances acquises. Selon le sujet et le contexte local, ils ne seront mesurables que trois à six mois après la formation. C’est pourquoi, les concepteurs, les chargés du suivi et de l’évaluation et les administrateurs de l’intervention devront réfléchir au moment où la formation pourra s’inscrire dans le calendrier du projet de manière à avoir suffisamment de temps pour la collecte de données sur les résultats au niveau des effets directs à court et moyen terme.
Bien que les indicateurs doivent être adaptés aux résultats d’une intervention particulière, il peut être utile de s’intéresser aux indicateurs couronnés de succès d’autres interventions et de les modifier selon que de besoin. Dans certains cas, des indicateurs standard ont été élaborés dans des domaines thématiques spécifiques, qui peuvent faciliter la mesure des résultats au regard de certaines normes et règles internationales ; d’où la nécessité de les adapter, le cas échéant.
Il est également recommandé d’aligner les indicateurs sur les stratégies et politiques existantes aux niveau national, régional, thématique et mondial. Il peut s’agir par exemple de vérifier si les indicateurs sont conformes à ceux qui figurent dans un plan-cadre de coopération des Nations Unies pour le développement durable, une stratégie gouvernementale ou un plan d’action national portant sur un domaine thématique ou un sujet particulier, ou à des indicateurs mis en place au titre des objectifs de développement durable.
Le système PRIMA permet de suivre les progrès du projet grâce à la matrice des résultats et des indicateurs de projet. Lors de la création d’une matrice des résultats dans PRIMA, les utilisateurs seront invités à saisir des indicateurs concernant l’objectif et chaque énoncé de résultats. Pour chaque indicateur, PRIMA exige d’indiquer un type d’indicateur, en offrant deux options : numérique ou texte. Pour un indicateur numérique, les concepteurs de l’intervention ne saisiront que des données numériques. Pour un indicateur sous forme de texte, les utilisateurs pourront faire des rapports en utilisant des données textuelles.
|
|
Dans le cas des indicateurs numériques, les utilisateurs sont invités à identifier une catégorie d’indicateurs offrant trois options : bénéficiaire, service ou article. Si l’option bénéficiaire est sélectionnée, des champs supplémentaires à renseigner seront affichés, y compris la catégorie et le type de bénéficiaire, l’unité de mesure (individu, ménage ou communauté), et la possibilité d’utiliser un multiplicateur ou de cibler des bénéficiaires individuels ou uniques.
Pour plus d’informations sur la saisie des indicateurs dans une matrice des résultats de l’OIM dans PRIMA, voir le Guide de formation pour les utilisateurs finals de PRIMA : le concepteur de projet élabore une proposition de projet (modèle de l’OIM) (réservé aux utilisateurs internes de l’OIM via l’intranet de l’OIM ici.
Lors de l’élaboration des indicateurs, les aspects suivants doivent être pris en compte :
- Surcharge d’indicateurs : Trop d’indicateurs qui, souvent, se chevauchent et mesurent la même chose. Un à trois indicateurs pour un énoncé de résultats peuvent suffire.
- Fixation sur le produit : Indicateurs axés uniquement sur la comptabilisation des produits.
- Imprécision des indicateurs : Indicateurs flous clairs et susceptibles de mesurer des résultats à un niveau trop élevé ou trop bas.
- Complexité excessive : Indicateurs qui ne sont pas clairs et sont très difficiles à comprendre.
Il est également important de garder à l’esprit les critères spécifiques, mesurables, atteignable réalistes, et temporellement définis (SMART) utilisés pour mettre au point des indicateurs :
Source: Module 2 du Manuel des projets de l'IOM (lien interne uniquement).
Un indicateur doit être à la fois pertinent (directement lié au résultat) et atteignable (nécessite un investissement raisonnable en temps et en ressources afin de recueillir et d’analyser les données). Pour savoir si un indicateur est atteignable, il faut évaluer la source des données/le moyen de vérification.
Une autre approche intéressante de la formulation des indicateurs consiste à appliquer le ciblage QQT, qui garantit que chaque indicateur est mesurable sous l’angle de la quantité, de la qualité et du temps (QQT).
Un indicateur peut définir le nombre, la fréquence, la quantité, la durée ou une combinaison de ces éléments comme l’illustre l’exemple ci-dessous :
Étape 1 : indicateur de base | Pourcentage de participants formés qui déclarent utiliser les informations |
Étape 2 : Ajouter la qualité (quel type de changement) | Pourcentage des responsables de la gestion des frontières du pays X formés qui déclarent utiliser les outils et les connaissances fournis dans leur travail |
Étape 3 : Ajouter la quantité (combien) | Pourcentage des responsables de la gestion des frontières du pays X formés qui déclarent utiliser régulièrement les outils et les connaissances fournis dans leur travail |
Étape 4 : Ajouter le temps (quand) | Pourcentage des responsables de la gestion des frontières du pays X formés qui déclarent utiliser, dans le cadre de leur travail, les outils et les connaissances fournis régulièrement six mois après la formation |
Ressources de l’OIM
2017a Manuel des projets de l'IOM. Deuxième édition. Genève (lien interne uniquement).
2019b Le concepteur de projet élabore une proposition de projet – Modèle OIM, matrice des résultats. (en anglais). Guide d’utilisation pour les utilisateurs finals de PRIMA (Prima EndUser Training Guide) (lien interne uniquement).
s.d.a IOM PRIMA for All User Guide (lien interne uniquement).
Autres ressources
Organisation de coopération et de développement économiques (OCDE)
2010 Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats. Paris.
People in Need
s.d. IndiKit: Guidance on SMART Indicators for Relief and Development Projects.
Division de statistique des Nations Unies
2020 Manuel électronique sur les indicateurs de suivi des objectifs de développement durable (en anglais).
Banque mondiale
2010 Constructing and targeting indicators using QQT. In: The LogFrame Handbook: A Logical Approach to Project Cycle Management. Washington, D.C., pp. 38–47.
Outil d’aide à l’élaboration d’indicateurs
s.d. Microsoft Visio.
Sources de données et méthodes de collecte des données
Voir la visualisation de la matrice des résultats de l’OIM plus haut pour identifier le sources et méthodes de collecte des données dans la matrice des résultats.
Afin de procéder au suivi des indicateurs, il faut identifier une source d’information permettant de vérifier chaque indicateur. À l’OIM, ces sources d’information sont appelées sources de données, définies comme « désignant la provenance et les modalités de collecte des informations recueillies en vue de mesurer les indicateurs choisis »
Les sources de données doivent identifier le type d’informations à recueillir, la façon dont les informations sont recueillies et sous quelle forme (méthode de collecte), et à quelle fréquence. Les sources de données peuvent être des documents (par exemple, des rapports de projet et des publications gouvernementales), des ensembles de données (par exemple, des données issues des recensements nationaux ou des ensembles de données de suivi d’un projet), des archives (par exemple, les fiches de présence à une formation et les dossiers des bénéficiaires) et des personnes (par exemple, les bénéficiaires et/ou les populations touchées, les parties prenantes, le personnel de projet, des fonctionnaires gouvernementaux).
Indicateur | Source de données | Méthode de collecte |
Pourcentage de ménages gagnant plus d’argent après le projet | Personnes dans les ménages | Enquête auprès des ménages |
Les sources de données peuvent-être primaires ou secondaires. Les données primaires sont recueillies par l’organisme d’exécution et peuvent concerner le personnel, le budget, les données administratives, les enquêtes, les entretiens et les observations directes. Les données secondaires sont recueillies par des personnes extérieures à l’organisme d’exécution.
- L’information sera-t-elle accessible ?
- D’où proviendront les informations ?
- La source de données peut-elle fournir des données de qualité ?
- Comment l’information sera-t-elle obtenue compte tenu des ressources limitées ?
- Quel est le coût et la faisabilité de la collecte de l’information ?
Il faut que chaque méthode de collecte de sources de données connues soit précisée dans la matrice des résultats initiale, car le temps, les capacités et le budget doivent être intégrés dans l’intervention pour que celle-ci puisse être mise en œuvre avec succès. Les ressources disponibles et la fréquence de la collecte doivent également être identifiées lors de la phase d’élaboration d’une intervention. Cela est particulièrement important pour le suivi et l’évaluation, ainsi que pour des raisons budgétaires.
Il est tout aussi important de ne collecter que les données nécessaires pour mesurer les indicateurs et celles destinées à une utilisation ultérieure. La collecte d’informations supplémentaires peut entraîner des dépenses et des délais supplémentaires. Le chapitre 4 fournira de plus amples informations sur les méthodes et les outils de collecte de données.
Données de référence et cibles
Voir la visualisation de la matrice des résultats de l’OIM plus haut pour identifier les colonnes des données de référence et des cibles dans la matrice des résultats.
Les données de référence et les cibles peuvent être définies comme étant « les données de base à l’aune desquelles sont mesurés les changements survenus au fil du temps, tandis que les cibles représentent précisément ce que le projet doit atteindre ».
Les données de référence peuvent être considérées comme le point de départ, car elles présentent la situation initiale avant la mise en œuvre d’une intervention. Elles fournissent la première mesure d’un indicateur et précisent l’état actuel des choses au regard duquel les changements futurs seront mesurés.
Selon le contexte et la nature d’une intervention, il se peut que les données de référence ne soient pas toujours disponibles au stade de l’élaboration. Dans ces cas, il peut être bon de proposer de recueillir les données de référence (et, par la suite, les cibles) au début de l’intervention, en accord avec les interlocuteurs clés et les donateurs.
Dans certains cas, une étude ou une évaluation de base peut être nécessaire pour identifier les données de référence voulues, si un budget est disponible à cet effet, car un tel exercice peut avoir un coût. Par exemple, lorsque des changements dans la population générale présentent un intérêt, un recensement peut être utilisé comme base de référence ; cependant, il n’en existe pas toujours, et il serait coûteux d’en mener aux fins de l’intervention. Dans d’autres scénarios, il ne sera peut-être pas possible de réaliser une étude de base nécessaire, en raison de restrictions de sécurité ou d’autres raisons indépendantes de la volonté de l’OIM. Dans ces cas, les données recueillies lors de la première visite de suivi, lorsqu’un indicateur particulier est mesuré pour la première fois, peuvent être considérées comme une base de référence pour cet indicateur.
Dans d’autres cas, en particulier dans les programmes multiphases, les données de référence peuvent être disponibles par le biais d’autres interventions précédemment mises en œuvre. Cependant, dans tous les cas, il est fondamental d’être cohérent dans la manière dont les données sont présentées dans le cadre de l’intervention, au stade de l’élaboration et d’un bout à l’autre des rapports, de toujours bien savoir pourquoi les données de référence sont présentées d’une manière particulière et de pouvoir le justifier.
En établissant des cibles, on fixe le seuil d’un indicateur particulier. Cela permet de déterminer ce que l’intervention espère atteindre, ce qui sera mesuré au regard d’une base de référence. Si les cibles sont atteintes pour tous les indicateurs d’un résultat, l’intervention peut être considérée comme ayant atteint son résultat. La cible fixée pour un indicateur particulier doit être appropriée dans un contexte ou lieu donné, étant entendu qu’une cible appropriée dans un scénario, un lieu ou un contexte ne le sera pas nécessairement dans un autre contexte. Au moment de fixer une cible, il convient de garder à l’esprit un certain nombre de points importants, dont des considérations budgétaires (quel est le maximum pouvant être atteint avec les ressources disponibles), les priorités du donateur ou de l’interlocuteur (que doit atteindre l’intervention) et les limitations contextuelles (ce qui est atteignable au vu de l’environnement dans lequel l’intervention est mise en œuvre). La fixation de cibles peut être simple pour certains résultats, mais assez complexe pour d’autres.
Ressources l’OIM
2017a Établissement de la matrice des résultats, Module 2. In: Manuel des projets de l’OIM. Deuxième édition. Genève (lien interne uniquement).
s.d.b Exemples de matrices des résultats complétées de l’OIM. Dossier SharePoint consacré au suivi et à l’évaluation (en anglais) (lien interne uniquement).
Une fois la matrice des résultats élaborée et finalisée, elle peut être convertie en un outil de suivi susceptible d’être utilisé pendant la mise en œuvre d’une intervention : le cadre de suivi des résultats. Celui-ci est élaboré au début de la mise en œuvre, après que le projet a été financé et activé. Le cadre de suivi des résultats est le principal outil de suivi des résultats de toute intervention. Il permet à tous les membres de l’équipe de mise en œuvre et aux parties prenantes de suivre les progrès réalisés en vue d’atteindre les résultats escomptés. En précisant la méthode de collecte des données, le cadre de suivi des résultats met également en évidence les exigences en matière d’obtention de données de qualité. Il peut être utilisé parallèlement au plan de travail détaillé pour le suivi des activités, aux outils d’établissement de rapports financiers pour le suivi du respect du budget, et au plan de gestion des risques pour le suivi des risques, afin de garantir une approche holistique du suivi.
Cadre de suivi des résultats
Source: Module 4 du Manuel des projets de l'IOM (lien interne uniquement).
La cadre de suivi des résultats reprend en grande partie les informations figurant dans la matrice des résultats, mais il contient cinq colonnes supplémentaires : analyse de données, périodicité, personne responsable, degré de réalisation et progrès. En outre, la colonne des hypothèses de la matrice des résultats n’y figure pas.
Figure 3.13. Comparaison entre la matrice des résultats et le cadre de suivi des résultats
Matrice des résultats
Résultats | Indicateurs | Source et méthode de collecte des données | Base de référence | Cible | Hypothèses | |
Objectif | ||||||
Effet direct | ||||||
Produit |
Cadre de suivi des résultats
Résultats | Indicateurs | Source et méthode de collecte des données |
Analyse des données | Périodicité | Personne responsable | Base de référence | Cible | Degré de réalisation | Progrès |
Objectif | |||||||||
Effet direct | |||||||||
Produit |
Les cinq colonnes nouvelles sont complétées comme suit :
Analyse des données |
Cette colonne doit indiquer comment les données seront analysées. Les analyses sont principalement qualitatives et quantitatives. Par exemple, si l’indicateur est « existence d’une législation conforme aux pratiques exemplaires internationales », la source de données serait le document (copie de la législation d’où sont tirées les informations (données), tandis que la méthode de collecte serait une étude de documents (examen de la législation). L’analyse des données serait qualitative, par exemple si un spécialiste évalue dans quelle mesure la législation est conforme aux pratiques exemplaires internationales. Si l’indicateur est « pourcentage des ménages gagnant plus d’argent après le projet », la source de données serait les « membres des ménages », la méthode de collecte serait une enquête auprès des ménages, et l’analyse serait car elle consisterait à calculer le pourcentage de ménages déclarant gagner plus d’argent qu’avant.
|
Périodicité |
La périodicité désigne la fréquence à laquelle les données seront recueillies (une fois par semaine, par mois, par trimestre ou par an, ponctuellement, à la fin du projet). La périodicité doit correspondre aux activités et aux indicateurs. Par exemple, si une formation doit être organisée et que l’indicateur mesuré est « pourcentage de stagiaires, par sexe, qui réussissent l’examen final », la mesure sera prise une seule fois (« ponctuellement ») à la fin de la formation. Si le suivi porte sur une activité en cours, par exemple l’« aide au transport des réfugiés pendant une crise prolongée », il serait bon que le nombre de personnes transportées soit suivi sur une base régulière (hebdomadaire, voire quotidienne). |
Personne responsable |
Cette colonne indique le nom de la personne qui, au sein de l’équipe de projet, sera chargée d’organiser la collecte, l’analyse et le stockage des données conformément au Manuel de protection des données de l’OIM. Dans les cas où des données à caractère personnel sont nécessaires, la personne indiquée dans cette colonne est la responsable du traitement des données, conformément au Manuel de protection des données. |
Degré de réalisation |
Cette colonne comprend des informations, périodiquement actualisées ou dès qu’elles sont disponibles, qui indiquent les avancées enregistrées par rapport à la cible. Par exemple, si celle-ci est de former 100 travailleurs humanitaires à la prévention de la traite d’êtres humains dans les situations d’urgence, et que 75 travailleurs ont reçu une formation, indiquez 75 [sur une cible de 100].
|
Progrès |
Cette colonne comprend des informations, actualisées périodiquement ou dès qu’elles sont disponibles, qui évaluent les progrès accomplis pour atteindre la cible. Le cas échéant, ceux-ci pourront être exprimés en pourcentage (par exemple si 75 travailleurs humanitaires sur 100 ont reçu une formation, le progrès est de 75 %). Dans certains cas, une description des progrès vers la réalisation de la cible sera plus appropriée, en particulier pour les indicateurs qualitatifs. Par exemple, si l’indicateur est « existence d’une législation conforme aux pratiques exemplaires internationales », mais que la législation ne reflète que partiellement ces pratiques, alors il convient de décrire brièvement en quoi la législation reflète les pratiques exemplaires, en précisant les lacunes qu’il reste à combler.
|
Si le cadre de suivi des résultats constitue le principal outil permettant de tracer les informations requises pour le suivi d’une intervention, des outils supplémentaires pour faciliter la collecte des données peuvent être nécessaires pour chaque indicateur, selon la méthode de collecte de données spécifiée. Des exemples d’outils de collecte de données pertinents, tels que les enquêtes, les discussions en groupe, les entretiens avec une personne source et d’autres figurent dans le chapitre 4 des Lignes directrices de l’OIM relatives au suivi et à l’évaluation.
Ressources de l’OIM
2010 Manuel de protection des données de l'IOM. Genève.
2017 Module 2 et Module 4. In: IOM Manuel des projets de l'IOM. Deuxième édition. Genève (lien interne uniquement).
Lors du suivi d’une intervention de l’OIM, quatre domaines essentiels à suivre sont pris en considération ainsi que les outils clés associés à chacun de ces domaines.
Activités Principal outil de suivi : plan de travail détaillé |
Résultats Principaux outils de conception : théorie du changement, matrice des résultats Principal outil de suivi : cadre de suivi des résultats |
Budget et dépenses Principal outil de suivi : rapports financiers du système PRIMA de gestion intégrée des processus et des ressources et PRIMA for All |
Risques Principal outil de suivi : plan de gestion des risques |
Toutes sortes d’éléments peuvent faire l’objet d’un suivi dans une intervention ; ils dépendront des besoins d’information spécifiques de l’intervention.
En plus du suivi du budget et des dépenses, PRIMA peut être utilisé pour suivre les résultats ; plus particulièrement, il peut servir à faire des rapports sur une matrice des résultats et un cadre de suivi des résultats car ceux-ci peuvent être suivis à l’aide du système mais également fournir des résultats de tableau de bord.
Le suivi des résultats dans le système PRIMA est une approche en deux étapes consistant, respectivement, à : a) planifier le suivi des résultats du projet ; et b) mettre à jour/suivre les résultats du projet en mesurant les progrès par rapport aux indicateurs figurant dans la matrice des résultats. Au moyen de l’onglet Plan qui se trouve dans le module de suivi des résultats, les administrateurs peuvent introduire des informations dans les colonnes supplémentaires qui sont ajoutées à la matrice des résultats originale pour créer le cadre de suivi des résultats : a) analyse des données (y compris les possibilités de ventilation des données) ; b) périodicité ; et c) personne responsable. Les deux colonnes supplémentaires du cadre de suivi des résultats – Degré de réalisation (indiqué sous Progrès cumulés dans PRIMA) et Progrès – sont mises à jour à l’aide de l’onglet Résultats de l’indicateur qui se trouve dans le module PRIMA du suivi des résultats. Une fois complétées, les données saisies dans le cadre de suivi des résultats dans PRIMA peuvent également être exportées dans les rapports aux donateurs générés par PRIMA.
Pour plus d’informations concernant l’utilisation de PRIMA en matière de suivi des résultats, voir PRIMA User Guide – Results Monitoring.
Le tableau suivant traite plus en détail des différents types de suivi et présente les outils les plus utiles pour la réalisation de chaque type de suivi.
Tableau 3.3. Les quatre types de suivi de l’OIM
Type de suivi | Description | Outil(s) à utiliser |
Suivi des activités |
Le suivi des activités permet de suivre les progrès, les lacunes et les retards dans les activités au regard d’un plan de travail détaillé. Un administrateur doit déjà disposer du plan de travail de base élaboré au stade lors de la proposition d’intervention. Au début de la mise en œuvre, ce plan doit être précisé pour devenir un plan de travail détaillé. Celui-ci comprend les activités et les tâches identifiées dans la matrice des résultats, ainsi que toutes les autres activités et tâches liées à la mise en œuvre. Il inclut, par exemple, une section pour les activités de suivi, d’évaluation et de rapport en cours. Idéalement, l’élaboration d’un plan de travail détaillé doit être menée par l’équipe de l’intervention, sous la conduite générale de l’administrateur. |
Modèle de plan de travail de l’OIM (Module 4 du Manuel des projets de l’OIM) (lien interne uniquement). Le plan de travail permet de planifier et de suivre la mise en œuvre des activités, de répartir clairement les tâches entre les membres de l’équipe d’intervention, et de s’assurer que les produits sont obtenus dans les délais et dans les limites du budget disponible. |
Suivi des résultats |
Le suivi des résultats consiste à surveiller les résultats. Il sert à déterminer si une intervention est sur la bonne voie ou non pour atteindre les résultats escomptés en matière de suivi (produits, effets directs, objectif). Il est également recommandé de réfléchir à, et d’identifier tout effet positif ou négatif involontaire. Tel pourrait être le cas, par exemple, si les participants à la formation ont créé un groupe de travail en toute indépendance et qu’ils continuent de se réunir après la fin de la formation. Les sections précédentes ont montré comment suivre les résultats de manière très détaillée au moyen du cadre de suivi des résultats de l’OIM et/ou de la matrice des résultats. |
Modèle de cadre de suivi des résultats de l’OIM (Module 4 du Manuel des projets de l’OIM) (lien interne uniquement). Le cadre de suivi des résultats doit toujours refléter la version convenue de la matrice des résultats la plus récente et être examiné à intervalles réguliers. Différents outils de collecte des données sont mentionnés au chapitre 4. |
Suivi financier (budget et dépenses) |
Le suivi financier consiste à surveiller les dépenses par rapport à celles qui sont inscrites dans le budget approuvé. Au moment de l’établissement de rapports, le système PRIMA est utilisé pour créer des rapports financiers intermédiaires et finals, si bien qu’il peut constituer une ressource pour le suivi financier. |
Rapports financiers PRISM (voir Module 4 du Manuel des projets de l’OIM) (lien interne uniquement).. PRIMA |
Suivi des risques |
Le suivi des risques consiste à vérifier si les risques précédemment identifiés sont toujours pertinents et si de nouveaux risques sont apparus, et à déterminer si la probabilité et le moment des risques précédemment identifies restent exacts. Le suivi des risques consiste en outre à identifier et à appliquer des mesures de traitement des risques, ce qui fait partie de l’établissement d’un plan de gestion des risques. Le suivi des risques est souvent réalisé conjointement avec le suivi du contexte |
Plan de gestion des risques de l’OIM (Module 4 du Manuel des projets de l’OIM) (lien interne uniquement). Le système PRIMA comprend un module de gestion des risques. Pour plus d’informations, voir le PRIMA User Guide, disponible en interne pour le personnel de l’OIM sur l’intranet. |
Autres types de suivi à envisager | |
Suivi du processus | Le suivi du processus porte sur l’utilisation des moyens et autres ressources, les progrès des activités de l’intervention et l’obtention des produits. Il évalue la manière dont les activités sont réalisées. Ce type de suivi est souvent mené en combinaison avec le suivi de la conformité (expliqué ci-dessous). Les outils du suivi du processus peuvent être des listes de vérification visant à s’assurer que les processus sont entrepris; des formulaires d’enregistrement et des formulaires de suivi peuvent également constituer des outils pour le suivi du processus. |
Suivi de la conformité | Le suivi de la conformité porte sur la conformité avec les réglementations de l’organisation et des donateurs et les résultats escomptés de l’intervention, ainsi qu’avec les réglementations, lois, exigences contractuelles et normes éthiques établies. Une liste de vérification est un exemple d’outil de suivi de la conformité. |
Suivi du contexte | Le suivi du contexte porte sur la situation dans laquelle se déroule l’intervention et se concentre sur l’identification des risques et hypothèses, compte tenu de tout élément inattendu pouvant survenir. Ainsi, le suivi du contexte est étroitement lié au suivi des risques. Il couvre la zone d’opération directe, ainsi que le contexte institutionnel, politique, financier et politique plus large affectant la mise en œuvre d’une intervention. Le plan de gestion des risques susmentionné est l’un des outils de l’OIM pouvant être utilisés pour le suivi du contexte. |
Suivi des bénéficiaires | Le suivi des bénéficiaires porte sur la perception qu’ont les bénéficiaires d’une intervention en cours ou terminée. Ce type de suivi promeut la participation des bénéficiaires et évalue leur satisfaction ou leurs plaintes, le niveau de participation/d’inclusion, leur accès aux ressources, la manière dont ils sont traités dans le cadre de l’intervention et leur expérience globale du changement. L’enquête et le questionnaire sont des exemples d’outils pouvant être utilisés pour le suivi des bénéficiaires. |
Ressources de l’OIM
2017a Manuel des projets de l'OIM. Deuxième édition. Genève (lien interne uniquement).
- Modèle de plan de travail de l'OIM (Module 4).
- Modèle de cadre de suivi des résultats (Module 4).
- Plan de gestion des risques de l'OIM (Module 4).
s.d.c PRIMA User Guide – Suivi des résultats (lien interne uniquement).
s.d.d Dossier Sharepoint PRIMA User Guide (lien interne uniquement).
Autres ressources
Fédération internationale des sociétés de la Croix-Rouge et du Croissant-Rouge
2011 Project/Programme Monitoring and Evaluation (M&E) Guide. Genève.
Le suivi d’une politique ou d’une stratégie diffère du suivi d’un projet ou d’un programme en ce qu’il s’intéresse à la situation dans son ensemble ou au niveau macro de ce que l’Organisation vise à atteindre. Malgré cette différence, des approches similaires peuvent être appliquées pour le suivi d’une stratégie. Aux fins de suivi, il est utile de faire la distinction entre les stratégies élaborées aux niveaux national, régional et mondial. Étant donné que les stratégies visent à obtenir des résultats, en général à un niveau plus élevé que les projets et les programmes, il est également possible d’appliquer une matrice des résultats à une stratégie. Le tableau ciaprès présente les points essentiels à prendre en considération pour l’élaboration de stratégies afin de faciliter le suivi, ainsi que des orientations sur la manière d’effectuer un suivi généralisé de stratégies élaborées à différents niveaux. Des ressources pour des outils d’élaboration de stratégie figurent à la fin de la présente section.
Tableau 3.4. Suivi d’une stratégie
Type de stratégie | Considerations for strategy development that facilitate monitoring | How to monitor |
Stratégie mondiale (comme une stratégie thématique ou départementale) |
|
Les stratégies, à l’instar des autres interventions, doivent être suivies sur une base continue, quel que soit le niveau auquel elles sont mises en œuvre. Lors de la rédaction ou de l’élaboration d’une stratégie, il convient d’inclure une section sur les modalités de suivi. Pour suivre les stratégies, il existe les méthodes suivantes :
|
Stratégie régionale |
|
|
Stratégie nationale |
|
Les politiques sont souvent élaborées aux niveaux du système, de l’institution ou de l’organisation et peuvent faciliter les efforts visant à résoudre des problèmes complexes. Cependant, faut des politiques solides et fondées sur des éléments factuels pour pouvoir résoudre ces problèmes et réaliser des objectifs institutionnels et organisationnels. C’est pourquoi il est indispensable d’intégrer le suivi et l’évaluation dans le cycle des politiques, essentiellement pour les mêmes raisons que pour les interventions au niveau des projets, des programmes et des stratégies, y compris pour promouvoir la responsabilité et l’apprentissage. Dans cette optique, un grand nombre des aspects qui contribuent à un suivi réussi d’une stratégie peuvent aussi faciliter le suivi d’une politique. De même, des outils tels que l’élaboration et l’utilisation d’une matrice des résultats peuvent être utilisés pour le suivi d’une politique.
Pour des ressources supplémentaires concernant le suivi (et l’évaluation) d’une politique, voir la section Ressources ci-dessous.
Si une matrice des résultats ou un cadre de suivi des résultats n’a pas été élaboré pour une stratégie ou une politique particulière, il est toujours possible de procéder au suivi de l’intervention au moyen d’examens et de rapports stratégiques fréquents, de manière plus qualitative. Les outils qui peuvent soutenir cette démarche sont les suivants : a) plan d’action ; b) examen de la stratégie à mi-parcours ; c) réunions régulières des principales parties prenantes de la stratégie sur l’orientation stratégique et d) l’établissement d’un lien entre les projets spécifiques et la stratégie pour identifier les lacunes potentielles en matière de mise en œuvre et/ou de financement.
La stratégie nationale de l'OIM Thaïlande constitue un bon exemple d’élaboration d’un plan de suivi d’une stratégie. Elle montre comment les éléments essentiels du suivi au niveau du projet/programme, tels que la matrice des résultats, sont appliqués au niveau de la stratégie. Elle montre aussi diverses matrices des résultats, qui couvrent différents domaines thématiques répondant aux besoins spécifiques en matière de migration et indique comment elles sont liées à d’autres cadres mondiaux tels que les ODD.
Ressources de l’OIM
2017b IOM Thailand Internal National Strategy 2017–2020. N.p. Dossier SharePoint consacré au suivi et à l’évaluation (lien interne uniquement).
2018a IOM Country Strategy Draft Outline. Modèle interne dans le dossier SharePoint consacré au suivi et à l’évaluation (lien interne uniquement).
2018b IOM Country Strategy – Quick Guide. Modèle interne dans le dossier SharePoint consacré au suivi et à l’évaluation (lien interne uniquement).
Autres ressources
National Center for Injury Prevention and Control
2013 Step by step – Evaluating violence and injury prevention policies, Brief 1: Overview of policy evaluation. Centers for Disease Control and Protection (CDC), Atlanta.
Organisation de coopération et de développement économiques (OCDE)
Cette section traite plus particulièrement des opérations et du suivi dans des environnements où il est difficile d’atteindre les populations vulnérables, y compris les contextes d’insécurité moyenne à élevée, tout en préservant la sécurité du personnel de l’Organisation. Elle aborde également le cas des programmes vastes et complexes, certains avec une couverture large, y compris ceux dont la mise en œuvre fait l’objet d’un suivi par un tiers. Les stratégies de gestion et de suivi à distance et le suivi par un tiers permettent d’atténuer les difficultés propres à de telles situations et aident l’OIM à fournir en continu une assistance ciblée tout en réduisant les risques pour le personnel.
Une structure de gestion mise en place à titre temporaire peut rapidement se transformer en une approche de mise en œuvre semi-permanente et/ou permanente dans les pays où la sécurité se détériore. Si la multiplication d’approches de gestion à distance a pu permettre de formuler un certain nombre de recommandations aux praticiens pour améliorer leurs résultats dans les zones difficiles d’accès, elle a également montré les limites de ces approches, y compris sur le plan du suivi de l’intervention et de la responsabilité à l’égard des populations touchées. Cette section portera sur la gestion à distance, le suivi à distance ainsi que le suivi d’interventions par un tiers.
Les approches de gestion à distance ont des conséquences non négligeables pour les pratiques en matière de suivi et de responsabilité, ainsi que pour l’aptitude de l’organisme de mise en œuvre à garantir l’obtention des résultats du projet/programme. Lorsque les conditions empêchent le personnel de rencontrer les bénéficiaires ou d’effectuer un suivi direct des activités, d’autres approches en matière d’effectifs ou des partenaires extérieurs doivent être envisagés. Une approche de gestion à distance s’impose quand l’administrateur ne peut être présent physiquement et que son contrôle technique, son suivi et sa responsabilité sont ainsi limités, ainsi que dans les situations où le risque de fraude et de corruption est plus élevé. Quelques exemples de situations courantes dans lesquelles des approches de gestion à distance peuvent être appliquées sont donnés ci-après.
La pandémie de COVID-19, en 2020, a engendré de nouvelles difficultés en matière de gestion et d’exécution d’interventions et, par conséquent, en matière de suivi et d’évaluation. Elle a toutefois été l’occasion de mettre en place un scénario inédit de gestion à distance, dans lequel la plupart des activités et mouvements étaient restreints pour tous les acteurs. Ces conditions renforcent la nécessité de mettre en place des systèmes de suivi à la fois solides et souples pour appuyer la mise en œuvre des interventions. En réponse aux défis posés par la pandémie de COVID-19, l’OIM a élaboré un document d’orientation intitulé Continuity of Monitoring and Evaluation Interventions during COVID-19, (Continuité des interventions de suivi et d’évaluation pendant la pandémie de COVID-19), qui propose des solutions de rechange en matière de collecte de données qui sont utiles tant dans les scénarios de gestion à distance que dans ceux de suivi à distance.
De manière générale, la gestion à distance, y compris le suivi à distance et certains aspects de la gestion par un tiers, peut constituer une réponse temporaire ou plus permanente aux défis logistiques et sécuritaires que pose la mise en œuvre directe des programmes.
Les éléments à prendre en considération sont les suivants :
- a) Sécurité physique/environnement opérationnel – une évaluation détaillée des risques et de la sécurité doit comprendre les éléments suivants :
- i) Une solide analyse du contexte et de l’environnement sécuritaire, y compris la dynamique du conflit (Groupe de la gestion des risques des Nations Unies), la distance par rapport aux sites du projet, les moyens de transport, leur disponibilité, les contraintes et les infrastructures.
- ii) Une analyse des niveaux de risque sur le plan de la sécurité (faibles/moyens/élevés).
- iii) Une analyse de l’accès aux sites du projet : aucun/irrégulier/régulier mais limité.
- b) Analyse des coûts des options – Une analyse des coûts doit comprendre les éléments suivants :
- i) Le montant pouvant être investi aux fins de délégation de la responsabilité de la mise en œuvre et de minimisation de l’impact sur la qualité du programme. Cela peut nécessiter d’analyser d’autres options rentables ou moins coûteuses.
- ii) Les possibilités de suivi/visites sur le terrain, selon les circonstances (environnement sécuritaire, éloignement et autres facteurs affectant le risque) ; la disponibilité des systèmes d’information ; l’identification de partenaires d’exécution efficaces ; la garantie d’un renforcement des capacités des partenaires locaux ; comment entretenir des relations efficaces avec les bénéficiaires, par exemple par des systèmes de réseaux communautaires ; les possibilités d’évaluer l’impact du programme par une gestion à distance.
- c) Stratégie de sortie – Étant donné que les systèmes de gestion à distance sont souvent plus coûteux et moins fiables que la gestion directe, il convient, le cas échéant, d’élaborer une stratégie de sortie pour passer de la gestion à distance à la gestion directe et de l’examiner régulièrement afin d’éclairer les décisions relatives à la mise en œuvre.
Une mission de gestion de l’OIM devra, en consultation avec les responsables des bureaux régionaux et du Siège, également examiner la question de savoir qui décide de lancer un programme à distance et quels processus constituent la base de cette décision, y compris le cadre juridique.
La gestion à distance peut avoir d’importantes conséquences en ce qui concerne le cadre organisationnel, la responsabilité, le suivi et l’assurance de la qualité des interventions. Lorsqu’une situation exige une gestion à distance, la mise en place et l’utilisation de méthodes de suivi nécessite une attention accrue. En raison des difficultés logistiques que pose la conduite du suivi dans des environnements complexes et éloignés, il peut être nécessaire d’organiser des formations supplémentaires et de conclure des arrangements contractuels avec des liens hiérarchiques additionnels. De solides approches de suivi à distance sont indispensables pour soutenir et faciliter la gestion à distance.
Un défi commun du suivi à distance est l’allocation de ressources suffisantes pour la planification et la budgétisation de la mise en place de systèmes de suivi rigoureux et efficaces. Il est donc important d’identifier les contraintes opérationnelles et les limites budgétaires observées dans ces environnements fragiles et complexes. Cela peut également prévenir le recours abusif aux prorogations à coût nul. La prise en considération de telles contraintes et limitations dans la section Suivi de chaque proposition de projet peut également donner au donateur l’assurance qu’une attention est portée au suivi afin de garantir la qualité générale d’une intervention.
Grâce à l’utilisation d’approches spécifiques de la gestion à distance, le suivi de la mise en œuvre peut encore se poursuivre. Le tableau suivant présente les principales difficultés auxquelles se heurte le suivi à distance et les solutions envisageables pour y remédier.
Tableau 3.5. Suivi à distance : Principales difficultés et solutions envisageables
Défi | Explication | Solutions suggérées |
Détérioration potentielle de la qualité des programmes | Il peut être difficile de garantir la qualité de la programmation quand les projets sont complexes sur le plan technique. |
Dans la mesure du possible :
|
Mécanismes de contrôle et de suivi fragiles | Un suivi rigoureux risque d’être négligé quand un projet se heurte déjà à des priorités et des délais concurrents ou à des contraintes budgétaires. Un manque de capacité du personnel, d’approches et d’outils de suivi normalisés, des visites de suivi peu fréquentes, une mauvaise qualité des données collectées et le manque de triangulation des informations sont autant de facteurs susceptibles d’affaiblir le suivi et de déboucher sur une mauvaise prise de décisions, sur une détérioration potentielle de la qualité du programme et sur la corruption. |
Dans la mesure du possible :
|
Données et rapports insuffisants et/ou inexacts | Une mauvaise qualité des données peut nuire à la qualité des rapports. Elle peut être due à l’insuffisance des capacités du personnel et/ou du temps passé sur le terrain en raison de problèmes de sécurité lors de la collecte des données. |
Dans la mesure du possible :
|
Nombre réduit de visites et accès restreint aux sites de mise en œuvre | Il peut être parfois difficile d’effectuer des visites de suivi sur les sites de mise en œuvre ou dans les bureaux extérieurs. Il peut en résulter une mauvaise communication, un partage de l’information insuffisant et un manque de contrôle de l’information, ce qui peut finalement nuire à la qualité de la mise en œuvre. |
Dans la mesure du possible :
|
Capacités limitées du personnel/des partenaires | Les limites les plus courantes concernent les compétences en matière de gestion, d’analyse des données, et d’établissement de rapports, ainsi que la bonne compréhension de concepts tels que le suivi et l’évaluation, l’action humanitaire et la responsabilité à l’égard des bénéficiaires. |
Dans la mesure du possible :
|
Faible contrôle technique de la mise en œuvre | Fournir une assistance technique appropriée dans le cadre d’une gestion à distance peut être plus difficile. |
Dans la mesure du possible :
|
Mauvaise communication entre le bureau de pays principal ou le bureau principal délocalisé et les bureaux auxiliaires sur le terrain | La communication peut être difficile dans des contextes de gestion à distance. |
Dans la mesure du possible :
|
Risque accru de fraude et de corruption | Les risques de fraude et de corruption sont présents d’un bout à l’autre de la mise en œuvre d’une intervention et peuvent survenir dans des contextes de gestion à distance où le suivi est plus difficile. Des cas de fraude ou de corruption peuvent survenir à différents niveaux : au niveau de l’organisation, avec son propre personnel, au niveau du bénéficiaire ou au niveau du partenaire d’exécution. Certains facteurs socioéconomiques et politiques peuvent accroître les risques de fraude et de corruption. |
Dans la mesure du possible :
|
Dans la mesure du possible, les systèmes de suivi à distance doivent permettre un retour d’information en temps réel. De tels systèmes présentent de nombreux avantages : ils peuvent assurer une communication bidirectionnelle en temps réel et/ou en temps quasi-réel dans des environnements éloignés, servant ainsi d’outil de gestion mais aussi de mécanisme de contrôle et d’assurance qualité. En recevant des informations/ données en temps quasi-réel, le personnel de l’OIM est capable d’identifier et de résoudre les difficultés beaucoup plus rapidement.
Microsoft Office 365 est disponible pour tous les membres du personnel de l’OIM, et confient des outils pouvant être utilisés pour le suivi (à distance), comme suit :
Collaboration/partage en temps réel | Espaces/plateformes de collaboration |
|
|
Appels virtuels | |
|
Ressources de l’OIM
2020 Continuity of Monitoring and Evaluation Interventions during COVID-19. Version du 8 avril. Unité d’évaluation d’OIG.
Autres ressources
Comité international de secours (IRC)
2016 IRC – Syria, Remote Management Guidelines. Dernière mise à jour août 2016.
Norman, B.
2012 Monitoring and Accountability Practices for Remotely Managed Projects Implemented in Volatile Operating Environments. Tearfund, Teddington, Royaume-Uni.
Price, R.
2018 Approaches to remote monitoring in fragile states. GSDRC Helpdesk Research Report. Université de Birmingham.
? Ressources principalement liées à la COVID-19 qui peuvent aussi être appliquées à d’autres contextes.
Kopper, S. et A. Sautmann
2020 Best practices for conducting phone surveys. Abdul Latif Jameel Poverty Action Lab (J-Pal), 20 mars.
Le suivi par un tiers s’entend du système qui consiste à confier à des tiers le suivi et/ou des fonctions de suivi telles que la collecte (et parfois la vérification) de données pour le compte de l’entité chargée de l’exécution ou du donateur. Cependant, cette définition peut être précisée en fonction du contexte, et les modalités du suivi par un tiers peuvent prendre différentes formes, en particulier dans des environnements non permissifs. Par conséquent, lorsqu’on parle du suivi par un tiers, il est important de préciser laquelle des situations suivantes est évoquée.
a) L’OIM recourt au suivi par un tiers – En sa qualité d’entité de gestion, l’OIM utilise le suivi par un tiers pour suivre ses interventions : elle engage une équipe de suivi externe pour effectuer le suivi de ses propres performances et/ou de celles de ses partenaires d’exécution.
b) L’OIM est le tiers chargé du suivi– Une autre entité de gestion fait appel à l’OIM pour assurer le suivi de ses interventions : l’OIM est le tiers qui effectue le suivi des interventions mises par un autre organisme.
c) L’OIM est l’objet du suivi effectué par une autre entité – Une entité (généralement un organisme donateur) fait appel à une entité tierce pour assurer le suivi des performances de l’OIM : une intervention gérée par l’OIM est suivie par une entité tierce de suivi travaillant directement pour le donateur de l’intervention.
L’OIM a de l’expérience dans ces trois situations, comme le montrent les exemples suivants de l’OIM Pakistan :
a) L’OIM recourt au suivi par un tiers – L’OIM recourt au suivi par un tiers pour qu’il assure le suivi de la mise en œuvre de sa propre intervention et/ou des activités de ses partenaires d’exécution (tels que des ONG locales) : dans le cadre d’un programme de stabilisation communautaire de grande envergure financé par USAID, la situation au regard de la sécurité et les protocoles en matière de sécurité restreignent l’accès du personnel de l’OIM aux activités sur le terrain. C’est pourquoi le programme a recruté du personnel de terrain sur la base de contrats avec des tiers pour procéder au suivi des projets en cours dans les zones dont l’accès restreint. Le personnel a été formé et supervisé par des chargés du suivi et de l’évaluation de l’OIM dans le cadre d’une gestion et d’un suivi à distance, grâce à un système d’information pour la gestion du suivi et d’évaluation conçu pour ce programme afin de permettre un suivi en temps réel.
b) L’OIM est le tiers chargé du suivi – Une autre entité fait appel à l’OIM en tant que tiers pour assurer le suivi de ses interventions : l’OIM est le tiers chargé du suivi d’un projet exécuté par l’INL (Bureau of International Narcotics Law Enforcement Affairs) au moyen d’un système de suivi particulier.
c) L’OIM est l’objet du suivi – Un organisme donateur recourt à un tiers pour assurer le suivi des performances de l’OIM : les activités de l’OIM ont été suivies par une entité tierce, financée par USAID. Cette entité était directement placée sous l’autorité de USAID, à qui elle signalait toute difficulté. Celle-ci était ensuite communiquée à l’OIM pour réponse. En cas de constatations contradictoires, l’OIM devait soumettre au donateur des rapports de suivi fondés sur des éléments factuels.
Le suivi par un tiers n’est pas seulement utilisé dans des situations d’urgence, mais aussi dans le cadre de programmes de grande envergure tels que, par exemple, le Programme d’admission des réfugiés des ÉtatsUnis (USRAP), qui fait appel au suivi par un tiers pour ses activités mises en œuvre aux quatre coins du monde par différents organismes, ou encore le programme du Fonds fiduciaire de l’Union européenne, où les performances de l’OIM font l’objet d’un suivi par une autre entité.
Dans tout scénario de suivi par un tiers, il est important de veiller à ce que les parties en présence aient des attentes claires et réalistes. Les accords contractuels définissent les paramètres et les conditions régissant tout scénario de suivi par un tiers, y compris les obligations et exigences des différentes entités en présence. Dans chacun des trois scénarios indiqués plus haut, il convient de garder à l’esprit plusieurs points essentiels lors de la conclusion d’un accord avec un tiers à des fins de suivi, comme suit :
a) Rôles et responsabilités : S’assurer que les rôles et responsabilités dans le cadre du scénario sont clairement définis pour chaque partie, y compris la fréquence du suivi et des rapports, les liens hiérarchiques, les voies et moyens de communication entre les parties, le personnel nécessaire à la mise en œuvre, les prestations et la répartition du travail entre les parties. D’autres obligations importantes peuvent être identifiées et incluses en fonction du contexte.
b) Protection des données : Identifier les problèmes potentiels de protection des données et les prendre en compte directement dans l’accord, ainsi qu’au début du suivi de la mise en œuvre. Même si l’OIM s’engage à faire preuve de transparence avec les partenaires chargés du suivi, les accords doivent être conformes aux Principes relatifs à la protection des données de l’OIM, aux orientations du Manuel de protection des données de l’OIM, et aux instructions du Bureau des affaires juridiques (LEG) concernant le choix des termes relatifs à la confidentialité dans les accords contractuels.
? Afin de renforcer l’attachement de l’OIM à la transparence, il convient d’envisager d’attirer l’attention sur toute limitation particulière prévue au sujet du partage des données dès le début d’un accord sur le suivi par un tiers, idéalement lors des négociations initiales entre les parties à l’accord.
c) Indicateurs : Il est important de se mettre d’accord dès le départ sur l’objet du suivi et sur la manière dont les résultats sont mesurés. L’ajout ou la modification d’indicateurs, au-delà de ce qui a été initialement convenu dans le contrat avec le donateur et sans l’accord de toutes les parties, peut compliquer ou entraver la communication précise des résultats et dans certaines situations, compliquer considérablement les mécanismes établis de collecte de données.
d) Accords multiples : Dans presque toutes les situations, un accord de suivi par un tiers sera conclu dans le cadre d’un projet ou d’un programme existant. Dans ces cas, un accord avec le donateur existera déjà. Il est donc essentiel que tous les accords de suivi par un tiers soient conformes aux obligations de l’OIM énoncées dans l’accord initiale avec le donateur. Dans la mesure du possible, si un suivi par un tiers est exigé par un donateur, il faut tenter de s’entendre sur les paramètres, y compris les considérations éthiques de l’OIM relatives à la protection des données, ainsi que sur les rôles et responsabilités de toutes les parties avant la conclusion de l’accord initial avec le donateur
? Enfin, s’il existe des questions ou des désaccords au sujet des accords de suivi par un tiers et des termes qui y sont employés, il convient de demander l’aide de LEG. Pour de plus amples informations sur les questions relatives aux achats liées au suivi par un tiers, voir IN/284.
Difficultés et risques du suivi par un tiersLes sections suivantes sont tirées des informations rassemblées par la Division des situations de transition et de relèvement, élaborées par l’Unité d’évaluation d’OIG en 2018.
Si le suivi par un tiers permet de suivre indirectement, de vérifier, de valider et de recueillir des données en temps réel ainsi que de changer le cap des interventions de l’OIM, il comporte également quelques limites : rapports de mauvaise qualité sur les visites de suivi, dépenses inattendues (entre autres, aux fins d’amélioration de la qualité), absence de transparence et difficulté à recueillir des données au niveau des effets directs). Une grande partie des risques inhérents à la gestion à distance sont également valables pour le suivi par un tiers.
Autres risques potentiels associés au suivi par un tiers | |
Programmatiques |
|
Institutionnels |
|
Autres |
|
a) Affecter des ressources suffisantes au renforcement des capacités du personnel chargé du suivi par un tiers, afin de garantir un travail de qualité tout au long du processus de suivi. Il est fortement recommandé d’utiliser des manuels, des guides, des notes d’orientation et les différents modèles pour ces systèmes de suivi à distance. Dans un souci de conformité, il est important de respecter les normes de l’OIM, telles que les Principes relatifs à la protection des données de l’OIM.
b) Il est important, dès la conclusion d’un arrangement de suivi par un tiers, soit dans l’accord luimême, soit dans un document en annexe ou un avenant, de s’entendre sur les paramètres régissant la collecte, la gestion et l’utilisation éthiques des données, et de relier les efforts de suivi par un tiers au cadre de responsabilité à l’égard des populations touchées de l’OIM (voir le chapitre 5 sur les thèmes transversaux de l’OIM : Responsabilité à l’égard des populations touchées).
c) Lors de la définition des rôles et responsabilités dans un accord de suivi par un tiers, veiller à ce que toutes les parties aient une compréhension réaliste des ressources humaines et autres requises pour faciliter les activités de suivi par un tiers. Que l’OIM recoure au suivi par un tiers ou qu’elle fasse elle-même l’objet d’un suivi par un tiers, les exigences en matière de collecte de données, comme la facilitation des visites de suivi ou la rédaction de rapports, ne doivent pas limiter la capacité de l’organisation chargée de la mise en œuvre de l’intervention.
Les ressources précitées concernant la gestion et le suivi à distance peuvent également s’appliquer au suivi par un tiers, selon la situation.
Ressources de l’OIM
2010a Manuel de protection des données de l'OIM. Genève.
2010b Annexe X: Principes relatifs à la protection des données de l'OIM (lien interne uniquement).
2021 Changes to Procurement, Implementing Partners Selection and Related Contracting Procedures (IN/284) (lien interne uniquement).
Ce chapitre a, jusqu’ici, abordé les divers types de suivi, y compris les quatre domaines principaux à suivre : les résultats, les activités, le budget et les dépenses, et les risques.
Comme indiqué dans la section Types de suivi du présent chapitre, le système PRIMA peut également servir à suivre les résultats, à l’aide de la matrice des résultats et du cadre de suivi des résultats.
Pour plus d’informations sur l’utilisation de PRIMA pour le suivi des résultats, voir le document PRIMA User Guide, Annex 5: Results Monitoring (lien interne uniquement).
Ensemble, ils constituent les principaux éléments à utiliser pour planifier et effectuer le suivi des projets, programmes, stratégies et politiques. Conjointement avec la planification de l’évaluation traitée au chapitre 5 des Lignes directrices de l’OIM relatives au suivi et à l’évaluation, ces éléments forment le plan de suivi et d’évaluation. Celui-ci décrit le plan général appliqué au suivi et à l’évaluation de l’ensemble de l’intervention. Il doit préciser la stratégie de suivi, les approches, les études, les examens ou les évaluations à mener, en détaillant les sources de données, le calendrier et les processus de gestion, et résumer la théorie du programme dans son ensemble, y compris la théorie du changement ou la matrice des résultats.
Même s’il existe différentes définitions, les termes « plan de suivi et d’évaluation » et « cadre de suivi et d’évaluation » sont souvent utilisés de manière interchangeable. Cependant, bien qu’ils semblent identiques, ils renvoient à deux concepts différents.
Le tableau 3.6 présente certains éléments clés.
Tableau 3.6. Comparaison des principaux éléments : Plan de suivi et d’évaluation et cadre de suivi et d’évaluation
Plan de suivi et d’évaluation | Cadre de suivi et d’évaluation |
Dans certains cas, une description détaillée de la logique du projet, des évaluations envisagées et des activités de suivi, ainsi que des outils de suivi et d’évaluation peut être requise. Par exemple, lorsqu’il faut mesurer le succès d’un projet très vaste ou très complexe, que divers partenaires seront associés aux activités de suivi et d’évaluation, ou que le donateur exige un plan plus précis de la manière dont le suivi et l’évaluation seront assurés au début de l’intervention. |
La définition la plus courante d’un cadre de suivi et d’évaluation est un tableau énumérant tous les indicateurs (et leur brève définition), ainsi que la source des données, la base de référence, la cible, la fréquence de mesure, la méthode et les outils de collecte de données, ainsi que la personne chargée de mesurer les résultats. Pour l’OIM, le concept qui se rapproche le plus d’un cadre de suivi et d’évaluation est le cadre de suivi des résultats. Dans de nombreux cas, un cadre de suivi des résultats suffira pour suivre les résultats d’une intervention de l’OIM, accompagné des plans indiqués dans les sections Suivi et Évaluation du descriptif de projet. |
Idéalement, un plan de suivi et d’évaluation doit être établi lors de la phase initiale (lancement) d’un projet, avant le démarrage de la mise en œuvre, et doit être revu périodiquement pour refléter les changements survenus dans le contexte de la mise en œuvre, ou après que d’importantes modifications ont été apportées à la conception du projet. | Le cadre de suivi et d’évaluation est, lui aussi, élaboré au début du projet. Il devra peutêtre faire l’objet d’un examen périodique pour refléter les changements dans la mise en œuvre. |
Le cadre de suivi et d’évaluation peut être une composante du plan de suivi et d’évaluation et y être inclus. |
Même si les deux concepts sont présentés ici comme étant distincts, il est toujours conseillé de demander des précisions à un donateur ou à un partenaire particulier pour s’assurer que les termes employés et les attentes connexes sont compris de la même manière.
Un plan de suivi et d’évaluation permet de relier toutes les composantes du suivi et de l’évaluation, tels que les plans de visites sur le terrain, le cadre de suivi des résultats, la collecte et l’analyse des données et les exigences en matière d’utilisation, les activités d’apprentissage et de réflexion et d’autres informations. Dans certains cas, un plan de suivi et d’évaluation peut également contenir une description détaillée des indicateurs de l’intervention. Il est utile de rassembler tous les éléments qui permettent de suivre et d’évaluer une intervention dans un seul document ou dossier, afin de mieux gérer les processus de suivi et d’évaluation, de promouvoir l’accès à tous les documents et une compréhension commune au sein de l’équipe du projet, ainsi que faciliter les examens et évaluations éventuels.
Bien qu’il existe plusieurs modèles de plan de suivi et d’évaluation, les paragraphes suivants décrivent les principaux éléments d’un plan de suivi et d’évaluation de base et d’un plan avancé.
Modèle de plan de suivi et d’évaluation de base |
a )Cadre de suivi des résultats b) Planification du suivi des activités, des questions financières et des risques c) Plan de travail détaillé d) Planification de l’examen et de l’évaluation |
Modèle de plan de suivi et d’évaluation avancé |
a) Aperçu et contexte b) Description de la théorie du changement c) Cadre de suivi des résultats d) Planification du suivi des résultats e)Planification du suivi des activités, des questions financières et des risques Parfois, le suivi des activités, des questions financières et des risques n’est pas considéré comme faisant partie du plan de suivi et d’évaluation, mais comme une partie distincte de la gestion du projet. Néanmoins, le plan de suivi et d’évaluation peut inclure une référence sur la manière dont ces éléments sont suivis. Pour l’OIM, les principaux outils référencés dans le Manuel des projets de l’OIM sont : le plan de travail détaillé, les rapports PRISM et/ou les outils sur mesure, ainsi que le plan de gestion des risques f) Plan de travail détaillé g) Données : gestion, rôles et responsabilités h) Planification des visites de suivi par le personnel chargé du programme i) Plan de collaboration avec les partenaires d’exécution en matière de suivi et d’évaluation j) Planification des rapports k) Planification de l’examen et de l’évaluation l) Planification de la réflexion et de l’apprentissage m) Ressources pour le suivi et l’évaluation |
Le tableau suivant donne un aperçu graphique d’un plan de suivi et d’évaluation, en indiquant comment il s’appuie sur l’élaboration du projet et contribue à la responsabilité et à l’apprentissage.
Note: Modifié sur la base d’un graphique élaboré par le Bureau régional de l’OIM à Vienne (2017).
L’établissement de rapports sur les résultats de l’intervention est un élément essentiel pour garantir la conformité avec l’approche axée sur les résultats. Des rapports sont établis à différents intervalles tout au long du cycle de vie d’une intervention. Fondés sur les connaissances opérationnelles et les pratiques exemplaires, les rapports contribuent également à l’approfondissement des connaissances institutionnelles de l’OIM. Ils permettent de communiquer des informations sur l’avancement de l’intervention, les résultats obtenus, les enseignements tirés, les obstacles rencontrées, les mesures prises pour surmonter et relever les défis, et sur les bonnes pratiques identifiées au cours de la mise en œuvre.
L’établissement de rapports est une composante obligatoire de la gestion des interventions. Des informations régulières aux donateurs, aux États Membres et aux autres parties prenantes sur l’état d’avancement d’une intervention contribue à la transparence et à la responsabilité et garantissent le respect des engagements contractuels. L’établissement de rapports internes, tels que les rapports de suivi, les rapports des partenaires d’exécution, les comptes rendus de réunions et les registres des enseignements tirés constituent un autre élément important de la gestion de projet qui peut également faciliter l’établissement de rapports externes. L’établissement de rapports nécessite de tenir un registre de toutes les mesures prises au cours de la mise en œuvre. Par conséquent, les rapports sont une précieuse source d’informations pour les vérificateurs et les évaluateurs qui déterminent si une intervention a été mise en œuvre avec succès, conformément aux règles et règlements de l’OIM ainsi qu’à l’accord conclu avec le donateur.
Les bureaux de l’OIM doivent envisager d’élaborer un plan d’établissement de rapports afin d’anticiper les besoins en la matière et de faire en sorte que suffisamment de temps est prévu pour la collecte des données et la préparation des rapports. Ce plan peut faire partie d’un plan de suivi et d’évaluation (voir la section précédente Synthèse : plan de suivi et d’évaluation) ou être élaboré en tant que plan autonome.
Un plan d’établissement de rapports peut porter sur les rôles en la matière (qui est chargé de l’établissement des rapports), les types de rapports nécessaires, la fréquence de production, les procédures d’examen des rapports et les destinataires des rapports
Le Module 5 du Manuel des projets de l’OIM donne des orientations détaillées sur la procédure d’établissement de rapports aux donateurs et ses trois grandes phases : a) préparation ; b) examen et approbation et c) soumission. La présente section concerne l’établissement de rapports sur les résultats à l’aide des constatations issues du suivi, les sections spécifiques du rapport descriptif aux donateurs pour améliorer les rapports sur les résultats, et la manière dont les rapports peuvent contribuer à l’apprentissage institutionnel.
Rédiger un rapport consiste à communiquer des résultats.
L’établissement de rapports est une composante essentielle du suivi et de l’évaluation car il permet de présenter les données recueillies et les constatations destinées aux principales parties prenantes et pour déterminer la performance globale. Les rapports sur les résultats fournissent des éléments factuels et des informations aux décideurs afin d’éclairer les processus décisionnels. Les rapports de suivi internes et les rapports aux donateurs externes peuvent avoir plusieurs objectifs, selon les besoins d’information d’une intervention, ainsi que les informations dérivées du suivi et de l’évaluation, qui peuvent être utilisées à différentes fins. Les informations relatives au suivi et à l’évaluation peuvent servir à:
Collecte de données aux fins de rapports axés sur les résultats
Les données nécessaires pour rendre compte des progrès accomplis dans la réalisation des cibles fixées pour les indicateurs doivent être recueillies pendant toute la mise en œuvre d’une intervention, et compilées et analysées avant l’établissement du rapport. Ces données englobent celles requises des parties prenantes et des partenaires d’exécution. C’est pourquoi il est important de préciser pourquoi, quand et comment les données nécessaires à l’établissement des rapports seront recueillies.
La matrice des résultats et le cadre de suivi des résultats réunissent des informations importantes, si bien qu’ils peuvent servir de ressource pour l’établissement de rapports axés sur les résultats.
Dans le cas d’un résultat concernant le renforcement des capacités, si l’accent est mis sur les connaissances acquises, avec un indicateur mesurant le pourcentage de participants dont les connaissances ont augmenté ou le pourcentage de ceux déclarant être en mesure d’appliquer les connaissances acquises, il sera possible, une fois ces données recueillies, d’établir un rapport qui, sur la base de ces informations, pourra mettre en relief un changement dans les capacités grâce à des connaissances accrues.
En revanche, si l’indicateur n’est pas utilisé et que les données ne sont pas recueillies, alors le rapport ne peut qu’indiquer le nombre de personnes formées ou le nombre de formation assurées, ce qui ne suffit pas pour démontrer un changement, à savoir que la formation dispensée a permis d’obtenir un changement et que le résultat escompté de l’activité de renforcement des capacités a été atteint.
Quelle que soit la qualité de la collecte et de l’analyse des données, celles-ci doivent également être bien présentées, compte tenu du public cible. Si les données sont mal présentées, les rapports perdent de leur utilité, ce qui revient à un gaspillage de ressources et du temps. Au moment d’identifier la finalité de la collecte de données, il est important de prévoir, d’entrée de jeu, des structures de rapport solides. Le graphique ci-dessous représente le cycle de la collecte, de l’analyse, de la communication et de l’utilisation des données :
Rédiger un rapport axé sur les résultats
Lorsqu’on considère l’établissement de rapports du point de vue du suivi et de l’évaluation, certaines pratiques additionnelles peuvent être utilisées pour garantir un rapport axé sur les résultats.
Par le passé, les rapports étaient souvent axés sur les activités mises en œuvre, au détriment des résultats obtenus au niveau des produits et des effets directs, ou de l’impact de l’intervention sur la réalisation d’un objectif d’intervention. Les rapports doivent :
- Indiquer comment s’est déroulée la mise en œuvre, depuis les activités jusqu’aux résultats, et comment les ressources ont été utilisées pour obtenir ces résultats.
- Donner un aperçu des données quantitatives et qualitatives qui témoignent des progrès réalisés sur la voie des résultats.
- Souligner les difficultés rencontrées par le projet ou le programme et les points susceptibles d’amélioration.
Chapitre 6 de UNICEF, 2017, pages. 146–148.
Il existe encore d’autres conseils concernant la rédaction de rapports axés sur les résultats qui rendent dûment compte des changements survenus.
Conseils additionnels pour rendre compte des changements |
|
|
Des exemples de formulations axées sur les résultats sont donnés ci-après :
Activité | Rapport axé sur les résultats |
L’OIM a acheté et installé 20 conteneurs adaptés aux conditions hivernales dans la zone frontalière | En décembre, le nombre de migrants dormant dans des logements adaptés à l’hiver a augmenté de 25 % dans le pays. |
L’OIM a enregistré des enfants migrants et assuré leur transport jusqu’à des écoles locales dans la zone où se trouve le centre d’hébergement. | En 2021, le taux de scolarisation des enfants migrants résidant dans des centres d’hébergement pour migrants est passé de 30 % à 90 %. |
Pour plus d’exemples et d’informations, se reporter au Module 5 du Manuel des projets de l’OIM.
Tout au long de l’établissement des rapports, il y a lieu de maintenir un juste équilibre entre les formulations descriptives et les formulations analytiques. Les formulations descriptives expriment ce qui s’est passé ; elles sont complétées par des formulations analytiques, qui expliquent le pourquoi de ce qui s’est passé, ce qui a pu être atteint (au-delà des activités et des produits immédiats) et les conséquences éventuelles.
Formulations descriptives | Formulations analytiques |
Indiquent ce qui s’est passé | Identifient l’importance des constatations |
Indiquent l’ordre dans lequel les choses se sont passées | Évaluent les points forts et les points faibles |
Expliquent comment quelque chose fonctionne | Formulent des jugements raisonnés |
Énumèrent les détails | Expliquent les raisons de chaque option choisie |
Parallèlement à l’accent mis sur les résultats et aux formulations descriptives et analytiques, d’autres facteurs renforcent la qualité des rapports. Un rapport efficace est pertinent, actuel, complet, précis, concis, facile d’utilisation, cohérent et d’un bon rapport qualité-prix. Il présente également des données de qualité. La liste de questions donnée dans le tableau suivant permettant de savoir si un rapport répond à ces critères :
Pertinent |
|
Actuel |
|
Complet |
|
Précis |
|
Concis et facile d’utilisation |
|
Cohérent |
|
Rapport coût efficacité |
|
Des rapports solides peuvent contribuer aux relations de l’OIM avec les donateurs, renforcer le soutien de ces derniers et faciliter le suivi d’un projet. Des rapports insatisfaisants peuvent être révélateurs d’un manque de mécanismes de responsabilité et de transparence, ce qui risque de porter préjudice aux relations avec un donateur ou d’autres parties prenantes.
La planification de rapports efficaces peut permettre d’identifier les besoins spécifiques en matière d’établissement de rapports ainsi que les besoins d’information du public cible dès le début du processus. L’information peut également viser un objectif particulier, tel que la planification stratégique, l’exécution continue du projet, la conformité avec les exigences des donateurs, l’évaluation ou l’apprentissage organisationnel. Des rapports axés sur l’utilisation qui sera faite des informations qu’ils renferment parce qu’elles répondent à des besoins, permettent d’optimiser l’utilisation des constatations des rapports et d’éviter l’établissement de rapports inutiles.
Au cours de la phase de préparation de rapports, il est utile de savoir qui recevra quelle information, sous quel format et à quelle fréquence, et qui préparera et fournira l’information.
L’administrateur de projet est responsable de la rédaction, de la préparation et de la coordination en temps utile des rapports aux donateurs
- Examen des documents relatifs au projet (y compris les documents initiaux et les éventuelles révisions ultérieures), afin de s’assurer que le rapport renferme les informations les plus actuelles, notamment la version la plus récente de la matrice des résultats convenue, et qu’il soit conforme aux exigences en matière de rapports et aux délais fixés.
- Examen des rapports intérimaires précédents, afin de garantir la cohérence des informations fournies et de faire le point sur les difficultés évoquées dans des rapports antérieurs.
- Examen de l’accord conclu avec le donateur et de toute modification qui lui aura été apportée, afin de confirmer les principales exigences en matière de rapports stipulées dans l’accord, en particulier la périodicité, la structure de présentation des rapports et la langue dans laquelle le rapport doit être rédigé. Si ces éléments ne figurent pas dans l’accord, le Manuel des projets de l’OIM fournit des instructions additionnelles quant à la façon de procéder à la page 261.
Lors de l’examen des documents relatifs au projet, veillez à faire également référence à la matrice des résultats et à toute théorie du changement correspondante, au cadre de suivi des résultats ainsi qu’au plan de suivi et d’évaluation pour les contributions essentielles (si celui-ci a été élaboré). S’il existe un plan pour l’établissement des rapports, référez-vous aux calendriers et aux structures de présentation des rapports déjà établis. L’énoncé exact de l’objectif, des résultats attendus (effets directs et produits), ainsi que des indicateurs, des bases de référence et des cibles définies dans la matrice des résultats doit figurer dans la partie descriptive du rapport afin de mettre l’accent sur la présentation des résultats. Un examen minutieux de ces documents facilite en outre l’identification des résultats inattendus, qui doivent également figurer dans les rapports.
Modèle de rapport de l’OIM - section II (Progrès accomplis en vue de l’obtention des effets directs et des produits)Ibid., p. 364.
La section II du modèle de rapport décrit les résultats obtenus (effets directs et produits) ainsi que les activités connexes mises en œuvre pendant la période considérée. Si un suivi régulier a été effectué, les informations relatives aux résultats, tels que les effets directs et les produits, peuvent être tirées des rapports de suivi, de la matrice des résultats et/ou du cadre de suivi des résultats. Les progrès accomplis en vue de l’intégration des thèmes transversaux doivent également être mentionnés dans cette section du rapport.
Modèle de rapport de l’OIM - section III (Progrès accomplis par rapport aux indicateurs de la Matrice des résultats)Module 5 duManuel des projets de l’OIM (lien interne uniquement)
La troisième section du modèle de rapport se concentre sur la présentation des progrès accomplis par rapport aux indicateurs de la matrice des résultats et fournit des informations détaillées sur la façon dont il faut compléter chaque cellule.
Matrice des résultats figurant dans le modèle de rapport de l’OIM
Résultats | Indicateurs | Base de référence | Cible | Progrès accomplis durant la période considérée | Progrès globaux du projet |
Objectif Insérez l’objectif tel qu’il apparaît dans le descriptif du projet. | Insérez l’indicateur tel qu’il est défini dans la matrice des résultats. | Insérez les données de référence correspondant à l’objectif. | Insérez la cible associée à l’objectif, telle qu’elle apparaît dans le descriptif de projet et la matrice des résultats. | Indiquez les progrès accomplis au cours de la période actuellement considérée qui contribuent à la réalisation de l’objectif, tels que mesurés par l’indicateur associé à l’objectif par rapport à la cible définie. |
Indiquez les progrès accomplis depuis le début du projet jusqu’à la période actuellement considérée, tels que mesurés en comparant la base de référence à la cible de l’indicateur associé à l’objectif. Aucune information ne sera inscrite dans cette colonne pour le premier rapport. |
Effet direct 1 Insérez l’effet direct (le premier) cité dans le descriptif de projet. | Insérez les indicateurs correspondant à l’effet direct 1 définis dans la matrice des résultats. Veillez à ajouter tout nouvel indicateur établi ultérieurement. | Insérez les données de référence se rapportant à l’effet direct 1. | Insérez la cible associée à l’effet direct 1, telle qu’elle apparaît dans le descriptif de projet et la matrice des résultats. | Faites état des progrès accomplis au cours de la période actuellement considérée qui influent sur l’obtention de l’effet direct, tels que mesurés par l’indicateur associé à l’effet direct par rapport à la cible définie. |
Indiquez les progrès globaux accomplis depuis le début du projet jusqu’à la période actuellement considérée, tels que mesurés en comparant la base de référence à la cible de l’indicateur associé à l’effet direct. Aucune information ne sera inscrite dans cette colonne pour le premier rapport. |
Produit 1.1 Insérez le (premier) produit mentionné dans le descriptif de projet. | Insérez les indicateurs correspondant au produit 1.1 tels qu’ils apparaissent dans la matrice des résultats. Veillez à ajouter tout nouvel indicateur établi ultérieurement. | Insérez les données de référence correspondant au produit 1.1. | Insérez la cible associée au produit 1.1, telle qu’elle apparaît dans le descriptive de projet et la matrice des résultats. |
Indiquez les progrès accomplis en vue de l’obtention du produit au cours de la période actuellement considérée, tels que mesurés par l’indicateur associé au produit par rapport à la cible définie. Exemple de projet d’une durée de 12 mois : Dans le premier rapport intérimaire (janv. – mars) : 500 agents frontaliers, ventilés par sexe, formés à l’identification des documents de voyage falsifiés Dans le rapport final (oct. – déc.) : 350 agents frontaliers, ventilés par sexe, formés à l’identification des documents de voyage falsifiés. |
Indiquez les progrès globaux accomplis depuis le début du projet jusqu’a la période actuellement considérée, tels que mesurés en comparant la base de référence à la cible de l’indicateur associé au produit. Exemple de projet d’une durée de 12 mois : Dans le premier rapport intérimaire (janv.- mars) : Aucune information ne sera inscrite dans cette colonne pour le premier rapport intérimaire. |
Activités |
Les progrès accomplis en vue de l’obtention de l’objectif, des effets directs et des produits sont présentés de manière concise dans la colonne « Progrès accomplis durant la période considérée », tandis que ceux accomplis en vue de l’obtention des résultats pour toute la durée de l’intervention, sont présentés dans la colonne « Progrès globaux du projet ». Une matrice des résultats bien conçue, et un cadre de suivi des résultats connexe où figurent des indicateurs et des sources de données détaillés permettent d’indiquer comment le suivi des données peut être effectué pour chaque niveau de résultats – produits, effets directs et objectif. Après l’étape présentée ci-dessus, les données issues des résultats du suivi sont enregistrées et présentées dans la colonne « Progrès » du cadre de suivi des résultats et, lors de l’établissement des rapports, dans la colonne « Progrès accomplis durant la période considérée » pour chaque niveau de résultats (produits, effet directs ou objectif – voir supra). Au fur et à mesure de la mise en œuvre, les rapports de suivi et les progrès indiqués au fil du temps dans le cadre de suivi des résultats montreront comment les progrès accomplis au regard des indicateurs conduisent progressivement à des résultats généraux à différents niveaux qui permettront d’éclairer l’établissement des rapports.
Modèle de rapport de l’OIM – section IV (Difficultés rencontrées et mesures prises)Module 5 du Manuel des projets de l’OIM (lien interne uniquement).
Cette section du modèle de rapport est une partie importante de la présentation des résultats, car c’est là qu’il est possible d’expliquer comment les résultats ont été influencés par des conséquences inattendues au cours de la mise en œuvre. Elle décrit et analyse les difficultés ou retards importants enregistrés pendant la mise en œuvre du projet et résume les mesures correctives déjà prises ou planifiées pour remédier à la situation. Cette section doit également comprendre une analyse des incidences de toute hypothèse figurant dans la matrice des résultats qui ne s’est pas vérifiée, ou de tout risque qui s’est concrétisé pendant la période considérée. L’incidence des hypothèses qui ne se sont pas vérifiées ou des risques qui se sont concrétisés sur l’obtention de résultats spécifiques ainsi que l’impact de la mise en œuvre du projet dans son ensemble, doivent faire l’objet d’un suivi régulier pour limiter les impacts négatifs potentiels. Le suivi peut également contribuer à déterminer si le problème échappait au contrôle de l’OIM, comme dans le cas d’un évènement politique ou d’une catastrophe naturelle. Si le problème était dû à une erreur ou à une négligence lors de la conception du projet ou au fait que les mesures d’atténuation contenues dans le plan de gestion des risques étaient insuffisantes, cela doit également être mentionné. Enfin, il est important de décrire les mesures ou les plans de traitement mis en place ou planifiés pour remédier à la situation et d’expliquer comment le suivi sera réalisé. Un tableau est donné dans le modèle de rapport pour aider les utilisateurs à associer chaque difficulté aux mesures prises pour y remédier.
Modèle de rapport de l’OIM – section V (Conclusion)Ibid.
Cette section doit présenter un bref résumé des résultats clés obtenus au cours de la période considérée et esquisser les prochaines étapes de la mise en œuvre du projet. Dans le cas d’un rapport intérimaire, rappelez succinctement toute difficulté importante ou persistante escomptée au cours de la période suivante. Il peut être utile d’indiquer comment les futures activités clés devront déboucher sur de nouveaux résultats. Dans le cas des rapports finals, toutes les bonnes pratiques et/ou les enseignements tirés pendant la mise en œuvre doivent également être soulignés. Pour rendre compte des enseignements tirés, il est important d’identifier précisément les difficultés, ainsi que les mesures correctives qui ont permis d’obtenir des résultats positifs lors d’activités ultérieures. S’il en existe, des registres des enseignements tirés peuvent être utiles pour compléter cette section du rapport. Les évaluations peuvent également contribuer au processus visant à tirer des enseignements et venir compléter le rapport final.
Comme indiqué plus haut, des rapports fondés sur les constatations et les données issues du suivi et de l’évaluation peuvent contribuer à l’apprentissage institutionnel et aider à améliorer la qualité globale des interventions. L’apprentissage par l’évaluation est développé au chapitre 5 des Lignes directrices de l’OIM relatives au suivi et à l’évaluation. Pour sa part, la présente section s’intéresse au lien existant entre l’établissement de rappors et l’apprentissage, en portat une attention particulière aux rapports fondés sur les constatations et les données issues des activités de suivi et d’évaluation.
Des rapports axés sur les résultats sont essentiels à la prise de décisions et à la planification durant la phase de mise en œuvre d’une intervention, car ils peuvent fournir les informations nécessaires à des prises de décision fondées sur des éléments factuels. Les constatations et données issues des activités de suivi et d’évaluation contribuent de façon essentielle à la gestion du projet et éclairent les prises de décision. Par ailleurs, une réflexion sur les constatations générées par le processus de suivi et d’évaluation permet de tirer des enseignements des activités menées au jour le jour. Ces enseignements, pour leur part, permettent d’améliorer la qualité des activités actuelles et futures, ainsi que celle des programmes futurs.
L’établissement des rapports, la réflexion et l’apprentissage doivent intervenir tout au long du cycle de vie de l’intervention. Si, lors de la phase de conceptualisation, les constatations et les enseignements peuvent être repris d’évaluations antérieures, à la phase de mise en œuvre, le suivi et/ou l’évaluation à mi-parcours permettent d’obtenir des informations susceptibles d’éclairer les prises de décision visant à améliorer les performances et l’impact et de contribuer à l’apprentissage. Enfin, lors de la phase de finalisation, le personnel de projet/programme peut réfléchir à l’intervention pour se préparer à l’établissement des rapports aux donateurs, et la conduite d’une évaluation facilitera la collecte d’enseignements tirés de haut niveau.
Ressources de l’OIM
2017a Module 5. In: Manuel des projets de l'OIM. Deuxième édition. Genève (lien interne uniquement).
Autres ressources
Fédération internationale des sociétés de la Croix-Rouge et du Croissant-Rouge (FICR)
2011 Guide pour le suivi et l’évaluation de projets/programmes (en anglais). Genève.
Kusek, J.Z. et R. Rist
2004 Ten Steps to Monitoring and Evaluation System: A Handbook for Development Practitioners. Banque mondiale, Washington, D.C.
UNICEF
2017 Guide de la gestion axée sur les résultats : mobilisons-nous pour les enfants. New York.