En este capítulo se examinan los puntos esenciales del seguimiento y la evaluación de una intervención (o de un proyecto o programa y/o una estrategia o política). Se hace una presentación de la teoría del cambio y la matriz de resultados de la OIM, y se describen los tipos básicos de seguimiento, incluidas las actividades, los resultados y el seguimiento financiero y de los riesgos, así como otros tipos de seguimiento. El capítulo se centra asimismo en el seguimiento y la evaluación a distancia y en el seguimiento por terceros y, por último, se examina el seguimiento y la presentación de los resultados.
La base de un seguimiento eficaz radica en el buen diseño del proyecto. En la fase de elaboración de la propuesta se definen claramente los resultados que la intervención pretende alcanzar y cómo esta los alcanza, y se establece cómo se medirán los progresos en la consecución de estos resultados. En el Manual para proyectos de la OIM se ofrece un panorama general de este proceso y se muestra cómo sentar las bases de un seguimiento eficaz.
El presente capítulo se basa en los principales puntos mencionados en el Manual para proyectos de la OIM y proporciona otras orientaciones técnicas, además de desarrollar nuevos conceptos, como el de la teoría del cambio. Se centra principalmente en el seguimiento de un proyecto o programa y muestra asimismo que los principios de seguimiento de un proyecto o programa se aplican también al seguimiento de una estrategia o política. Muchos de los conceptos abarcados en este capítulo son importantes para el seguimiento y la evaluación – como la elaboración de una teoría del cambio, la matriz de resultados de la OIM, los temas transversales de la Organización, la gestión a distancia o la elaboración de un plan de seguimiento y evaluación – mientras que las orientaciones para llevar a cabo la evaluación en la OIM se examinan de manera detallada en el capítulo 5 de las Directrices de la OIM relativas al seguimiento y la evaluación. La OIM se centra en cuatro ámbitos fundamentales de seguimiento, a saber: a) las actividades; b) los resultados; c) el presupuesto y los gastos, y d) los riesgos.
Si bien existen varias definiciones de la teoría programática, la presente sección se centra en los enfoques más adecuados para el contexto operacional de la OIM.
La teoría programática es un proceso de pensamiento lógico sobre cómo abordar una situación y responder a la misma mediante una intervención. Por consiguiente, puede ser útil a la hora de proporcionar un marco conceptual para el seguimiento, así como para la evaluación
Existen diferentes tipos de teorías programáticas, entre ellos el modelo lógico, la lógica de la intervención, el modelo causal, la cadena de resultados y la teoría del cambio. En este capítulo se ofrece una descripción detallada de dos enfoques complementarios que son pertinentes para las intervenciones de la OIM, a saber: a) la teoría del cambio y b) el marco lógico, que se representa mediante la matriz de resultados de la OIM.
Si bien ambos enfoques describen cómo una intervención conduce a resultados, cada uno tiene una finalidad ligeramente distinta.
BetterEvaluation
s.f. Página de inicio.
Rogers, P.
s.f. Develop programme theory/theory of change. BetterEvaluation.
Formular claramente los resultados previstos o el cambio deseado es la base del seguimiento y la evaluación. Para ello es necesario determinar qué requiere un cambio, a qué se asemeja el cambio previsto y, por último, cómo puede lograrse ese cambio mediante las intervenciones de la OIM. Es ahí donde la teoría del cambio puede servir. Si bien existen muchas definiciones distintas de la teoría del cambio, esta sección se centra en los enfoques pertinentes para el contexto de la OIM
Puede considerarse que una teoría del cambio es una herramienta o un método para determinar la secuencia lógica de una intervención, desde las actividades hasta los resultados, mostrando las múltiples sendas que pueden conducir al cambio, incluidas aquellas que no guardan relación con la intervención prevista. También puede considerarse como un proceso y un diálogo de reflexión más profundos entre el personal y las partes interesadas, que reflejen los valores y la filosofía del cambio que hacen más explícitos los supuestos subyacentes de cómo y por qué puede producirse el cambio a raíz de una intervención. En el mejor de los casos, una teoría del cambio es una combinación de estos dos puntos de vista.
Suele definirse como la ilustración del vínculo existente entre las actividades, los productos, los efectos y los resultados, conducente a una cadena de resultados denominada senda de cambio o senda causal
|
¿Qué es la teoría del cambio?
|
Puede considerarse que una teoría del cambio es el producto de una serie de ejercicios de pensamiento crítico que presentan un panorama general de los cambios en distintos niveles que se espera que se produzcan debido a una intervención, en la fase de su concepción, durante su ejecución y tras su conclusión.
Center for Theory of Change
s.f.a Theory of Change examples.
s.f.b What is theory of change?
s.f.c Página de inicio (en inglés).
Stein, D. y C. Valters
2012 Understanding theory of change in international development. Justice and Security Research Programme (JSRP) Paper 1. JSRP and The Asia Foundation.
La utilización de la teoría del cambio está cada vez más extendida, y se aplica a todos los tipos de intervenciones. Puede servir para el diseño y el seguimiento, así como para evaluar los distintos tipos de intervenciones, y la mejor manera de usarla es para medir la complejidad de la transformación y el cambio. Habida cuenta de que la teoría del cambio reconoce que el cambio no es lineal, sino dinámico y complejo, esta trata a menudo de articular cambios sociales, políticos y basados en la comunidad o iniciativas de empoderamiento. La teoría del cambio es un enfoque orientado a los procesos que puede utilizarse para analizar las interrelaciones o las interacciones en los entornos complejos en que trabajan la OIM, sus asociados y sus aliados. Ese proceso ayuda a desenvolverse en entornos impredecibles y complejos y a efectuar el seguimiento y la evaluación de los cambios en el sistema a los que puede contribuir una intervención.
Cabe señalar que a la hora de definir las múltiples sendas de cambio pueden aplicarse diferentes denominaciones, como a) objetivos, efectos y productos; b) efectos a largo plazo, intermedios y a corto plazo, o c) efectos y condiciones previas. En esta sección se emplean las denominaciones de objetivos, efectos, productos y actividades para ajustarse a la terminología utilizada por la OIM en materia de seguimiento y evaluación y para desarrollar o complementar las matrices de resultados de la OIM.
La teoría del cambio es un marco que orienta todas las etapas del pensamiento, las acciones y el sentido de las intervenciones relacionadas con procesos de cambio social o político.
Representación gráfica
Los diagramas que ilustran una teoría del cambio suelen tener un formato flexible y pueden ser simples o complejos. Además, pueden disponerse de manera vertical, horizontal o circular.
La representación gráfica de una teoría del cambio puede ayudar a esbozar de manera detallada las múltiples sendas causales a fin de determinar la más factible para una determinada intervención. Otra ventaja de representar gráficamente una teoría del cambio es que facilita la comprensión de las posibles relaciones causales y las hace inmediatamente visibles. Permite realizar comparaciones entre las distintas sendas y puede ayudar a identificar los supuestos implícitos
Enfoque participativo
El proceso de elaboración de una teoría del cambio debería ser participativo y colaborativo, e incluir a las principales partes interesadas, así como a los beneficiarios o personas a las que la Organización trata de brindar asistencia y a las poblaciones afectadas, que pueden ofrecer sus diferentes puntos de vista a la hora de definir qué aspecto puede tener un cambio previsto en un ámbito temático específico.
Múltiples sendas de cambio
Una teoría del cambio reconoce que el cambio es dinámico y complejo, y puede mostrar diferentes sendas posibles conducentes al cambio (véase la figura 3.2, en la que cada color de las flechas representa una senda distinta). El proceso de elaboración de una teoría del cambio ayuda a descubrir estas múltiples sendas de cambio.
Un problema frecuente al utilizar la teoría del cambio es la ausencia de una “teoría” o el uso de una teoría poco sólida. Así, por ejemplo, las teorías que carecen de solidez no explican cómo se prevé que se produzca el cambio o no exponen ni establecen los supuestos claramente. Es importante asegurarse de que la teoría del cambio exprese realmente una teoría lógica, que explicite los mecanismos causales implícitos y complemente la representación gráfica.
Al elaborar una teoría del cambio válida y pertinente, los encargados de la ejecución pueden asegurarse de que sus intervenciones ofrecerán actividades adecuadas para la obtención de resultados deseados y realistas. La teoría del cambio garantiza que las intervenciones sean más fáciles de seguir y evaluar, en mayor o menor escala, ya que cada etapa – desde las ideas y supuestos subyacentes, hasta los resultados que se desea lograr y los recursos necesarios – está claramente enunciada en la teoría. Una teoría del cambio bien estructurada también puede fomentar una comprensión común de la intervención entre todos los agentes que intervienen en la ejecución, facilitando así un enfoque coherente y común.
El proceso de elaboración de una teoría del cambio puede ayudar a determinar si, y en qué etapa o nivel, se formulan supuestos o si hay saltos lógicos o faltan pasos importantes en el proceso de cambio. La elaboración de una teoría del cambio es una buena manera de plantearse otras preguntas, tales como:
a) ¿Por qué se espera que se produzca un determinado cambio?
b) ¿De qué datos se dispone para demostrar que el cambio previsto se producirá/se ha producido?
c) ¿Qué saltos lógicos hay?
d) ¿Qué supuestos se formulan?
Al elaborar una teoría del cambio, es importante entender su finalidad. La teoría del cambio puede aplicarse en distintos niveles, que van desde las cosmovisiones, estrategias y políticas, pasando por el nivel de los proyectos o programas, hasta llegar al nivel de las actividades. Así, por ejemplo, las cosmovisiones pueden ayudar a aclarar las teorías sociales y políticas que influyen en nuestro pensamiento. La teoría del cambio institucional puede ayudar a sustentar la visión, el mandato y los valores de la Organización para contribuir al cambio social. Las teorías del cambio en materia de políticas pueden ayudar a determinar cómo una organización prevé que el cambio se produzca en un sector específico y cómo contribuye al mismo.
Los académicos no han llegado a un acuerdo sobre una definición general de la teoría del cambio ni sobre los métodos para su elaboración, y los donantes pueden seguir diferentes enfoques para formularla. Así, por ejemplo, el enfoque adoptado por el Ministerio de Relaciones Exteriores, del Commonwealth y de Desarrollo del Reino Unido con respecto a la elaboración de una teoría del cambio difiere en gran medida del enfoque adoptado por la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID) o por la Unión Europea.
Fuente: Vogel y Stephenson, 2012 (en inglés).
Nota: El Ministerio de Relaciones Exteriores, del Commonwealth y de Desarrollo es el antiguo Departamento de Desarrollo Internacional (DFID).
Fuente: Kedzia, 2018
Independientemente de cómo los diferentes interlocutores enfoquen una teoría del cambio, todas ellas tienen un denominador común: permiten formular cómo, por qué y en qué condiciones se prevé que un cambio se produzca en un determinado contexto. Si bien no existe un único enfoque normalizado en lo que respecta a la elaboración de una teoría del cambio, en la sección siguiente se describe una fórmula que puede aplicarse en la mayoría de los contextos y frecuentemente empleada por USAID para medir el cambio social y conductual.
Center for Theory of Change
s.f.a. TOC examples.
Kedzia, K.
2018 Theory of change: It’s easier than you think. Laboratorio de aprendizaje de USAID, 13 de marzo.
Organización de Cooperación y Desarrollo Económicos (OCDE)
2019 Mejores criterios para una mejor evaluación: Definiciones revisadas de los criterios de evaluación y principios para su utilización. Red de Evaluación del Desarrollo del Comité de Asistencia para el Desarrollo (CAD) de la OCDE.
Vogel, I. y Z. Stephenson
2012 Appendix 3: Examples of theories of change. Ministerio de Relaciones Exteriores, del Commonwealth y de Desarrollo, Londres.
Mientras que la teoría del cambio puede ilustrarse de distintas maneras, la lógica de la cadena de resultados, o senda causal, puede comprobarse utilizando la fórmula si-entonces-debido a. Dicho de otro modo, contribuye a revelar los supuestos que son “comprobados” mediante acciones o actividades y que desempeñan un papel fundamental en la elaboración de la teoría del cambio.
Cada paso dado, desde el objetivo general de la intervención a cada una de sus actividades, tiene tras de sí una teoría del cambio que puede explicar y articular las conexiones lógicas (o las distintas sendas) entre los resultados de nivel inferior, por ejemplo entre los productos y los efectos, y entre los resultados de nivel superior, como los efectos y los objetivos.
Una dificultad que se plantea habitualmente al diseñar una intervención son los saltos y las lagunas lógicas. Puede haber una desconexión entre el análisis exhaustivo del problema y el conjunto de actividades sin aparente relación, con vínculos o supuestos débiles entre los objetivos, los efectos, los productos y las actividades. Al manifestar los supuestos subyacentes, la teoría del cambio puede servir de puente entre el análisis y la elaboración de los programas.
Generalmente, una teoría del cambio puede expresarse utilizando la fórmula “Si X, entonces Y, debido a Z”. Es decir, “si ocurre la acción/actividad X, entonces se producirá el resultado Y, debido al supuesto Z”. La manifestación de los supuestos subyacentes puede servir para detectar saltos lógicos o pasos importantes que faltan en el proceso de cambio.
La siguiente sección se centrará en una de las muchas posibles sendas que ilustran la aplicación de la fórmula si-entonces-debido a. A este respecto, cabe señalar que este ejercicio puede repetirse para muchas sendas distintas y para diferentes niveles.
El texto que sigue explicita el ejemplo, identificando los supuestos que pueden manifestarse potencialmente a través de este proceso para esta senda en particular, hasta el nivel del producto. Habida cuenta de que pueden existir muchas sendas distintas para cada nivel, este ejercicio puede llevarse a cabo para cada senda posible.
? Múltiples sendas: Durante el proceso de identificación de las múltiples sendas, es importante señalar que no todas ellas son aplicables por la OIM, y que algunas de ellas pueden ser aplicadas por agentes distintos de la OIM, que escapan a su control.
Objetivos: Contribuir a la estabilidad y la seguridad, y al asentamiento de las bases para el desarrollo político y social en las comunidades propensas a conflictos del país X. |
La teoría del cambio a nivel de los objetivos |
Si se fortalecen las relaciones entre las autoridades locales y las comunidades proclives a conflictos de la zona Y del país X, entonces se apoyará la estabilidad y la seguridad, y el asentamiento de las bases para el desarrollo político y social en las comunidades propensas a conflictos del país X, debido a que
|
?Múltiples sendas: Con cada resultado expresado a nivel de los efectos, se establece la fórmula si-entonces-debido a, y se manifiestan los supuestos en la teoría del cambio a nivel de los objetivos. |
La teoría del cambio a nivel de los efectos |
Si se mejora el acceso de las comunidades propensas a conflictos del país X a las oportunidades de tener medios de subsistencia, entonces se fortalecen las relaciones entre las autoridades locales y las comunidades de la zona Y del país X, debido a que
|
? Múltiples sendas: Con cada resultado expresado a nivel de los productos, se recurre a la fórmula sientonces-debido a, y se manifiestan los supuestos en la teoría del cambio a nivel de los efectos. |
La teoría del cambio a nivel de los productos |
Si se desarrollan/mejoran las competencias profesionales entre los beneficiarios de las comunidades propensas a conflictos del país X, entonces mejorará su acceso a las oportunidades de tener medios de subsistencia, debido a que
|
? Múltiples sendas: Con cada resultado expresado a nivel de la actividad, se recurre a la fórmula sientonces-debido a, y se manifiestan los supuestos en la teoría del cambio a nivel de los productos. |
En los recursos enumerados al final de esta sección se dan otros ejemplos de cómo la teoría del cambio manifiesta los supuestos para múltiples sendas. |
Al revisar una teoría del cambio, cabe centrarse en los vínculos que esta trata de establecer. La siguiente lista de verificación consta de cinco preguntas sencillas que pueden ser de ayuda en el proceso de revisión:
a) ¿Se han formulado claramente la acción (X) y el resultado (Y)? ¿Está claro qué enfoque cabe utilizar? Al considerar el resultado, asegúrese de que los términos empleados sean claros. Pregunte si los resultados pueden medirse y, de ser así, cuál sería una buena fuente de verificación de este resultado. ¿Cómo se hará seguimiento de esto y cómo podrían conseguirse las fuentes de verificación de este resultado?
b) ¿Es realista y viable el resultado habida cuenta de la escala de actuación, los recursos y el plazo? Trate de evaluar si los resultados son proporcionales a la escala y el ámbito de actuación. ¿Se puede observar el resultado? ¿Es un resultado inmediato, intermedio o a largo plazo? ¿Cómo se medirá el resultado? ¿Hay algún salto o laguna lógica entre una acción modesta y un resultado ambicioso?
c) ¿Explican los supuestos por qué es adecuado el enfoque? Un supuesto sólido permite explicar por qué el enfoque elegido debería producir el cambio/resultado previsto. Ello refleja el análisis de los problemas de la intervención.
d) ¿Se han incluido en los supuestos las condiciones previas pertinentes que son necesarias para tener éxito? Los supuestos que se centran en las condiciones previas necesarias reflejan principalmente las condiciones que escapan al control de la intervención y que se considera que son necesarias para el logro de resultados, pero no explican por qué o cómo se producirá el cambio. También cabe considerar que ello está relacionado con la reflexión acerca de los riesgos. Para identificar esos supuestos, cabe preguntarse qué podría haber ido mal en caso de que la intervención fracasara.
e) ¿Tiene sentido la teoría del cambio si se invierte?
Como se ha mostrado supra, las teorías del cambio pueden aplicarse a una actividad, un proyecto, un programa, una estrategia o una política. A continuación se muestra cómo revisar una teoría del cambio en todos los niveles aplicando la fórmula “Si X, entonces Y, debido a Z” a cada uno de ellos. En aquellos casos en que se aplica la fórmula “Si X, entonces Y, debido a Z”, el enunciado “si” de la teoría del cambio de nivel superior pasa a ser el enunciado “entonces” de la teoría del cambio de nivel inferior, lo que significa que, para cada enunciado, la acción o intervención de la teoría del cambio de nivel superior debería corresponder al resultado o cambio deseado de la teoría del cambio de nivel inferior.
En la figura 3.8 se aplica este método de revisión de la teoría del cambio al ejemplo anterior:
Seguimiento de los enunciados “SI”: Incluir preguntas en las herramientas utilizadas para la recopilación de datos que estén directamente relacionadas con el enunciado “si”.
Ejemplo de una teoría del cambio a nivel de los productos:
- Si se acrecienta el acceso de las comunidades propensas a conflictos del país X a las oportunidades de tener medios de subsistencia
- ¿Aumentaron los conocimientos y las competencias profesionales? (Evaluar si aumentaron los conocimientos mediante una prueba anterior/posterior a la formación; la información facilitada por los beneficiarios);
- ¿Están utilizando los beneficiarios los conocimientos y competencias profesionales adquiridos? De ser así, cómo; en caso contrario, por qué no (extraer una enseñanza).
Seguimiento de los enunciados “ENTONCES”: Incluir preguntas en las herramientas utilizadas para la recopilación de datos que estén directamente relacionadas con el enunciado “entonces”.
Ejemplo de una teoría del cambio a nivel de los productos:
- Entonces mejorará su acceso a las oportunidades de medios de subsistencia
- ¿Han aumentado las oportunidades de los beneficiarios de tener medios de subsistencia?
- De ser así, ¿se debió a la intervención?; en caso contrario, por qué no (extraer una enseñanza).
Seguimiento de las intervenciones “DEBIDO A”: Incluir preguntas en las herramientas utilizadas para la recopilación de datos que estén directamente relacionadas con el enunciado “debido a”.
Ejemplos de una teoría del cambio a nivel de los productos:
- Debido a que la mejora de las competencias profesionales puede aumentar las probabilidades de que los beneficiarios encuentren un empleo
- ¿Estaban desempleados los beneficiarios antes de recibir la formación?
- ¿Encontraron un empleo (mejor) debido a la adquisición de mayores competencias (información facilitada por los beneficiarios)?
- Debido a que las capacidades son pertinentes para las oportunidades existentes en las zonas seleccionadas
- Preguntar a los beneficiarios si esto es exacto.
- Existen oportunidades en la zona
- Llevar a cabo un análisis contextual.
Otros recursos
Anderson, A.A.
2006 The Community Builder’s Approach to Theory of Change: A Practical Guide to Theory Development. The Aspen Institute, Nueva York.
BetterEvaluation
s.f. Página de inicio.
Brown, A.-M.
2016 What is this thing called ‘Theory of Change’? Laboratorio de aprendizaje de USAID, 18 de marzo.
Davies, R.
2018 Representing theories of change: Technical challenges with evaluation consequences. Centre of Excellence for Development Impact and Learning Inception Paper 15, Londres.
Hivos
2015 Hivos ToC Guidelines: Theory of Change Thinking in Practice. La Haya.
Lysy, C.
2018 Illustrating models and theories of change. BetterEvaluation, 10 de enero.
Rogers, P.
2014 Theory of Change. Methodological Briefs: Impact Evaluation No. 2. Centro de Investigaciones de UNICEF, Florencia.
2017a Using logic models and theories of change better in evaluation. BetterEvaluation, 19 de mayo.
2017b BetterEvaluation FAQ: How do you use program theory for evaluating systems? BetterEvaluation, 21 de junio.
Valters, C.
2015 Theories of Change: Time for a radical approach to learning in development. Overseas Development Institute, Londres.
Vogel, I.
2012 Review of the use of ‘Theory of Change’ in international development. Informe de examen. Ministerio de Relaciones Exteriores, del Commonwealth y de Desarrollo.
Herramientas de representación gráfica
Evaluation Toolbox
s.f. Problem Tree/Solution Tree Analysis.
Microsoft
s.f. Microsoft Visio.
Theorymaker
s.f. Página de inicio. (en inglés)
Como se indicara anteriormente, otro componente de la teoría programática es el marco lógico, que permite definir el diseño operacional de una intervención y sirve de base para el seguimiento y la evaluación. Es más, ofrece una visión general del enfoque con el que la intervención prevé lograr resultados, sobre la base del análisis de la situación y de los problemas realizado durante la fase de conceptualización. Concretamente, utiliza una matriz para resumir la secuencia lógica de la intervención con vistas a alcanzar los resultados previstos, las actividades previstas para alcanzar esos resultados y los indicadores y las fuentes de verificación que ayudan a medir los progresos en la consecución de los resultados.
En la OIM, la matriz de resultados, incluida en el modelo de propuesta de proyectos de la OIM y conocida también como marco de resultados, guarda un gran parecido con el marco lógico. En el Módulo 2 del Manual para proyectos de la OIM se dan orientaciones detalladas sobre la concepción, la formulación y el diseño de la matriz de resultados. En el Manual para proyectos de la OIM se indica que la matriz de resultados es una herramienta de gestión estratégica que sirve para facilitar la “planificación, seguimiento, evaluación y presentación de informes sobre la implementación de un proyecto y el progreso realizado hacia la consecución de los resultados previstos
El Programa de Información y Gestión de Proyectos (PRIMA) de la OIM recoge datos relacionados con los proyectos. Todos los documentos relacionados con proyectos que son necesarios para el seguimiento de un proyecto están disponibles en PRIMA. Ello incluye la propuesta, la matriz de resultados de la OIM y los documentos relacionados con el presupuesto. En la intranet de la OIM puede consultarse a nivel interno una guía del usuario de PRIMA (PRIMA User Guide)
Recursos de la OIM
- 2017a Módulo 2. En: Manual para proyectos de la OIM. Segunda edición. Ginebra. (enlace interno únicamente).
- 2019a PRIMA User Guide. MA/00651 (enlace interno únicamente).
Es difícil diferenciar la teoría del cambio del marco lógico, porque ambos provienen de la misma familia de enfoques relacionados con la teoría programática. Una teoría del cambio, como se ha descrito en la sección anterior, parte de la premisa de que el proceso de cambio social es complejo, teniendo en cuenta diferentes perspectivas y analizando los supuestos subyacentes del diseño de una intervención. En cambio, un marco lógico ofrece una visión más simplificada de la lógica de la intervención, sin considerar todos los supuestos subyacentes ni las relaciones causales conexas, sino únicamente aquellas relacionadas con la intervención en concreto y seleccionadas durante la conceptualización inicial del proyecto. Cabe considerar que un marco lógico es una manera más rígida y lineal de reflexionar sobre el cambio.
Inicialmente, los marcos lógicos tenían por finalidad resumir discusiones complejas entre las partes interesadas sobre los objetivos y los resultados que lograría una intervención y a los que esta contribuiría, al igual que sucede con la justificación de la teoría del cambio. La intención era analizar las interdependencias internas y externas que influirían en la eficacia de las intervenciones, incluidos los supuestos directos que deben ser tomados en consideración en el análisis
Cuadro 3.1. Comparación y contraste de la teoría del cambio y el marco lógico
Teoría del cambio | Marco lógico |
|
|
Fuente: Adaptado de Hivos, 2015, pág. 15.
Los supuestos desempeñan una función decisiva en la elaboración de una teoría del cambio y de la matriz de resultados de la OIM, pero existe una clara diferencia entre los supuestos tal y como se utilizan en la teoría del cambio y su elaboración en la matriz de resultados de la Organización. Las diferencias más importantes se resumen a continuación:
Supuestos: la teoría del cambio frente a la matriz de resultados de la OIM | |
Supuestos en la teoría del cambio | Supuestos en la matriz de resultados de la OIM |
Los supuestos en la teoría del cambio ayudan a expresar la relación lógica/ senda causal entre los resultados de nivel inferior y los de nivel superior.
|
Los supuestos en la matriz de resultados de la OIM son las condiciones previas (necesarias y positivas) de las que depende el éxito de un resultado de nivel superior.
|
Más adelante, en esta sección, se da otra explicación de los supuestos del marco lógico según se utilizan en la matriz de resultados de la OIM.
A pesar de estas diferencias, una teoría del cambio y el marco lógico siguen siendo complementarios, pueden utilizarse conjuntamente, y la reflexión de la teoría del cambio puede aplicarse al proceso de elaboración de una matriz de resultados de la OIM. Ello alienta a los desarrolladores de intervenciones a hacer explícitos los supuestos de la teoría del cambio sobre cómo se producirá el cambio deseado, realzando el proceso de cambio y las sendas causales conexas entre los resultados previstos. Estos también pueden explicarse más adelante al abordar el “por qué” y el ”cómo” en la sección del modelo de propuesta de proyecto relativa a la justificación, más concretamente, proporcionando la reflexión estratégica en que se basan los “supuestos e hipótesis subyacentes a la relaciones causales entre las actividades, los productos y los efectos
Recursos de la OIM
2017a Módulo 1 y Módulo 2. En: Manual para proyectos de la OIM. Segunda edición. Ginebra (enlace interno únicamente).
Otros recursos
Hivos
2015 Hivos ToC Guidelines: Theory of Change Thinking in Practice. La Haya.
Vogel, I.
2012 Review of the use of ‘Theory of Change’ in international development. Informe de examen. Ministerio de Relaciones Exteriores, del Commonwealth y de Desarrollo.
La elaboración de una matriz de resultados de la OIM es uno de los elementos fundamentales del seguimiento de una intervención en la Organización. Ofrece una visión de conjunto de los parámetros para la medición de los resultados de la intervención. La matriz de resultados, que debe incluirse obligatoriamente en todas las propuestas de proyectos de la OIM y figura en el Manual para proyectos de la OIM, también puede utilizarse para la aplicación de una estrategia o política, y se elabora durante la fase inicial de preparación
Entender cómo se elabora una matriz de resultados puede contribuir a mejorar la comprensión general de cómo efectuar el seguimiento de los progresos y resultados de la intervención de manera eficaz. En las secciones que figuran a continuación se ilustrarán las distintas etapas que conlleva la elaboración de una matriz de resultados.
La elaboración de la matriz de resultados debería basarse en el análisis llevado a cabo en la fase de conceptualización. El árbol de problemas y el árbol de soluciones, en particular, ya permiten esbozar las distintas sendas causales si se elaboran al realizar el análisis de la situación
Nota: Visualización de una matriz de resultados de la OIM incluida en el Módulo 2 del Manual para proyectos de la OIM, pág. 25 (enlace interno únicamente).
La lógica vertical
La lógica vertical es la “relación entre medios y fines que se establece entre las actividades y los resultados”, y entre “los resultados y su contribución al objetivo más general
La matriz de resultados de la OIM utiliza los términos “objetivo”, “efecto”, “producto” y “actividad” para demostrar la lógica vertical. El diagrama que figura a continuación proporciona una representación visual de la lógica vertical (así como de la lógica horizontal) en una matriz de resultados
Fuente: Adaptado del Módulo 2 del Manual para proyectos de la OIM, página 26 (enlace interno únicamente).
La lógica vertical se centra en los resultados en cada nivel. Es el proceso de dar los pasos lógicos desde los objetivos hasta el nivel inferior de las actividades, con objeto de conectar los resultados de cada nivel y demostrar cómo estos contribuyen a los resultados del siguiente nivel. Los resultados adecuadamente conectados demuestran la relación causal entre un nivel de resultados y el siguiente nivel, formando una senda causal o cadena de resultados.
La adopción de un enfoque participativo con respecto a la preparación de una matriz de resultados, que idealmente debe incluir las opiniones de los principales interlocutores, como los beneficiarios, o personas a las que la OIM trata de brindar asistencia, conducirá a una mejor formulación de los resultados y los indicadores, lo que es esencial para un seguimiento eficaz, una vez iniciada la intervención.
La realización de un análisis de las partes interesadas durante la fase de conceptualización de una intervención permite identificar a los interlocutores pertinentes, evaluar sus intereses y el modo en que esos intereses pueden afectar a la intervención, así como su nivel de implicación. Este proceso puede ayudar a identificar a los principales interlocutores para que participen en el proceso de preparación
La lógica horizontal
La lógica horizontal "define el modo en que se evaluará cada nivel de la lógica vertical y los supuestos que se requieren para que se cumplan las relaciones entre medios y fines
Fuente: Adaptado del Módulo 2 del Manual para proyectos de la OIM, pág. 26 (enlace interno únicamente).
La lógica horizontal completa la matriz de resultados identificando los supuestos que se requieren para que se produzcan los resultados y cómo se medirán los progresos en cada uno de los resultados.
Recursos de la OIM
2017a Módulo 1 y Módulo 2. En: Manual para proyectos de la OIM. Segunda edición. Ginebra (enlace interno únicamente).
A la hora de expresar los resultados en una matriz de resultados, las diferentes organizaciones y organismos emplean diversos términos. Sin embargo, la lógica en que se basa la elaboración de la matriz de resultados es similar, y permite armonizar los conceptos y la presentación de informes conexa, así como los procesos de seguimiento y evaluación. En el diagrama que figura a continuación se dan ejemplos de la terminología relativa a la matriz de resultados que la OIM ha utilizado en el pasado, así como de la terminología que la Organización emplea actualmente, estas se comparan con la terminología utilizada por otras entidades clave que se ocupan del desarrollo. Se debe poner especial cuidado en asegurarse de que los resultados de cada nivel de la lógica vertical estén alineados al transferir las intervenciones entre los formatos de los donantes o asociados y los modelos de la OIM
La OIM trabaja con distintos donantes y otros agentes de desarrollo. Familiarizarse con la terminología utilizada por estos agentes y su relación con la terminología de la OIM permite un seguimiento y presentación de informes más exacto y eficaz de los resultados de una intervención.
Fuente: Formación de la OIM sobre el desarrollo de proyectos, 2018.
Nota: El Ministerio de Relaciones Exteriores, del Commonwealth y de Desarrollo es el antiguo Departamento de Desarrollo Internacional (DFID).
Aplicación de la lógica vertical
La OIM usa actualmente los términos objetivo, efecto, producto y actividad para demostrar la lógica vertical, mientras que las expresiones indicador, supuesto, fuente y método de recopilación de datos, meta y línea de base ayudan a desarrollar la lógica horizontal. A continuación se facilita un resumen de esas definiciones
Definiciones relacionadas con la lógica vertical |
||
Objetivo | El objetivo es la meta más significativa y realista a la que la intervención puede contribuir. Ha de alinearse con una estrategia más amplia y de mayor duración, ya sea interna o externa. |
|
Efectos | Un efecto es un cambio previsto en el desempeño institucional, el comportamiento o las actitudes individuales o grupales, o la posición política, económica o social de los beneficiarios, o personas a las que la OIM trata de brindar asistencia. |
|
Productos | Un producto es el cambio previsto en las competencias o habilidades de los beneficiarios, o personas a las que la OIM trata de brindar asistencia, o la disponibilidad de nuevos instrumentos o servicios como resultado de las actividades de la intervención |
|
Actividades | Las actividades incluyen tareas de coordinación, asistencia técnica, capacitación, producción, distribución, transporte y de otra índole que se organizan y llevan a cabo en el marco de la intervención |
|
Recursos de la OIM
2017a Manual para proyectos de la OIM. Segunda edición. Ginebra (enlace interno únicamente).
Otros recursos
Church, C. y M. Rogers
2006 Designing for Results: Integrating Monitoring and Evaluation in Conflict Transformation Programs. Search for Common Ground, Washington, D.C.
Herramienta para crear matrices de resultados
s.f. Microsoft Visio.
Aplicación de la lógica horizontal
En las secciones que figuran a continuación se explica de manera más detallada cómo la lógica horizontal se aplica a la matriz de resultados. Los componentes de la lógica horizontal son los supuestos, los indicadores, la línea de base, las metas y las fuentes y métodos de recopilación de datos. La lógica horizontal conecta la medición de los resultados (por medio de indicadores) con los supuestos sobre cómo se prevé que se produzcan los resultados.
Supuestos
Remítase a la visualización de la matriz de resultados de la OIM supra para localizar la columna relativa a los supuestos de la matriz de resultados.
“Los supuestos son las condiciones positivas y necesarias que permiten establecer una relación satisfactoria entre medios y fines en los diferentes niveles de resultados
Los supuestos ayudan a completar la lógica de la intervención situándola en el contexto específico en el que esta se ha de ejecutar. También ayudan a identificar condiciones importantes de las que depende el éxito de la intervención y que escapan al control de la OIM. A este respecto, los supuestos identifican las condiciones previas necesarias para que se produzcan los resultados
En el Manual para proyectos de la OIM se proporciona una lista de verificación de supuestos como herramienta
En el Módulo 2 del Manual para proyectos de la OIM, págs. 42-46, se dan ejemplos de supuestos bien formulados.
Indicadores
Remítase a la visualización de la matriz de resultados de la OIM supra para localizar la columna relativa a los indicadores de la matriz de resultados.
Después de haber establecido resultados susceptibles de ser logrados y bien definidos y de haber identificado los supuestos conexos, el siguiente paso en la elaboración de una matriz de resultados es seleccionar indicadores para efectuar el seguimiento de los progresos hacia la consecución de esos resultados. Los indicadores consisten en información que indica un cambio.
Los indicadores pueden definirse como “las variables o factores cuantitativos o cualitativos que se utilizan para medir los logros o reflejar los cambios previstos”
La finalidad de los indicadores no es demostrar por qué la intervención ha dado lugar a un cambio; esta cuestión ya se aborda, entre otros, en la evaluación. Del mismo modo, no demuestran cómo se produce el cambio, cuestión que se aborda, entre otros, en la teoría del cambio o en la evaluación
No existe una regla específica en cuanto al número ideal de indicadores para un resultado, pero estos deberían poder medir si el resultado se ha logrado.
Componentes de un indicador | ||||
Qué ha de medirse | Unidad de medición | Población beneficiaria | Dirección del cambio |
Cualitativo | Cuantitativo |
Ejemplos:
|
Ejemplos:
|
Indicador binario (puede ser cualitativo o cuantitativo) | |
Ejemplos:
|
|
Indicador indirecto | |
Ejemplos:
|
En el cuadro 3.2 se resumen los indicadores utilizados en los distintos niveles de resultados.
Cuadro 3.2. Niveles de control de una intervención
Nivel de resultado | Descripción del indicador | Nivel de control de una intervención |
Objetivo |
Ayuda a confirmar que se han producido cambios en:
|
|
Efecto |
Ayuda a confirmar que se han producido los cambios previstos en:
|
|
Producto |
Ayuda a confirmar que se ha producido el cambio previsto en:
|
|
Para poder medir los efectos de una intervención en distintas poblaciones, a las que se pretende o no beneficiar, es importante desglosar los indicadores por edad, sexo, situación migratoria y cualquier otro elemento distintivo que sea pertinente para la intervención.
En la fase de concepción de una intervención, es preciso pensar en cómo lograr los efectos en el plazo previsto para la intervención o teniendo una idea clara de cómo medir su logro una vez concluida esta. Puede haber efectos a corto o medio plazo, lo que dependerá también de la naturaleza y la duración del proyecto.
La manera de formular un efecto a fin de asegurarse de que los indicadores puedan medirse durante el periodo de implementación de la intervención o con los mecanismos instaurados para su medición, poco tiempo después de que esta haya concluido, dependerá en gran medida de los siguientes factores:
a) El tipo de intervención y su complejidad;
b) El tipo de resultados que pretende lograr la intervención;
c) La duración de la intervención;
d) Los recursos disponibles para la verificación
Una intervención de fomento de la capacidad, que incluya una actividad de formación destinada a los funcionarios de una institución gubernamental, querrá medir el cambio institucional logrado mediante la aplicación de los conocimientos adquiridos. Dependiendo del tema y del contexto local, esto solo podrá medirse entre tres y seis meses después de que se haya impartido la formación. Por consiguiente, los desarrolladores, los funcionarios encargados del seguimiento y la evaluación y los administradores de la intervención deberían considerar en qué momento puede impartirse la formación dentro del plazo previsto para el proyecto a fin de que se disponga de tiempo suficiente para la recopilación de datos sobre los resultados a corto y medio plazo en el nivel de los efectos.
Si bien los indicadores pueden tener que adaptarse a los resultados de una determinada intervención, puede ser útil fijarse en los indicadores que han funcionado en otras intervenciones y modificarlos según sea necesario. En algunos casos, se han elaborado indicadores estándar en ámbitos temáticos específicos, que pueden servir de guía para ayudar a medir los resultados con respecto a determinadas normas y estándares internacionales; por lo tanto, tal vez sea necesario modificarlos.
Se recomienda asimismo alinear los indicadores con las estrategias y políticas nacionales, regionales, temáticas y mundiales existentes. Por ejemplo, se pueden cotejar los indicadores a fin de asegurarse de que estén alineados con los indicadores del Marco de Cooperación de las Naciones Unidas para el Desarrollo Sostenible (MCNUDS) para el país, de una estrategia gubernamental o un plan de acción nacional para abordar un determinado tema o ámbito temático, o con los indicadores establecidos en el marco de los Objetivos de Desarrollo Sostenible (ODS)
PRIMA ayuda a efectuar el seguimiento de los progresos de un proyecto a través de la matriz de resultados y de los indicadores del proyecto.
Al crear una matriz de resultados de la OIM en PRIMA, se pedirá a los usuarios que introduzcan indicadores para el objetivo y para cada enunciado de resultados. Para cada indicador, PRIMA pide introducir un tipo de indicador, de entre dos opciones: numérico o textual. En el caso de un indicador numérico, los desarrolladores de la intervención solo introducirán un dato numérico para este indicador. Un indicador de texto permitirá a los usuarios presentar información utilizando datos basados en texto.
|
|
En el caso de un indicador de tipo numérico, se pide a los usuarios que seleccionen una categoría de indicador, de entre tres opciones: beneficiario, servicio o artículo. Si se selecciona beneficiario, por ejemplo, se mostrarán campos adicionales que se deben completar, como la categoría de beneficiario, la unidad de medida (individuo, hogar o comunidad) o el tipo de beneficiario, además de permitir utilizar un multiplicador o centrarse en beneficiarios individuales o únicos
Para más información sobre la introducción de indicadores en una matriz de resultados de la OIM en PRIMA, véase PRIMA End User Training Guide: PD Creates Project Proposal (IOM Template) User Training Guide: PD Creates Project Proposal (IOM Template), únicamente para usuarios internos de la OIM, y a la que se puede acceder a través de la intranet de la OIM, pulsando aquí.
Al elaborar indicadores, cabe tener en cuenta las consideraciones siguientes:
- Exceso de indicadores: Demasiados indicadores, que muchas veces se solapan y miden lo mismo. Entre uno y tres indicadores pueden ser suficientes para un enunciado de resultados
- Fijación en los productos: Indicadores que se centran únicamente en el cómputo de productos
- Imprecisión de los indicadores: Indicadores que no están claros y que pueden medir los resultados en un nivel demasiado algo o demasiado bajo.
- Complejidad excesiva: Indicadores que no están claros y que son muy difíciles de entender
También es importante tener presentes los criterios SMART (específico, mensurable, alcanzable, pertinente y de duración determinada):
Fuente: Módulo 2 del Manual para proyectos de la OIM, pág. 54 (enlace interno únicamente).
Un indicador también debe ser pertinente (directamente relacionado con el resultado) y alcanzable (se requiere una cantidad razonable de tiempo y recursos para recopilar y analizar los datos). Para valorar si un indicador es alcanzable, hay que evaluar la fuente o el medio de verificación de los datos.
Al elaborar los indicadores también puede ser útil aplicar el enfoque de la cantidad, la calidad y el tiempo, el cual garantiza que cada indicador pueda medirse en esos términos
Un indicador puede definir qué cantidad, con qué frecuencia, en qué medida, cuánto tiempo, o una combinación de estos, tal como se muestra en el siguiente ejemplo:
Paso 1: Indicador básico | Porcentaje de participantes a los que se ha impartido formación que indican que han utilizado la información obtenida |
Paso 2: Añadir la calidad (Qué tipo de cambio) | Porcentaje de funcionarios de gestión de fronteras del país X a los que se ha impartido formación que indican haber utilizado las herramientas y los conocimientos que se les han facilitado en su trabajo |
Paso 3: Añadir la cantidad (Cuánto) | Porcentaje de funcionarios de gestión de fronteras del país X a los que se ha impartido formación que indican haber utilizado las herramientas y los conocimientos que se les han facilitado en su trabajo de manera periódica |
Paso 4: Añadir el tiempo (Para cuándo) | Porcentaje de funcionarios de gestión de fronteras del país X a los que se ha impartido formación que indican haber utilizado las herramientas y los conocimientos que se les han facilitado en su trabajo de manera periódica seis meses después de haber seguido la formación |
Recursos de la OIM
2017a Manual para proyectos de la OIM. Segunda edición. Ginebra (enlace interno únicamente).
2019b PD creates Project Proposal – IOM Template, Results Matrix. Manual de formación para el usuario final de PRIMA de la OIM (enlace interno únicamente).
s.f.a IOM PRIMA for All User Guide (enlace interno únicamente).
Otros recursos
Banco Mundial
2010 Constructing and targeting indicators using QQT. In: The LogFrame Handbook: A Logical Approach to Project Cycle Management. Washington, D.C., págs. 38–47.
División de Estadística de las Naciones Unidas (UNSTAT)
2020 E-Handbook on the Sustainable Development Goals.
Organización de Cooperación y Desarrollo Económicos (OCDE)
2010 Glosario de los principales términos sobre evaluación y gestión basada en resultados. Paris.
People in Need
s.f. IndiKit: Guidance on SMART Indicators for Relief and Development Projects.
Herramienta de apoyo para la elaboración de indicadores
s.f. Microsoft Visio.
Fuentes de datos y método de recopilación de datos
Remítase a la visualización de la matriz de resultados de la OIM supra para localizar las fuentes y métodos de recopilación de datos en la matriz de resultados.
Para efectuar el seguimiento de los indicadores, es preciso contar con una fuente de información a fin de verificar los distintos indicadores. En la OIM, estas fuentes de información se denominan fuentes de datos, y se definen como “[la] indica[ción] de dónde y cómo se extraerá la información necesaria para medir los indicadores especificados
Las fuentes de datos deberían indicar qué información se recopilará, de qué modo se recopilará esa información y en qué formato (método de recopilación) y con qué frecuencia. Las fuentes de datos pueden incluir documentos (como informes, publicaciones gubernamentales y registros), bases de datos (por ejemplo, datos del censo nacional o datos de seguimiento de proyectos), registros (como las hojas de asistencia a cursos de formación y los expedientes de los beneficiarios) y personas (beneficiarios, poblaciones afectadas, interlocutores, personal del proyecto y funcionarios gubernamentales, entre otros).
Indicador | Fuente de datos | Método de recopilación |
Porcentaje de hogares que ganan más dinero tras la implementación del proyecto | Miembros de los hogares | Encuesta de hogares |
Las fuentes de datos pueden ser primarias o secundarias. Los datos primarios son recopilados por la organización encargada de la ejecución y pueden proceder del personal, el presupuesto, datos administrativos, encuestas, entrevistas y observaciones directas. Los datos secundarios son recopilados por otras personas distintas de la organización encargada de la ejecución.
- ¿Se tendrá acceso a la información?
- ¿De dónde se obtendrá la información?
- ¿Puede la fuente de datos proporcionar datos de calidad?
- ¿Cómo se conseguirá la información, habida cuenta de los recursos limitados?
- ¿Cuán costosa y viable es la recopilación de la información?
Cada método conocido de recopilación de fuentes de datos debe especificarse en la matriz de resultados inicial, dado que el tiempo, la capacidad y el presupuesto deben contemplarse en la intervención para llevarla a cabo con éxito. Durante la fase de preparación de una intervención también se deberían determinar los recursos disponibles y la frecuencia de la recopilación. Esto es especialmente importante a los efectos del seguimiento y la evaluación, ya que también puede tener repercusiones financieras concretas.
Es igualmente importante recopilar únicamente los datos necesarios para medir los indicadores y los datos destinados a un uso posterior. La recopilación de otra información puede redundar en un costo añadido o un tiempo adicional. En el capítulo 4 se facilitará más información sobre las metodologías y herramientas de recopilación de datos.
Valores de línea de base y metas
Remítase a la visualización de la matriz de resultados de la OIM supra para localizar las columnas relativas a los valores de línea de base y las metas en la matriz de resultados.
Los valores de línea de base y las metas pueden definirse así: “Los valores de línea de base proporcionan una base para medir los cambios a lo largo del tiempo, mientras que las metas fijan con exactitud el objetivo que el proyecto pretende alcanzar
Los valores de línea de base pueden considerarse el punto de partida, que muestra las condiciones iniciales antes de la ejecución de una intervención. La línea de base proporciona la primera medida de un indicador, y establece las condiciones respecto de las cuales se medirán los cambios en el futuro.
Dependiendo del contexto y la naturaleza de una intervención, no siempre se dispone de valores de línea de base durante la fase de preparación. En tales casos, puede ser adecuado proponer la recopilación de valores de línea de base (y, posteriormente, de metas) al comienzo de la intervención, en concierto con otros interlocutores y donantes principales.
En algunos casos puede ser necesario realizar un estudio o evaluación de referencia para identificar los valores de línea de base apropiados, en caso de que exista un presupuesto a dicho fin, ya que ello puede tener consecuencias costosas. Así, por ejemplo, en aquellos casos en que se esté interesado en los cambios para la población en general, puede utilizarse un censo como línea de base; ahora bien, no siempre se dispone de un censo, y sería costoso elaborar uno que guarde relación con la intervención. En otros casos, puede no ser posible realizar un estudio de referencia necesario debido a las restricciones en materia de seguridad u a otros motivos que escapan al control de la OIM. En esos casos, los datos recopilados durante la primera visita de seguimiento, momento en que un indicador específico se mide por primera vez, pueden considerarse una línea de base para ese indicador.
En otros casos, en particular en los programas que constan de varias fases, puede disponerse de los valores de línea de base a través de otras intervenciones implementadas anteriormente. Ahora bien, en todos los casos es fundamental ser coherentes en la manera de presentar los datos en el marco de la intervención, tanto en la fase de preparación como en el conjunto de la presentación de informes, y tener una comprensión y justificación sólidas del motivo por el cual los datos se presentan de una manera determinada.
El establecimiento de metas permite fijar el umbral para un indicador en particular, y establece lo que desea lograr la intervención, medido en relación con un valor de línea de base. Si se alcanzan las metas para todos los indicadores de resultados, puede considerarse que la intervención ha logrado su resultado satisfactoriamente. La meta fijada para un indicador en concreto debería ser apropiada en un determinado contexto o ubicación, teniendo presente que una meta adecuada en una situación, ubicación o contexto, puede no serlo para otro contexto. Entre las principales consideraciones que hay que tener en cuenta al establecer una meta cabe mencionar las consideraciones presupuestarias (qué es lo máximo que puede lograrse con los recursos disponibles), las prioridades de los donantes o de los principales homólogos (qué se pide que logre la intervención) y las limitaciones contextuales (qué es viable habida cuenta del entorno en el que se ejecuta la intervención). Para algunos resultados, el establecimiento de metas puede resultar sencillo, mientras que para otros resultados puede ser bastante complejo
Recursos de la OIM
2017a Preparación de la matriz de resultados, Módulo 2. En: Manual para proyectos de la OIM. Segunda edición. Ginebra, págs. 27-60 (enlace interno únicamente).
s.f.b Samples of Completed IOM Results Matrices. Monitoring and Evaluation Sharepoint folder (enlace interno únicamente).
Una vez preparada y finalizada la matriz de resultados, esta puede convertirse en una herramienta de seguimiento que podrá utilizarse durante la ejecución de una intervención, a saber, el marco de seguimiento de resultados. Este marco se elabora al comenzar la ejecución, después de que un proyecto haya sido financiado y puesto en marcha. El marco de seguimiento de resultados es la principal herramienta para efectuar el seguimiento de los resultados de cualquier intervención. Permite que todos los miembros del equipo encargado de la ejecución y los interlocutores sigan de cerca los progresos que se están realizando hacia la consecución de los resultados previstos. Al especificar el método de recopilación de datos, el marco de seguimiento de resultados también pone de relieve los requisitos necesarios para obtener datos de gran calidad. El marco puede utilizarse, junto con el plan de trabajo detallado, para el seguimiento de las actividades, las herramientas de presentación de informes financieros para el seguimiento del cumplimiento del presupuesto y el plan de gestión de riesgos para el seguimiento de los riesgos, a fin de garantizar la adopción de un enfoque holístico en materia de seguimiento.
Marco de seguimiento de resultados
Fuente: Módulo 4 del Manual para proyectos de la OIM, pág. 16 (enlace interno únicamente).
El marco de seguimiento de resultados refleja en gran parte la información contenida en la matriz de resultados, pero incluye cinco columnas adicionales: análisis de datos, frecuencia, responsable, logro y progreso. Además, suprime la columna relativa a los supuestos de la matriz de resultados
Figura 3.13. Comparación entre la matriz de resultados y el marco de seguimiento de resultados
Matriz de resultados
Resultados | Indicadores | Fuente y método de recopilación de datos | Línea de base | Meta | Supuestos | |
Objetivo | ||||||
Efecto | ||||||
Producto |
Marco de seguimiento de resultados
Resultados | Indicadores | Fuente y método de recopilación de datos |
Análisis de datos | Frecuencia | Responsable | Línea de base | Meta | Logro | Progreso |
Objetivo | |||||||||
Efecto | |||||||||
Producto |
Las cinco columnas nuevas se completan como se indica a continuación:
Análisis de datos |
Esta columna debe rellenarse con una explicación sobre el modo en que se analizarán los datos recopilados. Existen dos categorías principales de análisis: los análisis cualitativos y los análisis cuantitativos. Por ejemplo, si el indicador fuera “existencia de legislación que refleje las mejores prácticas internacionales”, la fuente de los datos sería el origen de la información (copia de la legislación), mientras que el método de recopilación sería un análisis documental (examen de la legislación). El análisis de los datos sería de carácter cualitativo, por ejemplo, si un experto se encargara de evaluar la medida en que la legislación se ajusta a las mejores prácticas internacionales. Si el indicador fuera “porcentaje de hogares que ganan más dinero tras la implementación de la intervención”, la fuente de los datos serían los miembros de los hogares, el método de recopilación de datos sería una encuesta de hogares, y los datos se someterían principalmente a un análisis cuantitativo, es decir, se calcularía el porcentaje de hogares que hubieran indicado un aumento en los ingresos. ? Algunos indicadores cualitativos o de nivel superior pueden requerir un tipo de análisis más especializado o una recopilación de datos más exigente en términos de recursos y tiempo de lo que puede proporcionar el equipo de intervención más cercano. En esos casos, una buena práctica es incorporar este análisis de datos en las evaluaciones previstas, en las que pueden utilizarse conocimientos especializados y recursos externos al equipo. |
Frecuencia |
La frecuencia se refiere a la asiduidad con que se recopilarán los datos (por ejemplo, semanal, mensual, anual, trimestral, puntual o al final de la intervención). Debe corresponderse con las actividades y los indicadores Por ejemplo, si se prevé impartir un curso de capacitación y el indicador que se debe medir es el “porcentaje de participantes, por sexo, que aprobaron el examen final de capacitación”, entonces la medición se realizará una sola vez (de forma “puntual”), cuando el curso y el examen hayan finalizado. Si se efectúa el seguimiento de una actividad en curso, por ejemplo la “asistencia de transporte para refugiados durante una situación de crisis prolongada”, tendría sentido realizar un seguimiento periódico (por ejemplo, una vez a la semana o incluso diariamente) del número de personas transportadas |
Responsable |
En esta columna se debe indicar el nombre del miembro del equipo de la intervención que se encargará de organizar la recopilación, el análisis y el almacenamiento de los datos de conformidad con lo dispuesto en el Manual de la OIM para la protección de datos En los casos en que se traten datos personales, esta persona asumirá la función de controlador de datos, de conformidad con el Manual de la OIM para la protección de datos (IOM Data Protection Manual |
Logro |
Esta columna debe rellenarse, periódicamente o a medida que se disponga de datos, con información que indique el progreso realizado hacia la consecución de la meta. Por ejemplo, si la meta es capacitar a 100 trabajadores humanitarios sobre la prevención de la trata de personas en situaciones de emergencia y ya se ha capacitado a 75 trabajadores , indique 75 [de una meta de 100] ? Cuando sea necesario, una buena práctica es desglosar esta columna en varios periodos (por ejemplo, por mes, trimestre o año) a fin de permitir el seguimiento de los progresos a lo largo del tiempo. Lo ideal sería que ello correspondiera a los periodos de presentación de informes en el marco de la intervención, lo que facilitaría tanto el seguimiento como la presentación de informes. |
Progreso |
Esta columna debe rellenarse, periódicamente o a medida que se disponga de datos, con información que indique el grado de progreso hacia la consecución de la meta. Si lo estima adecuado, puede expresarlo como un porcentaje (por ejemplo, si se ha capacitado a 75 de 100 trabajadores humanitarios, el grado de progreso hacia la consecución de la meta es del 75%). En algunos casos, puede ser más adecuado describir el progreso de forma narrativa, en particular cuando se utilizan indicadores cualitativos. Por ejemplo, si el indicador de la meta es “existencia de legislación que refleje las mejores prácticas internacionales”, la confirmación de la existencia de legislación solo refleja parcialmente las mejores prácticas internacionales, y convendría realizar una breve descripción del modo en que la legislación refleja las mejores prácticas y de las deficiencias que persisten ? Sírvase tomar nota de que la columna relativa al progreso no debería utilizarse para describir las actividades llevadas a cabo. En ella solo se debería describir información relacionada con el logro de resultados y, más concretamente, con la medición del indicador específico. |
Si bien el marco de seguimiento de resultados es la principal herramienta para tener a la mano la información necesaria para el seguimiento de una intervención, pueden precisarse otras herramientas que faciliten la recopilación de datos para cada indicador, en función del método de recopilación de datos especificado. En el capítulo 4 de las Directrices de la OIM relativas al seguimiento y la evaluación se dan otros ejemplos de herramientas de recopilación de datos pertinentes, como las encuestas, los grupos dirigidos de discusión o las entrevistas con informantes clave, entre otras.
Recursos de la OIM
2010 IOM Data Protection Manual. Ginebra.
2017 Módulo 2 y Módulo 4. En: Manual para proyectos de la OIM. Segunda edición. Ginebra (enlace interno únicamente).
Al efectuar el seguimiento de una intervención de la OIM, cabe considerar cuatro ámbitos esenciales de seguimiento y las herramientas fundamentales asociadas a cada uno de ellos.
Actividades Herramienta fundamental de seguimiento: plan de trabajo detallado |
Resultados Herramientas fundamentales de diseño: teoría del cambio, matriz de resultados Herramienta fundamental de seguimiento: marco de seguimiento de resultados |
Presupuesto y gastos Herramienta fundamental de seguimiento: Sistemas Integrados de Gestión de Procesos y Recursos (PRISM), informes financieros y PRIMA for All |
Riesgos Herramienta fundamental de seguimiento: plan de gestión del riesgo |
En el marco de una intervención se puede efectuar el seguimiento de diversos elementos, y lo que se ha de seguir variará en función de las necesidades de información específicas de una intervención.
Además del seguimiento del presupuesto y los gastos, PRIMA puede servir de herramienta para efectuar el seguimiento de los resultados. Concretamente, puede utilizarse para presentar información en una matriz de resultados y en el marco de seguimiento de resultados, ya que pueden supervisarse por medio de este sistema, así como para presentar resultados útiles en un panel de control.
El seguimiento de los resultados en PRIMA comprende dos etapas: a) la planificación del seguimiento de los resultados del proyecto, y b) la actualización/seguimiento de los resultados del proyecto midiendo los progresos en relación con los indicadores establecidos en la matriz de resultados. La pestaña “Plan” del módulo de seguimiento de resultados permite a los administradores introducir información en las columnas adicionales agregadas a la matriz de resultados inicial para crear el marco de seguimiento de resultados. Estas columnas son: a) Análisis de datos (que incluye distintas opciones para desglosar los datos); b) Frecuencia; y c) Responsable. Las otras dos columnas del marco de seguimiento de resultados – Logro (que en PRIMA se indica como un progreso acumulado) y Progreso – se actualizan utilizando la pestaña “Indicator Results” del módulo de seguimiento de resultados de PRIMA. Una vez completados, los datos introducidos en el marco de seguimiento de resultados en PRIMA también pueden exportarse a los informes para los donantes generados por el sistema.
Para obtener más información sobre cómo utilizar PRIMA para el seguimiento de los resultados, véase PRIMA User Guide – Results Monitoring.
En el cuadro que figura a continuación se examinan de manera más detenida los distintos tipos de seguimiento, y se esbozan las herramientas más útiles para llevarlos a cabo.
Cuadro 3.3. Los cuatro tipos de seguimiento en la OIM
Tipo de seguimiento | Descripción | Herramientas |
Seguimiento de las actividades |
El seguimiento de las actividades permite supervisar los progresos, las lagunas y los retrasos en las actividades en relación con un plan de trabajo detallado. Un administrador ya debería disponer de un plan de trabajo básico procedente de la propuesta de intervención. Al comenzar la ejecución, este plan de trabajo básico debería transformarse en un plan de trabajo detallado. El plan de trabajo detallado incluye las actividades y las tareas identificadas en la matriz de resultados, además de otras actividades y tareas relacionadas con la ejecución. Incluye, por ejemplo, una sección relativa a las actividades en curso en materia de seguimiento, evaluación y presentación de informes. Lo ideal sería que el equipo encargado de la intervención elaborara el plan de trabajo detallado, bajo la dirección general del administrador |
Modelo de plan de trabajo de la OIM (Módulo 4 del Manual para proyectos de la OIM, pág. 51) (enlace interno únicamente). El plan de trabajo ayuda a planificar y supervisar la ejecución de las actividades, distribuye de manera clara las tareas entre los miembros del equipo encargado de la intervención y ayuda a garantizar que los productos se obtengan dentro de los plazos y con el presupuesto previstos. |
Seguimiento de los resultados |
El seguimiento de los resultados permite supervisar los resultados. Este tipo de seguimiento se utiliza para determinar si una intervención va o no por buen camino para lograr los resultados previstos (productos, efectos, objetivo). También permite reflexionar sobre los efectos positivos o negativos involuntarios e identificarlos. Un ejemplo de esto último podría ser que los participantes en una formación crearan un grupo de trabajo independientemente de esa formación y siguieran reuniéndose más allá del plazo previsto para la misma En las secciones anteriores se ha mostrado cómo efectuar el seguimiento de los resultados de manera más detallada utilizando el marco de seguimiento de resultados de la OIM o la matriz de resultados. |
Modelo de marco de seguimiento de resultados de la OIM (Módulo 4 del Manual para proyectos de la OIM, pág. 16) (enlace interno únicamente). El marco de seguimiento de resultados siempre debería reflejar la versión más reciente de la matriz de resultados acordada, y debería ser objeto de revisiones periódicas. En el capítulo 4 se mencionan varias herramientas de recopilación de datos. |
Seguimiento financiero (del presupuesto y los gastos) |
El seguimiento financiero permite un control de los gastos por insumo en relación con los gastos previstos indicados en el presupuesto aprobado Al presentar los correspondientes informes, se utiliza PRISM para generar informes financieros intermedios y finales y, por lo tanto, este programa puede ser un recurso para el seguimiento financiero. |
Informes financieros de PRISM (véase el Módulo 4 del Manual para proyectos de la OIM, págs. 61- 68) (enlace interno únicamente) PRIMA |
Seguimiento de los riesgos |
El seguimiento de los riesgos permite examinar si los riesgos identificados anteriormente siguen siendo pertinentes, o si han aparecido nuevos riesgos, y evalúa si la probabilidad y la cronología de los riesgos identificados anteriormente siguen siendo exactos. El seguimiento de los riesgos también implica identificar y asignar medidas de tratamiento del riesgo, lo que forma parte de la elaboración de un plan de gestión del riesgo. El seguimiento de los riesgos suele llevarse a cabo conjuntamente con el seguimiento del contexto |
Plan de gestión del riesgo de la OIM (Módulo 4 del Manual para proyectos de la OIM, pág. 69 (enlace interno únicamente). PRIMA incluye un módulo de gestión del riesgo a dicho fin. Para más información, véase la guía del usuario (PRIMA User Guide), a la que el personal de la Organización puede acceder internamente a través de la intranet de la OIM. |
Otros tipos de seguimiento que cabe considerar | |
Seguimiento de los procesos | El seguimiento de los procesos permite supervisar el uso de los insumos y otros recursos, el progreso de las actividades de una intervención y la obtención de productos. Evalúa cómo se realizan las actividades. Este tipo de seguimiento suele llevarse a cabo conjuntamente con el seguimiento del cumplimiento (definido infra). Las herramientas de seguimiento de procesos podrían ser listas de verificación para asegurarse de que se emprendan los procesos; los formularios de inscripción y los formularios de seguimiento también podrían servir de herramientas para el seguimiento de procesos |
Seguimiento del cumplimiento | El seguimiento del cumplimiento garantiza la debida aplicación de los reglamentos institucionales y de los donantes y de los resultados previstos de la intervención, así como de los reglamentos y leyes gubernamentales locales, los requisitos contractuales y las normas éticas establecidas. Un ejemplo de una herramienta de seguimiento del cumplimiento es una lista de verificación. |
Seguimiento del contexto | El seguimiento del contexto permite examinar la situación en que se lleva a cabo la intervención y se centra en la identificación de los riesgos y los supuestos, teniendo en cuenta las consideraciones imprevistas que puedan surgir. De este modo, el seguimiento del contexto está estrechamente relacionado con el seguimiento de los riesgos. El seguimiento del contexto abarca el ámbito directo de intervención, así como el contexto institucional, político, de financiación y en materia de políticas más amplio que afecta a la ejecución de una intervención. Entre las herramientas de la OIM que pueden servir para el seguimiento del contexto cabe mencionar el plan de gestión del riesgo mencionado supra. |
Seguimiento de los beneficiarios | El seguimiento de los beneficiarios permite examinar las percepciones de los beneficiarios con respecto a una intervención en curso o concluida. Este tipo de seguimiento fomenta la participación de los beneficiarios y evalúa su satisfacción o sus quejas, su nivel de participación/ inclusión, su acceso a los recursos, cómo se les trató en el marco de la intervención y su experiencia general del cambio. Las encuestas y los cuestionarios son ejemplos de herramientas que pueden servir para el seguimiento de los beneficiarios. |
Recursos de la OIM
2017a Manual para proyectos de la OIM. Segunda edición. Ginebra (enlace interno únicamente).
- Modelo de plan de trabajo de la OIM (Módulo 4, pág. 53).
- Modelo de marco de supervisión de resultados de la OIM (Módulo 4, pág. 16).
- Plan de gestión del riesgo de la OIM (Módulo 4, pág. 69).
s.f.c PRIMA User Guide – Results Monitoring (enlace interno únicamente).
s.f.d PRIMA User Guide Sharepoint folder (enlace interno únicamente).
Otros recursos
Federación Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja
2011 Project/Programme Monitoring and Evaluation (M&E) Guide. Ginebra.
La diferencia entre el seguimiento de una política o estrategia y aquel de un proyecto o programa es que el primero se centra en una visión más amplia o en el nivel más general de lo que la Organización trata de lograr. A pesar de esta diferencia, al efectuar el seguimiento de una estrategia pueden utilizarse enfoques similares. Es conveniente, a los efectos del seguimiento, diferenciar las estrategias formuladas en los planos nacional, regional y mundial. Habida cuenta de que las estrategias tratan de lograr resultados, habitualmente por medio de resultados de nivel superior a los que podemos encontrar en los proyectos y programas, también puede aplicarse una matriz de resultados a una estrategia. En el cuadro que figura a continuación se esbozan las principales consideraciones para la elaboración de estrategias a fin de facilitar el seguimiento, y se ofrecen orientaciones sobre el seguimiento universal de las estrategias formuladas en diferentes niveles. Al final de esta sección se proporcionan recursos en relación con las herramientas pertinentes para la elaboración de estrategias.
Cuadro 3.4. Seguimiento de una estrategia
Tipo de estrategia | Consideraciones relativas a la elaboración de una estrategia que facilitan el seguimiento | Cómo efectuar el seguimiento |
Estrategia mundial (por ejemplo, una estrategia temática o elaborada por un departamento) |
|
El seguimiento de las estrategias u otras intervenciones se debería efectuar de manera periódica, con independencia del nivel en el que se estén ejecutando. Al formular o elaborar una estrategia, habría que incluir una sección sobre cómo efectuar el seguimiento. Algunos de los métodos utilizados para el seguimiento de las estrategias son:
|
Estrategia regional |
|
|
Estrategia nacional |
|
Las políticas suelen formularse a nivel sistémico, institucional y organizativo, y pueden facilitar los esfuerzos destinados a abordar problemas complejos. Sin embargo, es preciso contar con políticas acertadas y basadas en datos empíricos para abordar esos problemas y lograr objetivos institucionales y organizativos más a largo plazo. Por consiguiente, es fundamental integrar el seguimiento y la evaluación en el ciclo de elaboración de políticas, casi por los mismos motivos que en las intervenciones a nivel de los proyectos, programas y estrategias y, en particular, para fomentar la rendición de cuentas y el aprendizaje. Teniendo esto presente, muchas de las mismas consideraciones que promueven el seguimiento fructífero de una estrategia también pueden facilitar el seguimiento de una política. Del mismo modo, herramientas tales como la elaboración y el uso de una matriz de resultados pueden aplicarse al seguimiento de las políticas.
En la sección relativa a los recursos infra se presentan más recursos en lo que respecta al seguimiento (y evaluación) de una política.
Cuando no se haya elaborado una matriz de resultados o un marco de seguimiento de resultados para una determinada estrategia o política, sigue siendo posible efectuar el seguimiento de la intervención por medio de la presentación de informes y de exámenes estratégicos frecuentes, de un modo que puede tener un carácter más cualitativo. Entre las herramientas que pueden contribuir a esto figuran las siguientes: a) el plan de acción; b) el examen de la estrategia a mitad de periodo; c) las reuniones periódicas de interlocutores estratégicos clave sobre la dirección estratégica, y d) la vinculación de proyectos específicos a la estrategia a fin de detectar las posibles lagunas en materia de ejecución o financiación.
La estrategia nacional de Tailandia es un buen ejemplo de cómo elaborar un plan de seguimiento de una estrategia. Esta muestra cómo los elementos esenciales del seguimiento de un proyecto o programa, como la matriz de resultados, se aplican a las estrategias. Además, muestra varias matrices de resultados, que abarcan diferentes ámbitos temáticos que responden a las necesidades concretas en materia de migración, e indica cómo están vinculadas con otros marcos mundiales, como los ODS.
Recursos de la OIM
2017b IOM Thailand Internal National Strategy 2017–2020. Sin lugar de publicación. Seguimiento y evaluación, carpeta creada en SharePoint (enlace interno únicamente).
2018a IOM Country Strategy Draft Outline. Modelo interno en materia de seguimiento y evaluación, carpeta creada en SharePoint (enlace interno únicamente).
2018b IOM Country Strategy – Quick Guide. Modelo interno en materia de seguimiento y evaluación, carpeta creada en SharePoint (enlace interno únicamente).
Otros recursos
National Center for Injury Prevention and Control
2013 Step by step – Evaluating violence and injury prevention policies, Brief 1: Overview of policy evaluation. Centros para el Control y la Prevención de Enfermedades (CDC), Atlanta.
Organización de Cooperación y Desarrollo Económicos (OCDE)
Esta sección se centra en los entornos operacionales y de seguimiento en los que es difícil llegar a las poblaciones vulnerables, incluidos los contextos caracterizados por un nivel de inseguridad de mediano a alto, al tiempo que se preserva la seguridad del personal de la Organización. También se abordan casos de programas de gran envergadura y complejos, algunos de ellos con una amplia cobertura, incluidos aquellos para cuya ejecución se recurre al seguimiento por terceros. Las estrategias de gestión y seguimiento a distancia y el seguimiento por terceros pueden contribuir a atenuar los problemas que se plantean en esas situaciones y ayudar a la OIM a prestar asistencia específica de manera continuada, a la vez que reducen el riesgo para el personal.
Una estructura de gestión que puede haberse establecido como un modo de funcionamiento temporal puede convertirse rápidamente en un enfoque semipermanente o permanente de la implementación en aquellos países que experimentan un deterioro de su situación en materia de seguridad. Si bien la proliferación de enfoques de gestión a distancia puede haber ofrecido una serie de recomendaciones a los profesionales para que mejoren sus resultados en las zonas de difícil acceso, también ha puesto de manifiesto sus limitaciones, incluidas las relacionadas con el seguimiento de la intervención y la rendición de cuentas a las poblaciones afectadas. Esta sección examinará la gestión a distancia, el seguimiento a distancia, y el seguimiento de las intervenciones por terceros.
Los enfoques de gestión a distancia tienen importantes repercusiones en las prácticas en materia de seguimiento y rendición de cuentas, así como para la capacidad de la organización encargada de la ejecución de ofrecer garantías de la consecución de los resultados del proyecto o programa. Cuando se den situaciones que puedan impedir que los miembros del personal se reúnan con los beneficiarios o efectúen el seguimiento directo de las actividades, se deberá recurrir a otros enfoques de dotación de personal o a asociados externos. Por consiguiente, se requerirán enfoques de gestión a distancia en aquellos casos en que los administradores no estén físicamente presentes, lo que restringe los controles técnicos, el seguimiento y la rendición de cuentas, así como en aquellas situaciones en que exista un mayor riesgo de fraude o corrupción. A continuación se enumeran algunas de las situaciones más habituales en que cabe adoptar enfoques de gestión a distancia.
La pandemia de COVID-19 que se produjo en 2020 planteó otros problemas en la gestión y ejecución de las intervenciones y, por consiguiente, en todos los esfuerzos posteriores en materia de seguimiento y evaluación. Esta dio lugar a otra situación de gestión a distancia, en la que la mayor parte de las actividades y de los desplazamientos de todos los agentes se vieron fuertemente restringidos. Estas condiciones hacen que sea aún más necesario contar con mecanismos de seguimiento eficaces y flexibles que sirvan de apoyo para la ejecución de las intervenciones. En respuesta a los desafíos planteados por la pandemia de COVID-19, la OIM preparó un documento de orientación sobre la continuidad de las intervenciones en materia de seguimiento y evaluación durante la COVID-19 (Continuity of Monitoring and Evaluation Interventions during COVID-19), en el que se presentan otras opciones para la recopilación de datos que pueden ser igualmente útiles en las situaciones de gestión y seguimiento a distancia.
En general, la gestión a distancia, incluidos el seguimiento a distancia y algunos aspectos del seguimiento por terceros, puede ser una respuesta temporal o una respuesta más definitiva a los problemas que se plantean en materia de seguridad y logística en la ejecución directa de los programas.
Algunas consideraciones que cabe tener en cuenta son:
- a) Entorno físico de seguridad/operaciones – Una evaluación elaborada de los riesgos y la seguridad debería incluir lo siguiente:
- i) Un análisis sólido del contexto y del entorno de seguridad, que incluya la dinámica del conflicto (Dependencia de Gestión de Riesgos de las Naciones Unidas), la distancia a los emplazamientos de los proyectos, los tipos de transporte, la disponibilidad y las limitaciones, y la infraestructura;
- ii) Un análisis del nivel de riesgo relacionado con la seguridad (bajo/medio/elevado);
- iii) Un análisis del acceso a los emplazamientos del proyecto: inexistente/irregular/regular pero limitado.
- b) Análisis de los costos de las distintas opciones – Un análisis de los costos debería incluir lo siguiente:
- i) Cuánto se puede invertir para delegar la responsabilidad de la ejecución con una repercusión mínima en la calidad del programa; para ello, puede ser necesario analizar otras opciones eficaces en función de los costos o que reduzcan los costos.
- ii) Las posibilidades de supervisar/realizar visitas sobre el terreno, dadas las circunstancias, (entorno de seguridad, grado de distancia y otros factores que afecten al riesgo); la disponibilidad de sistemas de información; la identificación de asociados en la ejecución eficientes; la garantía del fomento de la capacidad de los asociados locales; cómo mantener una relación eficaz con los beneficiarios, por ejemplo mediante sistemas de creación de redes comunitarias, y las posibilidades de determinar el impacto del programa por medio de la gestión a distancia.
- c) Estrategia de salida – Habida cuenta de que los sistemas de gestión a distancia suelen ser más onerosos y menos fiables que la gestión directa, se debería contemplar, cuando proceda, una estrategia de salida que permita efectuar la transición de la gestión a distancia a la gestión directa, y esta se debería revisar periódicamente para sustentar las decisiones pertinentes en materia de ejecución.
En una oficina de la OIM encargada de la gestión convendría considerar, en consulta con los responsables de la adopción de decisiones pertinentes de las oficinas regionales y la Sede, a quién incumbe la decisión de llevar a cabo una programación a distancia y en qué procesos se basa esa decisión, incluido el marco jurídico.
El seguimiento a distancia puede tener importantes repercusiones en la estructura organizativa, la rendición de cuentas, el seguimiento y el aseguramiento de la calidad de las intervenciones. Cuando una situación requiere una gestión a distancia, la configuración y el uso de los enfoques en materia de seguimiento deben ser objeto de una mayor atención. Debido a las dificultades logísticas de realizar el seguimiento en entornos complejos y distantes, puede ser necesario impartir formación adicional y celebrar acuerdos contractuales con otras líneas jerárquicas. Es fundamental que los enfoques adoptados en relación con el seguimiento a distancia sean sólidos para apoyar dicho seguimiento y contribuir al mismo.
Un problema habitual del seguimiento a distancia es la asignación de recursos suficientes para la planificación y la presupuestación de sistemas de seguimiento rigurosos y eficaces. Por lo tanto, es importante identificar las limitaciones operativas y en materia de presupuestación a las que se hace frente en esos entornos frágiles y complejos. Esto también puede prevenir, a la larga, el uso abusivo de las prolongaciones sin costo alguno. La consideración de esas restricciones y limitaciones en la sección relativa al seguimiento de cada propuesta de proyecto también puede tranquilizar al donante en cuanto a que se está prestando atención seguimiento con objeto de garantizar la calidad global de una intervención.
Gracias a la utilización de enfoques específicos de gestión a distancia, el seguimiento de la ejecución puede proseguir. En el cuadro que figura a continuación se esbozan los principales problemas en el contexto del seguimiento a distancia y las posibles soluciones para resolverlos.
Cuadro 3.5. Seguimiento a distancia: principales problemas y posibles soluciones
Problema | Explicación | Soluciones propuestas |
Posible deterioro de la calidad de los programas | Asegurar una calidad elevada en la programación puede ser especialmente difícil cuando los proyectos son técnicamente complejos. |
Siempre que sea posible:
|
Mecanismos deficientes de seguimiento y control | El seguimiento riguroso puede desatenderse cuando un proyecto se enfrenta a prioridades y plazos contrapuestos o a restricciones presupuestarias. La falta de capacidad del personal, de herramientas de seguimiento y enfoques normalizados, las visitas de seguimiento infrecuentes, la baja calidad de los datos recopilados y la falta de triangulación de los datos son factores que pueden debilitar el seguimiento y dar lugar a la adopción de decisiones poco acertadas, un posible deterioro de la calidad de los programas y la corrupción. |
Siempre que sea posible:
|
Datos o presentación de informes insuficientes o inexactos | La baja calidad de los datos puede afectar a la calidad de la presentación de informes. Esta puede deberse a la capacidad limitada del personal o al tiempo pasado en el terreno por problemas de seguridad al recopilar los datos. |
Siempre que sea posible:
|
Número de visitas y acceso reducidos a los lugares donde se ejecutan los proyectos | Algunas veces puede resultar difícil realizar visitas de seguimiento a los lugares donde se ejecutan los proyectos o las oficinas en el terreno. Ello puede tener como resultado una comunicación deficiente, la falta de intercambio de información o la ausencia de control de la información lo que, en última instancia, puede afectar negativamente a la calidad de la ejecución. |
Siempre que sea posible:
|
Capacidad limitada del personal o los asociados | Las limitaciones más habituales están relacionadas con las competencias en materia de gestión, análisis de datos y presentación de informes, así como con una buena comprensión de conceptos tales como el seguimiento y la evaluación, la acción humanitaria y la rendición de cuentas a los beneficiarios. |
Siempre que sea posible:
|
Seguimiento técnica deficiente de la ejecución | Proporcionar un apoyo técnico adecuado mediante el seguimiento a distancia puede resultar complicado. |
Siempre que sea posible:
|
Comunicación potencialmente deficiente entre la oficina principal en el país o la oficina principal deslocalizada y las oficinas sobre el terreno | La comunicación puede verse afectada en los contextos de gestión a distancia. |
Siempre que sea posible:
|
Mayor riesgo de fraude y corrupción | Los riesgos de fraude y corrupción están presentes durante toda la ejecución de una intervención y pueden surgir en contextos de gestión a distancia, en los que el seguimiento es más difícil. El fraude o la corrupción pueden producirse en distintos niveles: a nivel organizativo con el propio personal, a nivel de los beneficiarios o a nivel de los asociados en la ejecución. Determinados factores socioeconómicos y políticos pueden conducir a una mayor probabilidad de fraude o corrupción |
Siempre que sea posible:
|
En la medida de lo posible, los sistemas de seguimiento a distancia deberían permitir obtener información en tiempo real. Esos sistemas presentan múltiples ventajas: pueden permitir una comunicación bidireccional en tiempo real o casi en tiempo real en entornos a distancia, por lo que no solo sirven como herramienta de gestión, sino también como mecanismo de control y aseguramiento de la calidad. Al recibir información o datos en tiempo real o casi real, el personal de la OIM puede detectar los problemas y responder a los mismos mediante medidas correctivas y de forma mucho más rápida.
Microsoft Office 365, que está a disposición de todo el personal de la OIM, contiene herramientas que pueden utilizarse para el seguimiento (a distancia). Algunas de estas herramientas útiles son:
Colaboración o intercambio en tiempo real | Plataformas o espacios de colaboración |
|
|
Llamadas virtuales | |
|
Recursos de la OIM
2020 Continuity of Monitoring and Evaluation Interventions during COVID-19. Versión del 8 de abril. Función de evaluación central de la Oficina del Inspector General.
Otros recursos
Comité Internacional de Rescate
2016 IRC – Syria, Remote Management Guidelines. Actualizado por última vez en agosto de 2016.
Norman, B.
2012 Monitoring and Accountability Practices for Remotely Managed Projects Implemented in Volatile Operating Environments. Tearfund, Teddington, Reino Unido.
Price, R.
2018 Approaches to remote monitoring in fragile states. GSDRC Helpdesk Research Report. Universidad de Birmingham.
- Recursos principalmente relacionados con la COVID-19 que también pueden aplicarse a otros contextos
Kopper, S. y A. Sautmann
2020 Best practices for conducting phone surveys. Abdul Latif Jameel Poverty Action Lab (J-Pal), 20 de marzo.
El seguimiento por terceros es el sistema por el que se contrata a terceros para llevar a cabo el seguimiento o para que efectúen funciones de seguimiento, como la recopilación (y, en algunas ocasiones, la verificación) de datos, en nombre del organismo de ejecución o del donante. Sin embargo, esta definición puede contextualizarse todavía más, y las modalidades del seguimiento por terceros pueden adoptar distintas formas, sobre todo en los entornos no permisivos. Así pues, al hablar del seguimiento por terceros, conviene aclarar cuál es la situación que se está examinando concretamente.
a) La OIM, en su calidad de entidad gestora, utiliza el seguimiento por terceros para supervisar sus intervenciones: la Organización contrata a un equipo de seguimiento externo para supervisar su propio desempeño o el de los asociados en la ejecución.
b) La OIM es el tercero encargado del seguimiento – Otra entidad gestora recurre a la OIM para el seguimiento de sus intervenciones: la Organización es la entidad que realiza el seguimiento por terceros y supervisa las intervenciones ajenas a la OIM.
c) La OIM es objeto de seguimiento por terceros a cargo de otra entidad – Una entidad (por lo general, un organismo de donantes) recurre a entidades externas que se encargan del seguimiento por terceros para supervisar el desempeño de la Organización: una entidad encargada del seguimiento por terceros, que trabaja directamente para el donante de la intervención, supervisa una intervención gestionada por la OIM.
La OIM tiene experiencia en las tres situaciones, como se describe en los siguientes ejemplos de la Oficina de la OIM en el Pakistán:
a) La OIM recurre al seguimiento por terceros – Ello para supervisar la ejecución de su propia intervención y la labor de los asociados en la ejecución (como las ONG locales): En un programa a gran escala de estabilización de la comunidad financiado por USAID, la situación en materia de seguridad y los protocolos de seguridad restringen el acceso del personal de la OIM a las actividades sobre el terreno. Por ello, el programa contrató a personal local por medio de contratos a terceros para que efectuara el seguimiento de los proyectos en curso en las zonas de acceso restringido. El personal fue formado y supervisado por el personal de la OIM encargado del seguimiento y la evaluación por medio de la gestión y el seguimiento a distancia, para lo cual se utilizó un sistema de información en esta esfera específicamente diseñado para este programa que permitía llevar a cabo el seguimiento en tiempo real.
b) La OIM es el tercero encargado del seguimiento – Otra entidad recurre a la OIM como tercer encargado del seguimiento para supervisar sus intervenciones: La Organización es el tercer encargado del seguimiento de un proyecto ejecutado por la INL, para lo cual utiliza un sistema de seguimiento específico.
c) La OIM es objeto de seguimiento por terceros – Un organismo de donantes utiliza el seguimiento por terceros para supervisar el desempeño de la OIM: Las actividades de la Organización fueron objeto de seguimiento por un tercero, financiado por USAID. Este rindió cuentas directamente a USAID. Todo problema señalado por el tercero a USAID fue remitido a la OIM para que esta diera una respuesta. En aquellos casos en que los hallazgos eran contradictorios, se solicitó a la OIM que presentara al donante informes de seguimiento basados en datos empíricos.
El seguimiento por terceros no solo se utiliza en situaciones de emergencia, sino también en programas a gran escala, por ejemplo en el Programa de Admisión de Refugiados de los Estados Unidos, que recurre al seguimiento por terceros para supervisar sus actividades, llevadas a cabo en todo el mundo por distintos organismos, o en el programa del Fondo Fiduciario de la Unión Europea, en el que otra entidad supervisa el desempeño de la OIM.
? Cuando se produzca una situación de seguimiento por terceros, es esencial que las partes involucradas tengan expectativas claras y realistas. Los acuerdos contractuales definen los parámetros y las condiciones de cualquier situación de seguimiento por terceros, incluidas las obligaciones y los requisitos de las distintas partes involucradas. Al celebrar un acuerdo con un tercero a los efectos del seguimiento, en cualquiera de las tres situaciones descritas supra, habría que tener presente estas consideraciones principales:
a) Funciones y responsabilidades: Cerciorarse de que se esbocen claramente las funciones y responsabilidades de cada una de las partes en esa situación, incluidos la frecuencia del seguimiento y la presentación de informes, las líneas jerárquicas, las líneas y medios de comunicación entre las partes, la dotación de personal necesaria para la ejecución, los resultados esperados y la división del trabajo entre las partes. También se pueden identificar e incluir otras obligaciones importantes, según el contexto.
b) Protección de datos: Identificar los posibles problemas en materia de protección de datos y resolverlos directamente en el marco del acuerdo y al comenzar la labor de seguimiento. Si bien la OIM se compromete a ser transparente con los asociados en el seguimiento por terceros, los acuerdos deben respetar los Principios de la OIM de Protección de Datos, siguiendo las orientaciones facilitadas en el Manual de la OIM para la protección de datos (IOM Data Protection Manual) y las orientaciones de la Oficina de Asuntos Jurídicos en lo que respecta a los términos en materia de confidencialidad empleados en los acuerdos contractuales.
A fin de reforzar el compromiso de la OIM con la transparencia, considere la posibilidad de esbozar cualquier limitación específica prevista en materia de intercambio de datos desde un principio al celebrar un acuerdo de seguimiento por terceros, idealmente durante las negociaciones iniciales entre las partes.
c) Indicadores: Es importante estar de acuerdo sobre lo que es objeto de seguimiento y sobre cómo se medirán los resultados desde el principio. El hecho de añadir indicadores o de modificarlos más allá de lo inicialmente acordado contractualmente con el donante, y sin el acuerdo de todas las partes, puede complicar o impedir la presentación rigurosa de los resultados y, en algunos casos, complicar considerablemente los mecanismos de recopilación de datos establecidos
d) Múltiples acuerdos: En casi todas las situaciones, un acuerdo de seguimiento por terceros se celebrará en el contexto de un proyecto o programa existente. En tales casos, ya existirá una acuerdo con un donante. Por consiguiente, es esencial que todos los acuerdos de seguimiento por terceros se ajusten a las obligaciones de la OIM esbozadas en el acuerdo original con el donante. Siempre que sea posible, cuando la situación de seguimiento por terceros haya sido exigida por el donante, trate de ponerse de acuerdo sobre los parámetros, incluidas las consideraciones éticas de la OIM relativas a la protección de datos, y las funciones y responsabilidades de todas las partes, antes de celebrar el acuerdo inicial con el donante.
? Por último, cuando surjan cuestiones o desacuerdos en relación con los acuerdos de seguimiento por terceros y los términos empleados en estos, recuerde que puede recurrir a la Oficina de Asuntos Jurídicos. En la instrucción IN/284 se ofrecen más orientaciones sobre cuestiones relacionadas con las adquisiciones en el contexto del seguimiento por terceros.
Dificultades y riesgos del seguimiento por tercerosLas siguientes secciones se basan en la información recopilada por la División de Transición y Recuperación y elaborada en consulta con la función de evaluación central de la Oficina del Inspector General en 2018.
Si bien el seguimiento por terceros permite indirectamente el seguimiento, la verificación y la validación de los datos, así como su recopilación en tiempo real, y rectificar el rumbo de las intervenciones de la OIM, también tiene algunas limitaciones. Entre esas limitaciones cabe mencionar la presentación de informes de baja calidad sobre las visitas de seguimiento realizadas, los gastos imprevistos (entre otras cosas, los relacionados con la mejora de la calidad), la falta de transparencia y las dificultades para utilizar el seguimiento por terceros para recopilar datos en el nivel de los efectos. Muchos de los riesgos inherentes a la gestión a distancia también se aplican al seguimiento por terceros.
Otros posibles riesgos relacionados con el seguimiento por terceros | |
Programáticos |
|
Institucionales |
|
Otros |
|
a) Asignar suficientes recursos para el fomento de la capacidad del personal que participa en el seguimiento por terceros a fin de garantizar un trabajo de calidad en todos los procesos de seguimiento. Para esos sistemas de seguimiento a distancia, se recomienda encarecidamente el uso de manuales, guías, notas orientativas y modelos diversos. Es importante regirse por las normas de la Organización, como los Principios de la OIM de Protección de Datos, a fin de garantizar el cumplimiento.
b) Al concertar un acuerdo de seguimiento por terceros es importante acordar, ya sea en el propio acuerdo o en un documento anexo o complementario, los parámetros relativos a la recopilación, gestión y utilización éticas de los datos, en particular mediante la vinculación de los esfuerzos de seguimiento por terceros al Marco de Rendición de Cuentas a las Poblaciones Afectadas de la OIM (véase el capítulo 5 sobre la incorporación de las cuestiones transversales en la OIM: rendición de cuentas a las poblaciones afectadas).
c) Al aclarar las funciones y responsabilidades en un acuerdo de seguimiento por terceros, asegúrese de que todas las partes tengan un conocimiento realista de todos los recursos humanos u otros recursos necesarios para facilitar todas las actividades de seguimiento por terceros. Independientemente de si la OIM realiza el seguimiento por terceros o es objeto de esta, los requisitos en materia de recopilación de datos, como la facilitación de visitas de seguimiento o la redacción de informes, no deberían limitar la capacidad de la organización encargada de la ejecución para llevar a cabo la intervención.
En lo que respecta al seguimiento por terceros, también cabe considerar, en función de la situación, los recursos a los que se ha hecho referencia supra en relación con el seguimiento y la evaluación.
Recursos de la OIM
2010a IOM Data Protection Manual. Ginebra.
2010b Annex X: IOM Data Protection Principles (enlace interno únicamente).
2021 Changes to Procurement, Implementing Partners Selection and Related Contracting Procedures (IN/284) (enlace interno únicamente).
En este capítulo se han presentado, hasta ahora, distintos tipos de seguimiento, entre ellos los cuatro ámbitos esenciales cuyo seguimiento es esencial, a saber, los resultados, las actividades, el presupuesto y los gastos, y el riesgo.
Como se ha señalado en la sección de este capítulo relativa a los tipos de seguimiento, también puede utilizarse PRIMA como herramienta para efectuar el seguimiento de los resultados, utilizando la matriz de resultados y el marco seguimiento de resultados.
Para obtener más información sobre cómo utilizar PRIMA para efectuar el seguimiento de los resultados, véase PRIMA User Guide, Annex 5: Results Monitoring (enlace interno únicamente).
Tomados conjuntamente, estos constituyen los principales elementos que se deberían utilizar al planificar y llevar a cabo el seguimiento de los proyectos, programas, estrategias y políticas. Junto con la evaluación de la planificación, que se examina en el capítulo 5 de las Directrices de la OIM relativas al seguimiento y la evaluación, estos elementos constituyen el plan de seguimiento y evaluación, en el que se esboza el plan general en materia de seguimiento y evaluación para el conjunto de la intervención. En él se deberían especificar la estrategia en materia de seguimiento, los enfoques utilizados, los estudios, exámenes o evaluaciones que habrán de realizarse, indicando las fuentes de datos, y los plazos y procesos de gestión, además de resumir la teoría programática general, incluidas la teoría del cambio o la matriz de resultados.
Si bien existen varias definiciones de los términos “plan de seguimiento y evaluación” y “marco de seguimiento y evaluación”, estos suelen utilizarse indistintamente. Sin embargo, aunque puedan parecer idénticos, se refieren a dos conceptos distintos.
En el cuadro 3.6 se muestran algunos de los principales elementos
Cuadro 3.6. Comparación de los principales elementos: Plan de seguimiento y evaluación y marco de seguimiento y evaluación
Plan de seguimiento y evaluación | Marco de seguimiento y evaluación |
En algunos casos, puede ser necesaria una descripción detallada de la lógica del proyecto, las evaluaciones previstas y las actividades de seguimiento, así como de las herramientas de seguimiento y evaluación. Algunos de los casos en que esto puede ser necesario son: cuando se precisa medir el éxito de un proyecto de gran envergadura o complejo, cuando se implique a diversos asociados en las actividades de seguimiento y evaluación, o cuando el donante exija específicamente un plan más detallado sobre cómo se harán efectivos el seguimiento y la evaluación al comienzo de la intervención.
|
La definición más común de marco de seguimiento y evaluación es un cuadro en el que se enumeran todos los indicadores (con una breve definición de cada uno de ellos), así como la fuente de datos, la línea de base, la meta, la frecuencia de la medición, los métodos y herramientas de recopilación de datos, y quién es el responsable de la medición de los resultados. Para la OIM, el concepto más afín a un marco de seguimiento y evaluación es el marco de seguimiento de resultados. En muchos casos, el marco de seguimiento de resultados puede ser suficiente para seguir de cerca los resultados de una intervención en la OIM, junto con los planes descritos en las secciones relativas al seguimiento y la evaluación del documento del proyecto. |
Idealmente, un plan de seguimiento y evaluación debería elaborarse en la fase inicial de un proyecto, antes de comenzar con la ejecución, y se debería revisar periódicamente a fin de reflejar los cambios en el contexto de la ejecución, o después de que se hayan realizado modificaciones importantes en el diseño del proyecto. | El marco de seguimiento y evaluación también se elabora al inicio del proyecto. También puede ser necesario revisarlo periódicamente para reflejar los cambios en la ejecución. |
El marco de seguimiento y evaluación puede ser un componente del plan de seguimiento y evaluación e incluirse en este último. |
Aunque aquí los dos conceptos se han presentado como distintos, siempre es aconsejable pedir aclaraciones a un donante o asociado en particular para asegurarse de que se tenga una comprensión común de la terminología utilizada y de las expectativas conexas.
Un plan de seguimiento y evaluación permite enlazar todos los componentes del seguimiento y la evaluación, como los planes de visitas sobre el terreno, el marco de seguimiento de resultados, la recopilación y análisis de datos y los requisitos de uso, las actividades de aprendizaje y reflexión u otra información. En algunos casos, un plan de seguimiento y evaluación también puede incluir descripciones detalladas de los indicadores de la intervención. Resulta útil reunir los distintos elementos que harán posible el seguimiento y la evaluación en el marco de una intervención en un documento o carpeta para gestionar mejor los procesos de seguimiento y evaluación, fomentar el acceso a todos los documentos y una comprensión común entre el equipo del proyecto, y facilitar las eventuales revisiones y evaluaciones.
Si bien existen diversos modelos de planes de seguimiento y evaluación, en los modelos que se muestran a continuación se esbozan los principales componentes de un plan de seguimiento y evaluación básico y avanzado.
Modelo de plan básico de seguimiento y evaluación |
|
Modelo de plan avanzado de seguimiento y evaluación |
a) Perspectiva general y antecedentes b) Descripción de la teoría del cambio c) Marco de seguimiento de resultados d) Planificación del seguimiento de los resultados e) Planificación del seguimiento de las actividades, los aspectos financieros y los riesgos f) Plan de trabajo detallado g) Datos: gestión, funciones y responsabilidades h) Planificación de las visitas de seguimiento a cargo del personal de programas i) Planes para trabajar en colaboración con los asociados en la ejecución en los ámbitos del seguimiento y la evaluación j) Planificación de la presentación de informes k) Planificación del examen y la evaluación l) Planificación de la reflexión y el aprendizaje m) Recursos para el seguimiento y la evaluación |
En el diagrama que figura a continuación se hace un resumen gráfico de un plan de seguimiento y evaluación, en particular de cómo se articula en torno al desarrollo de proyecto y contribuye a asegurar la rendición de cuentas y el aprendizaje.
Nota: Modificado a partir de un gráfico elaborado por la Oficina Regional de la OIM en Viena (2017)..
La presentación de informes sobre los resultados de la intervención es un componente esencial de la garantía del cumplimiento mediante la adopción de un enfoque basado en los resultados. Esta se lleva a cabo en diferentes momentos durante el ciclo de vida de una intervención. La presentación de informes, que se basa en los conocimientos operacionales y las mejores prácticas, también contribuye a la ampliación de los conocimientos institucionales de la OIM. Es un medio para comunicar información sobre los progresos realizados en el marco de la intervención, los resultados logrados, las enseñanzas extraídas, los problemas encontrados, las medidas adoptadas para superar y abordar los desafíos y las buenas prácticas identificadas durante la ejecución.
La presentación de informes es un componente obligatorio de la gestión de una intervención. Informar periódicamente a los donantes, los Estados Miembros y otras partes interesadas sobre la situación de una intervención ayuda a demostrar la transparencia y la rendición de cuentas, y garantiza el cumplimiento de los acuerdos contractuales. La presentación de informes a nivel interno, por ejemplo mediante informes relativos al seguimiento, informes presentados por los asociados en la ejecución, actas de reuniones y registros de enseñanzas extraídas, es otro elemento importante de la gestión de proyectos que puede facilitar asimismo la posible presentación de informes externos. La presentación de informes hace necesario mantener un registro de todas las medidas adoptadas durante la ejecución. Por consiguiente, también constituye una importante fuente de información para los auditores y los evaluadores a la hora de valorar si una intervención se ha llevado a cabo con éxito, de conformidad con los reglamentos y las normas pertinentes de la OIM y el acuerdo celebrado con el donante.
Las oficinas de la OIM deberían considerar la posibilidad de elaborar un plan para la presentación de informes a fin de prever las necesidades en materia de presentación de informes y cerciorarse de que se reserve suficiente tiempo para la recopilación de datos y la preparación de informes. Ello podría incluirse en un plan de seguimiento y evaluación (véase la sección anterior, titulada Cómo combinarlo todo: El plan de seguimiento y evaluación, o podría elaborarse como un plan independiente.
Un plan para la presentación de informes puede abarcar las funciones en la presentación de informes (quién es el responsable de la presentación de informes), los tipos de informes necesarios, la frecuencia con la que deben elaborarse, los procedimientos de examen de informes y los destinatarios del informe.
En el Módulo 5 del Manual para proyectos de la OIM se presenta una guía detallada sobre la presentación de informes a los donantes, y sus tres fases principales: a) preparación; b) examen y aprobación, y c) presentación. La presente sección se centra en cómo informar sobre los resultados utilizando los hallazgos observados durante el seguimiento, en las secciones específicas del informe descriptivo para los donantes destinadas a mejorar la presentación de informes sobre los resultados, y en cómo la presentación de informes puede contribuir al aprendizaje institucional.
La redacción de informes tiene que ver con la comunicación de resultados.
La presentación de informes es un componente esencial del seguimiento y la evaluación, ya que permite presentar los datos recopilados y los hallazgos generados para su utilización por las principales partes interesadas y su desempeño general. La presentación de informes sobre los resultados proporciona datos e información a los encargados de la adopción de decisiones para fundamentar sus procesos de toma de decisiones. Los informes de seguimiento internos y los informes externos para los donantes pueden utilizarse con distintos fines, en función de las necesidades de información de una intervención, así como de la información derivada del seguimiento y la evaluación, a la que puede darse distintos usos. La información en materia de seguimiento y evaluación puede servir para:
Recopilación de datos para la elaboración de informes basados en resultados
Los datos necesarios para informar sobre los progresos realizados en la consecución de las metas establecidas para los distintos indicadores deberían recopilarse y analizarse antes de la presentación de informes. Ello incluye los datos que deben facilitar las partes interesadas del proyecto y los asociados en la ejecución. Por lo tanto, es importante determinar por qué, cuándo y cómo se recopilarán los datos necesarios para la presentación de informes.
La matriz de resultados, al igual que el marco de seguimiento de resultados, recoge información fundamental y, por consiguiente, se puede utilizar como recurso para la presentación de informes basados en resultados.
En el caso de un resultado relacionado con el fomento de la capacidad, si el centro de atención son los conocimientos adquiridos, con un indicador que mida el porcentaje de participantes que ampliaron sus conocimientos o el porcentaje de participantes que informaron de que eran capaces de aplicar los conocimientos adquiridos, una vez recopilados estos datos, la presentación de informes también podrá centrarse en esta información y demostrar que se ha producido un cambio en la capacidad mediante la mejora de los conocimientos.
Por otro lado, si no se utiliza el indicador y no se recopilan los datos pertinentes, el informe sólo podrá indicar a cuántas personas se impartió formación o cuántas formaciones se llevaron a cabo, información que sería insuficiente para demostrar que se ha producido un cambio, es decir, que la formación impartida logró un cambio y se alcanzó el resultado previsto de la actividad de capacitación.
Independientemente de en qué medida se hayan recopilado y analizado los datos, estos también deben presentarse de manera adecuada, teniendo presentes a los destinatarios. Si los datos están mal presentados, la presentación de informes no resultará tan útil, lo que es una pérdida de recursos y tiempo. Al determinar la finalidad de la recopilación de datos, es importante planificar desde un principio unas estructuras sólidas de presentación de informes. En el diagrama que figura a continuación se ilustra el ciclo de recopilación, análisis, presentación y uso de datos:
Cómo redactar un informe basado en los resultados
Al examinar la presentación de informes desde una perspectiva de seguimiento y evaluación, pueden utilizarse algunas prácticas adicionales para garantizar la presentación de informes basada en resultados.
En el pasado, la presentación de informes solía centrarse excesivamente en las actividades llevadas a cabo, en lugar de en los resultados logrados en el nivel de los productos y de los efectos, y tampoco se centraba en el impacto de la intervención en la consecución del objetivo de una intervención. La presentación de informes debería:
- Contar la historia de la ejecución, pasando de las actividades a los resultados y demostrando cómo se utilizaron los recursos para lograr esos resultados;
- Esta historia debería ofrecer una visión general de los datos cuantitativos y cualitativos que demuestran la consecución de los resultados;
- Poner de relieve los problemas encontrados en el marco del proyecto o programa y qué mejoras podrían ser necesarias.
Capítulo 6 de UNICEF, 2017, págs. 146–148.
Además, se ofrecen otros consejos recomendados para redactar informes basados en resultados, que reflejen adecuadamente el cambio.
Sugerencias adicionales sobre cómo escribir para reflejar el cambio |
|
|
Ejemplos de un lenguaje basado en los resultados:
Actividad | Presentación de informes basada en resultados |
La OIM adquirió e instaló 20 contenedores acondicionados para el invierno en la zona fronteriza. | En diciembre se registró un aumento del 25 por ciento del número de migrantes que dormían en alojamientos acondicionados para el invierno en el país. |
La OIM matriculó a niños migrantes en las escuelas locales y les proporcionó transporte en la zona del centro de acogida | En 2021, la escolarización de niños migrantes que vivían en centros de acogida para migrantes aumentó del 30 por ciento al 90 por ciento. |
Encontrará más ejemplos e información en el Módulo 5 del Manual para proyectos de la OIM.
También cabe mantener un equilibrio adecuado entre la redacción descriptiva y la redacción analítica en todo el proceso de presentación de informes. La redacción descriptiva permite describir lo que ha ocurrido, mientras que la redacción analítica la complementa añadiendo un análisis que puede servir para explicar por qué ocurrió esto, lo que se ha logrado (más allá de las actividades y de los productos inmediatos) y qué repercusiones puede tener.
Redacción descriptiva | Redacción analítica |
Describe lo que ocurrió | Determina la importancia de los hallazgos |
Describe el orden en que ocurrieron las cosas | Evalúa los puntos fuertes y débiles |
Explica cómo funciona algo | Emite juicios razonados |
Da detalles | Explica los motivos por los que se ha elegido cada opción |
Además de basarse en resultados e incorporar la redacción descriptiva y analítica, cabe añadir otras consideraciones que refuerzan la calidad de la presentación de informes. La presentación eficaz de informes es pertinente, oportuna, completa, precisa, concisa y sencilla, coherente y eficaz en función del costo. También presenta datos fidedignos o de calidad. En el diagrama que figura a continuación se facilita una lista de preguntas para ayudar a determinar si la presentación de informes satisface estos criterios:
Pertinente |
|
Oportuno |
|
Completo |
|
Preciso |
|
Conciso y sencillo |
|
Coherente |
|
Eficaz en función del costo |
|
Una rigurosa labor de presentación de informes puede ser provechosa para las relaciones que la OIM mantiene con los donantes, mejorar el apoyo de los donantes y facilitar el seguimiento de un proyecto. La presentación inadecuada de informes puede ser un indicador de la ausencia de mecanismos de rendición de cuentas y transparencia, con posibles consecuencias para la relación con un donante u otras partes interesadas.
La planificación de la presentación adecuada de informes puede utilizarse para identificar las necesidades concretas de los destinatarios en materia de presentación de informes e información en una fase temprana del proceso. La información también puede utilizarse para un determinado fin, como la planificación estratégica, la implementación en curso de un proyecto, el cumplimiento de los requisitos de los donantes, la evaluación o el aprendizaje institucional. La presentación de informes centrada en la utilización, es decir, la presentación de información basada en las necesidades de información y que será utilizada, permite optimizar el uso de los hallazgos de los informes y evita la presentación de informes innecesaria.
Al preparar la presentación de informes, es útil saber quién será el destinatario de esa información, y en qué formato y con qué frecuencia se presentará dicha información, así como identificar a la persona que preparará y entregará la información.
El gestor de proyectos se encarga de redactar, preparar y coordinar los informes para los donantes en tiempo oportuno.
- Examinar los documentos del proyecto (tanto los documentos originales como las revisiones subsiguientes) para asegurarse de que en el informe se presente la información más actualizada, concretamente la versión más reciente de la matriz de resultados acordada, y los requisitos y los plazos de presentación de informes.
- Revisar los informes intermedios anteriores a fin de asegurar la coherencia de la información presentada y proporcionar información actualizada sobre cualquier dificultad señalada en informes anteriores.
- Examinar el acuerdo con el donante y sus modificaciones a fin de confirmar los principales requisitos en materia de presentación de informes estipulados en el acuerdo, en particular, la frecuencia, el formato y el idioma de la presentación de informes. Si estos no se estipulan en el acuerdo, en la página 9 del Módulo 5 del Manual para proyectos de la OIM se dan instrucciones adicionales sobre cómo proceder.
Al examinar los documentos del proyecto, asegúrese de consultar asimismo la matriz de resultados y la teoría del cambio correspondiente, el marco de seguimiento de resultados y el plan de seguimiento y evaluación para obtener informaciones esenciales (en caso de que se hayan aportado). Si existe un plan para la presentación de informes, refiérase a los plazos y los formatos de presentación de informes ya establecidos. La redacción exacta del objetivo, los resultados previstos (efectos y productos), así como de los indicadores, las líneas de base y las metas que se recogen en la matriz de resultados deberían incluirse en la parte descriptiva del informe a fin de hacer hincapié en la presentación de los resultados. Un examen cuidadoso de estos documentos facilita asimismo la identificación de los resultados imprevistos, que también deberían incluirse en la presentación de informes.
La sección II del modelo de la OIM para la presentación de informes (Progreso realizado en relación con los efectos y los productos del proyecto)Ibíd., pág. 13.
En la sección II del modelo para la presentación de informes se describen los resultados (efectos y productos) y las actividades conexas de la implementación durante el periodo abarcado por el informe. Si el seguimiento en el marco de la intervención ha sido frecuente, puede obtenerse información relativa a los resultados, como los efectos y los productos, a partir de los informes de seguimiento, la matriz de resultados o el marco de seguimiento de resultados. Los progresos realizados en la incorporación de las cuestiones transversales también deberían mencionarse en esta sección del informe.
La sección III del modelo de la OIM para la presentación de informes (Progreso realizado con respecto a los indicadores de la matriz de resultados)Módulo 5 del Manual para proyectos de la OIM, págs. 14-17 (enlace interno únicamente).
La sección III del modelo para la presentación de informes se centra en la presentación de información sobre los progresos realizados con respecto a los indicadores de la matriz de resultados, y en ella se ofrece información detallada sobre cómo rellenar cada casilla.
La matriz de resultados de la OIM incluida en el modelo de presentación de informes
Resultados | Indicadores | Línea de base | Meta | Progreso realizado durante el periodo que abarca el informe | Progreso acumulado |
Objetivo Indique el objetivo del proyecto, según se haya establecido en el documento de proyecto. | Inserte el indicador, según se haya establecido en la matriz de resultados. | Inserte el valor de línea de base correspondiente al objetivo. | Inserte la meta definida para el objetivo, según conste en el documento de proyecto y la matriz de resultados. | Informe sobre el progreso realizado durante el periodo que abarca el informe hacia la consecución del objetivo del proyecto, sobre la base del indicador y en relación con la meta definida. |
Indique el progreso total acumulado desde el principio del proyecto hasta el periodo sobre el que se informa, sobre la base de los valores de línea de base y en relación con la meta del indicador. No se añadirá información en esta columna si se trata del primer informe |
Efecto 1 Inserte el (primer) efecto, según se haya establecido en el documento de proyecto | Inserte los indicadores establecidos en la matriz de resultados para el Efecto 1. Asegúrese de añadir todos los indicadores que se hayan añadido posteriormente. | Inserte los valores de línea de base pertinentes para el Efecto 1. | Inserte la meta definida para el Efecto 1, según conste en el documento de proyecto y la matriz de resultados. | Informe sobre el progreso realizado durante el periodo que abarca el informe para contribuir al logro del efecto previsto, sobre la base del indicador y en relación con la meta definida |
Indique el progreso total acumulado desde el principio del proyecto hasta el periodo sobre el que se informa, sobre la base de los valores de línea de base y en relación con la meta del indicador del efecto. No se añadirá información en esta columna si se trata del primer informe |
Producto 1.1 Inserte el (primer) producto, según se haya establecido en el documento de proyecto. | Inserte los indicadores establecidos en la matriz de resultados para el Producto 1.1. Asegúrese de añadir todos los indicadores que se hayan establecido posteriormente. | Inserte los valores de línea de base pertinentes para el Producto 1.1. | Inserte la meta definida para el Producto 1.1, según conste en el documento de proyecto y la matriz de resultados. |
Informe sobre el progreso realizado durante el periodo que abarca el informe, sobre la base del indicador y en relación con la meta definida. Ejemplo para un proyecto de 12 meses: Informe intermedio 1 (de enero a marzo): 500 oficiales de fronteras, desglosados por sexo, han sido capacitados para reconocer documentos de viaje falsos Informe final (de oct. a dic.): 350 oficiales de fronteras, desglosados por sexo, han sido capacitados para reconocer documentos de viaje falsos. |
Indique el progreso total acumulado desde el principio del proyecto hasta el periodo sobre el que se informa, sobre la base de los valores de línea de base y en relación con la meta del indicador del producto. Ejemplo para un proyecto de 12 meses: Informe intermedio 1 (de enero a marzo): No se añadirá información en esta columna si se trata del primer informe intermedio. |
Actividades Enumere las actividades realizadas durante el periodo que abarca el informe para obtener el Producto 1.1, sobre la base de las actividades iniciales que figuran en el marco de resultados. |
Los progresos realizados hacia la consecución del objetivo, los efectos y los productos se registran de manera concisa en la columna “Progreso realizado durante el periodo que abarca el informe”, mientras que los progresos realizados hacia el logro de resultados durante la intervención se incluyen en la columna “Progreso acumulado”.
Una matriz de resultados adecuadamente diseñada, y el correspondiente marco de seguimiento de resultados, con fuentes de datos e indicadores detallados, puede indicar cómo efectuar el seguimiento de los datos en cada nivel de resultados (producto, efecto y objetivo). Una vez hecho esto, los datos procedentes de los hallazgos del seguimiento se registran mediante su introducción en la columna “Logro” del marco de seguimiento de resultados y, al presentar informes, en la columna “Progreso realizado durante el periodo que abarca el informe” para cada nivel (producto, efecto u objetivo, según se indica supra). A medida que se avance en la ejecución, los informes relativos a la supervisión y el seguimiento de los progresos a lo largo del tiempo en el marco de seguimiento de resultados mostrarán cómo los progresos realizados con respecto a los indicadores conducen poco a poco a resultados generales en los distintos niveles que servirán de base para la presentación de informes.
La sección IV del modelo de la OIM para la presentación de informes (Dificultades encontradas y medidas adoptadas)Módulo 5 del Manual para proyectos de la OIM, pág. 17 (enlace interno únicamente).
Esta sección del modelo para la presentación de informes es una parte importante de la presentación de los resultados, ya que ofrece un espacio para explicar cómo se vieron afectados los resultados por consecuencias imprevistas durante la implementación. En esta sección se describen y analizan las dificultades o los retrasos destacados a los que se ha tenido que hacer frente durante la implementación del proyecto y se presentan de manera resumida las medidas correctivas que se han adoptado o se prevé adoptar para abordar y corregir la situación. En esta sección también debe incluirse un análisis de los supuestos de la matriz de resultados que no resultaron ciertos o de los riesgos que se detectaron durante el periodo abarcado por el informe. Debería realizarse un seguimiento periódico del efecto del supuesto que no tuvo lugar o del riesgo detectado en la obtención de resultados concretos y del impacto de la implementación del proyecto en general a fin de reducir cualquier efecto negativo. el seguimiento también puede contribuir a determinar si el problema escapaba al control de la OIM, como en el caso de un acontecimiento político o de un desastre natural. También se debería mencionar si el problema se debió a un efecto u omisión en el diseño del proyecto o a la existencia de medidas de mitigación insuficientes en el plan de gestión de riesgos. Por último, es importante describir las medidas o planes de tratamiento que se prevé aplicar o se han aplicado para abordar la situación y cómo se efectuará el seguimiento. El modelo para la presentación de informes incluye un cuadro que puede servir de guía a los usuarios para hacer corresponder cada dificultad con las medidas adoptadas.
La sección V del modelo de la OIM para la presentación de informes (Conclusión)Ibíd., pág. 18.
En esta sección se deberían resumir brevemente los principales logros alcanzados durante el periodo que se examina, y deberían describirse a grandes rasgos los siguientes pasos en la implementación del proyecto. Si se trata de un informe intermedio, reitere brevemente toda dificultad significativa o persistente prevista para el próximo periodo. Puede resultar útil mostrar cómo se prevé realizar estas actividades fundamentales en el futuro a fin de lograr más resultados. En el caso de los informes finales, también deberían destacarse las buenas prácticas o las enseñanzas extraídas durante la implementación. Para poder plasmar las enseñanzas extraídas, es importante identificar con precisión las dificultades y las medidas correctivas adoptadas que conducirán al logro de resultados positivos en las actividades futuras. Los registros de enseñanzas extraídas, de haberlos, pueden ser de utilidad para esta sección del informe. Las evaluaciones también pueden contribuir al proceso de enseñanzas extraídas y complementar el informe final.
Como se ha indicado supra, la presentación de informes basada en los hallazgos y datos en materia de seguimiento puede contribuir al aprendizaje institucional y ayudar a mejorar la calidad de las intervenciones en general. Mientras que en el capítulo 5 de las Directrices de la OIM relativas al seguimiento y la evaluación se ofrece información más detallada sobre el aprendizaje por medio de la evaluación, en la presente sección se pone de relieve el vínculo existente entre la presentación de informes y el aprendizaje, haciendo hincapié en la presentación de informes basada en los hallazgos y los datos generados por medio de las actividades de seguimiento y evaluación.
La presentación de informes basada en resultados es fundamental para la adopción de decisiones y la planificación durante la ejecución de una intervención, ya que puede proporcionar la información necesaria para la adopción de decisiones basadas en datos empíricos. Los hallazgos y los datos generados por medio de las actividades de seguimiento y evaluación proporcionan una información crucial para la gestión de proyectos y fundamentan la toma de decisiones. Además, la reflexión acerca de los hallazgos derivados del seguimiento y la evaluación permite aprender de las actividades diarias y, a su vez, las enseñanzas extraídas de las actividades diarias ayudan a mejorar la calidad de las actividades en curso o futuras, así como de los programas futuros.
La presentación de informes, la reflexión y el aprendizaje deben tener lugar durante todo el ciclo de vida de la intervención. Mientras que en la fase de conceptualización los hallazgos y las enseñanzas extraídas pueden incorporarse a partir de evaluaciones anteriores, en la fase de implementación, el seguimiento o una evaluación a mitad de periodo pueden proporcionar información para ayudar a adoptar decisiones que mejoren el desempeño y el impacto y contribuyan al aprendizaje. Por último, en la fase de finalización, el personal de proyectos o programas puede reflexionar acerca de la intervención a fin de prepararse para la presentación de informes a los donantes, y una evaluación facilita la recopilación de enseñanzas extraídas de nivel superior
Recursos de la OIM
2017a Módulo 5. En: Manual para proyectos de la OIM. Segunda edición. Ginebra, págs. 3-75 (enlace interno únicamente).
Otros recursos
Federación Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja
2011 Project/Programme Monitoring and Evaluation (M&E) Guide. Ginebra.
Kusek, J.Z. y R. Rist
2004 Ten Steps to Monitoring and Evaluation System: A Handbook for Development Practitioners. Banco Mundial, Washington, D.C.
UNICEF
2017 Results-Based Management Handbook: Working together for children. Nueva York.