En el presente capítulo se ofrece una visión de conjunto de la gestión de las evaluaciones, en particular de su planificación, realización, seguimiento y uso, así como de los beneficios en materia de aprendizaje y rendición de cuentas que se derivan de la evaluación. Se esbozan las responsabilidades y las etapas necesarias para encomendar y gestionar una evaluación, y se explica cómo diferenciar los distintos tipos de evaluación, cómo utilizar los criterios de evaluación y cómo identificar y promover enfoques de aprendizaje. El capítulo no abarca cómo realizar una evaluación en calidad de evaluador. El personal de la OIM que esté interesado en perfeccionar sus competencias en materia de evaluación para formar parte de la plantilla de evaluadores internos de la Organización puede participar en la formación para evaluadores internos de la OIM, en la que se aborda este tema.
La evaluación se define como una valoración sistemática y objetiva de una intervención en curso o concluida, incluidos el diseño, la ejecución y los resultados de un proyecto, un programa, una estrategia o una política. Le evaluación tiene que ver con la rendición de cuentas y el aprendizaje, ya que informa a las partes interesadas de la medida en que los recursos se han utilizado de manera eficiente y eficaz para el logro de resultados, y proporciona conocimientos empíricos sobre qué elementos de una intervención funcionaron o no y por qué motivo
. La evaluación puede utilizarse para mejorar la labor de la OIM mediante la adopción de decisiones basadas en datos empíricos, como herramienta de promoción de las actividades que lleva a cabo la Organización y como herramienta para la recaudación de fondos y para aumentar la visibilidad.
Al aportar conocimientos e información sobre el desempeño y la realización de las actividades, las evaluaciones permiten a los responsables de la formulación de políticas, los gestores de programas y otras partes interesadas tomar decisiones fundamentadas. Desde 2011, la OIM obliga a considerar la inclusión de las evaluaciones en sus propuestas de proyectos
La dimensión de la rendición de cuentas va dirigida, en general, a los donantes y otras partes interesadas, incluidos los beneficiarios, ya que esta demuestra si las actividades se han llevado a cabo según lo acordado y si se han logrado los resultados previstos, de conformidad con las normas establecidas
Además de la rendición de cuentas, el aprendizaje, la adopción de decisiones y la promoción, otras posibles finalidades de la evaluación son la dirección, la recaudación de fondos y la visibilidad.
Para promover una cultura de evaluación en la OIM, es importante considerar varios aspectos que ayudan a perfilar la manera en que se concibe la evaluación en la Organización. Ello incluye el establecimiento de la cultura de evaluación en sí misma, lo que puede realizarse aclarando qué es la evaluación, alentando la planificación, la gestión y la realización de las evaluaciones, y prestando una mayor atención a la utilización de la evaluación.
Las actividades de evaluación de la OIM están muy descentralizadas, como se especifica en la Política de Evaluación de la Organización
La OIM propone la siguiente definición de evaluación descentralizada: “Las evaluaciones descentralizadas son evaluaciones encomendadas y gestionadas fuera de la oficina de evaluación central de la OIM – por los departamentos de la Sede, las oficinas regionales y las oficinas en países – centradas en actividades, temas, áreas operacionales, políticas, estrategias y proyectos comprendidos en sus respectivos ámbitos de trabajo
De conformidad con su mandato, la función de evaluación central de la Oficina del Inspector General se encarga de brindar orientación sobre la aplicación de enfoques descentralizados en materia de evaluación
- Las evaluaciones descentralizadas son llevadas a cabo por evaluadores internos o externos independientes, y gestionadas por las oficinas en países, las oficinas regionales y los departamentos de la Sede de la OIM, que las financian a través de sus proyectos y actividades.
- La mayoría de las veces las evaluaciones descentralizadas están relacionadas con proyectos y programas, o con áreas operacionales de alcance mundial, regional o nacional, y también pueden centrarse en estrategias y esferas temáticas de importancia nacional o regional
OIM, 2018a. págs. 4–5. .
Cabe distinguir cuatro funciones importantes en el proceso de evaluación: a) la persona que encarga la evaluación; b) el gestor de la evaluación; c) el evaluador, y d) el usuario de la evaluación.
|
La persona que encarga la evaluación es la parte o la parte interesada que decide que se debería llevar a cabo una evaluación. Puede tratarse del gestor de un programa de la OIM, del Jefe de Misión pertinente de la Organización, de un especialista temático de una unidad de la Sede o de una oficina regional o en el país, de un donante o de una combinación de varias de estas partes interesadas. |
|
El gestor de la evaluación es la persona encargada de gestionar la evaluación. El supervisor a cargo de la evaluación puede pertenecer a la misma entidad u oficina que encomendó la evaluación. En la OIM, en la mayoría de los casos el gestor de la evaluación es el gestor de un programa o proyecto. Cabe señalar que, a veces, varias partes interesadas pueden formar parte de un comité de gestión de la evaluación, en cuyo caso supervisarán conjuntamente el proceso de evaluación. |
|
El evaluador se encarga de realizar la evaluación. Los evaluadores pueden ser consultores externos, miembros del personal de la OIM o evaluadores contratados por la Organización, los donantes, las organizaciones asociadas o los gobiernos. |
|
Los usuarios de la evaluación son actores clave para garantizar el aprovechamiento pleno y los beneficios de la evaluación. Puede tratarse de usuarios directos que, por ejemplo, tengan un interés especial en la aplicación de las recomendaciones o la rendición de cuentas, o de usuarios indirectos que pueden estar más interesados en la dimensión de aprendizaje de la evaluación. |
| Además de estas funciones, la participación de otras partes interesadas y grupos de referencia puede desempeñar una importante función, por ejemplo en lo que respecta al aseguramiento de la calidad. Si desea más información sobre los grupos de referencia, sírvase consultar el recuadro de información. | |
|
En las Normas y estándares de evaluación (2016) del Grupo de Evaluación de las Naciones Unidas (UNEG) se explica de manera más detallada la participación de las partes interesadas y los grupos de referencia La participación de las partes interesadas y los grupos de referencia se recomienda cuando las evaluaciones son complejas, o abarcan varios países y programas, con una amplia gama de partes interesadas. En estos casos, esos grupos pueden ser especialmente útiles y pueden garantizar un enfoque más participativo durante la evaluación. |
En las normas y estándares de evaluación del UNEG se definen los distintos grupos de la siguiente manera:
Grupos de referencia: los grupos de referencia se componen de grupos fundamentales de partes interesadas en el objeto de la evaluación que aportan perspectivas y conocimientos diferentes sobre él. Deben ser consultados en relación con: a) el diseño de la evaluación, a fin de incrementar su pertinencia; b) las conclusiones preliminares, para dotarlas de mayor validez; c) las recomendaciones, para que sean más viables, aceptables y asumibles como propias, y d) en cualquier otro momento del proceso de evaluación que resulte oportuno. Usar grupos de referencia mejora la pertinencia, la calidad y la credibilidad de los procesos de evaluación.
Grupos de aprendizaje: cabe la posibilidad de crear grupos de aprendizaje con las partes interesadas, que hagan hincapié en el uso de la evaluación. Por lo general, estos grupos no desempeñan un papel tan destacado en la mejora de la calidad o la validación de los hallazgos como los grupos de referencia.
Grupos de coordinación: cuando proceda, en aras de una mayor apropiación de la evaluación, puede otorgarse a ciertas partes interesadas clave una mayor prominencia como miembros de un grupo de coordinación. Estos grupos no solo asesoran, sino que proveen directrices acerca de las evaluaciones.
Grupos de asesoramiento: los grupos de asesoramiento están formados por especialistas en la evaluación o en el tema objeto de esta. Sus integrantes no suelen tener un interés directo en el asunto objeto de la evaluación, de manera que pueden facilitar un asesoramiento objetivo. La labor de orientación, asesoramiento, validación de hallazgos y aportación de conocimientos que desempeñan estos grupos puede incrementar la pertinencia, la calidad y la credibilidad de los procesos de evaluación.
En el Módulo 6 del Manual para proyectos de la OIM, publicado en 2017, se esbozaban las tres fases del proceso de evaluación: a) la planificación de las evaluaciones; b) la gestión de las evaluaciones, y c) la utilización de las evaluaciones.
Recursos de la OIM
2015 Resolución No 1309 relativa a las relaciones entre la OIM y la ONU, adoptada el 24 de noviembre de 2015 (C/106/RES/1309).
2017 Módulo 6. En: Manual para proyectos de la OIM. Segunda edición. Ginebra (enlace interno únicamente).
2018a IOM Evaluation Policy. Oficina del Inspector General, septiembre.
Recursos externos
Banco Mundial
2015 Managing Evaluations: A How-to Guide for Managers and Commissioners of Evaluations. Grupo de Evaluación Independiente, Grupo Banco Mundial, Washington, D.C.
Grupo de Evaluación de las Naciones Unidas (UNEG)
2016 Normas y estándares de evaluación. Nueva York.
Organización de Cooperación y Desarrollo Económicos (OCDE)
2019 Mejores criterios para una mejor evaluación: Definiciones revisadas de los criterios de evaluación y principios para su utilización. Red de Evaluación del Desarrollo del Comité de Asistencia para el Desarrollo (CAD) de la OCDE.
La OIM recomienda encarecidamente la realización de evaluaciones, y una utilización eficaz de la evaluación comienza con una planificación adecuada. En el Manual para proyectos de la OIM (IN/250) se exige que todas las propuestas consideren la inclusión de una evaluación en el proyecto; por lo tanto, la primera fase de la planificación tiene lugar durante el desarrollo del proyecto.
Si no se ha previsto realizar ninguna evaluación del proyecto en la fase de desarrollo del proyecto, se debe aportar una justificación adecuada. La razón de ello puede deberse a algunos de los siguientes motivos:
- El donante previsto ha indicado, antes de presentarse la propuesta, que no financiará la evaluación;
- El donante tiene previsto realizar su propia evaluación, fuera del ciclo de implementación de la OIM;
- Se han acordado otros enfoques de evaluación con el donante, como la realización de exámenes del desempeño del proyecto o de examen posterior a la acción.
Si bien pueden existir otras posibles explicaciones, las razones siguientes no se consideran justificaciones válidas o suficientes para excluir la evaluación del diseño del proyecto: “El proyecto está funcionando bien sin una evaluación”; “El proyecto examinará la validez de una evaluación en una etapa ulterior”; “El proyecto puede gastarse ese dinero de una manera mejor”; “El donante no quiere que se lleve a cabo una evaluación”, sin más negociación con el donante. Los ejemplos que acabamos de mencionar también reflejan una cultura de evaluación deficiente, la falta de comprensión de los beneficios de la evaluación y la incapacidad de promoverlos debidamente.
Si no se puede llevar a cabo una evaluación plena debido a las limitaciones en materia de financiación o recursos, o a la corta duración de la implementación, sigue siendo posible utilizar otros enfoques de evaluación.
A diferencia de otros enfoques evaluativos, la ventaja de realizar una evaluación reside en su metodología más sólida y rigurosa. La evaluación permite llevar a cabo un análisis detallado a través de un marco predefinido y lógico, así como la participación de una gama más amplia de partes interesadas, y fomenta la adopción de un enfoque sólido y basado en datos empíricos para documentar el desempeño global y los cambios aportados por una intervención, que se medirán en función de una serie de criterios de evaluación ampliamente aceptados y probados.
En el Programa de Información y Gestión de Proyectos (PRIMA), mencionado anteriormente, se espera que los desarrolladores de proyectos faciliten un mínimo de información sobre las evaluaciones previstas en el Módulo de Evaluación al crear una propuesta de proyecto en la plataforma
Para obtener más información sobre la planificación de la evaluación durante la fase de desarrollo del proyecto en PRIMA, véase la sección titulada Creación de una propuesta (Modelo de la OIM) de la Guía del usuario de PRIMA interna de la OIM.
Durante la implementación, la planificación de la evaluación suele realizarse pocos meses antes de que se lleve a cabo la evaluación, e incluye tres componentes principales: a) la definición de la finalidad y la evaluabilidad de la evaluación; b) la preparación del pliego de condiciones de la evaluación, y c) la selección de los evaluadores.
El primer paso al planificar una evaluación es definir su finalidad y evaluabilidad. La finalidad de la evaluación describe el motivo general por el cual se está llevando a cabo la evaluación y sus resultados previstos. Los organismos y organizaciones pueden emplear una terminología distinta, y la OIM no tiene ningún inconveniente en aceptarla al preparar el pliego de condiciones de la evaluación.
Los organismos, las organizaciones y los materiales de referencia también se refieren a los objetivos generales de la evaluación y a los objetivos específicos. La definición del objetivo general de la evaluación es similar a la de la finalidad de la evaluación, que es la razón general por la cual se lleva a cabo la evaluación, mientras que los objetivos específicos de la evaluación se refieren generalmente a los diferentes criterios que se evalúan durante el proyecto, o al alcance de la evaluación.
A continuación se formulan algunas preguntas orientativas que pueden utilizarse para definir la finalidad de una evaluación:
| Preguntas orientativas para definir la finalidad de una evaluación |
|---|
|
Identifique e implique a las partes interesadas pertinentes en una etapa temprana del proceso de planificación mediante la adopción de un enfoque participativo. Ello puede ofrecer oportunidades para aclarar aspectos fundamentales de la evaluación y ayudar a llegar a un acuerdo con respecto a cuestiones clave de la evaluación y su alcance.
El análisis de la evaluabilidad (es decir, de la viabilidad) de una evaluación es una parte esencial del proceso de planificación de una evaluación, que aumenta la probabilidad de que la evaluación proporcione información creíble en tiempo oportuno o permite limitar su alcance.
Es importante examinar los documentos o estrategias pertinentes del proyecto a fin de ver lo que ya ha sido acordado con el donante o a nivel institucional y gubernamental. Habida cuenta de que puede haber transcurrido algún tiempo desde que se comenzara a planificar la intervención que cabe evaluar, también es importante reexaminar las decisiones tomadas hasta el momento en el marco de la intervención a fin de asegurarse de que las decisiones anteriormente adoptadas sigan siendo válidas al llevar a cabo la evaluación. El gestor de programas puede tener que examinar los cambios previstos con el donante.
El proceso de planificación de una evaluación implica tener que adoptar decisiones de compromiso, ya que el gestor de la evaluación tendrá que sopesar el costo y la viabilidad de los diferentes diseños de la evaluación, así como los beneficios de la evaluación (operativos, institucionales y estratégicos).
Para definir la finalidad y analizar la evaluabilidad de una evaluación, los gestores deben conocer los tipos más comunes de evaluaciones, metodologías y criterios de evaluación. Comprender estos conceptos, así como los requisitos y aspectos técnicos, también puede ayudarles a gestionar sus evaluaciones de manera más eficaz.
Tipos de evaluación
Los tipos de evaluación pueden definirse en función de los siguientes elementos, y las evaluaciones pueden ser una combinación de las diferentes categorías:
Tipo de evaluación en función del momento
Se realiza una distinción en función del momento del ejercicio de evaluación, es decir, de en qué momento durante el ciclo de vida de la intervención se lleva a cabo la evaluación.
|
Evaluación ex ante |
Una evaluación ex ante se lleva a cabo antes de la ejecución de una intervención a fin de valorar la validez del diseño, las poblaciones beneficiarias y los objetivos. Una evaluación ex ante incluye criterios y análisis no abarcados por las valoraciones o apreciaciones de las necesidades ni por los estudios de viabilidad. |
|
Evaluación en tiempo real |
Las evaluaciones en tiempo real se utilizan principalmente en situaciones de emergencia, en las etapas iniciales de la ejecución, con objeto de proporcionar información inmediata a los gestores de la intervención acerca de una operación en curso. |
|
Evaluación intermedia |
Una evaluación intermedia se lleva a cabo durante la ejecución de una intervención y con la finalidad de mejorar su desempeño o, en algunos casos, para modificar su objetivo, si esta ha dejado de ser realista debido a factores imprevistos o a problemas en la ejecución. |
|
Evaluación final |
Una evaluación final o terminal se lleva a cabo al final o casi al final de una intervención con objeto de examinar el desempeño general y el logro de resultados, así como en beneficio de las partes interesadas que no intervienen directamente en la gestión y la ejecución de la intervención (como los donantes y las entidades gubernamentales). |
|
Evaluación ex post |
La evaluación ex post se lleva a cabo algunos meses después del final de una intervención a fin de valorar los efectos inmediatos y a medio plazo y la sostenibilidad de los resultados. Ello incluye la medida en que la intervención ha contribuido al logro de cambios directos o indirectos. Este tipo de evaluación no es tan sólido como una evaluación del impacto. |
Tipos de evaluación en función de la finalidad
Las evaluaciones, definidas en función de su finalidad, pueden ser formativas o sumativas. La evaluación formativa se lleva a cabo durante la ejecución a fin de mejorar el desempeño. Tiene por objeto ayudar a los gestores a ajustar y mejorar la implementación del proyecto, programa o estrategia sobre la base de los hallazgos y de las sugerencias y necesidades de las partes interesadas. Una evaluación sumativa se lleva a cabo al terminar el plazo de una intervención, así como en beneficio de las partes interesadas que no participan directamente en la gestión de la implementación (por ejemplo, los donantes). Proporciona información sobre la eficacia de la intervención y ofrece la oportunidad de aplicar las mejores prácticas identificadas durante la evaluación. Una evaluación sumativa puede fundamentar la adopción de decisiones de más alto nivel, por ejemplo para ampliar una intervención, consolidarla o seguir financiando las etapas de seguimiento.
| Según la finalidad de la evaluación | |||
|---|---|---|---|
|
|
||
Tipos de evaluación en función de quién la lleva a cabo
Se realiza una tercera distinción en función de las personas que llevan a cabo el ejercicio de evaluación. Existen tres tipos de evaluación según quién lleve a cabo la evaluación: a) evaluación interna; b) evaluación externa, y c) evaluación mixta.
|
Evaluación interna |
|
|
Evaluación externa |
|
|
Evaluación mixta |
|
Las evaluaciones conjuntas son evaluaciones realizadas por un grupo de entidades, en las que pueden participar incluso donantes. Existen “varios grados de ‘asociación’, dependiendo de la medida en que cada parte coopera en el proceso de evaluación, y combina sus recursos e informes de evaluación.”
? Si bien las evaluaciones conjuntas son sumamente útiles y se alienta a realizarlas, su organización es más exigente que una única evaluación externa o interna, debido a la coordinación necesaria entre las partes participantes para la planificación, el establecimiento del mandato y la financiación del ejercicio.
El costo y las implicaciones logísticas de cada tipo de evaluación también variarán en función de quién la realice. Si se contrata a evaluadores externos (o a una empresa de evaluación) para llevar a cabo la evaluación, estos cobrarán honorarios por dicho servicio. Los honorarios de los evaluadores variarán según su experiencia, sus calificaciones y su ubicación (los evaluadores contratados localmente, con una experiencia equivalente, pueden ser menos costosos que los contratados a nivel internacional), y dependerán asimismo de la complejidad y la dificultad de la tarea encomendada. También pueden cobrarse honorarios adicionales si es necesario viajar a lugares no seguros. La suma que deberá consignarse en el presupuesto en concepto de honorarios de los evaluadores también depende de si la evaluación corre a cargo de un único evaluador o de un equipo de evaluación.
Para obtener más información sobre la decisión de seleccionar a un único evaluador o a varios evaluadores, véase la subsección de este capítulo titulada Selección de los evaluadores.
En la fase de desarrollo del ciclo del proyecto, los desarrolladores deberían consultar a los funcionarios de adquisiciones y recursos humanos a fin de estimar las tarifas estándar de mercado de cada miembro del equipo de evaluación previsto y, de ser necesario, pedir consejo a la función de evaluación central de la Oficina del Inspector General.
Los desarrolladores de proyectos también deberán estimar la duración de la evaluación en función de su objetivo y alcance a fin de anticipar el posible costo de la evaluación. Los honorarios de los evaluadores suelen calcularse utilizando una tarifa diaria, y los desarrolladores de proyectos deberían estimar cuántos días se necesitan para cada una de las siguientes actividades:
- Examen inicial de los documentos y publicaciones;
- Viajes (cuando proceda);
- Preparación del informe inicial;
- Recopilación y análisis de datos;
- Presentación de los hallazgos iniciales;
- Preparación del proyecto de informe;
- Revisiones y ultimación del informe de evaluación.
En la OIM, el número de días de trabajo para realizar una evaluación suele ser de entre 20 y 40 días durante un periodo comprendido entre 1 y 3 meses.
Si un miembro del personal de la OIM procedente de una oficina distinta de la Organización, es decir, de una oficina que no participa en el proyecto, realiza una evaluación interna, los gastos por el tiempo pasado en el país para llevar a cabo la evaluación deberán considerarse como gastos de viaje en comisión de servicio. En el caso de una autoevaluación interna, o de las evaluaciones realizadas por un miembro del personal de la oficina encargada de la implementación, normalmente no se incurrirá en gastos conexos, salvo los relacionados con la recopilación y el análisis de datos (por ejemplo, en el caso de las encuestas que requieran la contratación de encuestadores o de las visitas sobre el terreno).
Las listas de evaluadores internos y externos son gestionadas por la función de evaluación central de la Oficina del Inspector General y los oficiales regionales de seguimiento y la evaluación. Por lo general, los evaluadores internos han sido formados a través de la formación para evaluadores internos gestionada por la Oficina del Inspector General y los oficiales regionales de seguimiento y la evaluación, los cuales pueden ayudar a las oficinas a identificar a los evaluadores internos y externos, según sea necesario.
? Para obtener más información sobre la presupuestación de la evaluación en una intervención de la OIM, véase el Anexo 5.1. Presupuestación de la evaluación.
Tipos de evaluación en función de las características específicas y el alcance
El cuarto grupo de tipos de evaluación se define en función de las características específicas y el alcance. Este es el grupo más diverso, y a continuación se presentan los tipos más comunes de evaluación, con referencias adicionales facilitadas en el recuadro de recursos y en los anexos. El alcance de una evaluación permite comprender qué abarcará la evaluación y qué tipo de evaluación se realizará.
La OIM suele realizar evaluaciones de programas y proyectos que examinan, respectivamente, un conjunto de actividades agrupadas para lograr objetivos de asistencia específicos a nivel mundial, regional, nacional o sectorial, y una actividad individual diseñada para lograr objetivos específicos con un plazo y presupuesto dados. La OIM también puede realizar evaluaciones de una estrategia o una política. Estas pueden utilizar enfoques similares a los empleados en las evaluaciones de un programa o proyecto. Además, la OIM lleva a cabo evaluaciones temáticas que examinan determinados aspectos o cuestiones transversales en diferentes tipos de asistencia (como la pobreza, el medio ambiente o el género).
Los tipos de evaluación indicados a continuación son relativamente habituales en el contexto de la OIM, así como en las actividades de cooperación realizadas a nivel internacional, por lo que son dignos de mención. Una evaluación de los procesos examina la dinámica interna de las organizaciones encargadas de la implementación, sus instrumentos de política, sus mecanismos de prestación de servicios, sus prácticas en materia de gestión y las interrelaciones existentes entre estos. Una evaluación de los programas en los países o de la asistencia en los países es más habitual en los organismos de las Naciones Unidas y en la asistencia bilateral, que utilizan enfoques de programación por países, y se define como una evaluación de la cartera de proyectos de desarrollo de uno o más donantes o de un organismo.
Además, la OIM también realiza metaevaluaciones, cuyo objetivo es valorar la calidad, el fundamento, el valor y la trascendencia de una o varias evaluaciones.
Las evaluaciones también pueden definirse en función de sus especificidades técnicas y del enfoque que se utilizará durante la evaluación, por ejemplo, una evaluación participativa, que puede definirse como un método de evaluación en el que los representantes de los organismos y las partes interesadas (incluidos los beneficiarios) trabajan conjuntamente en el diseño, la realización y la interpretación de una evaluación. Si bien merece la pena destacar el esfuerzo de colaboración, este también comporta algunas limitaciones de organización que hacen que este ejercicio sea relativamente complejo. También se debería realizar una distinción entre la evaluación participativa y las técnicas participativas. Estas últimas consisten, por ejemplo, en grupos focales o en reuniones preparatorias, y pueden incluirse como un enfoque de evaluación con independencia de los demás tipos de evaluación seleccionados.
- Para obtener más información sobre los tipos de evaluaciones en función del alcance y las características específicas, así como sobre otros tipos de evaluación comprendidos en esta categoría, véase el Anexo 5.2. Lista ampliada de los tipos de evaluación en función de sus características específicas y su alcance.
Recursos de la OIM
2017a Módulo 6. En: Manual para proyectos de la OIM. Segunda edición. Ginebra (enlace interno únicamente).
2018a IOM Evaluation Policy. Oficina del Inspector General, septiembre.
Recursos externos
Aubel, J.
1999 Participatory Program Evaluation Manual: Involving Program Stakeholders in the Evaluation Process. Child Survival Technical Support Project and Catholic Relief Services, Maryland.
Cosgrave, J., B. Ramalingam y T. Beck
2009 Real-time Evaluations of Humanitarian Action – An ALNAP Guide. Red de Aprendizaje Activo para la Rendición de Cuentas y el Logro de Resultados (ALNAP).
Grupo de Evaluación de las Naciones Unidas (UNEG)
2016a Normas y estándares de evaluación. Nueva York.
Ministerio de Asuntos Exteriores (Dinamarca), DANIDA
2004 Meta-Evaluation: Private and Business Sector Development Interventions. Copenhague.
Oficina de Rendición de Cuentas del Gobierno de los Estados Unidos (GAO)
1992 The Evaluation Synthesis. GAO/PEMD 10.1.2. Revisado en marzo de 1992.
Organización de Cooperación y Desarrollo Económicos (OCDE)
2010 Glosario de los principales términos sobre evaluación y gestión basada en resultado. CAD-OCDE, París.
Una evaluación del impacto consiste en determinar todos los cambios a largo plazo derivados de la intervención, incluidos los cambios positivos y negativos, primarios y secundarios, producidos por la intervención de manera directa o indirecta, intencionada o involuntaria.
Como se ha indicado supra, una evaluación del impacto consiste en determinar, concretamente, todos los efectos derivados de una intervención, incluidos los efectos a largo plazo positivos y negativos, primarios y secundarios, y los cambios producidos por el proyecto, de manera directa o indirecta, intencionada o involuntaria.
Esas evaluaciones también tratan de determinar la cantidad de cambios identificados que cabe atribuir a la intervención. Las evaluaciones del impacto suelen realizarse algún tiempo después del final de la intervención.
Las evaluaciones del impacto requieren metodologías específicas y precisas y medidas técnicas sistemáticas a fin de elaborar conclusiones y recomendaciones válidas y comprobadas. Además, el presupuesto para la realización de una evaluación del impacto puede ser elevado, ya que es necesario llevar a cabo encuestas detalladas a muestras de la población y grupos de control amplios, y este ejercicio también puede llevar mucho tiempo. Es importante establecer una distinción clara entre un análisis del impacto o un análisis del impacto esperado, que pueden encontrarse en varios tipos de evaluaciones que utilizan el impacto como criterio de evaluación, y una evaluación del impacto o una evaluación rigurosa del impacto, que requieren metodologías y enfoques estadísticos pertinentes y rigurosos para su medición.
? Un principio básico que cabe aplicar antes de optar por una evaluación del impacto es que los beneficios de la evaluación deben superar sus costos y limitaciones.
Recursos externos
Fondo Internacional de Desarrollo Agrícola (FIDA)
2015 Capítulo 8: Evaluación del impacto. En: Manual de evaluación. Segunda edición. Roma, págs. 96- 100.
Grupo de Evaluación de las Naciones Unidas (UNEG)
2013 Impact Evaluation in UN Agency Evaluation Systems: Guidance on Selection, Planning and Management. Documento de orientación.
Public Health England, Gobierno del Reino Unido
2018 Guidance: Outcome Evaluation. 7 de agosto.
Rogers, P.
2014 Overview of impact evaluation. Methodological Briefs: Impact Evaluation 1. UNICEF, Florencia.
Para obtener más información sobre los métodos de recopilación y análisis de datos para la evaluación del impacto, véase el capítulo 4: Métodos de recopilación y análisis de datos para el seguimiento y la evaluación.
Un enfoque de evaluación, desarrollado por Michael Q. Patton, es la evaluación centrada en la utilización. Este enfoque no preconiza ningún tipo de evaluación o metodología de evaluación en particular, sino que puede aplicarse independientemente del tipo o los métodos de evaluación seleccionados.
La evaluación centrada en la utilización “parte de la premisa de que las evaluaciones deberían juzgarse por su utilidad y uso efectivo; por lo tanto, los evaluadores deberían facilitar el proceso de evaluación y diseñar las evaluaciones considerando con cuidado cómo cada cosa realizada, desde el principio hasta el final, afectará a la utilización …Por consiguiente, la evaluación centrada en la utilización hace hincapié en el uso previsto por los usuarios previstos”.
Dicho de otro modo, se trata de saber cuán útil será la evaluación para aquellos que la utilizarán. La evaluación centrada en la utilización alienta a los evaluadores a diseñar y realizar las evaluaciones teniendo presente este principio fundamental, y asegurándose de que cada decisión y medida se adopten de una manera que incentive la utilización. Involucra a los usuarios previstos de la evaluación en todas las etapas del proceso, y requiere una estrecha relación de colaboración entre el evaluador, el gestor de la evaluación y los usuarios previstos, al partir de la premisa de que “es más probable que los usuarios previstos utilicen las evaluaciones si estos entienden y asumen como propios el proceso y los hallazgos de la evaluación.”
? Se ha elaborado una lista de verificación en 17 pasos a fin de facilitar la aplicación de la evaluación centrada en la utilización.
Patton, M.Q.
2008 Utilization-Focused Evaluation. Cuarta edición. SAGE Publications, Thousand Oaks.
2012 Essentials of Utilization-Focused Evaluation. Primera edición. SAGE Publications, Thousand Oaks.
2015 Evaluation in the field: The need for site visit standards. American Journal of Evaluation, 36(4):444–460.
Ramírez, R. y D. Brodhead
2013 Utilization Focused Evaluation: A primer for evaluators. Southbound, Penang.
Criterios de evaluación
La evaluación utiliza una serie de criterios para la valoración de una intervención. Los criterios de evaluación son normas mediante las cuales se aborda una intervención. Si bien existen varios criterios, la OIM utiliza principalmente dos referencias consolidadas en lo que se refiere a los criterios de evaluación: a) los criterios del CAD-OCDE, inicialmente elaborados para las intervenciones orientadas al desarrollo y ajustados en diciembre de 2019 con objeto de que también fueran pertinentes para las intervenciones humanitarias, y b) los criterios de la Red de Aprendizaje Activo para la Rendición de Cuentas y el Logro de Resultados (ALNAP), que fueron elaborados para las intervenciones humanitarias.
| Cuadro 5.1. Selección de los criterios de evaluación | ||
| Tipo de intervención | Intervención para el desarrollo | Intervención humanitaria |
| Descripción | Las intervenciones para el desarrollo se centran en responder a problemas estructurales persistentes, en particular la pobreza sistémica, que pueden obstaculizar el desarrollo socioeconómico e institucional en un contexto dado. |
Las intervenciones humanitarias se centran en salvar vidas, aliviar el sufrimiento y mantener la dignidad humana durante las crisis provocadas por el hombre y los desastres naturales y con posterioridad a los mismos, así como en su prevención y en la preparación ante estos. |
| Criterios de evaluación |
Criterios del CAD-OCDE
? Los criterios de la ALNAP también pueden aplicarse a las intervenciones para el desarrollo, cuando proceda. |
Criterios de la ALNAP
? Los criterios revisados del CAD-OCDE también pueden aplicarse en las intervenciones humanitarias, cuando proceda. |
|
|
|
Los criterios de evaluación se utilizan para ayudar a identificar preguntas clave que se deberían responder durante la evaluación. Las preguntas de evaluación se deberían centrar en lo que se necesita y lo que es pertinente para satisfacer los requisitos de las partes que encargan la evaluación.
La comunidad de evaluadores utiliza habitualmente los criterios del CAD-OCDE. Estos criterios fueron actualizados y ajustados en 2019 y, entre otras cosas, se añadió el nuevo criterio de la “coherencia”. En el cuadro que figura infra se reflejan esos cambios.
El CAD-OCDE señala que los criterios que esboza, y sus respectivas definiciones, deberían entenderse en un contexto más amplio y leerse conjuntamente con sus normas y directrices sobre cómo realizar una evaluación, u otras normas y directrices a este respecto.
Antes de definir sus criterios, el CAD-OCDE establece dos principios para su utilización, que se reproducen a continuación.
Primer principio
Los criterios deben aplicarse con minuciosidad para conseguir evaluaciones útiles y de calidad. Deben contextualizarse, es decir, entenderse en el contexto de la evaluación particular, la intervención que está siendo evaluada y los actores involucrados. Tanto las preguntas de evaluación (lo que se busca averiguar) como lo que se pretende hacer con las respuestas, deben informar la interpretación y el análisis específicos de los criterios.
Segundo principio
El uso de los criterios depende del propósito de la evaluación. Los criterios no deben aplicarse de forma mecánica; por el contrario, deben emplearse en función de las necesidades de los actores relevantes y el contexto de la evaluación. Podrán dedicarse más o menos tiempo y recursos al análisis de la evaluación de cada criterio en función del propósito de la evaluación. La disponibilidad de datos, las limitaciones de recursos, el horizonte temporal y las consideraciones metodológicas también podrán influir en el empleo de un criterio concreto, si se utiliza y de qué forma.
Además de las definiciones actualizadas, también se incluyen ejemplos de preguntas de evaluación en relación con cada criterio.
Criterios de evaluación del CAD-OCDE y la ALNAP
| Criterio | Definición | Ejemplos de preguntas de evaluación |
|---|---|---|
| Pertinencia (CAD-OCDE) |
La pertinencia es “[la medida] en que los objetivos y el diseño de la intervención responden a las necesidades, las políticas y las prioridades de los beneficiarios, de los asociados/instituciones y del país, así como de la comunidad internacional, y lo siguen haciendo aun cuando cambien las circunstancias. Nota: Por "responden a" se entiende que los objetivos y el diseño de la intervención tienen en cuenta las condiciones económicas, medioambientales, de equidad, sociales, de economía política y de capacidad en que la intervención tiene lugar. El término "asociados / instituciones" incluye a los gobiernos (nacionales, regionales o locales), las organizaciones de la sociedad civil, las entidades privadas y los organismos internacionales que participan en la financiación, la ejecución o la supervisión de la intervención. La valoración de la pertinencia implica examinar las diferencias y las disyuntivas entre las distintas prioridades o necesidades. Exige un análisis de los posibles cambios en el contexto para valorar en qué medida la intervención puede adaptarse (o se ha adaptado) para seguir siendo pertinente.” |
|
| Adecuación (ALNAP) | El análisis de la adecuación examina “[la medida en] que las actividades humanitarias se adecúan a las necesidades locales, fortaleciendo con ello la apropiación, la rendición de cuentas y la eficacia en función de los costos.” |
|
| Coherencia (CAD-OCDE, criterio incorporado en 2019, y ALNAP) |
En el CAD-OCDE, la coherencia examina “[l] a compatibilidad de la intervención con otras intervenciones en un país, sector o institución. Nota: La medida en que otras intervenciones (sobre todo políticas) apoyan o socavan la intervención y viceversa. Incluye la coherencia interna y externa. La coherencia interna se ocupa de las sinergias y los vínculos entre la intervención y otras intervenciones realizadas por la misma institución/gobierno, así como de la compatibilidad de dicha intervención con las normas y estándares internacionales pertinentes a los que se adhiere la institución/el gobierno. La coherencia externa tiene en cuenta la compatibilidad de la intervención con las intervenciones de otros actores en el mismo contexto. Esto incluye la complementariedad, la armonización y la coordinación con otros actores, así como la medida en que la intervención ofrece un valor añadido y a su vez evita la duplicación de esfuerzos.” La ALNAP también utiliza el criterio de la “coherencia”. En la ALNAP, la coherencia en este contexto se refiere a “[la medida en] que las políticas de seguridad, desarrollo, comerciales y militares, así como las políticas humanitarias, son coherentes y tienen en cuenta los aspectos humanitarios y de derechos humanos”. |
|
| Eficacia (CAD-OCDE y ALNAP) |
En el CAD-OCDE, la eficacia considera “[la medida en] que la intervención ha logrado, o se espera que logre, sus objetivos y sus resultados, incluidos los resultados diferenciados entre grupos. Nota: El análisis de la eficacia implica tener en cuenta la importancia relativa de los objetivos o los resultados.” La ALNAP también utiliza este criterio de un modo similar, y define la eficacia como “[la medida en] que una actividad logra su cometido, o si cabe esperar que esto suceda sobre la base de los productos.” |
|
| Cobertura (ALNAP) |
La cobertura se define como “[la medida en] que la acción humanitaria llega a los principales sectores de la población que se enfrentan a un sufrimiento que puede poner en peligro su vida”.
? A menudo, la cobertura puede estar incluida en el análisis de la eficacia. |
|
| Coordinación (ALNAP) |
La coordinación es “[la medida] en que las intervenciones de diferentes actores están armonizadas entre sí, promueven las sinergias y evitan las lagunas, duplicidades y conflictos de recursos”.
? A menudo, la coordinación puede estar incluida en el análisis de la eficacia. |
|
| Eficacia (CAD-OCDE y ALNAP) |
En el DAC-OCDE, la eficiencia considera “[la medida en] que la intervención produce, o es probable que produzca, resultados de manera económica y a tiempo. Nota: Por "de manera económica" se entiende la transformación de insumos (fondos, conocimientos técnicos, recursos naturales, tiempo, etc.) en productos, efectos directos e impactos de la manera más eficaz en función de los costos, en comparación con otras alternativas viables en ese contexto. La producción "a tiempo" de los resultados tiene lugar dentro del marco temporal definido o adaptado razonablemente a las exigencias de un contexto en evolución. Puede incluir la valoración de la eficiencia operativa (en qué medida se ha gestionado bien la intervención).” La ALNAP también incluye el criterio de la eficiencia y considera que este examina “[p] roductos – cualitativos y cuantitativos – logrados como resultado de los insumos”. |
|
| Impacto (CAD-OCDE y ALNAP) |
En el CAD-OCDE, el impacto examina “[la medida en] que la intervención ha generado, o se espera que genere, efectos significativos – positivos o negativos, previstos o no previstos – en el nivel más alto. Nota: El impacto se refiere a los efectos potencialmente transformadores y de importancia última de la intervención. Este criterio busca determinar los efectos sociales, medioambientales y económicos de la intervención a más largo plazo o con un mayor alcance que los ya contemplados en el criterio de eficacia. Más allá de los resultados inmediatos, este criterio pretende englobar las consecuencias indirectas, secundarias y potenciales de la intervención, y lo hace examinando los cambios integrales y perdurables en los sistemas o las normas, así como sus efectos potenciales en el bienestar de las personas, los derechos humanos, la igualdad de género y el medio ambiente” El criterio del impacto de la ALNAP examina “[l] os efectos más amplios del proyecto – sociales, económicos, técnicos y ambientales – en los individuos, grupos de género y edad, comunidades e instituciones.” Al igual que en el criterio del CADOCDE, “[l]os impactos pueden ser intencionales y fortuitos, positivos y negativos, a nivel macro (sectorial) y micro (de hogares).” |
|
| Sostenibilidad (CAD-OCDE) |
La sostenibilidad se refiere a “[la medida] en que los beneficios netos de la intervención continúan o es probable que continúen. Nota: Incluye un examen de las capacidades financieras, económicas, sociales, medioambientales e institucionales de los sistemas necesarias para que los beneficios netos se mantengan en el tiempo. Implica el análisis de la resiliencia, de los riesgos y de posibles disyuntivas. Dependiendo del momento de la evaluación, puede implicar el análisis del flujo real de beneficios netos o la estimación de la probabilidad de que los beneficios netos se mantengan a medio y largo plazo.” |
|
| Conectividad (ALNAP) |
La conectividad examina “[la medida en] que las actividades de respuesta a una emergencia a corto plazo se llevan a cabo en un contexto que tenga en cuenta otros problemas interrelacionados y a más largo plazo”.
? Añade una dimensión humanitaria a la sostenibilidad. |
|
La atención prestada a determinados criterios puede variar en las distintas etapas del ciclo de vida de la intervención. En una evaluación ex ante, por ejemplo, la atención podría centrarse en la pertinencia, mientras que en una evaluación intermedia, esta podría pasar a centrarse en la eficacia y la eficiencia de manera que puedan formularse recomendaciones de mejora durante la implementación. Al final del ciclo de vida, las evaluaciones finales y ex post pueden evaluar mejor el desempeño general, la sostenibilidad y el impacto de la intervención. Ahora bien, los criterios de evaluación deben tener en cuenta en todo momento los requisitos específicos de la evaluación y los intereses de los usuarios finales y de otras partes interesadas.
La parte que encarga la evaluación o el gestor, en consulta con las partes interesadas pertinentes, seleccionará los criterios de evaluación que deberán utilizarse y las preguntas a las que habrá que responder. Los criterios seleccionados deben indicarse claramente en el mandato y reflejar debidamente la finalidad y el alcance de la evaluación.
Buchanan-Smith, M., J. Cosgrave and A. Warner
2016 Guía de evaluación de la acción humanitaria. Red de Aprendizaje Activo para la Rendición de Cuentas y el Logro de Resultados/Overseas Development Institute (ALNAP/ODI), Londres.
Humanitarian Coalition
s.f. From humanitarian to development aid.
Organización de Cooperación y Desarrollo Económicos (OCDE)
2019 Mejores criterios para una mejor evaluación: Definiciones revisadas de los criterios de evaluación y principios para su utilización. Red de Evaluación del Desarrollo del CAD-OCDE.
2021 Applying Evaluation Criteria Thoughtfully. Publicaciones de la OCDE, París
s.f. Evaluation criteria. Criterios del CAD-OCDE para evaluar la asistencia para el desarrollo.
El pliego de condiciones de la evaluación es una herramienta clave de estructuración y planificación para gestionar una evaluación, ya que proporciona información clara y detallada sobre los objetivos y el alcance de la evaluación, así como sobre las funciones y responsabilidades de las partes que intervienen en la evaluación, como el gestor de la evaluación, el/los evaluador(es), los usuarios de la evaluación o los posibles asociados. También ofrece información sobre el momento, la metodología y el presupuesto de la evaluación. Un pliego de condiciones mal formulado puede causar confusión y traducirse en expectativas y un enfoque distintos entre las partes implicadas. Comprender claramente los distintos tipos y criterios de evaluación esbozados en las secciones anteriores ayudará a formular el pliego de condiciones de la evaluación. El pliego de condiciones forma parte del acuerdo contractual suscrito entre la OIM y los evaluadores contactados, ya que esboza las obligaciones del evaluador en todas las etapas del proceso, así como las expectativas de la parte que encarga la evaluación o de su gestor.
En la OIM, casi siempre es la propia Organización la que encarga la evaluación, pero en algunos casos los donantes pueden estipular que llevarán a cabo una evaluación a su nivel. La entidad que encarga la evaluación normalmente es la responsable de preparar el pliego de condiciones de la evaluación. En el caso de las evaluaciones encargadas conjuntamente, las entidades que intervienen en la evaluación pueden compartir esas responsabilidades. En cualquier caso, la OIM, sus asociados, si procede, y el donante deberían examinar el pliego de condiciones y llegar a un acuerdo sobre el mismo antes de su finalización.
|
Contexto de la evaluación |
En la sección relativa al contexto de la evaluación se realiza una breve descripción de los contextos políticos, económicos, sociales, ambientales y jurídicos en los que se está ejecutando la intervención.
Esta sección también incluye una breve descripción de la OIM, un breve resumen de su trayectoria en el país, en particular con respecto a los ámbitos temáticos concretos abarcados, y una descripción de la intervención que se está evaluando, incluidos sus objetivos y resultados previstos. |
|
Finalidad/objetivo de la evaluación |
En la sección sobre la finalidad/objetivo de la evaluación se explica por qué se está llevando a cabo la evaluación y el objetivo principal de la evaluación. También se explica a quién va dirigida la evaluación y cómo se utilizará. Estos son elementos importantes que ofrecen información sobre su utilización con fines de rendición de cuentas y aprendizaje, así como sobre las partes interesadas en sus recomendaciones. |
|
Alcance de la evaluación |
El alcance de la evaluación especifica el ámbito de aplicación de la evaluación e incluye, entre otras cosas, los componentes o las fases de la intervención que serán objeto de evaluación, el periodo abarcado de la intervención (fases pertinentes o años concretos) y cualquier otra intervención que también se debería tener en cuenta o la zona geográfica abarcada.
Esta sección también puede incluir las expectativas en materia de recomendaciones, buenas prácticas y enseñanzas extraídas que puedan derivarse del análisis.
En el alcance de la evaluación también se deberían indicar las exclusiones específicas de la evaluación, como determinadas áreas geográficas, o las limitaciones por razones de seguridad. |
|
Criterios de evaluación |
Los criterios de evaluación son los descritos en la sección anterior de este capítulo. Los criterios seleccionados para la evaluación se deberían detallar claramente en esta sección del pliego de condiciones. |
|
Lista de preguntas de evaluación |
Las preguntas de evaluación se deberían formular a partir de los criterios seleccionados. Las preguntas se deberían agrupar por criterio. |
|
Sección sobre metodología |
En esta sección se describen los diferentes métodos de recopilación y análisis de datos que se utilizarán en la evaluación y se informa al evaluador a este respecto. Los evaluadores pueden proponer que se incluya información más precisa sobre la metodología en las propuestas presentadas durante el proceso de selección o durante la fase inicial.
Para obtener información más detallada sobre la metodología de evaluación, sírvase consultar el capítulo 4 de las Directrices de la OIM relativas al seguimiento y la evaluación. |
|
Ética, normas y estándares de evaluación |
Se debe incluir la siguiente declaración al final del pliego de condiciones: la OIM se rige por las Normas y estándares del UNEG y espera que todas las partes interesadas y los consultores estén familiarizados con las directrices éticas del UNEG en materia de evaluación (UNEG Ethical Guidelines for Evaluation) y los códigos de conducta del UNEG para la evaluación en el sistema de las Naciones Unidas (UNEG Codes of Conduct for Evaluation in the UN System). |
|
Cuestiones transversales |
La cobertura de las cuestiones transversales debería explicarse en el pliego de condiciones, en la sección relativa al alcance de la evaluación, así como en una subsección específica de las preguntas de evaluación enumeradas o mediante preguntas concretas correspondientes a cada criterio. Además, en la metodología de evaluación se podría pedir a los evaluadores que contemplen enfoques y métodos de evaluación que aborden adecuadamente las cuestiones transversales (por ejemplo, en la recopilación de datos y la presentación de datos desglosados por sexo, ubicación geográfica o ingresos).
El pliego de condiciones de la evaluación debería tratar de abarcar todas las cuestiones transversales (en la OIM, estas son principalmente el género, los derechos humanos, el medio ambiente y la rendición de cuentas a las poblaciones afectadas en situaciones de emergencia) o explicar si no se han abarcado determinadas cuestiones.
En el Anexo 5.3. Incorporación de las cuestiones transversales en la OIM se proporciona una descripción detallada de las cuestiones transversales utilizadas en la Organización, así como preguntas orientativas para la incorporación de las cuestiones transversales en el seguimiento y la evaluación. |
|
Presupuesto |
En esta sección se detallan los recursos disponibles para llevar a cabo una evaluación, incluido el apoyo en especie prestado por la OIM, como el transporte o la traducción.
También se explica qué gastos relacionados con la evaluación correrán a cargo de la OIM y cuáles correrán a cargo del consultor o el proveedor de servicios. Estos incluyen los honorarios de los consultores, los gastos de viaje, las dietas diarias y cualquier otro posible gasto derivado de la recopilación de datos o técnico.
Para obtener más información sobre la presupuestación de la evaluación, véase el Anexo 5.1. Presupuestación de la evaluación. |
|
Descripción de las funciones |
En esta sección se describen las funciones de las diferentes partes que intervendrán en la evaluación con objeto de informar a todas las partes de las tareas que deben llevar a cabo y de lo que se espera de ellas. Un ejemplo de ello puede ser proporcionar información general sobre la gestión del proyecto y los coordinadores pertinentes, como los encargados de facilitar acceso a la documentación relacionada con el proyecto, de organizar reuniones o de recopilar datos de los asociados en el proyecto.
Una evaluación puede requerir el establecimiento de un comité, por ejemplo de un grupo de referencia, un comité de gestión o un grupo de aprendizaje. En caso de que ello ocurra, deberá indicarse aquí. Estos pueden ser particularmente útiles (y se recomienda establecerlos) cuando las evaluaciones son complejas (evaluaciones que abarcan varios países, varios programas o con múltiples partes interesadas), y pueden garantizar un enfoque participativo a lo largo de la evaluación. |
|
Calendario |
Un calendario indicativo detalla, por orden cronológico, las fechas en que deben realizarse las tareas o entregarse los productos, el tiempo asignado para terminar las tareas y los productos y las personas responsables de la finalización de cada tarea y producto. También puede incluir las fechas de las visitas sobre el terreno o de las encuestas que han de realizarse. |
|
Sección relativa a los productos |
En esta sección se detallan los productos que han de generarse en las distintas etapas del proceso de evaluación, así como las personas responsables de cada uno de ellos (teniendo presente, sin embargo, que ello dependerá principalmente del trabajo del evaluador).
Es probable que en la lista de productos se incluya la matriz de evaluación (en el recuadro de información se dan explicaciones más detalladas) o el informe inicial, el proyecto de informe de evaluación que se presentará para la formulación de observaciones, y el informe final y resumen de la evaluación. También puede incluir información sobre una presentación inicial de los hallazgos o la organización de un taller para presentar el informe final a las principales partes interesadas. En la subsección titulada Productos de la evaluación se da más información a este respecto. |
El contenido de los pliegos de condiciones puede compartirse con los oficiales regionales de seguimiento y evaluación o con la Oficina del Inspector General a fin de efectuar un control de la calidad antes de su finalización.
Recursos de la OIM
s.f.a Lista de verificación de la OIM – Pliego de condiciones de la evaluación (en inglés) (enlace interno únicamente).
Anexo 5.4. Modelo de pliego de condiciones de la evaluación (en inglés) (enlace interno únicamente).
Anexo 5.5. Modelos de matrices de evaluación para un proyecto orientado al desarrollo y para un proyecto humanitario (enlace interno únicamente).
Como parte de la fase de planificación y, después de haber definido la finalidad y la evaluabilidad de una evaluación prevista y de haber elaborado el pliego de condiciones, debe iniciarse un proceso de selección de los evaluadores, en consonancia con lo que ya ha sido acordado en la propuesta o el pliego de condiciones del proyecto.
Evaluadores internos frente a evaluadores externos
En el cuadro que figura a continuación se ofrecen algunos consejos acerca de las ventajas de recurrir a evaluadores internos o externos:
| Evaluadores internos | Evaluadores externos |
|---|---|
|
|
Nota: Adaptado del Módulo 6 del Manual para proyectos de la OIM, pág. 25 (enlace interno únicamente).
Una metaevaluación que abarcaba las evaluaciones llevadas a cabo por la OIM entre 2017 y 2019 indicó que no había diferencia alguna en el nivel de calidad de las evaluaciones internas y externas.
Se puede recurrir a un equipo mixto de evaluadores internos y externos, cuyas funciones y responsabilidades se definirán de acuerdo con los puntos fuertes indicados supra. Así, por ejemplo, un evaluador externo podría beneficiarse de los conocimientos que posee el evaluador interno sobre la Organización al preparar el informe inicial y centrarse en la metodología, habida cuenta de sus conocimientos especializados en materia de evaluación.
| Consideraciones que se deben tener en cuenta al seleccionar a un evaluador interno frente a un evaluador externo |
|---|
|
Sobre la base de las ventajas enumeradas supra, las consideraciones que figuran a continuación son útiles para la selección de un evaluador interno frente a un evaluador externo:
|
La duración prevista, el momento y la complejidad de la evaluación también pueden influir en la selección. Una evaluación puede llevar bastante tiempo y puede exigir viajar a distintos lugares, lo que puede tener consecuencias si se recurre a un evaluador interno, ya que este tendrá que seguir desempeñando sus tareas habituales al llevar a cabo la evaluación y puede que solo esté disponible para realizar una visita sobre el terreno más breve. El supervisor del evaluador interno también puede ser reacio a liberar a funcionarios durante un tiempo y una ausencia de mayor duración. Para terminar su evaluación, los evaluadores internos pueden tener que trabajar en un informe de evaluación durante un periodo medio de tres meses, sin dejar de cumplir las responsabilidades que conlleva su puesto a tiempo completo.
Por consiguiente, se deben considerar la cuestión del momento y las limitaciones relacionadas con la selección de un evaluador, y el proceso de contratación debe iniciarse mucho antes de la fecha de inicio prevista del ejercicio de evaluación que llevarán a cabo los evaluadores. La contratación de un evaluador externo requiere que la OIM convoque un concurso para evaluadores a fin de organizar un proceso de selección y proceder a la aprobación y firma del contrato de conformidad con los procedimientos pertinentes, lo que también puede llevar algún tiempo. Esos procedimientos no son necesarios en el caso de un evaluador interno, pero su disponibilidad debe negociarse con el supervisor del posible evaluador en la OIM, y puede necesitarse más tiempo para terminar el ejercicio, habida cuenta de las tareas que ya desempeña el personal interno, como se ha indicado supra.
Selección de los evaluadores
Paralelamente a la decisión de seleccionar a un evaluador interno o externo, también cabe considerar la posibilidad de recurrir a varios evaluadores en lugar de a uno solo. Por ejemplo, puede ser necesario recurrir a un equipo si se requieren conocimientos especializados específicos para analizar el desempeño de una intervención (como los de un ingeniero para examinar el componente de un programa relacionado con la construcción o los de un especialista en salud para examinar la respuesta a una determinada enfermedad en el marco de un programa) o si otros evaluadores nacionales pueden aportar un valor añadido al ejercicio (por ejemplo, en el caso de intervenciones complejas que requieren conocer bien el contexto nacional, a las partes interesadas o la política). La parte que encarga la evaluación, el gestor de la evaluación o el comité de gestión pueden determinar qué opción es la más indicada para llevar a cabo la tarea, incluirla en el pliego de condiciones y ajustar el proceso de selección en consecuencia.
Los principales puntos que deben considerarse al optar por un único evaluador o por un equipo pueden resumirse de la siguiente manera:
- Complejidad de la evaluación: Si la evaluación requiere le recopilación de datos abundantes, visitas exhaustivas y reiteradas sobre el terreno, su alcance abarca diversos países, combina varios métodos específicos de recopilación de datos, debe realizarse en varios idiomas o requiere la perspectiva de un evaluador nacional, un equipo de evaluación puede ser más indicado para llevar a cabo la evaluación.
- Duración de la evaluación: Si el periodo de tiempo en el que se debe llevar a cabo la evaluación es breve, puede ser más apropiado optar por un equipo, ya que sus miembros podrán colaborar y terminar la evaluación en un plazo más breve.
- Múltiples ámbitos de competencia: Si una evaluación requiere distintos ámbitos de competencias muy específicas que no posee un único evaluador, tal vez sea necesario considerar la posibilidad de seleccionar un equipo de evaluación que satisfaga estos requisitos a través de sus distintos miembros.
Proceso de selección
En esta sección se examina el proceso de selección para la contratación de uno o varios evaluadores externos, lo que puede hacerse principalmente mediante la aplicación de lo siguiente: a) la contratación de un consultor individual, o b) la contratación de una empresa de consultores o proveedor de servicios. Este proceso solo se aplica a los evaluadores externos, ya que los evaluadores internos de la OIM han sido identificados previamente (a escala mundial y regional) y pueden ser contratados mediante la negociación directa con su supervisor.
Las oficinas de la OIM que estén interesadas en llevar a cabo una evaluación interna se deberían poner en contacto con el funcionario regional encargado de la evaluación y seguimiento designado una vez elaborado el pliego de condiciones para la evaluación. Este funcionario les ayudará a encontrar un evaluador disponible a partir de la lista mundial o regional existente.
Selección de consultores individuales
Para la contratación de un único evaluador, se emite una convocatoria para evaluadores, en la que se incluirán el pliego de condiciones de la evaluación (véase el Anexo 5.4. Modelo de pliego de condiciones de la evaluación) y los siguientes elementos adicionales:
- Requisitos: Lista de competencias exigidas al consultor;
- Instrucciones para la presentación de la candidatura: Ello debería incluir qué documentos adicionales se espera que se presenten junto a la candidatura, como informes de evaluación anteriores. También debería incluir el plazo para la presentación de la candidatura y la información de contacto de la persona a la que se debería enviar dicha candidatura.
La función de evaluación central de la Oficina del Inspector General y los oficiales regionales de seguimiento y evaluación mantienen una lista de consultores externos y proveedores de servicios (enlace interno únicamente) con información detallada sobre sus conocimientos técnicos, idiomas, especialidades, etc.
Estas pueden consultarse públicamente, a través de los oficiales regionales de seguimiento y evaluación o de la Oficina del Inspector General. También se puede contactar con los evaluadores seleccionados de la lista, en función de las necesidades, para que presenten una propuesta en caso de que estén interesados.
Una vez recibidas las candidaturas, el gestor de la evaluación o el comité de evaluación las evalúan y confeccionan una lista de candidatos preseleccionados. La OIM ha elaborado una planilla de calificación para la valoración de las candidaturas (véase el Anexo 5.6) para las evaluaciones, que es una herramienta útil en el proceso de selección. Una vez terminada la selección, el gestor de la evaluación o el gestor del programa prepararán un contrato, de conformidad con las instrucciones de la OIM relativas a la contratación de consultores (IN/84 Directrices para la selección y empleo de Consultores (enlace interno únicamente)).
Selección de una empresa de consultores
Para la selección de un equipo de evaluación, se hace una solicitud de presentación de propuestas de conformidad con las instrucciones de la OIM en materia de adquisiciones que figuran en el Manual de adquisiciones de la OIM (enlace interno únicamente). Aquí encontrará un modelo de Solicitud de presentación de propuestas para las evaluaciones, en caso de que se precisen los servicios de una empresa de consultores (enlace interno únicamente).
Se alienta encarecidamente al personal de la OIM a que determine con antelación si se necesitará un único evaluador o un equipo para llevar a cabo una evaluación. En caso de que esto no pueda hacerse con antelación, el personal debería ponerse en contacto con el correspondiente funcionario regional encargado del seguimiento y la evaluación o con la función de evaluación central de la Oficina del Inspector General para obtener más información sobre la selección de los evaluadores y los procesos que podrían ayudarles.
Anexos
- Anexo 5.4. Modelo de pliego de condiciones de la evaluación (enlace interno únicamente).
- Anexo 5.6. Planilla de calificación de la OIM para la valoración de las candidaturas en las evaluaciones que recurren a evaluadores (en inglés) (enlace interno únicamente).
- Anexo 5.12. Modelo de solicitud de propuestas (en inglés).
Recursos de la OIM
2006 Directrices sobre las diferencias entre contratos individuales y con proveedores de servicios (IN/73) (en inglés) (enlace interno únicamente).
2016a Manual de adquisiciones de la OIM – Adquisición de bienes, obras de construcción y servicios (IN/168 rev. 2) (en inglés) (enlace interno únicamente).
2021a Directrices para la selección y empleo de Consultores (IN/84) (enlace interno únicamente).
2021b Changes to Procurement, Implementing Partners Selection and Related Contracting Procedures (IN/284) (enlace interno únicamente).
s.f.b Sitio de SharePoint para los profesionales del seguimiento y la evaluación de la función de evaluación central de la Oficina del Inspector General (en inglés) (enlace interno únicamente).
- Asegúrese de que en los contratos se hayan incluido cláusulas relativas a la protección de datos y la confidencialidad, así como a la prevención de la explotación y el abuso sexuales.
También se debería prestar atención a los siguientes recursos (y, de ser necesario, facilitar los correspondientes documentos a los consultores):
Recursos de la OIM
2010 IOM Data Protection Manual. Ginebra.
Otros recursos
Grupo de Evaluación de las Naciones Unidas (UNEG)
2010a UNEG Quality Checklist for Evaluation Terms of Reference and Inception Reports. Documento de orientación, UNEG/G/(2010)1.
2008 UNEG Code of Conduct for Evaluation in the UN System. Documento de base, UNEG/FN/ CoC(2008).
2016 Normas y estándares de evaluación. Nueva York.
Una vez designado(s) el/los evaluador(es), puede comenzar la labor de evaluación propiamente dicha, y el gestor de la evaluación tendrá que desempeñar tres tareas principales:
a) Supervisar la implementación de la evaluación y el plan de trabajo.
b) Proporcionar información sobre las actividades realizadas para la elaboración del informe y sobre el proyecto de informe en sí mismo.
c) Asegurarse de que se entiendan los requisitos de calidad y de que se supervise el control de la calidad.
Los evaluadores concluirán la evaluación durante esta fase. Por consiguiente, en esta sección del capítulo 5 también se proporciona información sobre los productos previstos que los evaluadores deberían terminar en el curso de la evaluación. Ello se ha resumido en la sección del presente capítulo titulada: Productos de la evaluación.
El proceso de seguimiento de la implementación de la evaluación no solo implica supervisar a los evaluadores, sino también gestionar y organizar la recopilación de documentos y otros materiales necesarios para la evaluación, y organizar las visitas sobre el terreno, las entrevistas y las encuestas por escrito, así como mantener la comunicación con las principales partes interesadas.
Al organizar las actividades de evaluación, los gestores de la evaluación deberían tener presentes las demandas de las partes interesadas, los beneficiarios y las poblaciones afectadas en lo que respecta al tiempo, los recursos y los esfuerzos que deben realizar para proporcionar datos relacionados con la evaluación. Además de obtener el consentimiento informado (véase el capítulo 2: Normas, reglas y gestión de la supervisión y la evaluación), asegúrese de informar a todas las partes pertinentes de las cuestiones siguientes: de quiénes se recabarán los datos y de lo que se les pedirá con antelación y de manera organizada. Tenga presente que otras actividades en curso relacionadas con el seguimiento y la evaluación pueden ser objeto de demandas similares para no sobrecargar a las principales partes interesadas.
Al comienzo de esta fase, el gestor de la evaluación, la parte que encarga la evaluación, el comité de gestión de la evaluación (de haberlo) y el/los evaluador(es) seleccionado(s) deberían examinar conjuntamente el pliego de condiciones para asegurarse de que no haya observaciones, preguntas o puntos clave que deban volver a negociarse. También es una práctica habitual organizar una reunión de gestión al principio del proceso de evaluación para asegurarse de que el gestor de la evaluación, el/los evaluador(es) y las partes interesadas (si procede) tengan una comprensión común del proceso de evaluación y de las diferentes funciones y responsabilidades. Además, se debería pedir a los evaluadores que elaboren un informe inicial. Ello permitirá comprender cómo entienden el pliego de condiciones de la evaluación y proporcionará información útil sobre la manera en que llevarán a cabo la evaluación (para obtener más información sobre el informe inicial, véase la sección Productos de la evaluación). Todo cambio resultante del examen del informe inicial debería estar bien documentado y reflejarse en los documentos pertinentes y/o el pliego de condiciones. En esta etapa, el gestor de la evaluación ya debería haber proporcionado al evaluador o los evaluadores los documentos fundamentales para comenzar la evaluación, y podrán compartirse recursos adicionales cuando se llegue a un acuerdo final sobre la labor que habrá de realizarse.
Además de los documentos específicos de la intervención, para ayudar a los evaluadores en el proceso de evaluación y asegurarse de que cumplan las expectativas previstas para todas las evaluaciones de la OIM, los gestores de la evaluación deberían facilitar algunos documentos fundamentales:
- IOM Guidance for Addressing Gender in Evaluations (Guía de la OIM para abordar las cuestiones de género en las evaluaciones): Este documento ofrece orientaciones prácticas para asegurarse de que las cuestiones de género se aborden adecuadamente en la evaluación.
- IOM Gender and Evaluation Tip Sheet (Hoja de orientación de la OIM sobre género y evaluación). Esta hoja de orientación proporciona una breve guía para ayudar al personal que interviene en la gestión y la realización de evaluaciones a desarrollar ámbitos de trabajo, metodologías y hallazgos en relación con el seguimiento y la evaluación que tengan en cuenta las cuestiones de género. Para obtener orientaciones más detalladas, incluidos ejemplos de criterios, indicadores y hallazgos que tienen en cuenta las cuestiones de género.
- Una copia de este capítulo (capítulo 5) de las Directrices de la OIM relativas al seguimiento y la evaluación, con especial énfasis en la sección relativa a los Productos de la evaluación, para que los evaluadores comprendan los componentes que se espera obtener;
- Una copia de los modelos elaborados por la OIM de informes iniciales, matrices de evaluación e informes de evaluación, que pueden servir de guía;
- Enlaces a las herramientas de la lista de verificación de la calidad del UNEG (y de la OIM) para que los evaluadores entiendan cómo se examinarán las evaluaciones;
- Anexo 5.10. Modelo de resumen de la evaluación y orientaciones.
La clara definición de las funciones y responsabilidades de todas las partes que intervienen directamente en la evaluación también es esencial para una implementación adecuada, y cada parte deberá realizar las tareas que se le hayan encomendado y respetar los plazos para garantizar la calidad.
Se espera de los evaluadores que proporcionen varios productos fundamentales, que deberían indicarse claramente en el pliego de condiciones. Cada uno de estos productos se esboza a continuación, con información clave sobre su contenido y posible estructura.
|
Informe inicial
Los informes iniciales deberían solicitarse siempre en los pliegos de condiciones de la evaluación elaborados para los consultores externos. En el caso de una evaluación interna, bastará con presentar una matriz de evaluación, ya que esta ayudará a estructurar el modo en que el evaluador interno interpreta el ejercicio de evaluación.
Un elemento fundamental del informe inicial es la matriz de evaluación. Una matriz de evaluación es una herramienta que orienta el proceso de evaluación mediante la especificación de lo siguiente: a) los criterios de evaluación; b) las preguntas principales y secundarias a las que se dará respuesta para analizar cada criterio; c) los indicadores que se utilizarán para orientar el análisis; d) las fuentes de datos, y e) las herramientas de recopilación de datos. La matriz de evaluación permite representar claramente cómo se llevará a cabo la evaluación, si bien sigue siendo necesario presentar un informe inicial completo. En el Anexo 5.5. Modelos de matrices de evaluación de la OIM para un proyecto orientado al desarrollo y para un proyecto humanitario encontrará ejemplos de matrices de evaluación para un proyecto de desarrollo o humanitario. |
|
Informes sobre los progresos realizados
Los gestores de la evaluación deberían asegurarse de que se tomen las disposiciones logísticas adecuadas para la recopilación de datos. Si se producen situaciones que escapan al control de la OIM o del evaluador (por ejemplo, fenómenos meteorológicos o acontecimientos sociales o políticos que impidan realizar algunas visitas sobre el terreno), los evaluadores y los gestores de la evaluación deberían examinar si estas situaciones afectarán a la calidad y credibilidad del ejercicio y, por si acaso, estudiar las correspondientes alternativas metodológicas y prácticas. |
|
Reunión informativa sobre los hallazgos iniciales
|
|
Informe de evaluación
? Los informes finales de evaluación deben redactarse en uno de los idiomas oficiales de la OIM. En caso de que no sea posible, se debería preparar un resumen de los hallazgos y recomendaciones en uno de los idiomas oficiales de la OIM. Si bien la OIM no obliga a todos los evaluadores a utilizar el mismo formato para la presentación de informes, se espera que estos aborden todos los componentes indicados a continuación:
La evaluación/aseguramiento/control de la calidad se realizará sobre la base de este informe (véase la sección de este capítulo relativa al aseguramiento de la calidad de la evaluación).
? En el Anexo 5.8. Modelo de componentes del informe de evaluación de la OIM se ofrecen orientaciones más detalladas para cada componente del informe de evaluación, y en el Anexo 5.9. Modelo de informe final de evaluación de la OIM se proporciona un modelo para la presentación de informes. |
|
|
|
Presentación final de la evaluación
|
|
Matriz preliminar de respuesta de la Administración
Para obtener más información sobre la matriz de respuesta de la Administración, véase la sección de este capítulo relativa al seguimiento y utilización de la evaluación. En la publicación de la función de evaluación central de la Oficina del Inspector General titulada Respuesta de la Administración y seguimiento de las recomendaciones de la OIM relativas a la evaluación (Management Response and Follow-Up on IOM Evaluation Recommendations) se incluye un modelo de matriz de respuesta de la Administración. |
Examinar el proyecto de informe de evaluación y proporcionar información sobre este es una etapa fundamental del proceso de evaluación. La participación de la parte que encarga la evaluación, del gestor de la evaluación (o comité de gestión) y de otras partes interesadas clave en este proceso garantiza asimismo que todos los usuarios previstos de la evaluación reciban la información que precisan. Si esto no se realiza correctamente, se corre el riesgo de que los usuarios desacrediten la evaluación una vez publicada. Esta etapa permite instaurar un proceso transparente y abierto para examinar la evaluación antes de su finalización.
Las principales partes interesadas deberían tener la oportunidad de formular observaciones sobre el informe, una práctica habitual en los enfoques participativos. Si se ha establecido un grupo de referencia u otro mecanismo de colaboración de las partes interesadas a los efectos de la evaluación, su participación en este proceso puede garantizar una participación más amplia en la cadena de retroinformación. Las partes interesadas externas pueden incluir a los asociados, los donantes y los beneficiarios. Las partes interesadas internas de la OIM pueden incluir a los jefes de misión, los especialistas temáticos regionales y otros miembros del personal que hayan contribuido a la implementación (por ejemplo, de otros programas que hayan influido en la implementación del programa evaluado).
Cuando los evaluadores entreguen el proyecto de informe, el gestor de la evaluación debería coordinar las observaciones y las respuestas y consolidar toda la información recibida para volver a presentarla sin demora al evaluador. Esta información debería centrarse en los aspectos técnicos de la evaluación y en datos objetivos. Tenga presente que el evaluador tiene la obligación de corregir los datos, pero no de revisar (ni se le debería pedir que lo haga) los hallazgos, las conclusiones o las recomendaciones de un modo que sea incompatible con los datos presentados, ya que ello es contrario a los principios éticos del proceso de evaluación.
En caso de que se planteen cuestiones importantes en la etapa final de la presentación de informes, el evaluador y el gestor deberían volver a evaluar el proceso y elaborar un plan para abordar esas cuestiones. Los problemas deberían evaluarse detenidamente a fin de determinar si se han cometido errores y si estos pueden corregirse. Todas las partes pueden velar asimismo por que las recomendaciones incluidas en el informe sean aceptables y viables.
Si el gestor de la evaluación y los evaluadores no llegan a un acuerdo sobre la interpretación de los datos o sobre las conclusiones y recomendaciones derivadas de esa interpretación, el primero puede preparar una opinión de la Administración, en la que se pongan de relieve los desacuerdos, con las justificaciones pertinentes.
En general, el proceso de examen del informe final no debería constituir otra ocasión para proporcionar información nueva a los fines de la evaluación, ya que la información pertinente se debería haber facilitado durante las fases de recopilación y análisis de datos. Ahora bien, si acaba de ponerse a disposición nueva información pertinente, o si un acontecimiento reciente o simultáneo ha afectado al análisis o a las recomendaciones (tal como ocurrió con la crisis inesperada de la COVID-19), el gestor de la evaluación debería comentárselo al evaluador, y podrá asignarse más tiempo para incorporar la información y los datos nuevos en el informe o en un anexo (por ejemplo, para examinar de qué manera afecta la COVID-19 a las recomendaciones ya formuladas).
Los oficiales regionales de seguimiento y evaluación o la función de evaluación central de la Oficina del Inspector General pueden ofrecer su ayuda si existe un desacuerdo sobre los hallazgos, las conclusiones o las recomendaciones de un informe de evaluación.
Una vez que el evaluador haya recibido la información consolidada, este revisará el informe, según sea necesario, y presentará la versión final.
La comunicación de los avances de la evaluación es fundamental para garantizar la presentación de informes de calidad y pertinentes, y cada una de las partes tiene una función que desempeñar, en particular a nivel de los gestores de la evaluación y de los evaluadores. Mantener normas de calidad para una evaluación es especialmente importante, ya que ello también aumenta la credibilidad y la objetividad del ejercicio. Las normas de calidad garantizan que las evaluaciones se lleven a cabo en consonancia con los requisitos de procedimiento y técnicos, así como con las normas y estándares de evaluación aplicadas en la Organización
Cada actor de la evaluación puede contribuir al logro de normas de calidad mediante la aportación de insumos pertinentes. El control de la calidad incumbe primordialmente al gestor de la evaluación, el cual debería garantizar que la evaluación se lleve a cabo de conformidad con la política y las orientaciones de la OIM en materia de evaluación, así como con los requisitos y normas acordados con otras partes interesadas, por ejemplo con el donante de la intervención
| Principales funciones y actividades para garantizar una evaluación de calidad |
|---|
|
El gestor de la evaluación debería:
Los evaluadores deberían:
|
La Oficina del Inspector General recomienda utilizar las listas de verificación de la calidad del UNEG para examinar la observancia de las normas de calidad. Se han elaborado dos listas distintas en consonancia con las normas y estándares del UNEG: a) la lista de verificación de la calidad de los pliegos de condiciones y los informes iniciales de evaluación del UNEG (UNEG Quality Checklist for Evaluation Terms of Reference and Inception Reports)y b) la lista de verificación de la calidad de los informes de evaluación del UNEG (UNEG Quality Checklist for Evaluation Reports).
La OIM tiene previsto publicar su propia herramienta de control/aseguramiento de la calidad, que podrán utilizar los gestores de la evaluación al examinar los informes.
Los marcos analíticos del UNEG para determinar la calidad de la evaluación (véase la sección relativa a los recursos) deberían ponerse a disposición de los evaluadores a fin de garantizar que estos tengan una buena comprensión de las expectativas de la OIM en lo que respecta a la calidad de la evaluación. Estos también pueden ser utilizados por los gestores de la evaluación y por los oficiales regionales de seguimiento y evaluación al redactar el pliego de condiciones y los informes iniciales, así como al examinar el informe de evaluación.
Si los evaluadores contratados elaboran un informe inicial de mala calidad, los gestores de la evaluación deberían ofrecerles la oportunidad de modificarlo hasta que se llegue a un consenso sobre su calidad. Si el informe inicial sigue siendo insatisfactorio y se incluye en los principales productos entregados, debería considerarse la posibilidad de rescindir el contrato, en lugar de arriesgarse a obtener un producto final de mala calidad. También se puede contactar con los oficiales regionales de seguimiento y evaluación o con la función de evaluación central de la Oficina del Inspector General para que proporcionen asesoramiento sobre el proceso de negociación con los evaluadores y sobre la decisión de rescindir el contrato.
Es importante que la estructura del contrato suscrito con los evaluadores permita a los gestores de la evaluación responder de forma adecuada, por ejemplo mediante la inclusión de una cláusula en la que se indique que la OIM se reserva el derecho de retener el pago, íntegra o parcialmente, si los servicios acordados no se prestan en su totalidad o son inadecuados. Ello se aplica igualmente a la finalización del proyecto de informe de evaluación, y permite retener el pago final si la calidad no es la adecuada tras varios intentos de corregir esta situación.
- Los oficiales regionales de seguimiento y evaluación o la Oficina del Inspector General pueden prestar asistencia en relación con los parámetros de calidad y, en coordinación con la Oficina de Asuntos Jurídicos de la OIM, en caso de que se deban adoptar medidas contractuales cuando no se cumplan las normas de calidad.
Recursos de la OIM
2019 Management Response and Follow-Up on IOM Evaluation Recommendations. Función de evaluación central de la Oficina del Inspector General. (enlace interno únicamente)
Otros recursos
American Society for Quality (ASQ)
s.f. Quality assurance and quality control.
Banco Mundial
2015 Managing Evaluations: A How-To Guide for Managers and Commissioners of Evaluations. Washington, D.C.
Herramientas
Grupo de Evaluación de las Naciones Unidas (UNEG)
2010a UNEG Quality Checklist for Evaluation Terms of Reference and Inception Reports. Documento de orientación, UNEG/G(2010)1.
2010b UNEG Quality Checklist for Evaluation Reports. Documento de orientación, UNEG/G(2010)/2.
Una falsa idea muy extendida sobre la gestión de una evaluación es que el proceso de evaluación se da por finalizado cuando el informe final ha sido presentado y aprobado. De hecho, la elaboración y aprobación posterior del informe representan los dos primeros tercios del proceso, pero la principal razón de ser y el beneficio de una evaluación residen en el último tercio del proceso, es decir, en la utilización del informe, sus hallazgos y sus recomendaciones.
| El último tercio |
|---|
|
Una vez aprobado el informe final, la parte que encarga la evaluación o el gestor de la evaluación deberían ocuparse del seguimiento de las recomendaciones de la evaluación, en coordinación con el personal directivo superior y las partes interesadas en el proyecto, según corresponda. La parte que encarga la evaluación y el gestor deberían examinar y abordar con las entidades pertinentes cómo los hallazgos del informe se darán a conocer también a un público más amplio. Seguidamente, el gestor de la evaluación finalizará la matriz de respuesta de la Administración elaborada por el evaluador, de acuerdo con las instrucciones facilitadas en la publicación de la OIM titulada Respuesta de la Administración y seguimiento de las recomendaciones de la OIM relativas a la evaluación (Management Response and Follow-Up on IOM Evaluation Recommendations).
| La matriz de respuesta de la Administración es una herramienta que permite: |
|---|
|
La matriz de respuesta de la Administración es una herramienta que debe consultarse periódicamente hasta que se hayan aplicado todas las medidas de seguimiento o hasta que estas dejen de ser aplicables. Para que el uso de las evaluaciones como herramienta de rendición de cuentas sea pertinente, este debe realizarse de manera oportuna; por lo tanto, se recomienda completar las medidas de seguimiento y el proceso de examen en el plazo de 18 meses a contar desde la presentación final de la evaluación, aunque no se hayan finalizado todas las medidas de seguimiento. El seguimiento de la aplicación de la matriz de respuesta de la Administración puede asignarse a personal específico de la oficina. Los progresos realizados en las medidas de seguimiento incluidas en la matriz deberían comunicarse a las entidades pertinentes, así como a los oficiales regionales de seguimiento y evaluación y a la función de evaluación central de la Oficina del Inspector General para que tomen nota de ellos.
La matriz de respuesta de la Administración se puede rellenar directamente en PRIMA, o se puede cargar la versión Word directamente a este programa. Los gestores de programas y proyectos recibirán un recordatorio para rellenar la matriz y, 12 meses después de que se haya completado el informe final, se les enviará otro recordatorio para que proporcionen información actualizada sobre la situación en lo que respecta a la aplicación de las recomendaciones.
El intercambio y la divulgación de los informes de evaluación son etapas importantes para garantizar el uso pertinente de la evaluación. Los gestores de la evaluación o las partes que encargan la evaluación tal vez deseen examinar y preparar una estrategia de comunicación y difusión, lo que requerirá medidas y análisis intencionales para llegar al público adecuado. Cabe considerar los siguientes puntos:
- ¿Cómo se usará y difundirá la evaluación?
- ¿Cómo se divulgarán los hallazgos del informe de evaluación a distintos grupos de partes interesadas que pueden tener diferentes puntos de vista?
- ¿Cuál es el momento más indicado para difundir la evaluación y garantizar su uso óptimo?
La difusión de las evaluaciones contribuye a la consecución de su objetivo de aprendizaje, al garantizar que los conocimientos adquiridos por medio de la evaluación puedan ser ampliamente utilizados para mejorar la calidad de las nuevas intervenciones, así como los métodos de ejecución. Se recomienda reflexionar acerca de cómo se divulgarán las evaluaciones, y a quién, al inicio de la fase de planificación. Estas reflexiones también deberían tener en cuenta las necesidades específicas a la hora de decidir si las evaluaciones deben comunicarse a nivel interno en la OIM, o a nivel externo.
El enfoque de la evaluación centrada en la utilización puede proporcionar información útil al planificar la difusión de la evaluación o preparar una estrategia de comunicación y difusión. Para obtener más información, véase el recuadro de información titulado Evaluación centrada en la utilización.
En la Política de Evaluación de la OIM se señala que todos los informes de evaluación deben hacerse públicos, si bien la “estrategia de comunicación” puede variar. En el caso de una evaluación comunicada a nivel externo – por ejemplo, la evaluación de una estrategia (institucional, regional o nacional) o de una política de la OIM (por lo general, institucional) – esta podría presentar interés para todos los Estados Miembros de la OIM y posiblemente, para algunos donantes, mientras que en el caso de las evaluaciones de proyectos, el interés a nivel externo podría limitarse a los gobiernos locales y a los donantes concretos que financiaron el proyecto. Sin embargo, en el caso de los proyectos, la distribución externa también puede incluir a los asociados en la ejecución, a las organizaciones no gubernamentales (ONG) que colaboran o a los beneficiarios, lo que puede no ser así en una evaluación de una estrategia de la OIM.
En el caso de los informes distribuidos a nivel interno, puede realizarse una distinción similar a la de los informes externos. Mientras que la evaluación de una política suele comunicarse más bien a nivel departamental, las evaluaciones de proyectos, programas y estrategias locales o regionales resultan más valiosas para las oficinas en el terreno implicadas y para los especialistas temáticos pertinentes a nivel regional y departamental. Si bien la difusión de la evaluación de una política se realiza principalmente a nivel departamental con objeto de organizar el seguimiento o la experiencia adquirida, también puede comunicarse de manera más amplia, por ejemplo a todas las oficinas de la OIM a nivel mundial, habida cuenta de su posible interés en una política institucional. También cabe mencionar algunos casos muy específicos; por ejemplo, debe mantenerse informados a los oficiales regionales de seguimiento y evaluación y a la función de evaluación central de la Oficina del Inspector General de la publicación de las evaluaciones para que puedan incluirlas en su repositorio central de informes de evaluación o en la página web de la OIM sobre evaluación.
En general, se recomienda elaborar una sola versión del informe que pueda distribuirse tanto a nivel externo como a nivel interno y que sea de utilidad para tolas las partes interesadas con distintos puntos de vista. En un número limitado de casos ha podido suceder que se elaboraran dos versiones de un informe de evaluación, uno para una distribución limitada y para uso interno y otro para uso externo, por ejemplo cuando el informe incluía secciones que abarcaban cuestiones confidenciales o delicadas relacionadas con actividades de desmovilización. Si tiene dudas acerca de la difusión de un informe de evaluación, el gestor de la evaluación debería celebrar consultas con el Jefe de Misión para las intervenciones en los países, con los directores regionales para las intervenciones regionales o interregionales y/o con el funcionario regional encargado del seguimiento o la evaluación o la función de evaluación central de la Oficina del Inspector General.
Los informes de evaluación, una vez aprobados, deben transmitirse a la función de evaluación central de la Oficina del Inspector General, que los incluirá en el repositorio central y en la página web de la OIM sobre evaluación.
Como se ha señalado en la sección relativa a los productos de la evaluación de este capítulo, también debe presentarse por separado un resumen de la evaluación. El evaluador debería preparar este resumen con objeto de presentar un informe más breve y sucinto sobre los elementos principales de la evaluación. En el Anexo 5.10. Modelo de resumen de la evaluación y orientaciones se proporcionan orientaciones sobre la elaboración de este resumen, cuya presentación es obligatoria, así como un modelo de resumen de la evaluación
| Cómo compartir las evaluaciones |
|---|
|
|
Recursos de la OIM
2019 Management Response and Follow-Up on IOM Evaluation Recommendations. Función de evaluación central de la Oficina del Inspector General (enlace interno únicamente).
s.f.c IOM Evaluation repository.
s.f.d IOM Evaluation website.
Los beneficios del uso de la información derivada de las evaluaciones son numerosos. Los profesionales deben aplicar esta información de forma eficaz para mejorar la rendición de cuentas y el desempeño y reforzar la adopción de decisiones por medio del aprendizaje. La rendición de cuentas puede definirse como “la obligación de demostrar que se ha efectuado el trabajo cumpliendo con las reglas y normas acordadas o de declarar de manera precisa e imparcial los resultados obtenidos en comparación con las funciones y/o planes encomendados. Esto puede exigir una demostración cuidadosa, que pueda defenderse incluso judicialmente, de que la labor realizada es congruente con los términos contractuales”.
Una manera de utilizar la información obtenida a partir de la evaluación es compartirla a nivel institucional, lo que genera conocimientos para la planificación y ejecución actuales y futuras, además de fomentar una cultura de aprendizaje y conocimiento en la organización y de respaldar su rendición de cuentas general. Los conocimientos adquiridos a partir de las evaluaciones también proporcionan a la organización información basada en evidencias. El aprendizaje debe figurar entre los elementos centrales de una evaluación, incluidos el intercambio eficaz de información y los sistemas de aprendizaje.
Organización de Cooperación y Desarrollo Económicos (OCDE)
2010 Glossary of Key Terms in Evaluation and Results Based Management. OECD/DAC, Paris.
Los conocimientos y el aprendizaje derivados de la evaluación pueden incorporarse a los procesos de aprendizaje y planificación institucionales mediante la reflexión periódica, el acceso a los informes de evaluación y el intercambio regular de información por medio de sesiones de aprendizaje. Visualmente, esto puede representarse del siguiente modo:
Además de la evaluación, otros procesos pueden mejorar el aprendizaje a partir de las intervenciones. A continuación se dan tres ejemplos de enfoques evaluativos que también pueden incorporar el aprendizaje además de la rendición de cuentas, y que también se utilizan con fines de seguimiento:
a) Enseñanzas extraídas;
b) Examen del desempeño del proyecto; y
c) Examen posterior a la acción.
Enseñanzas extraídas y aprendizaje a partir de estas enseñanzas
Las enseñanzas extraídas pueden definirse como generalizaciones basadas en las experiencias de evaluación de proyectos, programas, estrategias o políticas en circunstancias específicas, que se aplican a situaciones más amplias. Con frecuencia, las enseñanzas destacan los puntos fuertes o débiles en la preparación, el diseño y la puesta en práctica que afectan al desempeño, los resultados y el impacto. Dicho de otro modo, pretenden describir los conocimientos adquiridos a partir de experiencias en situaciones bien definidas. La documentación de las enseñanzas extraídas y su incorporación en otras intervenciones pueden contribuir a mejorar la calidad de la prestación de servicios. En particular, pueden ayudar a evitar aquellas prácticas que sistemáticamente no consigan resultados u otros errores comunes.
En la figura que figura a continuación se ofrece una visión de conjunto del proceso de cómo se identifican las enseñanzas extraídas (a través de la implementación y de la evaluación de la implementación), cómo se formulan y, por último, cómo se incorporan y utilizan para mejorar la implementación.
Si bien las enseñanzas extraídas suelen salir a la luz al realizar la evaluación, estas también pueden recogerse mediante la organización de talleres específicos sobre el aprendizaje a partir de estas enseñanzas, que reúnen a diversas partes interesadas para que aporten ideas sobre el desempeño e identifiquen las enseñanzas extraídas de una intervención. Este enfoque también puede utilizarse para las intervenciones a nivel de las políticas o estrategias, en las que puede pedirse a las partes interesadas que reflexionen sobre los enfoques que han adoptado en relación con un tema o una esfera temática en particular a lo largo del tiempo.
Otro concepto similar, en términos de generación de conocimientos a partir de una evaluación, es la noción de buenas prácticas, que puede considerarse como la identificación de un procedimiento que ha demostrado su capacidad para producir resultados de manera satisfactoria, y que se propone como una práctica “habitual” idónea para su adopción generalizada. Una enseñanza extraída en la que se haya identificado una práctica que produce esos resultados satisfactorios y respecto de la que se haya determinado que merece ser reproducida y, posiblemente, ampliada, puede convertirse, con el tiempo, en una “buena práctica emergente”.
Si bien el aprendizaje a partir de las enseñanzas extraídas se ha mencionado aquí como uno de los diversos enfoques evaluativos, es importante subrayar que, por lo general, se espera que los evaluadores incorporen las enseñanzas extraídas en el informe. Véase la sección titulada Planificación de la evaluación: Preparación del pliego de condiciones de la evaluación (Alcance de la evaluación).
En general, la difusión de las enseñanzas extraídas puede llevarse a cabo como parte de la difusión del informe final de evaluación o de un modo similar. Concretamente, estas pueden incorporarse en cualquier documento recapitulativo de la evaluación que se ponga a disposición de los usuarios pertinentes. El Anexo 5.10, titulado Modelo de resumen de la evaluación y orientaciones incluye una sección específica sobre la presentación de las enseñanzas extraídas, cuando sea necesario.
En algunos casos, las enseñanzas extraídas pueden interesar particularmente a los especialistas temáticos pertinentes, desde el punto de vista de su difusión posterior o de su aplicabilidad a otras intervenciones similares. La “utilización” de las enseñanzas extraídas es especialmente importante en la elaboración de nuevas intervenciones, a nivel de un proyecto o programa, así como en la formulación de orientaciones estratégicas y normativas claras con respecto a una determinada esfera de trabajo de la OIM. Por lo tanto, los gestores de la evaluación deberían considerar detenidamente con quién compartirán las enseñanzas extraídas y las buenas prácticas identificadas a fin de incorporarlas de la mejor manera posible en las intervenciones futuras y previstas de la OIM.
Organización Internacional del Trabajo (OIT)
2014 Evaluation Lessons Learned and Emerging Good Practices. Nota de orientación 3, 25 de abril.
Examen del desempeño de un proyecto
La OIM ha elaborado una herramienta de evaluación que se centra principalmente en el desempeño de un proyecto o programa, para lo cual se utilizan los criterios del CAD-OCDE, haciendo hincapié en la eficacia y la eficiencia. El objetivo del examen del desempeño de un proyecto es ayudar a las oficinas en el terreno a evaluar el desempeño de sus intervenciones, utilizando para ello un enfoque constructivo, participativo y coordinado. Este ejercicio suele realizarse durante la implementación, de manera que puedan tomarse medidas correctivas, en caso necesario. Los criterios de la pertinencia, el impacto y la sostenibilidad se analizan brevemente a lo largo del examen, y en este también se puede analizar en qué medida se están logrando o podrán lograrse los efectos de una intervención una vez terminadas las actividades o finalizados los productos.
En un examen del desempeño de un proyecto también se abordan las cuestiones transversales, y se analiza el nivel de rendición de cuentas a los beneficiarios y a las poblaciones afectadas, en particular en el contexto de las situaciones de emergencia, además de determinar en qué medida la intervención está vinculada con las estrategias mundiales, regionales o nacionales.
Cabe señalar que el examen del desempeño de un proyecto no es una evaluación, ya que es menos exhaustivo que esta última. Una evaluación requiere más tiempo y preparación, trata las cuestiones de manera más detallada y permite generar análisis y hallazgos con una base empírica más sólida. A continuación se resumen otras diferencias existentes entre un examen y una evaluación:
Recursos de la OIM
2018b Planning, Conducting and Using Project Performance Reviews (PPR). Función de evaluación central de la Oficina del Inspector General, junio (enlace interno únicamente).
- Modelo de herramienta de examen del desempeño de un proyecto
- Modelo de informe de examen del desempeño de un proyecto
- Guía para la presentación de informes de examen del desempeño de un proyecto
- Preparación de los exámenes del desempeño de un proyecto
- Plan de acción para aplicar las recomendaciones sobre el examen del desempeño de un proyecto
Examen posterior a la acción
Un examen posterior a la acción es un debate estructural sobre una intervención que permite a un equipo analizar y reflexionar acerca de lo que ha ocurrido, por qué ha ocurrido y cómo mantener los puntos fuertes y mejorar los puntos débiles.
Un examen posterior a la acción comprende los siguientes pasos:
Fuente: Adaptado de Buchanan-Smith y otros, 2016 y de ONUSIDA, 2006.
Como primer paso, los participantes reflexionan sobre su comprensión de los objetivos o la intención de la actividad y, seguidamente, preparan un cronograma con lo que ocurrió realmente y lo que ha cambiado a lo largo del tiempo. El paso siguiente se centra en mayor medida en un enfoque analítico, ya que se identifica lo que ha funcionado bien y por qué, y lo que podría haber funcionado mejor y por qué. Al final del proceso, las conclusiones acerca de lo que se podría hacer mejor la próxima vez se resumen en forma de enseñanzas extraídas. Puede pedirse a los participantes que voten sobre las tres enseñanzas que consideran más importantes cuando las reflexiones sean numerosas. El debate de un examen posterior a la acción es un proceso dirigido por un moderador que no suele durar más de medio día o un día. Según los recursos y el tiempo a disposición, este puede ser formal, lo que conlleva una labor preparatoria adicional, o informal, tal como se indica en el recuadro infra.
| Principales características de un examen posterior a la acción | |
|---|---|
|
Exámenes formales
|
Exámenes informales
|
Fuente: Adaptado de ONUSIDA, 2006.
Buchanan-Smith, M., J. Cosgrave y A. Warner
2016 Guía de evaluación de la acción humanitaria. ALNAP/ODI, Londres.
ONUSIDA
2006 After-Action Review: Technical Guidance. PN-ADF-360. Washington, D.C
A continuación se resumen otros ejemplos de enfoques y herramientas de evaluación:
| Otros enfoques y recursos | |
|---|---|
|
Cambio más significativo |
¿En qué consiste?
La técnica del cambio más significativo es un tipo de herramienta participativa que consiste en recopilar relatos personales de los cambios percibidos y determinar cuál de estos relatos es más significativo y por qué.
En el Anexo 5.11. Enfoques de evaluación: Cambio más significativo se ofrece una explicación más detallada del enfoque del cambio más significativo. |
Herramientas y manuales sobre el enfoque del cambio más significativo
Asadullah, S. y S. Muñiz
2015 Participatory Video and the Most Significant Change: A guide for facilitators. InsightShare, Oxford.
BetterEvaluation
s.f. Most significant change. Recurso en línea.
Davies, R. y J. Dart
2005 The ‘Most Significant Change’ Technique – A Guide to Its Use.
Red Panasiática del Centro de Investigaciones para el Desarrollo Internacional
2008 Jess Dart – Most significant change, parte I. Vídeo.
| Otros enfoques y recursos | |
|---|---|
|
Modelo de Kirkpatrick |
¿En qué consiste?
El modelo de Kirkpatrick es un modelo de cuatro niveles elaborado para evaluar la formación. Sus cuatro niveles son: a) reacción; b) aprendizaje; c) comportamiento, y d) resultados. Se trata de un método habitualmente utilizado para evaluar los resultados obtenidos en el marco de una formación. Se ha elaborado un formulario genérico de evaluación posterior a la formación que las partes interesadas pueden modificar fácilmente, según sea necesario.
|
OIM
2017b Reaching results through training. Vídeo para un seminario web, 25 de julio (enlace interno únicamente)
MindTools
s.f. Kirkpatrick’s four-level training evaluation model: Analyzing learning effectiveness.
| Otros enfoques y recursos | |
|---|---|
|
Examen por homólogos |
¿En qué consiste?
El examen por homólogos es un proceso que puede ayudar a asesorar sobre cuestiones relacionadas con la calidad y el cumplimiento de las normas, que normalmente llevan a cabo otros especialistas que trabajan en el mismo ámbito, escogidos por sus conocimientos de la materia. Este proceso se ha utilizado en la OIM, por ejemplo para examinar la aplicación del Plan de Acción para Todo el Sistema de las Naciones Unidas sobre la Igualdad de Género y el Empoderamiento de las Mujeres (ONUSWAP), con la participación de otros dos o tres organismos también sometidos a examen. El UNEG, en colaboración con el CAD-OCDE, también ha desarrollado un nuevo mecanismo de examen por homólogos a fin de examinar la política de evaluación de sus miembros.
|
Grupo de Evaluación de las Naciones Unidas (UNEG)
2011a UNEG Framework for Professional Peer Reviews of the Evaluation Function on UN Organizations. Documento de referencia, UNEG/ REF(2011)1.
2018a Background note on the UNEG peer review mechanism. Documento de trabajo.
2018b Modalities for evaluating, reviewing or assessing an evaluation function. Documento de trabajo.
s.f. Integrating gender equality and human rights in evaluation – UN- SWAP guidance, analysis and good practices.
| Otros enfoques y recursos | |
|---|---|
|
Recolección de resultados |
¿En qué consiste?
La recolección de resultados es un enfoque de evaluación que puede utilizarse para recopilar datos sobre las intervenciones. Como su nombre indica, en la recolección de resultados se recopilan (“se recolectan”) datos sobre los cambios ocurridos (resultados). Una vez identificados los cambios, se trabaja hacia atrás con objeto de determinar si y en qué medida estos cambios están relacionados con la intervención.
|
Outcome Harvesting
s.f. Página inicial. (en inglés).
Outcome Mapping
2014 What is outcome harvesting? Vídeo, 15 de enero.
Wilson-Grau, R.
2015 Outcome harvesting. BetterEvaluation.
Adaptado del Módulo 6 del Manual para proyectos de la OIM, págs. 7-16 (enlace interno únicamente).
Haga clic AQUÍ para más información.
Adaptado de IOM Evaluation Guidelines (enero de 2006), Anexo 2, función de evaluación central de la Oficina del Inspector General.
Evaluación a nivel de todo el sistema: Evaluación utilizada en situaciones de emergencia que abarca la respuesta dada por el conjunto del sistema a un desastre o una situación de emergencia en particular.
Evaluación basada en la teoría: Evaluación centrada en una comprensión profunda del funcionamiento de un programa o actividad, es decir, la teoría o lógica del programa. No es necesario que presuponga la existencia de relaciones lineales simples de causa y efecto, sino que examina los factores determinantes o causales que se consideran importantes para tener éxito y cómo estos pueden interactuar
Evaluación cuasi experimental del impacto: Evaluación en la que se comparan diferentes grupos antes y después de la ejecución del programa a fin de determinar el impacto de este último y el valor añadido de otras inversiones. Se utilizan estudios rápidos y económicos que combinan el uso de los conjuntos de datos existentes con encuestas rápidas por muestreo, estudios de seguimiento, entrevistas u otros.
Evaluación de conjunto: Evaluación que analiza un conjunto de actividades, proyectos o programas relacionados entre sí con objeto de identificar aspectos y temas comunes.
Evaluación de la respuesta de un único organismo: Evaluación que abarca, también en situaciones de emergencia, la respuesta global de un determinado organismo.
Evaluación de procesos: Evaluación que examina la dinámica interna de los organismos encargados de la ejecución, sus instrucciones de política, sus mecanismos de prestación de servicios, sus prácticas de gestión y los vínculos que existen entre todos estos componentes.
Evaluación de síntesis: “Procedimiento sistemático para organizar los hallazgos de varios estudios de evaluación dispares, lo que permite a los evaluadores reunir los resultados de diferentes informes de evaluación y formular preguntas acerca de ese grupo de informes”
Evaluación de un único organismo/un único proyecto: Evaluación que abarca un único proyecto llevado a cabo por un único organismo en una situación de emergencia.
Evaluación del empoderamiento: Evaluación que promueve una estrecha relación entre el evaluador y los participantes del proyecto o programa para que los resultados de la evaluación sean más significativos y útiles. La evaluación del empoderamiento es necesariamente una actividad de colaboración en grupo, y no individual.
Evaluación del programa de país/de la asistencia al país: Evaluación de la cartera de intervenciones para el desarrollo de uno o más donantes o instituciones.
Evaluación democrática: Enfoque de evaluación que aborda cuestiones fundamentales en materia de evaluación, como la manera de tratar las relaciones de poder entre las partes interesadas, la incorporación de las perspectivas de las partes interesadas y la aportación de información útil para los programas. La redistribución del poder se logra mediante la "democratización del conocimiento” y la mutua rendición de cuentas de todos los grupos, incluido el cliente.
Evaluación en profundidad: Enfoque que consiste en centrar la evaluación o una parte de la evaluación en una categoría de productos, o en un grupo o categoría de impactos.
Evaluación en tiempo real: Evaluación llevada a cabo en situaciones de emergencia que tiene por objeto proporcionar información rápida sobre las operaciones humanitarias y ser un catalizador inmediato de las mejoras en el desempeño institucional y operacional. La metodología no puede ser rígida, y es necesaria una cierta flexibilidad y adaptabilidad, aunque debe garantizar la calidad.
Evaluación estratégica: Evaluación de una determinada cuestión que tiene por objeto fomentar una mejor comprensión de dicha cuestión, reducir las incertidumbres asociadas a las diferentes opciones para abordarla y ayudar a las partes interesadas a llegar a un acuerdo de colaboración aceptable. Suele adaptarse cuando el carácter urgente de la cuestión plantea grandes riesgos para las partes interesadas y ha generado opiniones contrapuestas.
Evaluación incorporada: Enfoque de la implementación que conlleva una autoevaluación relativamente continua por parte de los principales agentes y participantes, de acuerdo con criterios preestablecidos relacionados el propósito y objetivo de la asistencia.
Evaluación parcial del sistema: Evaluación que se utiliza también en las situaciones de emergencia, y que abarca solamente una parte del sistema. Puede estar relacionada con las evaluaciones temáticas o sectoriales.
Evaluación participativa: Método de evaluación en que los representantes de entidades y partes interesadas (incluidos los beneficiarios) trabajan conjuntamente en el diseño, la implementación y la interpretación de una evaluación.
Evaluación por las partes interesadas: Evaluación en la que intervienen organismos, organizaciones, grupos o particulares que tienen un interés directo o indirecto en la asistencia para el desarrollo, o que influyen en su implementación y resultado o se ven afectados positiva o negativamente por estos. Las partes interesadas trabajan conjuntamente para elaborar y finalizar instrumentos y procedimientos, formular recomendaciones y adoptar decisiones durante todo el proceso de evaluación (término conexo: Evaluación participativa, centrada en la metodología).
Evaluación sectorial: Evaluación de diversas intervenciones de ayuda dentro de un país o un grupo de países y en un mismo sector. Un sector abarca un ámbito específico de actividades, como la salud, la industria, la educación, el transporte o la agricultura.
Evaluación transversal: Evaluación sistemática de diversos informes de evaluación sobre un tipo de proyecto específico, sobre proyectos relacionados con un determinado sector, o sobre un instrumento o tema en particular, concebida para examinar y, posiblemente, actualizar las directrices vigentes en materia de política de desarrollo.
Metaevaluación: Evaluación que tiene como objetivo valorar la calidad, el fundamento, el valor y la trascendencia de una o varias evaluaciones.
Oficina de Rendición de Cuentas del Gobierno de los Estados Unidos (GAO)
1992 The Evaluation Synthesis. GAO/PEMD 10.1.2. Revisado en marzo de 1992.
Las cuestiones transversales pueden definirse como consideraciones o esferas adicionales que se entrecruzan con una intervención, o que pueden integrarse fácilmente en esta, sin perder de vista los principales objetivos de la intervención. La incorporación de una cuestión transversal suele entenderse como una estrategia para que la cuestión específica, dada su importancia, sea un elemento integrante de la concepción, la ejecución y el seguimiento y evaluación de las políticas e intervenciones de la organización. La incorporación de estas cuestiones puede variar a lo largo del tiempo, y pueden añadirse nuevas cuestiones. Además, no son necesariamente idénticas para todas las organizaciones, y no todas ellas son pertinentes para ser consideradas en una intervención..
En esta sección se abordarán las cuestiones siguientes: a) el enfoque basado en los derechos; b) la incorporación de la protección; c) la inclusión de la discapacidad; d) la integración de una perspectiva de género; e) la sensibilidad y sostenibilidad ambientales, y f) la rendición de cuentas a las poblaciones afectadas. Cabe señalar que en este anexo solo se aborda el seguimiento y evaluación de las cuestiones transversales. En caso de que estas esferas temáticas pasen a ser el objetivo principal de una intervención, ya no podrán examinarse como una cuestión transversal.
? El pliego de condiciones de la evaluación debería garantizar que las preguntas relacionadas con la integración de las cuestiones transversales pertinentes se recojan en una sección específica o bajo los criterios correspondientes, y especificar que estas se examinarán como una cuestión transversal.
| Enfoque baseado en los derechos |
|---|
|
¿En qué consiste?
El enfoque basado en los derechos es un marco conceptual y una herramienta metodológica para la elaboración de políticas y prácticas. Es la integración consciente y sistemática de los derechos, normas y reglas dimanantes del derecho internacional en la programación, con un enfoque principal en la migración, en el caso de la OIM. La incorporación de un enfoque basado en los derechos en los programas sobre migración tiene como objetivo empoderar a los titulares de derechos y fortalecer la capacidad de los garantes de esos derechos para que cumplan con su obligación de proteger a los titulares de derechos. |
|
Si bien no existe un consenso universal sobre cómo aplicar un enfoque basado en los derechos a las intervenciones en la práctica, por lo general ello incluye los siguientes elementos, que pueden aplicarse al contexto migratorio de la OIM:
|
|
Cómo efectuar el seguimiento y evaluación de un enfoque basado en los derechos
Cuando el enfoque basado en los derechos se examina como una cuestión transversal, es necesario calibrar el proceso de programación y su observancia de los principios relativos a los derechos. Estos principios pueden incorporarse a una matriz de resultados y efectuarse el debido seguimiento, o medirse sin incorporarlos a la matriz mediante la utilización de una herramienta de seguimiento. Por último, el enfoque basado en los derechos puede y se debe incluir en una evaluación, ya que esta debería abordar las cuestiones relacionadas con los derechos aunque los propios proyectos no incluyan un objetivo o resultado específico basado en los derechos. |
Las personas que participen en el seguimiento del enfoque basado en los derechos en el marco de una intervención pueden consultar asimismo el manual de la OIM titulado Enfoque de programación basado en los derechos, que incluye una sección relativa al seguimiento y la evaluación y presenta una herramienta de seguimiento en su Anexo IV.
Estas son algunas de las preguntas que se pueden formular durante los procesos de seguimiento y de evaluación a fin de asegurarse de que se ha incorporado un enfoque basado en los derechos:
Participación
- ¿Se ha implicado a las diversas partes interesadas (incluidos los titulares y garantes de derechos) en la planificación y el diseño del seguimiento y la evaluación del proyecto y en la determinación de los tipos de datos que han de recopilarse?
- ¿Se ha implicado a otras personas o grupos, por ejemplo a grupos locales de la sociedad civil o a las ONG?
- ¿Se ha incluido o implicado a los principales grupos, en particular a los grupos de titulares de derechos más marginados, en el proceso de seguimiento y evaluación?
Igualdad y no discriminación
- ¿El proceso de seguimiento y evaluación se ha diseñado específicamente para detectar o medir la discriminación contra determinados grupos a través de sus objetivos y efectos?
- ¿Los datos recopilados se han desglosado de manera adecuada, por ejemplo por edad, discapacidad, origen étnico, sexo, nacionalidad o situación migratoria, a fin de detectar las posibles lagunas en la consideración de la igualdad y la discriminación a través de los productos y efectos de la intervención?
Rendición de cuentas, transparencia e estado de derecho
- ¿Los procesos de seguimiento y evaluación están directamente vinculados a algún derecho, como la medición del cumplimiento de determinados derechos?
- ¿Los procesos de seguimiento y evaluación tienen en cuenta los distintos mecanismos de presentación de quejas existentes y cómo se atienden las quejas recibidas?
- ¿Los hallazgos del seguimiento y la evaluación se hacen públicos de forma transparente?
- ¿Los hallazgos del seguimiento y la evaluación se utilizan para impulsar cambios en la legislación o las políticas del Estado?
Durante la evaluación, el evaluador también debería tener en cuenta los siguientes consejos para asegurarse de que el enfoque basado en los derechos se ha integrado en el proceso de evaluación:
- Incluya mecanismos que garanticen que los grupos de titulares de derechos más marginados participan/ participaron en la evaluación.
- En su calidad de evaluador, hágase la siguiente pregunta: ¿Se ha incluido a todas las partes interesadas, y cómo se detectará o medirá específicamente, en el marco de la evaluación, la discriminación de determinados grupos? Por ejemplo, la evaluación puede haber sido diseñada para detectar cualquier tipo de práctica discriminatoria que pueda haberse producido durante la ejecución del proyecto o como resultado de él.
- Identifique los canales para la presentación de las quejas que puedan recibirse durante la evaluación.
Recursos de la OIM
2015b Anexo IV: Herramienta de seguimiento basada en los derechos. En: Enfoque de programación basado en los derechos. Ginebra, pág. 157.
2017a Anexo 4.2: Preguntas de orientación para incluir las cuestiones transversales en la fase de gestión y seguimiento/supervisión del ciclo de proyectos de la OIM (Módulo 4). En: Manual para proyectos de la OIM. Segunda edición. Ginebra, págs. 110–111 (enlace interno únicamente).
| Incorporación de una perspectiva de protección |
|---|
|
¿En qué consiste?
La incorporación de una perspectiva de protección se define como “la integración de principios de protección humanitaria en las respuestas a situaciones de crisis [garantizando] que las respuestas eviten los efectos negativos no intencionados (principio de “no causar daño”); se ejecut[en] en función de las necesidades; conced[an] prioridad a la seguridad y la dignidad; se bas[en] en la participación y el empoderamiento de las capacidades locales; y, en última instancia, contempl[en] la rendición de cuentas por parte de los interlocutores humanitarios frente a las personas y comunidades afectadas”. |
|
La OIM se ha comprometido a incorporar una perspectiva de protección en todos sus programas humanitarios a fin de garantizar la seguridad en su programación. La OIM aplica los siguientes cuatro principios para la incorporación de una perspectiva de protección, que son fundamentales en la repuesta a situaciones de crisis y después de una crisis:
|
|
La OIM, que se ha adherido a la declaración del Comité Permanente entre Organismos sobre la importancia de la protección en la acción humanitaria (Statement on the Centrality of Protection in Humanitarian Action), reafirma que la protección de todas las personas y comunidades afectadas y en situación de riesgo debe ser un elemento central de la adopción de decisiones humanitarias y de la respuesta antes y después de que se produzca una crisis y durante esta. Las dimensiones de movilidad de las crisis humanitarias suelen incluir flujos migratorios y patrones de movilidad complejos y en gran escala que, por lo general, comportan vulnerabilidades importantes y diversas para las personas y comunidades afectadas. En el caso de las intervenciones elaboradas en el contexto de los sectores de asistencia del Marco Operacional de la OIM en Situaciones de Crisis Migratoria |
|
La protección en la acción humanitaria puede proporcionarse a través de tres intervenciones principales:
Los proyectos que utilizan el primer enfoque, la incorporación de una perspectiva de protección, se aseguran de que las respuestas se proporcionen de un modo que cumpla cada uno de los principios de incorporación de la protección en la propia intervención. La incorporación de una perspectiva de protección es responsabilidad de todos los agentes.
La integración de la protección consiste en incorporar objetivos de protección en la programación de otras respuestas sectoriales específicas para el logro de resultados en materia de protección.”
Las actividades de protección específicas tienen como objetivo principal prevenir las vulneraciones de derechos humanos o del derecho humanitario o responder a dichas vulneraciones, o restituir los derechos de las personas especialmente vulnerables o propensas a la negligencia, la discriminación, el abuso o la explotación. Las actividades de protección independientes pueden incluir actividades destinadas a prevenir o responder a riesgos, vulneraciones o necesidades particulares en materia de protección, en particular para grupos específicos como las mujeres, los niños, las personas con discapacidad, las personas de edad, los desplazados o los migrantes.” |
|
Cómo efectuar el seguimiento y evaluación de la incorporación de una perspectiva de protección
En virtud de lo dispuesto en la Nota de orientación sobre la incorporación de una perspectiva de protección, las intervenciones pertinentes deberían determinar en qué medida la incorporación de una perspectiva de protección se integró de forma efectiva durante la implementación. Además, las evaluaciones se deberían llevar a cabo mediante la adopción de un enfoque participativo e inclusivo a fin de integrar las consideraciones relativas a la incorporación de una perspectiva de protección. Por ejemplo, durante las consultas se debería garantizar la diversidad de género y edad, y no se debería depender exclusivamente de los líderes comunitarios al identificar a los encuestados, por ejemplo en el caso de los grupos marginados. |
Para más información, sírvase consultar la Nota de orientación sobre la incorporación de una perspectiva de protección (Guidance Note on Protection Mainstreaming), que incluye una herramienta para el seguimiento y la evaluación en su Anexo 3.
|
A continuación se incluyen algunas preguntas que cabe considerar para el seguimiento y evaluación de la protección como una cuestión transversal y para garantizar la observancia de los principios de protección:
|
|
A continuación se ofrecen algunos consejos importantes para la incorporación de una perspectiva de protección en la evaluación:
|
Recursos de la OIM
2012 Marco Operacional de la OIM en Situaciones de Crisis Migratoria, MC/2355.
2016b Nota de orientación sobre la incorporación de una perspectiva de protección en las respuestas de la OIM a las situaciones de crisis (o los sectores de asistencia del Marco Operacional en Situaciones de Crisis Migratoria). IN/232.
2017a Anexo 4.2: Preguntas de orientación para incluir las cuestiones transversales en la fase de gestión y seguimiento/supervisión del ciclo de proyectos de la OIM (Módulo 4). En: Manual para proyectos de la OIM. Segunda edición. Ginebra, págs. 115-116 (enlace interno únicamente).
2018c Institutional Framework for Addressing Gender-Based Violence in Crises. Ginebra.
s.f.e Protection mainstreaming in IOM crisis response.
n.d.f Guidance Note on Protection Mainstreaming – Annex 3 (enlace interno únicamente).
Otros recursos
Comité Permanente entre Organismos
| Disability inclusion |
|---|
|
La inclusión de la discapacidad en las intervenciones de la OIM ha cobrado mayor importancia en los últimos años, en consonancia con las iniciativas impulsadas por las Naciones Unidas. La inclusión de la discapacidad requiere una atención especial a fin de integrarla plenamente, como una cuestión transversal, en los esfuerzos en materia de seguimiento y evaluación.
¿En qué consiste?
Se calcula que las personas con discapacidad representan el 15 por ciento de la población mundial. En determinados contextos humanitarios, pueden representar un porcentaje mucho mayor y figurar entre las personas más marginadas en las comunidades afectadas por una crisis. Las personas con discapacidad pueden enfrentarse a muy diversas formas de discriminación y a un mayor riesgo de estar expuestas a la violencia y el abuso, lo que también suele estar asociado a sus condiciones sociales y otras identidades entrecruzadas (como el género, la edad, la raza o los grupos indígenas).
En la Convención sobre los Derechos de las Personas con Discapacidad (CRPD) se afirma que los Estados Partes deben proteger y promover los derechos de las personas con discapacidad en sus leyes, políticas y prácticas, y deben cumplir asimismo las normas enunciadas en este instrumento cuando lleven a cabo actividades de cooperación internacional. En la CRPD, así como en los Objetivos de Desarrollo Sostenible y en el Marco de Sendái para la Reducción del Riesgo de Desastres, se establecen otras normas que protegen a las personas con discapacidad. |
|
Además de los marcos jurídicos, la labor de la OIM en lo que respecta a la inclusión de la discapacidad se guía asimismo por la Estrategia de las Naciones Unidas para la Inclusión de la Discapacidad, puesta en marcha en 2019, así como por las Directrices del Comité Permanente entre Organismos sobre la Inclusión de las Personas con Discapacidad en la Acción Humanitaria. Los compromisos contraídos por la OIM en la Cumbre Mundial sobre Discapacidad, celebrada en 2018, también son importantes para incluir la discapacidad en los programas. |
|
En la CRPD, las personas con discapacidad se definen como aquellas personas que tienen deficiencias sensoriales, físicas, psicosociales, intelectuales u otras deficiencias a largo plazo que, al interactuar con diversas barreras, pueden impedir su participación plena y efectiva en la sociedad, en igualdad de condiciones con las demás. Las intervenciones de la OIM deben garantizar que sus actividades aborden las barreras que impiden a las personas con discapacidad, en toda su diversidad, tener acceso a los servicios y/o a la protección o participar en estos, de conformidad con lo dispuesto en la CRPD. Tanto en la Estrategia de las Naciones Unidas para la Inclusión de la Diversidad como en las Directrices del Comité Permanente entre Organismos se recomienda adoptar un enfoque de doble vía que combine programas generales inclusivos con intervenciones específicas para personas con discapacidad. |
En las Directrices del Comité Permanente entre Organismos se formulan orientaciones sectoriales específicas sobre cómo asegurar la inclusión de la discapacidad en el seguimiento y evaluación de la acción humanitaria.
|
Cómo efectuar el seguimiento y la evaluación de la inclusión de la discapacidad: Para asegurar la inclusión de la discapacidad en una intervención, se recomienda observar el cumplimiento de los siguientes principios y normas: a) promover una participación significativa; b) abordar las barreras a las que se enfrentan las personas con discapacidad, y c) empoderarlas para que desarrollen sus capacidades. A continuación se formulan una serie de preguntas y las acciones necesarias para comprobar su aplicación en el marco de las intervenciones: |
|
Promover una participación significativa de las personas con discapacidad
En la intervención:
Abordar las barreras a las que se enfrentan las personas con discapacidad
En la intervención:
Empoderar a las personas con discapacidad y ayudarlas a desarrollar sus capacidades
En la intervención:
|
|
En las directrices del Grupo de Evaluación de las Naciones Unidas sobre la integración de los derechos humanos y la igualdad de género en la evaluación, en el indicador 10 sobre evaluación del marco de la Estrategia de las Naciones Unidas para la Inclusión de la Discapacidad y en las Directrices del Comité Permanente entre Organismos se establecen criterios para evaluar la labor que realiza la OIM en materia de inclusión de la discapacidad, con las consideraciones siguientes que podrían aplicarse asimismo a un análisis transversal: Las preguntas de evaluación abarcan diferentes aspectos de la inclusión de la discapacidad. Las preguntas de evaluación incorporadas en los diferentes criterios de evaluación o en un determinado criterio muestran el alcance y la calidad de la inclusión de la discapacidad. Los métodos de identificación de las partes interesadas y de recopilación de datos de la evaluación fomentan la participación de las personas con discapacidad y de las organizaciones que las representan. Las personas con discapacidad y las organizaciones de personas con discapacidad pueden enriquecer la evaluación proporcionando información de primera mano sobre su situación y experiencia. La evaluación examina si se han eliminado las barreras a fin de permitir la plena participación de las personas con discapacidad. También puede incluir un análisis del impacto a largo plazo en la vida de las personas con discapacidad y el reconocimiento de sus derechos de conformidad con las normas internacionales. |
Recursos de la OIM
s.f.e Protection mainstreaming in IOM crisis response.
s.f.g Disability inclusion SharePoint (enlace interno únicamente).
Otros recursos
Gobierno del Reino Unido
s.f. IOM’s commitments made at the Global Disability Summit in 2018.
Comité Permanente entre Organismos
2019 Directrices sobre la Inclusión de las Personas con Discapacidad en la Acción Humanitaria (en inglés).
Naciones Unidas
s.f.a Indicator 10: Evaluation. En: Entity Accountability Framework. Technical notes.
s.f.b Estrategia de las Naciones Unidas para la Inclusión de la Discapacidad.
Grupo de Evaluación de las Naciones Unidas (UNEG)
2011b Integración de los derechos humanos y la igualdad de género en la evaluación – hacia una guía del UNEG. Documento de orientación, UNEG/G(2011)2.
| Incorporación de las cuestiones de género |
|---|
|
¿En qué consiste?
La OIM ha trabajado activamente para incorporar las cuestiones de género en todas sus intervenciones. Se han publicado numerosos documentos de política y orientación para respaldar este compromiso (véase el recuadro de recursos). La Unidad de Coordinación de las Cuestiones de Género de la OIM es la encargada de promover la igualdad de género en la Organización, y propone las siguientes consideraciones y definiciones de los conceptos de género, análisis de género e incorporación de las cuestiones de género: |
|
Género: Los atributos y oportunidades sociales asociados al sexo de cada uno y a las relaciones entre personas de diferentes grupos de género y edad (por ejemplo, mujeres y hombres y niñas y niños), así como a las relaciones entre personas del mismo grupo de género. Estos atributos, oportunidades y relaciones se construyen socialmente y se aprenden mediante procesos de socialización. Son específicos de un contexto/ tiempo y cambiantes. El género determina lo que se espera, se permite y se valora en las personas en función de su sexo en un contexto determinado. En la mayoría de las sociedades existen diferencias y desigualdades entre las personas de diferentes grupos de género en cuanto a las responsabilidades asignadas, las actividades realizadas, el acceso y control de los recursos, así como las oportunidades de tomar decisiones. El género forma parte del contexto sociocultural más amplio. Análisis de género: Un examen crítico de cómo las diferencias en los roles de género, las experiencias, las necesidades, las oportunidades y las prioridades afectan a las personas de diferentes grupos de género y edad en ciertas situaciones o contextos. Este análisis se debe integrar en todas las evaluaciones sectoriales o análisis situacionales, empezando por la evaluación de las necesidades. |
|
Incorporación de las cuestiones de género: El proceso de evaluar las consecuencias que tiene para las personas de diferentes grupos de género cualquier acción planificada, incluidas la legislación y las políticas o programas, en cualquier sector y a todos los niveles. Es un enfoque para hacer de los problemas y experiencias de todas las personas una dimensión integral del diseño, la ejecución y el seguimiento y evaluación de las intervenciones en todas las esferas políticas, económicas y sociales, de manera que todos los grupos de género se beneficien por igual y no se perpetúe la desigualdad. El objetivo último es conseguir la igualdad de género. |
|
Cómo efectuar el seguimiento y la evaluación de la incorporación de las cuestiones de género
En todas sus intervenciones, la OIM trata de promover la igualdad de género y de garantizar que todos sus beneficiarios y poblaciones asistidas reciban los servicios y el apoyo que precisan, teniendo en cuenta las experiencias propias de su género de manera que las intervenciones no perpetúen las desigualdades de género.
A continuación se presentan unos cuantos puntos sencillos para garantizar la incorporación de las cuestiones de género y su seguimiento en el marco de una intervención como una cuestión transversal:
Marcador de género: El Marcador de género de la OIM es una herramienta que evalúa en qué medida las intervenciones integran las consideraciones de género. Establece un conjunto claro de normas mínimas para la incorporación de las consideraciones de género y un sistema de códigos que se asignan en función de cuántas de esas normas mínimas se cumplen. Permite a la Organización realizar un seguimiento del porcentaje de sus intervenciones y asignaciones financieras diseñadas para contribuir a la igualdad de género. El Marcador de género tiene por finalidad mejorar la calidad de las intervenciones de la OIM haciendo hincapié en la importancia de abordar las necesidades y problemas específicos de las mujeres, las niñas, los niños y los hombres, incluidas las personas que se identifican como lesbianas, gais, bisexuales, transgénero o intersexuales (personas LGBTI), así como de diferentes edades, a fin de que todos se beneficien de manera adecuada.
La evaluación puede garantizar que se preste una atención adecuada a los puntos mencionados supra (y a cualquier otra cuestión relacionada con el género), que deberían quedar debidamente reflejados en la metodología, los hallazgos/resultados, los problemas y las enseñanzas extraídas de la evaluación. La OIM ha elaborado un conjunto de orientaciones para abordar las cuestiones de género en las evaluaciones (Guidance for Addressing Gender in Evaluations), que se han incluido en el recuadro de recursos y que pueden utilizarse para examinar las cuestiones de género como elemento transversal de la intervención.
Durante la evaluación, el evaluador también debería tener en cuenta los siguientes consejos para asegurarse de que la perspectiva de género se ha integrado en la evaluación.
|
|
Las evaluaciones deberían incluir preguntas como las siguientes a fin de determinar si se ha incorporado una perspectiva de género durante el proceso:
(e) Incluya una perspectiva de género al analizar los éxitos y los problemas, las medidas adoptadas, las enseñanzas extraídas y las mejores prácticas durante el proceso de evaluación. |
En la intranet de la OIM (accesible a nivel interno para el personal de la Organización) y en su sitio web (accesible al público) figuran numerosas referencias que son útiles para el seguimiento de la inclusión de las cuestiones de género en las intervenciones de la Organización, incluso como una cuestión transversal, en particular el Marcador de género de la OIM, que se debería tener en cuenta en todas las intervenciones. El Plan de Acción para Todo el Sistema de las Naciones Unidas sobre la Igualdad de Género y el Empoderamiento de las Mujeres (ONU-SWAP) también es un recurso importante para la inclusión de las cuestiones de género.
Recursos de la OIM
2018d Guidance for Addressing Gender in Evaluations. Oficina del Inspector General.
s.f.h IOM Gender and Evaluation Tip Sheet.
s.f.i IOM Gender Marker(enlace interno únicamente).
s.f.j Gender and migration.
Otros recursos
ONU-Mujeres
s.f. Promover la rendición de cuentas de las Naciones Unidas.
| Sensibilidad y sostenibilidad ambientales | ||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
¿En qué consiste?
La sensibilidad ambiental debe abordarse en todas las intervenciones de la OIM, que deberían preservar el medio ambiente. Ninguna intervención de la OIM debería tener efectos negativos directos en el medio ambiente, y se deberían adoptar todas las medidas posibles para prevenir los daños a la biodiversidad y los ecosistemas, como la destrucción o la contaminación de los recursos naturales. La sostenibilidad ambiental consiste en atender las necesidades humanas sin comprometer la capacidad de las generaciones venideras de satisfacer sus propias necesidades y evitando causar daños irreversibles al planeta. Si se dispone de recursos y conocimientos suficientes, los proyectos de la OIM deben orientarse hacia la sostenibilidad ambiental. |
||||||||||||||
|
? Las cuestiones ambientales deberían identificarse y analizarse durante toda la intervención en el marco del análisis inicial de los riesgos, y abordarse en el plan de gestión de riesgos cuando los riesgos ambientales sean inevitables. La incorporación de la sostenibilidad ambiental ”requiere la integración de los principios de gestión, protección, conservación, mantenimiento y recuperación sostenibles de hábitats naturales y sus funciones asociadas de biodiversidad y ecosistemas.” |
||||||||||||||
|
Cómo efectuar el seguimiento y la evaluación de las consideracionas ambientales
Cuando las intervenciones no han sido específicamente diseñadas para abordar las cuestiones ambientales – como los programas de la OIM sobre la preparación para casos de desastre y la reducción del riesgo de desastres para prevenir la migración forzosa provocada por factores ambientales, o sobre la reubicación de las poblaciones de zonas afectadas por la degradación ambiental – existen varios elementos que cabe tener en cuenta en el seguimiento y la evaluación de la inclusión de la sensibilidad y sostenibilidad ambientales como una cuestión transversal.
En su documento de 2018, titulado IOM’s engagement in migration environment and climate change (Compromiso de la OIM con la migración, el medio ambiente y el cambio climático), la Organización sugiere las siguientes consideraciones para entender el nexo entre migración y medio ambiente. También se incluyen otras sugerencias en cuanto al momento en que esto podría incluirse y cómo podría efectuarse el seguimiento en el marco de una intervención como una cuestión transversal:
Las preguntas que figuran a continuación podrían incluirse en el pliego de condiciones de la evaluación a fin de asegurarse de que la sensibilidad y sostenibilidad ambientales se han integrado debidamente.
|
Recursos de la OIM
2017a Anexo 4.2: Preguntas de orientación para incluir las cuestiones transversales en la fase de gestión y seguimiento/supervisión del ciclo de proyectos de la OIM (Módulo 4). En: Manual para proyectos de la OIM. Segunda edición. Ginebra, pág. 110 (enlace interno únicamente).
2018e IOM’s engagement in migration environment and climate change. Boletín informativo.
s.f.k Migration, environment and climate change. Intranet de la OIM (enlace interno únicamente).
s.f.l Sitio web del Portal sobre migración por motivos ambientales (en inglés).
Otros recursos
Programa de las Naciones Unidas para el Desarrollo (PNUD)
2014 Social and Environmental Standards. Nueva York.
| Rendición de cuentas a las poblaciones afectadas |
|---|
|
¿En qué consiste?
La rendición de cuentas a las poblaciones afectadas es un decidido compromiso por parte de los agentes humanitarios de ejercer el poder de manera responsable, tomando debidamente en consideración a las personas a las que se proponen ayudar, dándoles explicaciones y respondiendo ante ellas. Inicialmente conocida como “rendición de cuentas a los beneficiarios”, la rendición de cuentas a las poblaciones afectadas figura en la agenda humanitaria desde hace más de dos décadas. El cambio a la denominación “rendición de cuentas a las poblaciones afectadas” se adoptó dado que la asistencia no solo incumbe a los receptores de la ayuda, sino también a la comunidad en general. Su objetivo es considerar a las poblaciones afectadas como asociados y no como beneficiarios pasivos, reconociendo su dignidad y sus capacidades, y empoderándolas en los empeños que les conciernen. La rendición de cuentas a las poblaciones afectadas lleva la rendición de cuentas más allá de la práctica limitada de la rendición de cuentas a los “beneficiarios” identificados, ya que permite llegar a aquellas personas excluidas involuntariamente de la asistencia prestada, que suelen pertenecer a grupos marginados, como la personas con discapacidad, las personas de edad o los grupos LGBTI. Además, el compromiso con la rendición de cuentas a las poblaciones afectadas difiere de la rendición de cuentas tradicional centrada únicamente en los donantes. La rendición de cuentas a las poblaciones afectadas exige que los agentes humanitarios sitúen a las personas en el centro de la respuesta, promoviendo su derecho a participar en los procesos de adopción de decisiones que les afectan y a aportar información para que los programas se adecúen y respondan a sus necesidades. |
|
La rendición de cuentas a las poblaciones afectadas adquirió especial preponderancia a través de la Agenda Transformativa (2011) y los compromisos asumidos en el marco de la Cumbre Humanitaria Mundial (2016), incluido el Gran Pacto (2016). Estas iniciativas contribuyeron a fomentar una comprensión común de la rendición de cuentas a las poblaciones afectadas en el seno de la comunidad internacional y dieron paso a una serie de compromisos institucionales, tanto colectivos como individuales, cuyo objetivo es incluir a las personas que reciben ayuda en la toma de decisiones que afectan a sus vidas, promover una colaboración verdadera con las partes interesadas locales y prevenir la explotación y el abuso sexuales. |
|
El Marco de Rendición de Cuentas a las Poblaciones Afectadas define el enfoque común de la OIM para la aplicación e incorporación de la rendición de cuentas a las poblaciones afectadas en toda su labor relacionada con las situaciones de crisis, contemplada en su Marco Operacional en Situaciones de Crisis Migratoria. Ayuda a la Organización a formular programas de calidad y adaptados a las particularidades de cada contexto, ajustándose a las necesidades cambiantes de las poblaciones y las comunidades afectadas, y a hacer cumplir su política de tolerancia cero ante la explotación y el abuso sexuales y otras faltas de conducta. Los compromisos consignados en este Marco se elaboraron en consonancia con los compromisos del Comité Permanente entre Organismos en materia de rendición de cuentas a las poblaciones afectadas y se adaptaron en consecuencia para responder eficazmente a las distintas realidades operativas de la OIM. La adhesión a los principios del Marco y el cumplimiento de los compromisos y objetivos en él consignados son obligatorios. Existen diversas maneras de aplicar e incorporar la rendición de cuentas a las poblaciones afectadas, y esa labor debe efectuarse en función de las particularidades de cada contexto. Por consiguiente, el Marco debe leerse junto con las orientaciones brindadas en el Espacio de colaboración de la OIM sobre rendición de cuentas a las poblaciones afectadas (enlace interno únicamente), cuyo objetivo es ayudar al personal de la OIM a determinar y adaptar las intervenciones de rendición de cuentas a las poblaciones afectadas. La rendición de cuentas a las poblaciones afectadas se basa en dos principios operacionales de los programas humanitarios: a) la adopción de un enfoque basado en los derechos; y b) la eficacia de la ayuda. La rendición de cuentas a las poblaciones afectadas reafirma la obligación de la OIM de respetar, hacer efectivos y proteger los derechos humanos y la dignidad humana, y el logro de estos compromisos es esencial para la formulación de programas de calidad. |
|
La OIM se ha comprometido a prestar asistencia humanitaria de un modo que respete y promueva los derechos de los beneficiarios. La Organización reconoce que suele existir una asimetría de poder intrínseca e importante en las interacciones entre los miembros del personal de la OIM y los beneficiarios. Habida cuenta de que la rendición de cuentas a las poblaciones afectadas es un decidido compromiso por parte de la OIM, la Organización entiende que esta consiste, más concretamente, en lo siguiente:
|
|
Cómo efectuar el seguimiento y la evaluación de la incorporación de la rendición de cuentas a las poblaciones afectadas Así pues, también es esencial que las comunidades a la que se presta asistencia participen en el seguimiento y la evaluación de las intervenciones de la OIM y que sus puntos de vista sobre los éxitos y los fracasos, así como sobre el impacto de la intervención, se tengan en cuenta para mejorar las prácticas y las respuestas futuras. La rendición de cuentas siempre ha estado integrada en la estructura institucional de la OIM y en sus políticas y procedimientos operativos. El seguimiento de la rendición de cuentas a las poblaciones afectadas también es necesaria para abordar la relación existente entre los beneficiarios y la OIM, y garantizar que se atienden las necesidades de las poblaciones y que estas participan en la intervención en las fases de planificación, diseño, implementación , así como de seguimiento y evaluación. El Marco de Rendición de Cuentas a las Poblaciones Afectadas puede considerarse como una referencia para las actividades de seguimiento conexas A través de sus intervenciones, la OIM se propone garantizar que todos los beneficiarios y poblaciones afectadas a los que presta asistencia reciban los servicios y el apoyo que precisan. Al examinar la rendición de cuentas a las poblaciones afectadas como una cuestión transversal, pueden formularse las siguientes preguntas de seguimiento y evaluación:
Las preguntas identificadas en cuestiones transversales anteriores, como el enfoque basado en los derechos, la protección o el género, también pueden abarcar adecuadamente elementos relacionados con la rendición de cuentas a las poblaciones afectadas. |
Recursos de la OIM
2016c Política y procedimientos relativos a la prevención de la explotación y el abuso sexuales (en inglés). IN/234 (enlace interno únicamente).
2020 Marco de Rendición de Cuentas a las Poblaciones Afectadas | IOM Publications Platform. Ginebra
s.f.m Accountability to affected populations SharePoint (enlace interno únicamente).
Haga clic AQUÍ para más información
Grupo de Evaluación de las Naciones Unidas (UNEG)
2008 UNEG Code of Conduct for Evaluation in the UN System. Documento de base, UNEG/FN/ CoC(2008).
2016 Normas y estándares de evaluación. Nueva York.
Módulo 6 del Manual para proyectos de la OIM (enlace interno únicamente)
Haga clic AQUÍ para más información
Haga clic AQUÍ para más información
Módulo 6 del Manual para proyectos de la OIM págs. 67–69 (enlace interno únicamente).
Haga clic AQUÍ para más información
IOM resources
2021 IOM quality control tool - inception report . Central Evaluation Unit.
Haga clic AQUÍ para más información.
IOM resources
2022 Guidance On Quality Management Of IOM Evaluations. Central Evaluation Unit.
2022 Quality Control Tool - Evaluation Reports. Central Evaluation Unit.
Haga clic AQUÍ para más información
IOM resources
2022 Guidance On Quality Management Of IOM Evaluations. Central Evaluation Unit.
2022 Quality Control Tool - Evaluation Reports. Central Evaluation Unit.
Haga clic AQUÍ para más información
IOM resources
n.d.a Evaluation Brief Templates. (Internal link only).
En qué consiste
El enfoque del cambio más significativo es un tipo de seguimiento y evaluación participativa.
Cuándo utilizarlo
El enfoque del cambio más significativo se conoce con distintos nombres, entre ellos “seguimiento sin indicadores” o “enfoque de los relatos”, ya que no utiliza indicadores del desempeño y la respuesta a la pregunta de cómo se ha producido el cambio se formula en forma de relato. En este sentido, el enfoque del cambio más significativo es un instrumento muy útil para explicar cómo y cuándo ocurre el cambio, por lo que también puede ser útil para ayudar a formular una teoría del cambio.
Cómo se aplica
Si bien los especialistas pueden no estar de acuerdo en cuanto al número de etapas que comprende la utilización de un enfoque del cambio más significativo, estas pueden resumirse, básicamente, en tres etapas fundamentales:
- Los grupos de principales partes interesadas de distintos niveles jerárquicos (como el personal sobre el terreno, el personal de programas o los donantes) deciden conjuntamente qué tipo de relatos/historias sobre el cambio significativo deberían recopilarse. Como estos relatos llegan directamente del terreno, las principales partes interesadas determinan los ámbitos generales de cambio y la frecuencia con que han de ser objeto de seguimiento, por ejemplo los cambios en la vida de las personas.
- Después de analizar los relatos recopilados, estos pasan por la criba de los distintos niveles de autoridad que normalmente existen en una organización, y en cada uno de ellos se identifica un cambio más significativo, además de proporcionarse una explicación detallada de los criterios de selección.
- Los relatos se comparten y los valores y los criterios de selección se examinan con las partes interesadas, lo que contribuye al aprendizaje.
Puntos fuertes y limitaciones
El enfoque del cambio más significativo no solo fomenta el proceso de aprendizaje a partir de los relatos, ya que proporciona información sobre los efectos no intencionales, sino que también ayuda a aclarar los valores que comparten las distintas partes interesadas con respecto a los criterios que definen el éxito. Cabe señalar que el enfoque del cambio más significativo, por sí solo, no basta para llevar a cabo un análisis del impacto, ya que no explica suficientemente por qué ocurre el cambio y proporciona información sobre los extremos, en lugar de la experiencia corriente. Una de sus limitaciones es que lleva mucho tiempo y requiere un seguimiento exhaustivo y numerosas reuniones de las partes interesadas..
Asadullah, S. y S. Muñiz
2015 Participatory Video and the Most Significant Change: A guide for facilitators. InsightShare, Oxford.
Davies, R. y J. Dart
2005 The ‘Most Significant Change’ Technique – A Guide to Its Use.
Red Panasiática del Centro de Investigaciones para el Desarrollo Internacional
2008 Jess Dart – Most significant change, part I. Video.
Overseas Development Institute (ODI)
2009 Strategy Development: Most Significant Change. Conjunto de herramientas.