Cabe distinguir cuatro funciones importantes en el proceso de evaluación: a) la persona que encarga la evaluación; b) el gestor de la evaluación; c) el evaluador, y d) el usuario de la evaluación.

	La persona que encarga la evaluación es la parte o la parte interesada que decide que se debería llevar a cabo una evaluación. Puede tratarse del gestor de un programa de la OIM, del Jefe de Misión pertinente de la Organización, de un especialista temático de una unidad de la Sede o de una oficina regional o en el país, de un donante o de una combinación de varias de estas partes interesadas.
	El gestor de la evaluación es la persona encargada de gestionar la evaluación. El supervisor a cargo de la evaluación puede pertenecer a la misma entidad u oficina que encomendó la evaluación. En la OIM, en la mayoría de los casos el gestor de la evaluación es el gestor de un programa o proyecto. Cabe señalar que, a veces, varias partes interesadas pueden formar parte de un comité de gestión de la evaluación, en cuyo caso supervisarán conjuntamente el proceso de evaluación.
	El evaluador se encarga de realizar la evaluación. Los evaluadores pueden ser consultores externos, miembros del personal de la OIM o evaluadores contratados por la Organización, los donantes, las organizaciones asociadas o los gobiernos.
	Los usuarios de la evaluación son actores clave para garantizar el aprovechamiento pleno y los beneficios de la evaluación. Puede tratarse de usuarios directos que, por ejemplo, tengan un interés especial en la aplicación de las recomendaciones o la rendición de cuentas, o de usuarios indirectos que pueden estar más interesados en la dimensión de aprendizaje de la evaluación.
Además de estas funciones, la participación de otras partes interesadas y grupos de referencia puede desempeñar una importante función, por ejemplo en lo que respecta al aseguramiento de la calidad. Si desea más información sobre los grupos de referencia, sírvase consultar el recuadro de información.
	En las Normas y estándares de evaluación (2016) del Grupo de Evaluación de las Naciones Unidas (UNEG) se explica de manera más detallada la participación de las partes interesadas y los grupos de referencia8 . Concretamente, en el documento se indica que “promover una participación inclusiva y diversa de las partes interesadas en la planificación, el diseño, la realización y el seguimiento de las evaluaciones resulta fundamental para garantizar su apropiación, pertinencia, credibilidad y utilización. A tal efecto deben diseñarse grupos de referencia y otros mecanismos de participación de las partes interesadas”.9 La participación de las partes interesadas y los grupos de referencia se recomienda cuando las evaluaciones son complejas, o abarcan varios países y programas, con una amplia gama de partes interesadas. En estos casos, esos grupos pueden ser especialmente útiles y pueden garantizar un enfoque más participativo durante la evaluación.

• 8UNEG, 2016.
• 9Ibid., pág. 24.

En el Módulo 6 del Manual para proyectos de la OIM, publicado en 2017, se esbozaban las tres fases del proceso de evaluación: a) la planificación de las evaluaciones; b) la gestión de las evaluaciones, y c) la utilización de las evaluaciones.11 En las Directrices de la OIM relativas al seguimiento y la evaluación se propone, en cambio, un proceso en tres fases que incluye las fases siguientes:12

• 11Módulo 6 del Manual para proyectos de la OIM, pág. 6 (enlace interno únicamente).
• 12Adaptado de Banco Mundial, 2015.

El primer paso al planificar una evaluación es definir su finalidad y evaluabilidad. La finalidad de la evaluación describe el motivo general por el cual se está llevando a cabo la evaluación y sus resultados previstos. Los organismos y organizaciones pueden emplear una terminología distinta, y la OIM no tiene ningún inconveniente en aceptarla al preparar el pliego de condiciones de la evaluación.

A continuación se formulan algunas preguntas orientativas que pueden utilizarse para definir la finalidad de una evaluación:

El análisis de la evaluabilidad (es decir, de la viabilidad) de una evaluación es una parte esencial del proceso de planificación de una evaluación, que aumenta la probabilidad de que la evaluación proporcione información creíble en tiempo oportuno o permite limitar su alcance.18 Alienta a los gestores de la evaluación a establecer expectativas realistas con respecto a la evaluación, sobre la base de las realidades contextuales existentes sobre el terreno, incluidas las realidades financieras y los plazos, así como sobre los mecanismos de seguimiento y recopilación de datos instaurados.

Es importante examinar los documentos o estrategias pertinentes del proyecto a fin de ver lo que ya ha sido acordado con el donante o a nivel institucional y gubernamental. Habida cuenta de que puede haber transcurrido algún tiempo desde que se comenzara a planificar la intervención que cabe evaluar, también es importante reexaminar las decisiones tomadas hasta el momento en el marco de la intervención a fin de asegurarse de que las decisiones anteriormente adoptadas sigan siendo válidas al llevar a cabo la evaluación. El gestor de programas puede tener que examinar los cambios previstos con el donante.

El proceso de planificación de una evaluación implica tener que adoptar decisiones de compromiso, ya que el gestor de la evaluación tendrá que sopesar el costo y la viabilidad de los diferentes diseños de la evaluación, así como los beneficios de la evaluación (operativos, institucionales y estratégicos).

Para definir la finalidad y analizar la evaluabilidad de una evaluación, los gestores deben conocer los tipos más comunes de evaluaciones, metodologías y criterios de evaluación. Comprender estos conceptos, así como los requisitos y aspectos técnicos, también puede ayudarles a gestionar sus evaluaciones de manera más eficaz.

Tipos de evaluación

Los tipos de evaluación pueden definirse en función de los siguientes elementos, y las evaluaciones pueden ser una combinación de las diferentes categorías:

Tipo de evaluación en función del momento

Se realiza una distinción en función del momento del ejercicio de evaluación, es decir, de en qué momento durante el ciclo de vida de la intervención se lleva a cabo la evaluación.

Tipos de evaluación en función de la finalidad

Las evaluaciones, definidas en función de su finalidad, pueden ser formativas o sumativas. La evaluación formativa se lleva a cabo durante la ejecución a fin de mejorar el desempeño. Tiene por objeto ayudar a los gestores a ajustar y mejorar la implementación del proyecto, programa o estrategia sobre la base de los hallazgos y de las sugerencias y necesidades de las partes interesadas. Una evaluación sumativa se lleva a cabo al terminar el plazo de una intervención, así como en beneficio de las partes interesadas que no participan directamente en la gestión de la implementación (por ejemplo, los donantes). Proporciona información sobre la eficacia de la intervención y ofrece la oportunidad de aplicar las mejores prácticas identificadas durante la evaluación. Una evaluación sumativa puede fundamentar la adopción de decisiones de más alto nivel, por ejemplo para ampliar una intervención, consolidarla o seguir financiando las etapas de seguimiento.

Según la finalidad de la evaluación
Evaluación formativa		Evaluación sumativa
	Efectuada durante la implementación Destinada a los gestores y los agentes directos Rectifica y mejora el proyecto o programa		Efectuada al final de un proyecto o programa Dirigida a aquellos que no participan Proporciona información sobre la eficacia de un proyecto Ofrece la oportunidad de aplicar las mejores prácticas identificadas durante la evaluación Fundamenta la adopción de decisiones de más alto nivel para las actividades de seguimiento

Tipos de evaluación en función de quién la lleva a cabo

Se realiza una tercera distinción en función de las personas que llevan a cabo el ejercicio de evaluación. Existen tres tipos de evaluación según quién lleve a cabo la evaluación: a) evaluación interna; b) evaluación externa, y c) evaluación mixta.

• 18UNEG, 2016.
• 19Cosgrave et al., 2009.
• 20Algunos definen las autoevaluaciones como todas las evaluaciones realizadas en una organización, incluidas las llevadas a cabo por consultores externos, que no son responsabilidad de las oficinas de evaluación centralizada e independiente ni son gestionadas por estas, y se financian con mecanismos y un presupuesto independientes.
• 21Ibid.

El costo y las implicaciones logísticas de cada tipo de evaluación también variarán en función de quién la realice. Si se contrata a evaluadores externos (o a una empresa de evaluación) para llevar a cabo la evaluación, estos cobrarán honorarios por dicho servicio. Los honorarios de los evaluadores variarán según su experiencia, sus calificaciones y su ubicación (los evaluadores contratados localmente, con una experiencia equivalente, pueden ser menos costosos que los contratados a nivel internacional), y dependerán asimismo de la complejidad y la dificultad de la tarea encomendada. También pueden cobrarse honorarios adicionales si es necesario viajar a lugares no seguros. La suma que deberá consignarse en el presupuesto en concepto de honorarios de los evaluadores también depende de si la evaluación corre a cargo de un único evaluador o de un equipo de evaluación.

Para obtener más información sobre la decisión de seleccionar a un único evaluador o a varios evaluadores, véase la subsección de este capítulo titulada Selección de los evaluadores.

Si un miembro del personal de la OIM procedente de una oficina distinta de la Organización, es decir, de una oficina que no participa en el proyecto, realiza una evaluación interna, los gastos por el tiempo pasado en el país para llevar a cabo la evaluación deberán considerarse como gastos de viaje en comisión de servicio. En el caso de una autoevaluación interna, o de las evaluaciones realizadas por un miembro del personal de la oficina encargada de la implementación, normalmente no se incurrirá en gastos conexos, salvo los relacionados con la recopilación y el análisis de datos (por ejemplo, en el caso de las encuestas que requieran la contratación de encuestadores o de las visitas sobre el terreno).

? Para obtener más información sobre la presupuestación de la evaluación en una intervención de la OIM, véase el Anexo 5.1. Presupuestación de la evaluación.

Tipos de evaluación en función de las características específicas y el alcance

El cuarto grupo de tipos de evaluación se define en función de las características específicas y el alcance. Este es el grupo más diverso, y a continuación se presentan los tipos más comunes de evaluación, con referencias adicionales facilitadas en el recuadro de recursos y en los anexos. El alcance de una evaluación permite comprender qué abarcará la evaluación y qué tipo de evaluación se realizará.

La OIM suele realizar evaluaciones de programas y proyectos que examinan, respectivamente, un conjunto de actividades agrupadas para lograr objetivos de asistencia específicos a nivel mundial, regional, nacional o sectorial, y una actividad individual diseñada para lograr objetivos específicos con un plazo y presupuesto dados. La OIM también puede realizar evaluaciones de una estrategia o una política. Estas pueden utilizar enfoques similares a los empleados en las evaluaciones de un programa o proyecto. Además, la OIM lleva a cabo evaluaciones temáticas que examinan determinados aspectos o cuestiones transversales en diferentes tipos de asistencia (como la pobreza, el medio ambiente o el género).

Los tipos de evaluación indicados a continuación son relativamente habituales en el contexto de la OIM, así como en las actividades de cooperación realizadas a nivel internacional, por lo que son dignos de mención. Una evaluación de los procesos examina la dinámica interna de las organizaciones encargadas de la implementación, sus instrumentos de política, sus mecanismos de prestación de servicios, sus prácticas en materia de gestión y las interrelaciones existentes entre estos. Una evaluación de los programas en los países o de la asistencia en los países es más habitual en los organismos de las Naciones Unidas y en la asistencia bilateral, que utilizan enfoques de programación por países, y se define como una evaluación de la cartera de proyectos de desarrollo de uno o más donantes o de un organismo.

Además, la OIM también realiza metaevaluaciones, cuyo objetivo es valorar la calidad, el fundamento, el valor y la trascendencia de una o varias evaluaciones. 24   También se alienta a llevar a cabo evaluaciones de síntesis, ya que estas ofrecen la oportunidad de identificar patrones y definir los elementos comunes. 25

Las evaluaciones también pueden definirse en función de sus especificidades técnicas y del enfoque que se utilizará durante la evaluación, por ejemplo, una evaluación participativa, que puede definirse como un método de evaluación en el que los representantes de los organismos y las partes interesadas (incluidos los beneficiarios) trabajan conjuntamente en el diseño, la realización y la interpretación de una evaluación. Si bien merece la pena destacar el esfuerzo de colaboración, este también comporta algunas limitaciones de organización que hacen que este ejercicio sea relativamente complejo. También se debería realizar una distinción entre la evaluación participativa y las técnicas participativas. Estas últimas consisten, por ejemplo, en grupos focales o en reuniones preparatorias, y pueden incluirse como un enfoque de evaluación con independencia de los demás tipos de evaluación seleccionados.

• Para obtener más información sobre los tipos de evaluaciones en función del alcance y las características específicas, así como sobre otros tipos de evaluación comprendidos en esta categoría, véase el Anexo 5.2. Lista ampliada de los tipos de evaluación en función de sus características específicas y su alcance.

• 24Una metaevaluación es un instrumento utilizado para agregar los hallazgos de una serie de evaluaciones. También conlleva una evaluación de la calidad de esta serie de evaluaciones y de su conformidad con las buenas prácticas establecidas en materia de evaluación. Véase Ministerio de Asuntos Exteriores (Dinamarca), 2004.
• 25 Una evaluación de síntesis es “un procedimiento sistemático para organizar los hallazgos de varios estudios de evaluación dispares, lo que permite a los evaluadores reunir los resultados de diferentes informes de evaluación y formular preguntas acerca de ese grupo de informes”. Véase Oficina General de Contabilidad, 1992 (en 2004, esta pasó a denominarse Oficina de Rendición de Cuentas del Gobierno), The Evaluation Synthesis.

Una evaluación del impacto consiste en determinar todos los cambios a largo plazo derivados de la intervención, incluidos los cambios positivos y negativos, primarios y secundarios, producidos por la intervención de manera directa o indirecta, intencionada o involuntaria.

Criterios de evaluación

La evaluación utiliza una serie de criterios para la valoración de una intervención. Los criterios de evaluación son normas mediante las cuales se aborda una intervención. Si bien existen varios criterios, la OIM utiliza principalmente dos referencias consolidadas en lo que se refiere a los criterios de evaluación: a) los criterios del CAD-OCDE, inicialmente elaborados para las intervenciones orientadas al desarrollo y ajustados en diciembre de 2019 con objeto de que también fueran pertinentes para las intervenciones humanitarias, y b) los criterios de la Red de Aprendizaje Activo para la Rendición de Cuentas y el Logro de Resultados (ALNAP), que fueron elaborados para las intervenciones humanitarias.

• 29Humanitarian Coalition, s.f.; Módulo 6 del Manual para proyectos de la OIM, pág. 19 (enlace interno únicamente).
• 30 Ibid.
• 31El CAD-OCDE adoptó sus criterios revisados el 10 de diciembre de 2019, entre los cuales figuraba el nuevo criterio de la “coherencia”. Los criterios revisados, junto con un folleto explicativo, pueden consultarse en OCDE, s.f.

La comunidad de evaluadores utiliza habitualmente los criterios del CAD-OCDE. Estos criterios fueron actualizados y ajustados en 2019 y, entre otras cosas, se añadió el nuevo criterio de la “coherencia”. En el cuadro que figura infra se reflejan esos cambios.

Además de las definiciones actualizadas, también se incluyen ejemplos de preguntas de evaluación en relación con cada criterio.

Criterios de evaluación del CAD-OCDE y la ALNAP

La atención prestada a determinados criterios puede variar en las distintas etapas del ciclo de vida de la intervención. En una evaluación ex ante, por ejemplo, la atención podría centrarse en la pertinencia, mientras que en una evaluación intermedia, esta podría pasar a centrarse en la eficacia y la eficiencia de manera que puedan formularse recomendaciones de mejora durante la implementación. Al final del ciclo de vida, las evaluaciones finales y ex post pueden evaluar mejor el desempeño general, la sostenibilidad y el impacto de la intervención. Ahora bien, los criterios de evaluación deben tener en cuenta en todo momento los requisitos específicos de la evaluación y los intereses de los usuarios finales y de otras partes interesadas.

La parte que encarga la evaluación o el gestor, en consulta con las partes interesadas pertinentes, seleccionará los criterios de evaluación que deberán utilizarse y las preguntas a las que habrá que responder. Los criterios seleccionados deben indicarse claramente en el mandato y reflejar debidamente la finalidad y el alcance de la evaluación.

• 33Ibid., p. 7.
• 34Buchanan-Smith y otros, 2016, pág. 113.
• 35OCDE, 2019,, pág. 9.
• 36Buchanan-Smith y otros, 2016, pág. 114.
• 37OCDE, 2019, pág. 10.
• 38Buchanan-Smith y otros, 2016, pág. 113.
• 39 Ibid., p. 114.
• 40 Ibid.
• 41OCDE, 2019, pág. 11.
• 42Buchanan-Smith y otros, 2016, pág. 113.
• 43OCDE, 2019, p. 11.
• 44Buchanan-Smith y otros, 2016, pág. 113.
• 45OCDE, 2019, pág. 13.
• 46Buchanan-Smith y otros, 2016, pág. 114.

El pliego de condiciones de la evaluación es una herramienta clave de estructuración y planificación para gestionar una evaluación, ya que proporciona información clara y detallada sobre los objetivos y el alcance de la evaluación, así como sobre las funciones y responsabilidades de las partes que intervienen en la evaluación, como el gestor de la evaluación, el/los evaluador(es), los usuarios de la evaluación o los posibles asociados. También ofrece información sobre el momento, la metodología y el presupuesto de la evaluación. Un pliego de condiciones mal formulado puede causar confusión y traducirse en expectativas y un enfoque distintos entre las partes implicadas. Comprender claramente los distintos tipos y criterios de evaluación esbozados en las secciones anteriores ayudará a formular el pliego de condiciones de la evaluación. El pliego de condiciones forma parte del acuerdo contractual suscrito entre la OIM y los evaluadores contactados, ya que esboza las obligaciones del evaluador en todas las etapas del proceso, así como las expectativas de la parte que encarga la evaluación o de su gestor.

Como parte de la fase de planificación y, después de haber definido la finalidad y la evaluabilidad de una evaluación prevista y de haber elaborado el pliego de condiciones, debe iniciarse un proceso de selección de los evaluadores, en consonancia con lo que ya ha sido acordado en la propuesta o el pliego de condiciones del proyecto.

Evaluadores internos frente a evaluadores externos

En el cuadro que figura a continuación se ofrecen algunos consejos acerca de las ventajas de recurrir a evaluadores internos o externos:

Nota: Adaptado del Módulo 6 del Manual para proyectos de la OIM, pág. 25 (enlace interno únicamente).

Se puede recurrir a un equipo mixto de evaluadores internos y externos, cuyas funciones y responsabilidades se definirán de acuerdo con los puntos fuertes indicados supra. Así, por ejemplo, un evaluador externo podría beneficiarse de los conocimientos que posee el evaluador interno sobre la Organización al preparar el informe inicial y centrarse en la metodología, habida cuenta de sus conocimientos especializados en materia de evaluación.

La duración prevista, el momento y la complejidad de la evaluación también pueden influir en la selección. Una evaluación puede llevar bastante tiempo y puede exigir viajar a distintos lugares, lo que puede tener consecuencias si se recurre a un evaluador interno, ya que este tendrá que seguir desempeñando sus tareas habituales al llevar a cabo la evaluación y puede que solo esté disponible para realizar una visita sobre el terreno más breve. El supervisor del evaluador interno también puede ser reacio a liberar a funcionarios durante un tiempo y una ausencia de mayor duración. Para terminar su evaluación, los evaluadores internos pueden tener que trabajar en un informe de evaluación durante un periodo medio de tres meses, sin dejar de cumplir las responsabilidades que conlleva su puesto a tiempo completo.

Por consiguiente, se deben considerar la cuestión del momento y las limitaciones relacionadas con la selección de un evaluador, y el proceso de contratación debe iniciarse mucho antes de la fecha de inicio prevista del ejercicio de evaluación que llevarán a cabo los evaluadores. La contratación de un evaluador externo requiere que la OIM convoque un concurso para evaluadores a fin de organizar un proceso de selección y proceder a la aprobación y firma del contrato de conformidad con los procedimientos pertinentes, lo que también puede llevar algún tiempo. Esos procedimientos no son necesarios en el caso de un evaluador interno, pero su disponibilidad debe negociarse con el supervisor del posible evaluador en la OIM, y puede necesitarse más tiempo para terminar el ejercicio, habida cuenta de las tareas que ya desempeña el personal interno, como se ha indicado supra.

Selección de los evaluadores

Paralelamente a la decisión de seleccionar a un evaluador interno o externo, también cabe considerar la posibilidad de recurrir a varios evaluadores en lugar de a uno solo. Por ejemplo, puede ser necesario recurrir a un equipo si se requieren conocimientos especializados específicos para analizar el desempeño de una intervención (como los de un ingeniero para examinar el componente de un programa relacionado con la construcción o los de un especialista en salud para examinar la respuesta a una determinada enfermedad en el marco de un programa) o si otros evaluadores nacionales pueden aportar un valor añadido al ejercicio (por ejemplo, en el caso de intervenciones complejas que requieren conocer bien el contexto nacional, a las partes interesadas o la política). La parte que encarga la evaluación, el gestor de la evaluación o el comité de gestión pueden determinar qué opción es la más indicada para llevar a cabo la tarea, incluirla en el pliego de condiciones y ajustar el proceso de selección en consecuencia.

Los principales puntos que deben considerarse al optar por un único evaluador o por un equipo pueden resumirse de la siguiente manera:

• Complejidad de la evaluación: Si la evaluación requiere le recopilación de datos abundantes, visitas exhaustivas y reiteradas sobre el terreno, su alcance abarca diversos países, combina varios métodos específicos de recopilación de datos, debe realizarse en varios idiomas o requiere la perspectiva de un evaluador nacional, un equipo de evaluación puede ser más indicado para llevar a cabo la evaluación.
• Duración de la evaluación: Si el periodo de tiempo en el que se debe llevar a cabo la evaluación es breve, puede ser más apropiado optar por un equipo, ya que sus miembros podrán colaborar y terminar la evaluación en un plazo más breve.
• Múltiples ámbitos de competencia: Si una evaluación requiere distintos ámbitos de competencias muy específicas que no posee un único evaluador, tal vez sea necesario considerar la posibilidad de seleccionar un equipo de evaluación que satisfaga estos requisitos a través de sus distintos miembros.

Proceso de selección

En esta sección se examina el proceso de selección para la contratación de uno o varios evaluadores externos, lo que puede hacerse principalmente mediante la aplicación de lo siguiente: a) la contratación de un consultor individual, o b) la contratación de una empresa de consultores o proveedor de servicios. Este proceso solo se aplica a los evaluadores externos, ya que los evaluadores internos de la OIM han sido identificados previamente (a escala mundial y regional) y pueden ser contratados mediante la negociación directa con su supervisor.

Selección de consultores individuales

Para la contratación de un único evaluador, se emite una convocatoria para evaluadores, en la que se incluirán el pliego de condiciones de la evaluación (véase el Anexo 5.4. Modelo de pliego de condiciones de la evaluación) y los siguientes elementos adicionales:

• Requisitos: Lista de competencias exigidas al consultor;
• Instrucciones para la presentación de la candidatura: Ello debería incluir qué documentos adicionales se espera que se presenten junto a la candidatura, como informes de evaluación anteriores. También debería incluir el plazo para la presentación de la candidatura y la información de contacto de la persona a la que se debería enviar dicha candidatura.

Una vez recibidas las candidaturas, el gestor de la evaluación o el comité de evaluación las evalúan y confeccionan una lista de candidatos preseleccionados. La OIM ha elaborado una planilla de calificación para la valoración de las candidaturas (véase el Anexo 5.6) para las evaluaciones, que es una herramienta útil en el proceso de selección. Una vez terminada la selección, el gestor de la evaluación o el gestor del programa prepararán un contrato, de conformidad con las instrucciones de la OIM relativas a la contratación de consultores (IN/84 Directrices para la selección y empleo de Consultores (enlace interno únicamente)).

Selección de una empresa de consultores

Para la selección de un equipo de evaluación, se hace una solicitud de presentación de propuestas de conformidad con las instrucciones de la OIM en materia de adquisiciones que figuran en el Manual de adquisiciones de la OIM (enlace interno únicamente). Aquí encontrará un modelo de Solicitud de presentación de propuestas para las evaluaciones, en caso de que se precisen los servicios de una empresa de consultores (enlace interno únicamente).

El proceso de seguimiento de la implementación de la evaluación no solo implica supervisar a los evaluadores, sino también gestionar y organizar la recopilación de documentos y otros materiales necesarios para la evaluación, y organizar las visitas sobre el terreno, las entrevistas y las encuestas por escrito, así como mantener la comunicación con las principales partes interesadas.

Al comienzo de esta fase, el gestor de la evaluación, la parte que encarga la evaluación, el comité de gestión de la evaluación (de haberlo) y el/los evaluador(es) seleccionado(s) deberían examinar conjuntamente el pliego de condiciones para asegurarse de que no haya observaciones, preguntas o puntos clave que deban volver a negociarse. También es una práctica habitual organizar una reunión de gestión al principio del proceso de evaluación para asegurarse de que el gestor de la evaluación, el/los evaluador(es) y las partes interesadas (si procede) tengan una comprensión común del proceso de evaluación y de las diferentes funciones y responsabilidades. Además, se debería pedir a los evaluadores que elaboren un informe inicial. Ello permitirá comprender cómo entienden el pliego de condiciones de la evaluación y proporcionará información útil sobre la manera en que llevarán a cabo la evaluación (para obtener más información sobre el informe inicial, véase la sección Productos de la evaluación). Todo cambio resultante del examen del informe inicial debería estar bien documentado y reflejarse en los documentos pertinentes y/o el pliego de condiciones. En esta etapa, el gestor de la evaluación ya debería haber proporcionado al evaluador o los evaluadores los documentos fundamentales para comenzar la evaluación, y podrán compartirse recursos adicionales cuando se llegue a un acuerdo final sobre la labor que habrá de realizarse.

La clara definición de las funciones y responsabilidades de todas las partes que intervienen directamente en la evaluación también es esencial para una implementación adecuada, y cada parte deberá realizar las tareas que se le hayan encomendado y respetar los plazos para garantizar la calidad.

Se espera de los evaluadores que proporcionen varios productos fundamentales, que deberían indicarse claramente en el pliego de condiciones. Cada uno de estos productos se esboza a continuación, con información clave sobre su contenido y posible estructura.

• 48OIM, 2019.

Examinar el proyecto de informe de evaluación y proporcionar información sobre este es una etapa fundamental del proceso de evaluación. La participación de la parte que encarga la evaluación, del gestor de la evaluación (o comité de gestión) y de otras partes interesadas clave en este proceso garantiza asimismo que todos los usuarios previstos de la evaluación reciban la información que precisan. Si esto no se realiza correctamente, se corre el riesgo de que los usuarios desacrediten la evaluación una vez publicada. Esta etapa permite instaurar un proceso transparente y abierto para examinar la evaluación antes de su finalización.

Cuando los evaluadores entreguen el proyecto de informe, el gestor de la evaluación debería coordinar las observaciones y las respuestas y consolidar toda la información recibida para volver a presentarla sin demora al evaluador. Esta información debería centrarse en los aspectos técnicos de la evaluación y en datos objetivos. Tenga presente que el evaluador tiene la obligación de corregir los datos, pero no de revisar (ni se le debería pedir que lo haga) los hallazgos, las conclusiones o las recomendaciones de un modo que sea incompatible con los datos presentados, ya que ello es contrario a los principios éticos del proceso de evaluación.

En caso de que se planteen cuestiones importantes en la etapa final de la presentación de informes, el evaluador y el gestor deberían volver a evaluar el proceso y elaborar un plan para abordar esas cuestiones. Los problemas deberían evaluarse detenidamente a fin de determinar si se han cometido errores y si estos pueden corregirse. Todas las partes pueden velar asimismo por que las recomendaciones incluidas en el informe sean aceptables y viables.

Si el gestor de la evaluación y los evaluadores no llegan a un acuerdo sobre la interpretación de los datos o sobre las conclusiones y recomendaciones derivadas de esa interpretación, el primero puede preparar una opinión de la Administración, en la que se pongan de relieve los desacuerdos, con las justificaciones pertinentes.49

En general, el proceso de examen del informe final no debería constituir otra ocasión para proporcionar información nueva a los fines de la evaluación, ya que la información pertinente se debería haber facilitado durante las fases de recopilación y análisis de datos. Ahora bien, si acaba de ponerse a disposición nueva información pertinente, o si un acontecimiento reciente o simultáneo ha afectado al análisis o a las recomendaciones (tal como ocurrió con la crisis inesperada de la COVID-19), el gestor de la evaluación debería comentárselo al evaluador, y podrá asignarse más tiempo para incorporar la información y los datos nuevos en el informe o en un anexo (por ejemplo, para examinar de qué manera afecta la COVID-19 a las recomendaciones ya formuladas).

• 49Para más referencias, véase OIM, 2019, pág. 5..

Una vez que el evaluador haya recibido la información consolidada, este revisará el informe, según sea necesario, y presentará la versión final.

La comunicación de los avances de la evaluación es fundamental para garantizar la presentación de informes de calidad y pertinentes, y cada una de las partes tiene una función que desempeñar, en particular a nivel de los gestores de la evaluación y de los evaluadores. Mantener normas de calidad para una evaluación es especialmente importante, ya que ello también aumenta la credibilidad y la objetividad del ejercicio. Las normas de calidad garantizan que las evaluaciones se lleven a cabo en consonancia con los requisitos de procedimiento y técnicos, así como con las normas y estándares de evaluación aplicadas en la Organización50 . Estas normas contribuyen asimismo a la presentación de información exacta y útil y al seguimiento periódico de la calidad de las evaluaciones.

Cada actor de la evaluación puede contribuir al logro de normas de calidad mediante la aportación de insumos pertinentes. El control de la calidad incumbe primordialmente al gestor de la evaluación, el cual debería garantizar que la evaluación se lleve a cabo de conformidad con la política y las orientaciones de la OIM en materia de evaluación, así como con los requisitos y normas acordados con otras partes interesadas, por ejemplo con el donante de la intervención51 . El gestor de la evaluación y los evaluadores tienen la responsabilidad de garantizar que, en todas las etapas del proceso de evaluación, las actividades se lleven a cabo de conformidad con las normas de calidad establecidas.

La Oficina del Inspector General recomienda utilizar las listas de verificación de la calidad del UNEG para examinar la observancia de las normas de calidad. Se han elaborado dos listas distintas en consonancia con las normas y estándares del UNEG: a) la lista de verificación de la calidad de los pliegos de condiciones y los informes iniciales de evaluación del UNEG (UNEG Quality Checklist for Evaluation Terms of Reference and Inception Reports)y b) la lista de verificación de la calidad de los informes de evaluación del UNEG (UNEG Quality Checklist for Evaluation Reports).

La OIM tiene previsto publicar su propia herramienta de control/aseguramiento de la calidad, que podrán utilizar los gestores de la evaluación al examinar los informes.53

• 50Por lo que se refiere a sus normas de calidad, la OIM utiliza las Normas y estándares de evaluación del UNEG de junio de 2016. Para más información, véase el capítulo 2, Normas, reglas y gestión del seguimiento y la evaluación.
• 51El control de la calidad se define como “la parte de la gestión de la calidad orientada al cumplimiento de los requisitos de calidad”. Es una actividad relacionada con el aseguramiento de la calidad, que es la “parte de la gestión de la calidad orientada a proporcionar confianza en que se cumplirán los requisitos de calidad”. Las actividades de control de la calidad deberían realizarse a nivel de los gestores de la evaluación, y el aseguramiento de la calidad es responsabilidad de la función de evaluación centralizada de una organización. Véanse las definiciones de la norma ISO 9000:2015: Sistemas de gestión de la calidad en ASQ, s.f.
• 52Adaptado de Banco Mundial, 2015..
• 53Esta herramienta, de próxima publicación, se utilizará como una lista de verificación y guía del control de calidad, que llevará a cabo el gestor de la evaluación, y se ampliará con sistemas de calificación a los efectos del aseguramiento de la calidad. También se utilizará para elaborar un mecanismo de aseguramiento de la calidad, que permitirá la valoración sistemática de los informes de evaluación a fin de garantizar el mantenimiento de los niveles de calidad.

Una vez aprobado el informe final, la parte que encarga la evaluación o el gestor de la evaluación deberían ocuparse del seguimiento de las recomendaciones de la evaluación, en coordinación con el personal directivo superior y las partes interesadas en el proyecto, según corresponda. La parte que encarga la evaluación y el gestor deberían examinar y abordar con las entidades pertinentes cómo los hallazgos del informe se darán a conocer también a un público más amplio. Seguidamente, el gestor de la evaluación finalizará la matriz de respuesta de la Administración elaborada por el evaluador, de acuerdo con las instrucciones facilitadas en la publicación de la OIM titulada Respuesta de la Administración y seguimiento de las recomendaciones de la OIM relativas a la evaluación (Management Response and Follow-Up on IOM Evaluation Recommendations).

La matriz de respuesta de la Administración es una herramienta que debe consultarse periódicamente hasta que se hayan aplicado todas las medidas de seguimiento o hasta que estas dejen de ser aplicables. Para que el uso de las evaluaciones como herramienta de rendición de cuentas sea pertinente, este debe realizarse de manera oportuna; por lo tanto, se recomienda completar las medidas de seguimiento y el proceso de examen en el plazo de 18 meses a contar desde la presentación final de la evaluación, aunque no se hayan finalizado todas las medidas de seguimiento. El seguimiento de la aplicación de la matriz de respuesta de la Administración puede asignarse a personal específico de la oficina. Los progresos realizados en las medidas de seguimiento incluidas en la matriz deberían comunicarse a las entidades pertinentes, así como a los oficiales regionales de seguimiento y evaluación y a la función de evaluación central de la Oficina del Inspector General para que tomen nota de ellos.

El intercambio y la divulgación de los informes de evaluación son etapas importantes para garantizar el uso pertinente de la evaluación. Los gestores de la evaluación o las partes que encargan la evaluación tal vez deseen examinar y preparar una estrategia de comunicación y difusión, lo que requerirá medidas y análisis intencionales para llegar al público adecuado. Cabe considerar los siguientes puntos:

• ¿Cómo se usará y difundirá la evaluación?
• ¿Cómo se divulgarán los hallazgos del informe de evaluación a distintos grupos de partes interesadas que pueden tener diferentes puntos de vista?
• ¿Cuál es el momento más indicado para difundir la evaluación y garantizar su uso óptimo?

La difusión de las evaluaciones contribuye a la consecución de su objetivo de aprendizaje, al garantizar que los conocimientos adquiridos por medio de la evaluación puedan ser ampliamente utilizados para mejorar la calidad de las nuevas intervenciones, así como los métodos de ejecución. Se recomienda reflexionar acerca de cómo se divulgarán las evaluaciones, y a quién, al inicio de la fase de planificación. Estas reflexiones también deberían tener en cuenta las necesidades específicas a la hora de decidir si las evaluaciones deben comunicarse a nivel interno en la OIM, o a nivel externo.

En la Política de Evaluación de la OIM se señala que todos los informes de evaluación deben hacerse públicos, si bien la “estrategia de comunicación” puede variar. En el caso de una evaluación comunicada a nivel externo – por ejemplo, la evaluación de una estrategia (institucional, regional o nacional) o de una política de la OIM (por lo general, institucional) – esta podría presentar interés para todos los Estados Miembros de la OIM y posiblemente, para algunos donantes, mientras que en el caso de las evaluaciones de proyectos, el interés a nivel externo podría limitarse a los gobiernos locales y a los donantes concretos que financiaron el proyecto. Sin embargo, en el caso de los proyectos, la distribución externa también puede incluir a los asociados en la ejecución, a las organizaciones no gubernamentales (ONG) que colaboran o a los beneficiarios, lo que puede no ser así en una evaluación de una estrategia de la OIM.

En el caso de los informes distribuidos a nivel interno, puede realizarse una distinción similar a la de los informes externos. Mientras que la evaluación de una política suele comunicarse más bien a nivel departamental, las evaluaciones de proyectos, programas y estrategias locales o regionales resultan más valiosas para las oficinas en el terreno implicadas y para los especialistas temáticos pertinentes a nivel regional y departamental. Si bien la difusión de la evaluación de una política se realiza principalmente a nivel departamental con objeto de organizar el seguimiento o la experiencia adquirida, también puede comunicarse de manera más amplia, por ejemplo a todas las oficinas de la OIM a nivel mundial, habida cuenta de su posible interés en una política institucional. También cabe mencionar algunos casos muy específicos; por ejemplo, debe mantenerse informados a los oficiales regionales de seguimiento y evaluación y a la función de evaluación central de la Oficina del Inspector General de la publicación de las evaluaciones para que puedan incluirlas en su repositorio central de informes de evaluación o en la página web de la OIM sobre evaluación.

En general, se recomienda elaborar una sola versión del informe que pueda distribuirse tanto a nivel externo como a nivel interno y que sea de utilidad para tolas las partes interesadas con distintos puntos de vista. En un número limitado de casos ha podido suceder que se elaboraran dos versiones de un informe de evaluación, uno para una distribución limitada y para uso interno y otro para uso externo, por ejemplo cuando el informe incluía secciones que abarcaban cuestiones confidenciales o delicadas relacionadas con actividades de desmovilización. Si tiene dudas acerca de la difusión de un informe de evaluación, el gestor de la evaluación debería celebrar consultas con el Jefe de Misión para las intervenciones en los países, con los directores regionales para las intervenciones regionales o interregionales y/o con el funcionario regional encargado del seguimiento o la evaluación o la función de evaluación central de la Oficina del Inspector General.

Los conocimientos y el aprendizaje derivados de la evaluación pueden incorporarse a los procesos de aprendizaje y planificación institucionales mediante la reflexión periódica, el acceso a los informes de evaluación y el intercambio regular de información por medio de sesiones de aprendizaje. Visualmente, esto puede representarse del siguiente modo:

Además de la evaluación, otros procesos pueden mejorar el aprendizaje a partir de las intervenciones. A continuación se dan tres ejemplos de enfoques evaluativos que también pueden incorporar el aprendizaje además de la rendición de cuentas, y que también se utilizan con fines de seguimiento:

    a) Enseñanzas extraídas;

    b) Examen del desempeño del proyecto; y

    c) Examen posterior a la acción.

Enseñanzas extraídas y aprendizaje a partir de estas enseñanzas

Las enseñanzas extraídas pueden definirse como generalizaciones basadas en las experiencias de evaluación de proyectos, programas, estrategias o políticas en circunstancias específicas, que se aplican a situaciones más amplias. Con frecuencia, las enseñanzas destacan los puntos fuertes o débiles en la preparación, el diseño y la puesta en práctica que afectan al desempeño, los resultados y el impacto. Dicho de otro modo, pretenden describir los conocimientos adquiridos a partir de experiencias en situaciones bien definidas. La documentación de las enseñanzas extraídas y su incorporación en otras intervenciones pueden contribuir a mejorar la calidad de la prestación de servicios. En particular, pueden ayudar a evitar aquellas prácticas que sistemáticamente no consigan resultados u otros errores comunes.

En la figura que figura a continuación se ofrece una visión de conjunto del proceso de cómo se identifican las enseñanzas extraídas (a través de la implementación y de la evaluación de la implementación), cómo se formulan y, por último, cómo se incorporan y utilizan para mejorar la implementación.

Si bien las enseñanzas extraídas suelen salir a la luz al realizar la evaluación, estas también pueden recogerse mediante la organización de talleres específicos sobre el aprendizaje a partir de estas enseñanzas, que reúnen a diversas partes interesadas para que aporten ideas sobre el desempeño e identifiquen las enseñanzas extraídas de una intervención. Este enfoque también puede utilizarse para las intervenciones a nivel de las políticas o estrategias, en las que puede pedirse a las partes interesadas que reflexionen sobre los enfoques que han adoptado en relación con un tema o una esfera temática en particular a lo largo del tiempo.

Otro concepto similar, en términos de generación de conocimientos a partir de una evaluación, es la noción de buenas prácticas, que puede considerarse como la identificación de un procedimiento que ha demostrado su capacidad para producir resultados de manera satisfactoria, y que se propone como una práctica “habitual” idónea para su adopción generalizada. Una enseñanza extraída en la que se haya identificado una práctica que produce esos resultados satisfactorios y respecto de la que se haya determinado que merece ser reproducida y, posiblemente, ampliada, puede convertirse, con el tiempo, en una “buena práctica emergente”.55

• 55 OIT, 2014, pág. 2

En general, la difusión de las enseñanzas extraídas puede llevarse a cabo como parte de la difusión del informe final de evaluación o de un modo similar. Concretamente, estas pueden incorporarse en cualquier documento recapitulativo de la evaluación que se ponga a disposición de los usuarios pertinentes. El Anexo 5.10, titulado Modelo de resumen de la evaluación y orientaciones incluye una sección específica sobre la presentación de las enseñanzas extraídas, cuando sea necesario.

En algunos casos, las enseñanzas extraídas pueden interesar particularmente a los especialistas temáticos pertinentes, desde el punto de vista de su difusión posterior o de su aplicabilidad a otras intervenciones similares. La “utilización” de las enseñanzas extraídas es especialmente importante en la elaboración de nuevas intervenciones, a nivel de un proyecto o programa, así como en la formulación de orientaciones estratégicas y normativas claras con respecto a una determinada esfera de trabajo de la OIM. Por lo tanto, los gestores de la evaluación deberían considerar detenidamente con quién compartirán las enseñanzas extraídas y las buenas prácticas identificadas a fin de incorporarlas de la mejor manera posible en las intervenciones futuras y previstas de la OIM.

Examen del desempeño de un proyecto

La OIM ha elaborado una herramienta de evaluación que se centra principalmente en el desempeño de un proyecto o programa, para lo cual se utilizan los criterios del CAD-OCDE, haciendo hincapié en la eficacia y la eficiencia. El objetivo del examen del desempeño de un proyecto es ayudar a las oficinas en el terreno a evaluar el desempeño de sus intervenciones, utilizando para ello un enfoque constructivo, participativo y coordinado. Este ejercicio suele realizarse durante la implementación, de manera que puedan tomarse medidas correctivas, en caso necesario. Los criterios de la pertinencia, el impacto y la sostenibilidad se analizan brevemente a lo largo del examen, y en este también se puede analizar en qué medida se están logrando o podrán lograrse los efectos de una intervención una vez terminadas las actividades o finalizados los productos.

En un examen del desempeño de un proyecto también se abordan las cuestiones transversales, y se analiza el nivel de rendición de cuentas a los beneficiarios y a las poblaciones afectadas, en particular en el contexto de las situaciones de emergencia, además de determinar en qué medida la intervención está vinculada con las estrategias mundiales, regionales o nacionales.

Cabe señalar que el examen del desempeño de un proyecto no es una evaluación, ya que es menos exhaustivo que esta última. Una evaluación requiere más tiempo y preparación, trata las cuestiones de manera más detallada y permite generar análisis y hallazgos con una base empírica más sólida. A continuación se resumen otras diferencias existentes entre un examen y una evaluación:

Examen posterior a la acción

Un examen posterior a la acción es un debate estructural sobre una intervención que permite a un equipo analizar y reflexionar acerca de lo que ha ocurrido, por qué ha ocurrido y cómo mantener los puntos fuertes y mejorar los puntos débiles.56  Se trata de un proceso dirigido por un moderador en el que intervienen los actores clave, y en el que el principio general es que este sea neutral y objetivo para garantizar que las discusiones se centren en los problemas, sean constructivas y no deriven en la autojustificación. Básicamente, el examen debería centrarse en preguntas tales como: “¿Qué se esperaba en lugar de lo que ocurrió realmente?”, “¿Qué funcionó bien y por qué?” y “¿Qué podía haber funcionado mejor y por qué?”.

Un examen posterior a la acción comprende los siguientes pasos:

Fuente: Adaptado de Buchanan-Smith y otros, 2016 y de ONUSIDA, 2006.

Como primer paso, los participantes reflexionan sobre su comprensión de los objetivos o la intención de la actividad y, seguidamente, preparan un cronograma con lo que ocurrió realmente y lo que ha cambiado a lo largo del tiempo. El paso siguiente se centra en mayor medida en un enfoque analítico, ya que se identifica lo que ha funcionado bien y por qué, y lo que podría haber funcionado mejor y por qué. Al final del proceso, las conclusiones acerca de lo que se podría hacer mejor la próxima vez se resumen en forma de enseñanzas extraídas. Puede pedirse a los participantes que voten sobre las tres enseñanzas que consideran más importantes cuando las reflexiones sean numerosas. El debate de un examen posterior a la acción es un proceso dirigido por un moderador que no suele durar más de medio día o un día. Según los recursos y el tiempo a disposición, este puede ser formal, lo que conlleva una labor preparatoria adicional, o informal, tal como se indica en el recuadro infra.

Fuente: Adaptado de ONUSIDA, 2006.

• 56Adaptado de Buchanan-Smith y otros, 2016..

A continuación se resumen otros ejemplos de enfoques y herramientas de evaluación:

• 57Adaptado de Wilson-Grau, 2015.

Adaptado del Módulo 6 del Manual para proyectos de la OIM, págs. 7-16 (enlace interno únicamente).

Haga clic AQUÍ para más información.

Adaptado de IOM Evaluation Guidelines (enero de 2006), Anexo 2, función de evaluación central de la Oficina del Inspector General.

Evaluación a nivel de todo el sistema: Evaluación utilizada en situaciones de emergencia que abarca la respuesta dada por el conjunto del sistema a un desastre o una situación de emergencia en particular.

Evaluación basada en la teoría: Evaluación centrada en una comprensión profunda del funcionamiento de un programa o actividad, es decir, la teoría o lógica del programa. No es necesario que presuponga la existencia de relaciones lineales simples de causa y efecto, sino que examina los factores determinantes o causales que se consideran importantes para tener éxito y cómo estos pueden interactuar

Evaluación cuasi experimental del impacto: Evaluación en la que se comparan diferentes grupos antes y después de la ejecución del programa a fin de determinar el impacto de este último y el valor añadido de otras inversiones. Se utilizan estudios rápidos y económicos que combinan el uso de los conjuntos de datos existentes con encuestas rápidas por muestreo, estudios de seguimiento, entrevistas u otros.

Evaluación de conjunto: Evaluación que analiza un conjunto de actividades, proyectos o programas relacionados entre sí con objeto de identificar aspectos y temas comunes.

Evaluación de la respuesta de un único organismo: Evaluación que abarca, también en situaciones de emergencia, la respuesta global de un determinado organismo.

Evaluación de procesos: Evaluación que examina la dinámica interna de los organismos encargados de la ejecución, sus instrucciones de política, sus mecanismos de prestación de servicios, sus prácticas de gestión y los vínculos que existen entre todos estos componentes.

Evaluación de síntesis: “Procedimiento sistemático para organizar los hallazgos de varios estudios de evaluación dispares, lo que permite a los evaluadores reunir los resultados de diferentes informes de evaluación y formular preguntas acerca de ese grupo de informes”58

Evaluación de un único organismo/un único proyecto: Evaluación que abarca un único proyecto llevado a cabo por un único organismo en una situación de emergencia.

Evaluación del empoderamiento: Evaluación que promueve una estrecha relación entre el evaluador y los participantes del proyecto o programa para que los resultados de la evaluación sean más significativos y útiles. La evaluación del empoderamiento es necesariamente una actividad de colaboración en grupo, y no individual.

Evaluación del programa de país/de la asistencia al país: Evaluación de la cartera de intervenciones para el desarrollo de uno o más donantes o instituciones.

Evaluación democrática: Enfoque de evaluación que aborda cuestiones fundamentales en materia de evaluación, como la manera de tratar las relaciones de poder entre las partes interesadas, la incorporación de las perspectivas de las partes interesadas y la aportación de información útil para los programas. La redistribución del poder se logra mediante la "democratización del conocimiento” y la mutua rendición de cuentas de todos los grupos, incluido el cliente.

Evaluación en profundidad: Enfoque que consiste en centrar la evaluación o una parte de la evaluación en una categoría de productos, o en un grupo o categoría de impactos.

Evaluación en tiempo real: Evaluación llevada a cabo en situaciones de emergencia que tiene por objeto proporcionar información rápida sobre las operaciones humanitarias y ser un catalizador inmediato de las mejoras en el desempeño institucional y operacional. La metodología no puede ser rígida, y es necesaria una cierta flexibilidad y adaptabilidad, aunque debe garantizar la calidad.

Evaluación estratégica: Evaluación de una determinada cuestión que tiene por objeto fomentar una mejor comprensión de dicha cuestión, reducir las incertidumbres asociadas a las diferentes opciones para abordarla y ayudar a las partes interesadas a llegar a un acuerdo de colaboración aceptable. Suele adaptarse cuando el carácter urgente de la cuestión plantea grandes riesgos para las partes interesadas y ha generado opiniones contrapuestas.

Evaluación incorporada: Enfoque de la implementación que conlleva una autoevaluación relativamente continua por parte de los principales agentes y participantes, de acuerdo con criterios preestablecidos relacionados el propósito y objetivo de la asistencia.

Evaluación parcial del sistema: Evaluación que se utiliza también en las situaciones de emergencia, y que abarca solamente una parte del sistema. Puede estar relacionada con las evaluaciones temáticas o sectoriales.

Evaluación participativa: Método de evaluación en que los representantes de entidades y partes interesadas (incluidos los beneficiarios) trabajan conjuntamente en el diseño, la implementación y la interpretación de una evaluación.

Evaluación por las partes interesadas: Evaluación en la que intervienen organismos, organizaciones, grupos o particulares que tienen un interés directo o indirecto en la asistencia para el desarrollo, o que influyen en su implementación y resultado o se ven afectados positiva o negativamente por estos. Las partes interesadas trabajan conjuntamente para elaborar y finalizar instrumentos y procedimientos, formular recomendaciones y adoptar decisiones durante todo el proceso de evaluación (término conexo: Evaluación participativa, centrada en la metodología).

Evaluación sectorial: Evaluación de diversas intervenciones de ayuda dentro de un país o un grupo de países y en un mismo sector. Un sector abarca un ámbito específico de actividades, como la salud, la industria, la educación, el transporte o la agricultura.

Evaluación transversal: Evaluación sistemática de diversos informes de evaluación sobre un tipo de proyecto específico, sobre proyectos relacionados con un determinado sector, o sobre un instrumento o tema en particular, concebida para examinar y, posiblemente, actualizar las directrices vigentes en materia de política de desarrollo.

Metaevaluación: Evaluación que tiene como objetivo valorar la calidad, el fundamento, el valor y la trascendencia de una o varias evaluaciones.

• 58GAO, 1992.

Las cuestiones transversales pueden definirse como consideraciones o esferas adicionales que se entrecruzan con una intervención, o que pueden integrarse fácilmente en esta, sin perder de vista los principales objetivos de la intervención. La incorporación de una cuestión transversal suele entenderse como una estrategia para que la cuestión específica, dada su importancia, sea un elemento integrante de la concepción, la ejecución y el seguimiento y evaluación de las políticas e intervenciones de la organización. La incorporación de estas cuestiones puede variar a lo largo del tiempo, y pueden añadirse nuevas cuestiones. Además, no son necesariamente idénticas para todas las organizaciones, y no todas ellas son pertinentes para ser consideradas en una intervención..

En esta sección se abordarán las cuestiones siguientes: a) el enfoque basado en los derechos; b) la incorporación de la protección; c) la inclusión de la discapacidad; d) la integración de una perspectiva de género; e) la sensibilidad y sostenibilidad ambientales, y f) la rendición de cuentas a las poblaciones afectadas. Cabe señalar que en este anexo solo se aborda el seguimiento y evaluación de las cuestiones transversales. En caso de que estas esferas temáticas pasen a ser el objetivo principal de una intervención, ya no podrán examinarse como una cuestión transversal.

? El pliego de condiciones de la evaluación debería garantizar que las preguntas relacionadas con la integración de las cuestiones transversales pertinentes se recojan en una sección específica o bajo los criterios correspondientes, y especificar que estas se examinarán como una cuestión transversal.

Estas son algunas de las preguntas que se pueden formular durante los procesos de seguimiento y de evaluación a fin de asegurarse de que se ha incorporado un enfoque basado en los derechos:

Participación

• ¿Se ha implicado a las diversas partes interesadas (incluidos los titulares y garantes de derechos) en la planificación y el diseño del seguimiento y la evaluación del proyecto y en la determinación de los tipos de datos que han de recopilarse?
• ¿Se ha implicado a otras personas o grupos, por ejemplo a grupos locales de la sociedad civil o a las ONG?
• ¿Se ha incluido o implicado a los principales grupos, en particular a los grupos de titulares de derechos más marginados, en el proceso de seguimiento y evaluación?

Igualdad y no discriminación

• ¿El proceso de seguimiento y evaluación se ha diseñado específicamente para detectar o medir la discriminación contra determinados grupos a través de sus objetivos y efectos?
• ¿Los datos recopilados se han desglosado de manera adecuada, por ejemplo por edad, discapacidad, origen étnico, sexo, nacionalidad o situación migratoria, a fin de detectar las posibles lagunas en la consideración de la igualdad y la discriminación a través de los productos y efectos de la intervención?

Rendición de cuentas, transparencia e estado de derecho

• ¿Los procesos de seguimiento y evaluación están directamente vinculados a algún derecho, como la medición del cumplimiento de determinados derechos?
• ¿Los procesos de seguimiento y evaluación tienen en cuenta los distintos mecanismos de presentación de quejas existentes y cómo se atienden las quejas recibidas?
• ¿Los hallazgos del seguimiento y la evaluación se hacen públicos de forma transparente?
• ¿Los hallazgos del seguimiento y la evaluación se utilizan para impulsar cambios en la legislación o las políticas del Estado?

Durante la evaluación, el evaluador también debería tener en cuenta los siguientes consejos para asegurarse de que el enfoque basado en los derechos se ha integrado en el proceso de evaluación:

1. Incluya mecanismos que garanticen que los grupos de titulares de derechos más marginados participan/ participaron en la evaluación.
2. En su calidad de evaluador, hágase la siguiente pregunta: ¿Se ha incluido a todas las partes interesadas, y cómo se detectará o medirá específicamente, en el marco de la evaluación, la discriminación de determinados grupos? Por ejemplo, la evaluación puede haber sido diseñada para detectar cualquier tipo de práctica discriminatoria que pueda haberse producido durante la ejecución del proyecto o como resultado de él.
3. Identifique los canales para la presentación de las quejas que puedan recibirse durante la evaluación.

• 60Sírvase tomar nota de que esta sección se basa principalmente en las orientaciones de 2016 sobre la incorporación de una perspectiva de protección en el Marco Operacional de la OIM en Situaciones de Crisis Migratoria. Esta información se actualizará nuevamente cuando se disponga de nuevas orientaciones en materia de protección (IOM, s.f.f., pág. 4).
• 61 Comité Permanente entre Organismos, 2013.
• 62En el Marco Operacional de la OIM en Situaciones de Crisis Migratoria se detallan los siguientes 15 sectores de asistencia: a) gestión de campamentos y cartografía de desplazamientos; b) albergue y artículos no alimentarios; c) asistencia de transporte para poblaciones afectadas; d) apoyo en materia de salud; e) apoyo psicosocial; f) asistencia de (re)integración; g) actividades de apoyo a la estabilización y transición comunitaria; h) reducción del riesgo de desastres y consolidación de la capacidad de recuperación; i) apoyo en materia de tenencia de tierras y propiedades; j) lucha contra la trata de personas y protección de migrantes vulnerables; k) asistencia técnica para una gestión humanitaria de las fronteras; l) asistencia consular de emergencia; m) movilización de la diáspora y de los recursos humanos; n) apoyo en políticas y legislación migratoria, y o) comunicación humanitaria (OIM, 2012).
• 63OIM, 2018c, pág. 16; véase asimismo Comité Permanente entre Organismos, 2016..
• 64Ibid.

• 65Véase OIM, 2017a, pág. 60 (enlace interno únicamente).
• 66Ibid., p. 61
• 67Ibid., en el que se cita PNUD, 2014.

• 68OIM, 2016c (enlace interno únicamente).

Haga clic AQUÍ para más información

Módulo 6 del Manual para proyectos de la OIM (enlace interno únicamente)

Haga clic AQUÍ para más información

Haga clic AQUÍ para más información

Módulo 6 del Manual para proyectos de la OIM págs. 67–69 (enlace interno únicamente).

Haga clic AQUÍ para más información

Haga clic AQUÍ para más información.

Haga clic AQUÍ para más información

Haga clic AQUÍ para más información

En qué consiste

El enfoque del cambio más significativo es un tipo de seguimiento y evaluación participativa.69 Este enfoque consiste en reunir relatos personales sobre el cambio y determinar cuál de esos relatos es el más significativo y por qué. Es participativo porque involucra a múltiples partes interesadas a fin de decidir qué tipo de cambio se debe registrar y analizar. También es una forma de seguimiento, porque la recopilación de los datos se realiza durante todo el ciclo de implementación y proporciona información para los responsables de la adopción de decisiones. Por último, el enfoque del cambio más significativo es una forma de evaluación, porque proporciona información sobre los resultados de nivel superior, como los efectos y el impacto, que puede ser útil para evaluar el desempeño de la ejecución en conjunto.

Cuándo utilizarlo

El enfoque del cambio más significativo se conoce con distintos nombres, entre ellos “seguimiento sin indicadores” o “enfoque de los relatos”, ya que no utiliza indicadores del desempeño y la respuesta a la pregunta de cómo se ha producido el cambio se formula en forma de relato. En este sentido, el enfoque del cambio más significativo es un instrumento muy útil para explicar cómo y cuándo ocurre el cambio, por lo que también puede ser útil para ayudar a formular una teoría del cambio.

Cómo se aplica

Si bien los especialistas pueden no estar de acuerdo en cuanto al número de etapas que comprende la utilización de un enfoque del cambio más significativo, estas pueden resumirse, básicamente, en tres etapas fundamentales:

• Los grupos de principales partes interesadas de distintos niveles jerárquicos (como el personal sobre el terreno, el personal de programas o los donantes) deciden conjuntamente qué tipo de relatos/historias sobre el cambio significativo deberían recopilarse. Como estos relatos llegan directamente del terreno, las principales partes interesadas determinan los ámbitos generales de cambio y la frecuencia con que han de ser objeto de seguimiento, por ejemplo los cambios en la vida de las personas.
• Después de analizar los relatos recopilados, estos pasan por la criba de los distintos niveles de autoridad que normalmente existen en una organización, y en cada uno de ellos se identifica un cambio más significativo, además de proporcionarse una explicación detallada de los criterios de selección.
• Los relatos se comparten y los valores y los criterios de selección se examinan con las partes interesadas, lo que contribuye al aprendizaje.

Puntos fuertes y limitaciones

El enfoque del cambio más significativo no solo fomenta el proceso de aprendizaje a partir de los relatos, ya que proporciona información sobre los efectos no intencionales, sino que también ayuda a aclarar los valores que comparten las distintas partes interesadas con respecto a los criterios que definen el éxito. Cabe señalar que el enfoque del cambio más significativo, por sí solo, no basta para llevar a cabo un análisis del impacto, ya que no explica suficientemente por qué ocurre el cambio y proporciona información sobre los extremos, en lugar de la experiencia corriente. Una de sus limitaciones es que lleva mucho tiempo y requiere un seguimiento exhaustivo y numerosas reuniones de las partes interesadas..

• 69Adaptado de ODI, 2009.

Haga clic AQUÍ para más información