Las normas y estándares de seguimiento y evaluación sirven de marco para contribuir a la mejora de las funciones de seguimiento y evaluación de la OIM, así como a una mayor eficacia de sus intervenciones. En el presente capítulo se explicarán, en primer lugar, las normas y estándares relativas al seguimiento y la evaluación y, a continuación, los componentes clave de la gestión del seguimiento y la evaluación, incluidas las funciones y responsabilidades conexas, así como las necesidades presupuestarias con ese fin.
Como miembro del Grupo de Evaluación de las Naciones Unidas (UNEG), la OIM aplica las Normas y estándares de evaluación del UNEG1 . En la OIM, la función de evaluación central de la Oficina del Inspector General es la encargada de promover estas normas y estándares y de garantizar que se apliquen y se respeten.
La información que figura en este capítulo de las Directrices de la OIM relativas al seguimiento y la evaluación procede de las políticas de evaluación y seguimiento de la OIM. Conjuntamente, estas políticas definen la posición de la OIM y dan instrucciones sobre la finalidad del seguimiento y la evaluación en la Organización, las normas y estándares adoptadas, así como los criterios que se utilizarán en materia de seguimiento y evaluación, las funciones y responsabilidades relacionadas con estas y las necesidades presupuestarias. En el presente capítulo, así como en las políticas de evaluación y seguimiento, se mencionan específicamente algunas de las principales normas y estándares del UNEG que se utilizan frecuentemente y que pueden aplicarse a nivel institucional en el contexto de la OIM.
En el cuadro que figura a continuación se resumen las normas y estándares rectoras. Si bien no existen normas y estándares del UNEG relativas al seguimiento, la política de seguimiento de la OIM adaptó las normas y estándares de evaluación para que fuesen los “principios relativos al seguimiento”, que se enumeran más adelante, seguidos de las normas y estándares en materia de evaluación.
- 1Véase UNEG, 2016a; véase asimismo la página web de la OIM sobre evaluación, que incluye una lista completa de las normas y estándares y otras referencias pertinentes.
Principios rectores en materia de seguimiento y normas y estándares que rigen la evaluación
| Seguimiento |
|---|
| Principios |
|
Imparcialidad Mitigación de la presencia de sesgos, que se aplica a todas las actividades de evaluación y a la presentación de informes. |
|
Utilidad El seguimiento debe responder a las necesidades de información de los usuarios a quienes va destinada para la obtención de un máximo beneficio. Los encargados del seguimiento se cerciorarán de que el trabajo esté bien fundamentado, sea pertinente y oportuno, y se presente de manera clara y concisa. Los informes en materia de seguimiento deberán presentar los datos, los progresos, los problemas y las recomendaciones de manera exhaustiva y equilibrada. Estos informes deberán estar orientados hacia los resultados y las intervenciones. |
|
Transparencia Todas las etapas de los procesos de seguimiento deberán ser transparentes; es primordial celebrar consultas con las principales partes interesadas, lo que implica una comunicación clara y periódica, en particular sobre la programación y el alcance de misiones y actividades de seguimiento específicas. La documentación derivada del seguimiento deberá poder consultarse y leerse fácilmente a fin de garantizar la transparencia y la legitimidad. |
|
Credibilidad El seguimiento se fundamentará en datos y observaciones que recurran a sistemas y herramientas que puedan garantizar la calidad y la fiabilidad. Los informes en materia de seguimiento reflejarán la coherencia y la credibilidad de los datos, los hallazgos, los juicios emitidos y las enseñanzas extraídas |
|
Divulgación La presentación de informes y las enseñanzas extraídas en materia de seguimiento se divulgarán estableciendo circuitos de información con los departamentos competentes, el personal operativo y, cuando proceda, con los beneficiarios y otras partes interesadas2 |
|
Participación Cuando sea pertinente, las actividades de la OIM en materia de seguimiento se llevarán a cabo con la participación de las partes interesadas pertinentes, como las poblaciones afectadas o los beneficiarios, los donantes, los organismos gubernamentales nacionales e internacionales, las organizaciones no gubernamentales, las organizaciones de la sociedad civil, el sector privado, así como los representantes de las comunidades locales. |
- 2A los efectos de las Directrices de la OIM relativas al seguimiento y la evaluación, la OIM utiliza la definición del CAD-OCDE de beneficiario(s) o persona(s) a la(s) que la Organización trata de brindar asistencia, a saber: los “individuos, grupos u organizaciones, destinatarios o no, que se benefician directa o indirectamente de la intervención de desarrollo. Pueden utilizarse otros términos, como titulares de derechos o personas afectadas”. Véase.” OECD, 2019, p. 7. . El término beneficiario(s) o persona(s) a la(s) que la OIM trata de brindar asistencia se utilizará indistintamente a lo largo de todas las Directrices de la OIM relativas al seguimiento y la evaluación, y se refiere a la definición facilitada supra, incluso en el contexto humanitario
| Evaluation |
|---|
| Norms |
|
Intentionality and utility In the context of limited resources, evaluations must be selected and undertaken with a clear intention of use and in a timely manner for decision-making with relevant and useful information. |
|
Impartiality This is mitigating the presence of bias at all stages of the evaluation process, including planning an evaluation, formulating the mandate and scope, selecting the evaluation team, providing access to stakeholders, conducting the evaluation with the necessary methodological rigour and presentation of key findings, recommendations and challenges. It provides legitimacy to evaluation and reduces the potential for conflict of interest. |
|
Independence The evaluation function should be independent from other management functions so that it is free from undue influence. It needs to have full discretion in directly submitting its reports for consideration at the appropriate level of decision-making. To avoid conflict of interest and undue pressure, evaluators need to be independent and must not have been directly responsible for the policy setting, design or overall management of the subject of evaluation. They must have no vested interest and have the full freedom to impartially conduct their evaluative work. They must be able to express their opinion in a free manner, without potential negative effects on their professional status or career development. Independence of the evaluation function should not impinge the access of evaluators to information about the evaluation. |
|
Transparency and consultation These are essential features in all stages of the evaluation process, particularly with the major stakeholders, as they establish trust, build confidence, enhance ownerships and increase accountability. They also guarantee credibility (another UNEG norm) and quality of the evaluation and facilitate consensus-building and ownership of the findings, conclusions and recommendations. |
| Reglas |
|---|
|
Política de divulgación Todas las evaluaciones deberán ser accesibles al público y figurar en la página web de la OIM sobre evaluación y en otras páginas web específicas, según se considere necesario, teniendo debidamente en cuenta los Principios de la OIM de Protección de Datos (IN/00138). Todos los demás productos de evaluación (informes anuales, planes de evaluación, mandato, respuestas de la Administración a las evaluaciones y resúmenes de evaluación) también deberán ponerse a disposición, cuando así se solicite. |
|
Competencias Las competencias en materia de evaluación se refieren a las cualificaciones, aptitudes, experiencia, formación académica y cualidades necesarias para el desempeño de las funciones y responsabilidades en un proceso de evaluación, así como la garantía de la credibilidad y la calidad de este proceso. Todas aquellas personas que participen en la promoción, la concepción, la realización y la gestión de actividades de evaluación deberán promover y llevar a cabo un trabajo de gran calidad, guiándose por los estándares profesionales y por principios de evaluación éticos. Algunos de estos elementos también figuran en la norma relativa a la profesionalidad, que deberá estar respaldada por un entorno propicio y por estructuras institucionales y recursos adecuados. Los evaluadores internos y externos también deberán regirse por estos principios, y poseer suficientes competencias profesionales para llevar a cabo las evaluaciones. |
|
Respuesta de la Administración y seguimiento Además de las observaciones sobre el proyecto de informe que se pide formular a las partes interesadas, incluidos los administradores (administradores de programas, jefes de misión, directores de departamento), las evaluaciones también pueden requerir una respuesta explícita por parte de la Administración para aprobar o cuestionar el informe y sus recomendaciones. Ello puede adoptar la forma de una respuesta de la Administración, un plan de acción sobre el seguimiento asiduo de las recomendaciones y/o un acuerdo sobre la atribución de las responsabilidades y la rendición de cuentas. En ese contexto, se podrá solicitar a la oficina o administrador un informe periódico sobre la situación de la aplicación de las recomendaciones de la evaluación, en particular cuando se examinen informes delicados que requieran un seguimiento estrecho. |
|
Evaluabilidad Antes de llevar a cabo evaluaciones complejas que requieran considerables recursos financieros, será conveniente realizar una valoración de la evaluabilidad a fin de examinar el alcance y las repercusiones financieras de la evaluación, ajustar los enfoques metodológicos, por ejemplo para la recopilación de datos y el análisis de la disponibilidad, y tomar una decisión con respecto a los criterios de evaluación. Ello podrá consistir en la realización de estudios preliminares u organización de grupos focales para cerciorarse de que la evaluación proporcione información oportuna y fidedigna para la adopción de decisiones y garantice un proceso de evaluación imparcial. |
|
Realización de las evaluaciones En cada evaluación se utilizarán procesos de diseño, planificación y ejecución que estén intrínsecamente orientados a la calidad, y comprendan métodos adecuados para la recopilación, el análisis y la interpretación de los datos. Todas las evaluaciones se formularán y prepararán en primer lugar a través del mandato, en el que se definen los objetivos de la evaluación, el alcance, los métodos, los recursos necesarios y el plan de trabajo de la ejecución. Convendría pedir a los evaluadores que elaboren una matriz de resultados o un informe inicial en el que se muestre cómo entienden el alcance y el enfoque de la evaluación. En los informes de evaluación se presentarán, de manera completa y equilibrada, las pruebas, hallazgos, conclusiones y recomendaciones, que deberán ser breves, pertinentes y fáciles de entender3 |
|
Control y aseguramiento de la calidad4 Será preciso establecer mecanismos de control y aseguramiento de la calidad en cada etapa del proceso de evaluación. La Oficina del Inspector General puede proporcionar esos servicios, en consonancia con las directrices del UNEG y, en el caso de las evaluaciones descentralizadas, puede consultarse a los oficiales regionales de seguimiento y evaluación. |
- 3Para más información sobre la realización de las evaluaciones, véase el capítulo 5 de las Directrices de la OIM relativas al seguimiento y la evaluación.
- 4Para más información sobre el control y el aseguramiento de la calidad, véase el capítulo 5 de las Directrices de la OIM relativas al seguimiento y la evaluación.
El personal con funciones de seguimiento y evaluación deberá poseer integridad personal y profesional, y las evaluaciones o las actividades de seguimiento no deberán reflejar intereses personales o sectoriales5 . Es más, cabe respetar el derecho de las instituciones y de las personas a proporcionar información con plena confianza, velar por que los participantes tengan la oportunidad de examinar las declaraciones formuladas y garantizar que los datos de carácter confidencial no puedan rastrearse hasta su origen. Los evaluadores y los encargados del seguimiento deberán ser sensibles a las creencias, usos y costumbres de los entornos sociales y culturales en que trabajan, y abordar las cuestiones de discriminación y desigualdad en materia de género. Es posible que hallen indicios de faltas o delitos, que deberán notificarse al órgano de investigación pertinente con la necesaria confidencialidad. No se espera que los evaluadores evalúen la actuación personal de los individuos, sino más bien que evalúen las funciones de gestión, teniendo debidamente en cuenta este principio.
Los personal con funciones de seguimiento deberá conocer las directrices éticas del UNEG en materia de evaluación (UNEG Ethical Guidelines for Evaluation) (2020) y actuar de conformidad con estas 6
- 5 A los efectos de las Directrices de la OIM relativas al seguimiento y la evaluación, el término “personal con funciones de seguimiento y evaluación” se refiere a cualquier miembro del personal de la Organización que participe en actividades de seguimiento y evaluación
- 6Véase asimismo la página web de la OIM sobre evaluación, en la que se da más información sobre las directrices éticas del UNEG en materia de evaluación
El personal con funciones de seguimiento y evaluación no vulnerará los principios éticos ni comprometerá su independencia al recopilar y analizar datos en materia de seguimiento y evaluación.
Si bien esto puede cobrar diversas formas, algunos ejemplos comunes son:
- Modificar y elaborar hallazgos positivos debido a un conflicto de intereses, otros beneficios o para evitar sanciones.
- Permitir que opiniones no fundamentadas influyan en las actividades de seguimiento y evaluación, a raíz de prácticas de seguimiento o evaluación poco rigurosas, fiables o profesionales.
- Permitir que los sesgos personales influyan en los hallazgos.
- Hacer promesas a los beneficiaries o participantes que no pueden cumplirse para que cooperen.
- Incumplimiento de compromisos contraídos7
- 7Worthen y otros, 2004
Además, cualquier malentendido respecto de sus responsabilidades puede hacer que el personal de seguimiento y evaluación vulneren los principios éticos. Ello puede dar lugar a un razonamiento erróneo, por ejemplo al aplicar generalizaciones a los resultados a partir de los datos, al extraer conclusiones basadas en datos insuficientes o al permitir que sus propios prejuicios enturbien su objetividad durante la recopilación y el análisis de datos. En cualquier momento, durante el proceso de recopilación y análisis de datos pueden plantearse problemas éticos.
A continuación se dan algunos ejemplos de algunos malentendidos con los que pueden toparse los profesionales durante los ejercicios de seguimiento y evaluación.
| Entidad que encarga el seguimiento y la evaluación |
|
| Personal con funciones de seguimiento y evaluación |
|
| Participantes y otras partes interesada |
|
Los comportamientos poco éticos pueden tener graves consecuencias que podrían afectar a la programación en curso o futura.
| Medidas preventivas para abordar problemas éticos |
|---|
|
Si bien los problemas éticos a los que se enfrentan el personal con funciones de seguimiento y evaluación son
|
| ?Nota: Si los participantes traumatizados no pueden remitirse a los servicios pertinentes, no se deben hacer preguntas que puedan desencadenar una respuesta traumática. Asegúrese de pedir asesoramiento a los especialistas o expertos temáticos pertinentes cuando el seguimiento o la evaluación implique un contacto directo con las poblaciones afectadas que presentan un alto riesgo traumático. |
| Cuando haya una ruptura en las relaciones sociales, pida a miembros de confianza de la comunidad que se encarguen de presentar el proceso de seguimiento o evaluación. |
| ?Nota: Sea transparente, explique la finalidad, las limitaciones y con qué fin y cómo se utilizarán y almacenarán los datos10 . |
Durante el desarrollo y la ejecución de las actividades de seguimiento y evaluación, los profesionales deben observar unos principios éticos comunes a fin de garantizar que la información recopilada sea precisa, pertinente, oportuna y se utilice de manera responsable. Se puede utilizar una lista de verificación de las consideraciones éticas en el seguimiento y la evaluación, como la que figura en el Anexo 2.1, para asegurarse de que las normas y estándares, incluidos los principios éticos, se tengan debidamente en cuenta en todas las etapas de la recopilación, el análisis y la presentación de datos.
A fin de satisfacer las consideraciones éticas esbozadas supra, es esencial obtener el consentimiento informado de las personas de las que se recopilan los datos. El consentimiento informado es la autorización que da una persona para que sus datos personales sean recopilados y analizados, después de haber entendido y aceptado lo siguiente:
a) la finalidad de la recopilación, el procesamiento y el intercambio de sus datos personales;
b) los usuarios de los datos;
c) cualquier riesgo asociado a la recopilación, el procesamiento o el intercambio de los datos.
Cabe proporcionar suficiente información al participante para que pueda tener la capacidad de valorar y decidir de manera independiente si desea o no dar su consentimiento para participar en la entrevista o la investigación. Si bien el consentimiento informado se puede obtener por escrito o mediante una declaración oral de los participantes, se aconseja obtenerlo más bien por escrito, siempre que las circunstancias lo permitan (véase el Modelo de consentimiento informado de la OIM) 11 . En el Anexo 2.2 Lista de verificación del consentimiento informado se incluye una lista de comprobación que servirá para la obtención del consentimiento informado.
- 11Disponible a nivel interno para el personal de la Organización a través de la intranet de la OIM.
Recursos de la OIM
- 2018a IOM Evaluation Policy. Oficina del Inspector General, septiembre.
- 2018b Monitoring Policy. IN/31. 27 de septiembre.
Recursos externos
- Buchanan-Smith, M., J. Cosgrave y A. Warner
2016 Guía de evaluación de la acción humanitaria. Red de Aprendizaje Activo para la Rendición de Cuentas y el Logro de Resultados/Overseas Development Institute (ALNAP/ODI). Londres.
Grupo de Evaluación de las Naciones Unidas (UNEG)
- 2016a Normas y estándares de evaluación. Nueva.
- 2020 UNEG Ethical Guidelines for Evaluation.
Morris, M. y R. Cohn 1
- 1993 Program evaluators and ethical challenges: A national survey. Evaluation Review, 17(6):621–642
Organización de Cooperación y Desarrollo Económicos (OCDE)
- 2019 Mejores Criterios para una mejor evaluación: Definiciones revisadas de los criterios de evaluación y principios para su utilización. Red de Evaluación del Desarrollo del Comité de Asistencia para el Desarrollo (CAD) de la OCDE.
Worthen, B.R., J.R. Sanders y J.L. Fitzpatrick
- 2004 Program Evaluation: Alternative Approaches and Practical Guidelines. Tercera edición. Pearson Education Inc., Boston
En el Manual para proyectos de la OIM se afirma que la responsabilidad del seguimiento de las intervenciones y de la planificación y gestión de la evaluación recae en el administrador o gestor responsable de la intervención (estrategia, proyecto o programa). Sin embargo, este puede y debería contar con el apoyo de otros miembros del personal de la OIM para lograr que se pongan en práctica iniciativas adecuadas en materia de seguimiento y evaluación. Ello dependerá en gran medida del presupuesto y de los recursos asignados.
A menudo, hay una gran variedad de personas que asumen ciertas responsabilidades relacionadas con el seguimiento y la evaluación en el marco de su mandato. Por lo tanto, es esencial identificar claramente a un miembro del personal al que los demás puedan acudir para obtener orientaciones en materia de seguimiento y evaluación y para la rendición de cuentas. Este persona debería controlar la coordinación y la supervisión de las funciones de seguimiento y evaluación, además de poner de relieve los posibles problemas que puedan plantearse e informar sobre ellos.
En las secciones que figuran a continuación se proporciona una breve descripción general de algunas de las competencias necesarias, y de los desafíos que pueden plantearse al gestionar y llevar a cabo el seguimiento, así como la evaluación, en una intervención.
La evaluación en la OIM transcurre en dos niveles distintos: la función de evaluación central, supervisada por la Oficina del Inspector General, y a nivel descentralizado, lo que incluye todas las actividades y asuntos en materia de evaluación que son gestionados y supervisados por otros departamentos y oficinas de la Organización. El capítulo 5 contiene más información sobre la evaluación descentralizada
La función de evaluación central de la Oficina del Inspector General contribuye activamente al seguimiento, la rendición de cuentas, la transparencia, la orientación estratégica y al liderazgo institucional y el aprendizaje de la Organización. Ello incluye la prestación de asesoramiento y apoyo técnicos a los departamentos y oficinas de la OIM y la contribución al establecimiento de sistemas de evaluación descentralizados.
A este respecto, las funciones y responsabilidades relacionadas con la evaluación recaen en diferentes entidades de la OIM, a saber, el Director General, el Inspector General, el Comité Asesor de Auditoría y Supervisión, la Unidad de Evaluación de la Oficina del Inspector General, los directores de departamentos y oficinas regionales, los oficiales regionales de seguimiento y evaluación, los jefes de misión, los jefes de oficina, los administradores de proyectos o programas y el personal encargado del seguimiento y la evaluación de las oficinas en países, como se resume en el cuadro que figura a continuación. En la Política de Evaluación de la OIM figura una lista completa y detallada de las responsabilidades12 .
| Director General | Asume la responsabilidad de garantizar que se concede la debida atención a la evaluación en la OIM, entre otras cosas mediante la asignación de los recursos pertinentes. El Director General aprueba el plan de trabajo de la Unidad de Evaluación de la Oficina del Inspector General y apoya las evaluaciones llevadas a cabo por dicha oficina. |
| Inspector General | Desempeña una función de supervisión, abordando las políticas, las directrices y las estrategias relacionadas con la evaluación, y aprobando el plan de trabajo bianual de la Oficina del Inspector General para su presentación ulterior al Director General. El Inspector General también promueve la evaluación en toda la Organización como un mecanismo para el aprendizaje institucional y la rendición de cuentas. |
| Comité Asesor de Auditoría y Supervisión |
Examina el funcionamiento, la independencia funcional y la eficacia de la Oficina del Inspector General, incluida su función de evaluación, y brinda asesoramiento sobre la situación de la evaluación en la OIM. |
| Función central de evaluación de la Oficina del Inspector General |
Se encarga de contribuir activamente al seguimiento, la rendición de cuentas, la transparencia, la orientación estratégica y al liderazgo institucional y el aprendizaje de la OIM. Establece las normas y estándares para la evaluación en la OIM, preparando las instrucciones y políticas institucionales pertinentes, armonizando los procedimientos y proporcionando orientación y apoyo técnicos a los departamentos y oficinas de la OIM. Entre sus tareas previstas, la función de evaluación central de la Oficina del Inspector General:
|
| Directores de departamentos y oficinas regionales |
A nivel institucional, los directores de departamentos y oficinas regionales de la OIM son responsables de: a) contribuir a la elaboración del plan de trabajo para las evaluaciones centrales realizadas por la función de evaluación central de la Oficina del Inspector General; b) promover el uso de la evaluación como herramienta estratégica y facilitar la realización de la evaluación; c) velar por que el personal o las oficinas pertinentes apoyen la realización de la evaluación; d) cuando sea pertinente, cerciorarse que se provea una respuesta administrativa y que se le haga seguimiento. En el caso de la evaluación descentralizada, los directores tienen la responsabilidad de identificar y planificar las evaluaciones, entre otras cosas facilitando los recursos necesarios y garantizando la conformidad con la política obligatoria de la OIM de incluir la evaluación en todos los proyectos. |
| Funcionarios regionales encargados del seguimiento y la evaluación |
Se encargan de establecer los planes de trabajo en materia de evaluación para sus regiones respectivas; preparar y realizar evaluaciones de las intervenciones de la OIM en su región; promover el uso de la evaluación; ofrecer apoyo técnico y oportunidades de creación de capacidades para la planificación y realización de una evaluación de calidad. Los oficiales regionales de seguimiento y evaluación también contribuyen a la elaboración de directrices relativas a la evaluación y de métodos para la evaluación, bajo la orientación de la función de evaluación central de la Oficina del Inspector General. Promueven y garantizan la aplicación de la Política de Evaluación de la OIM y sus directrices; refuerzan la colaboración las redes de evaluación regionales y la participación en las mismas, e informan y consultan a la función de evaluación central de la Oficina del Inspector General sobre asuntos relacionados con el apoyo técnico y el aseguramiento de la calidad. |
| Jefes de misión |
Para todas las evaluaciones llevadas a cabo en su oficina en el país (centrales y descentralizadas), los jefes de misión se encargan de facilitar la realización de las evaluaciones. Ello incluye velar por la participación del personal o las suboficinas pertinentes y proporcionar información en tiempo oportuno. Los jefes de misión se cercioran de la respuesta de la Administración y de que se sigan de cerca y apoyen las recomendaciones acordadas en materia de evaluación. Para las evaluaciones descentralizadas en su oficina en el país, los jefes de misión son responsables de lo siguiente: a) determinar y planificar las intervenciones, entre otras cosas facilitando los recursos adecuados; b) cerciorarse de que las evaluaciones llevadas a cabo sean conformes a la Política de Evaluación de la OIM, y c) informar y consultar a los oficiales regionales de seguimiento y evaluación y a la función de evaluación central de la Oficina del Inspector General en relación con el apoyo técnico y el aseguramiento de la calidad, cuando sea necesario. |
| Administradores o gestores de proyectos/ programas y personal encargado del seguimiento y la evaluación de las oficinas en países |
Para la evaluación de proyectos/programas, el personal encargado del seguimiento y la evaluación puede ayudar a elaborar planes, incluido el mandato relativo a la evaluación, si bien el administrador o gestor del programa o proyecto sigue siendo el responsable de entender y aprobar todos los planes. Puede esperarse del personal encargado del seguimiento y la evaluación que desempeñen una función en la evaluación, organizando y dirigiendo la autoevaluación. Para todas las evaluaciones (centralizadas y descentralizadas) de sus intervenciones, los administradores y el personal encargado del seguimiento y la evaluación de las oficinas en países facilitan la realización de la evaluación, se aseguran de que el personal y las demás oficinas pertinentes participen en esta, y facilitan información oportuna y se cercioran de la respuesta de los administradores o gestores y de su consiguiente aplicación. Para las evaluaciones descentralizadas, los administradores de la intervención y el personal encargado del seguimiento y la evaluación determinan y planifican las evaluaciones, entre otras cosas facilitando los recursos necesarios en consonancia con los presupuestos de la intervención y el alcance, los principios, las normas y las disposiciones relativas a la calidad de la evaluación. Los administradores y el personal encargado del seguimiento y la evaluación se cercioran de la inclusión de la evaluación en todos los proyectos de la OIM o de una justificación cuando no sea así, valorando la posibilidad de incluir la evaluación en una fase posterior de la ejecución. Los administradores y el personal encargado del seguimiento y la evaluación deberán informar y consultar a su respectivo funcionario regional en este ámbito o a la función de evaluación central de la Oficina del Inspector General en relación con el apoyo técnico y el aseguramiento de la calidad, cuando sea necesario. |
En el caso de una estrategia asumida como propia a nivel nacional, como por ejemplo una estrategia de país, la entidad responsable de su elaboración y aplicación también debería encargarse de su evaluación, según corresponda, y de asegurarse de que esta también se tenga debidamente en cuenta en las evaluaciones programáticas pertinentes.
Como se ha mencionado anteriormente, en un programa o proyecto, la responsabilidad del seguimiento incumbe, en última instancia, al administrador o gestor del programa o proyecto pertinente. En el caso de las estrategias y políticas, el responsable de la intervención se encarga del seguimiento de los progresos de esa estrategia o política. Cuando sea posible, se recomienda que las oficinas de la OIM contraten a funcionarios especializados en materia de seguimiento y evaluación para que lleven a cabo el seguimiento y la evaluación de las intervenciones pertinentes y brinden el apoyo necesario en materia de seguimiento a los jefes de misión, los administradores u otro personal administrativo y operativo de la oficina. La contratación de estos funcionarios también se adecua a los entornos de trabajo complejos, con múltiples asociados en la ejecución, diferentes lugares, zonas restringidas y grandes presupuestos.
Responsabilidades generales en materia de seguimiento
| Intervention | Responsabilidad del seguimiento |
|---|---|
| Estrategias o políticas a nivel de toda la Organización | Los departamentos/divisiones pertinentes de la Sede (como la Estrategia de Recursos Humanos del Departamento de Gestión de Recursos Humanos, la Estrategia de Tecnologías de la Información de la Unidad de Tecnologías de la Información y las Comunicaciones, el Marco Operacional en Situaciones de Crisis Migratoria del Departamento de Operaciones y Situaciones de Emergencia o la Política sobre Cuestiones de Género de la Unidad de Coordinación de las Cuestiones de Género. |
| Estrategias regionales | Los directores regionales, en coordinación con los asesores regionales principales. |
| Estrategias nacionales | Los jefes de misión, en coordinación con los directores regionales. |
| Programas y proyectos | Los jefes de misión tienen la responsabilidad de garantizar que los administradores o gestores de programas y proyectos efectúen el seguimiento o integren los sistemas de seguimiento en sus proyectos o programas. Los administradores tienen la responsabilidad de efectuar el seguimiento de sus propios programas o proyectos. |
Principales funciones y responsabilidades en materia de seguimiento en los distintos niveles de la OIM13
| Unidad responsable | Descripción sucinta de las principales responsabilidades relacionadas con el seguimiento |
|---|---|
| Función de evaluación central de la Oficina del Inspector General |
Entre las responsabilidades específicas figuran las siguientes:
|
| Departamentos, divisiones y unidades de la Sede y especialistas temáticos regionales | Facilitar orientación e instrucciones relativas al seguimiento en sus ámbitos de especialización técnica (como la División de Migración y Salud en relación con los proyectos de salud). También llevan a cabo el seguimiento de sus propias políticas y estrategias pertinentes, cerciorándose de que los sistemas de seguimiento de proyectos estén vinculados a los objetivos estratégicos y ayudando a las oficinas a encontrar soluciones oportunas a los problemas mediante un seguimiento eficaz. |
| Directores regionales | Asegurar la colaboración para efectuar el seguimiento de la aplicación de las políticas y estrategias regionales y dar instrucciones para la aprobación de proyectos en la región a fin de garantizar la inclusión correspondiente de los sistemas de seguimiento. |
| Funcionarios regionales encargados del seguimiento y la evaluación |
Entre las responsabilidades de los oficiales regionales de seguimiento y evaluación figuran las siguientes:
|
| Oficiales regionales de gestión de recursos | Prestan apoyo al personal de finanzas de las oficinas en países en el seguimiento de los presupuestos y gastos financieros. |
| Jefes de Misión | Se aseguran de que todos los proyectos de la oficina en el país cuenten con herramientas y mecanismos sólidos en materia de seguimiento y de que se mantenga informada a la oficina regional. Además, si la oficina en el país cuenta con una estrategia, el Jefe de Misión debería asegurarse de que siga de cerca su aplicación. |
| Administradores o gestores de programas o proyectos |
Los administradores o gestores de programas o proyectos tienen la responsabilidad principal de efectuar el seguimiento de los progresos del programa o proyecto, tanto en términos operativos como financieros, incluidos los recursos aportados al proyecto (insumos), lo que se realiza (actividades) y qué resultados se obtienen (productos y efectos). Concretamente, estos velan por que existan mecanismos de seguimiento y control eficaces para asegurarse de que los productos obtenidos en el marco del proyecto lleguen a los beneficiarios y para prevenir el fraude. Supervisan y miden sistemáticamente los progresos, y detectan y comunican cualquier desviación o riesgo a las partes interesadas pertinentes y adoptan rápidamente las medidas correctivas que sean necesarias (como la solicitud de una prolongación del periodo de ejecución del proyecto o la obtención de la aprobación de los donantes para modificar o revisar las actividades del proyecto, el plan de gestión de los riesgos, los resultados o el presupuesto). En colaboración con el personal de finanzas, los administradores examinan periódicamente los resultados financieros, incluidos los informes sobre las partidas presupuestarias, a fin de reducir al mínimo los casos de gastos inferiores o superiores a los previstos y, en caso necesario, explican los gastos inferiores o superiores a los previstos importantes y corrigen los errores. |
| Personal de las oficinas en países encargado del seguimiento y la evaluación |
Los funcionarios encargados del seguimiento y la evaluación elaboran herramientas y planes de trabajo relacionados con estas actividades a nivel de las oficinas en países, inclusive para los asociados en la ejecución, en coordinación con el Jefe de Misión/Jefe de Oficina y con la oficina regional, y habida cuenta de una evaluación de los riesgos de los proyectos que se están ejecutando en el país. Asimismo, ofrecen apoyo técnico y oportunidades para la creación de capacidades pertinentes a la oficina/proyecto en materia de seguimiento (aportaciones a nivel de la elaboración, ejecución y presentación de informes del proyecto) y realizan visitas de seguimiento de acuerdo con los planes de trabajo del proyecto o programa, incluidas las actividades realizadas por los asociados en la ejecución. Los funcionarios encargados del seguimiento y la evaluación también se encargan de preparar los informes correspondientes. Nota: Varias oficinas en países cuentan con puntos focales en materia de seguimiento y evaluación. Estos puntos focales tal vez no puedan llevar a cabo todas estas actividades de seguimiento, pero pueden utilizar las responsabilidades como orientación para el desempeño de su función. |
| Personal de gestión de recursos de las oficinas en países | El personal de gestión de recursos de las oficinas en países ayuda a los administradores a seguir de cerca los gastos financieros y a asegurar el cumplimiento de los requisitos contractuales de los donantes, así como de los procedimientos de la OIM. |
- 13La lista completa de las funciones y responsabilidades en materia de seguimiento en los distintos niveles de la Organización puede consultarse en OIM, 2018b, págs. 5–6
Competencias en materia de seguimiento y evaluación
Al pensar en las funciones y responsabilidades en materia de seguimiento y evaluación, es conveniente considerar las competencias esenciales para esas funciones. Las competencias son una combinación de conocimientos y aptitudes necesarios para ejecutar tareas complejas en el entorno profesional. A pesar de la gran variedad de contextos en que se llevan a cabo el seguimiento y la evaluación, de la complejidad de los sistemas de seguimiento y evaluación y del hecho de que las competencias puedan variar en cierta medida a diversos niveles, se considera que las siguientes competencias pueden aplicarse al personal encargado del seguimiento y la evaluación14
| Competencias esenciales en materia de seguimiento y evaluación |
|---|
| Competencias generales de gestión |
|
Capacidad para:
|
| Competencias profesionales del personal encargado del seguimiento y la evaluación |
|
Capacidad para:
|
| Competencias en materia de recopilación, gestión, análisis, difusión y uso de datos |
|
Capacidad para:
|
Al evaluar la capacidad en materia de seguimiento y evaluación, cabe tener en cuenta lo siguiente:15
| Principiante/Novato | Conocedor/Competente | Dominio/Experto |
|---|---|---|
|
|
|
- 14Adaptado de ONUSIDA, 2010.
- 15Ibid.
Habida cuenta de que el seguimiento y la evaluación son dos componentes obligatorios de cualquier intervención de la OIM, es preciso incluir los costos conexos en sus respectivos presupuestos durante la fase de concepción de la intervención. En el Manual para proyectos de la OIM se ofrecen orientaciones detalladas sobre la presupuestación de los proyectos y programas, incluida la incorporación de las gastos de seguimiento, mientras que en el Anexo 5.1 del capítulo 5 de las Directrices de la OIM relativas al seguimiento y la evaluación se ofrecen orientaciones específicas sobre la presupuestación de la evaluación 16 . En el caso de una estrategia o política, el departamento u oficina encargado de la elaboración debería asimismo reservar un presupuesto para el seguimiento y la evaluación de este tipo de intervención durante la fase de concepción.
La presupuestación de una intervención se realiza actualmente a través del Programa de Información y Gestión de Proyectos (PRIMA)17
. Los presupuestos elaborados a través de este Programa incluyen partidas específicas para los gastos de seguimiento y evaluación, que figuran en el apartado relativo a los gastos operativos del modelo de presupuesto. En el Anexo 1 de la Guía del usuario de PRIMA (enlace interno únicamente) se describe cómo consignar los gastos de seguimiento y evaluación en un presupuesto en PRIMA.
Los gastos relacionados con el seguimiento y la evaluación se deberían mencionar claramente en el apartado relativo a los gastos de personal del modelo de presupuesto de proyectos de la OIM en PRIMA. Del mismo modo, los gastos específicos relacionados con el seguimiento y la evaluación, como aquellos derivados de la realización de evaluaciones de referencia, encuestas posteriores a la intervención y evaluaciones en general, se deberían mencionar claramente en las partidas designadas en materia de seguimiento y evaluación en el apartado relativo a los gastos operativos del presupuesto de proyectos de la OIM en PRIMA.
- 17PRIMA es una solución institucional de gestión de la información de proyectos. El personal de la OIM puede acceder a PRIMA a nivel interno, a través de la intranet.
Los gastos correspondientes al tiempo y los viajes del personal se consignan, por lo general, en el apartado relativo a los gastos de personal y oficina del presupuesto de proyectos de la OIM, a no ser que las actividades se hayan subcontratado o las realice un asociado o un consultor, en cuyo caso estos gastos se deberían consignar en el apartado relativo a los gastos operativos, ya sea en las partidas separadas relativas al seguimiento y la evaluación, según se indica en el modelo de presupuesto en PRIMA, o en los gastos para el asociado.
La OIM recomienda el mismo rango para el seguimiento y la evaluación que el recomendado por la comunidad de evaluación en general, esto es, entre el 5 y el 10 por ciento del presupuesto total (entre el 2 y el 4 por ciento para la evaluación y entre el 3 y el 6 por ciento para el seguimiento). Ahora bien, este desglose de costos es meramente indicativo, e independientemente de las dimensiones de la intervención, el monto asignado para una evaluación en la OIM varía entre 3.000 y 30.000 dólares EE.UU., teniendo en cuenta que las evaluaciones internas realizadas por el personal de la OIM son más económicas que las evaluaciones externas. Para las evaluaciones complejas, que pueden requerir más recursos, se pueden entablar conversaciones concretas con los donantes sobre las mayores cuantías presupuestadas; así, por ejemplo, las evaluaciones del impacto pueden requerir una inversión de 70.000 dólares EE.UU. como mínimo, y pueden llegar a costar fácilmente 500.000 dólares EE.UU.
La identificación de las fuentes de datos y de los métodos de recopilación necesarios para el seguimiento y la evaluación en una fase temprana de la formulación de la intervención permite estimar mejor las necesidades financieras. En el recuadro que figura a continuación se destacan las principales consideraciones para la planificación del presupuesto asignado seguimiento y evaluación de un proyecto o programa18 .
| Principales consideraciones para la planificación de un presupuesto destinado al seguimiento y la evaluación en el marco de una intervención | |
|---|---|
|
|
La función de evaluación central de la Oficina del Inspector General ha confeccionado un modelo de calculadora del presupuesto destinado al seguimiento y la evaluación, que incluye ejemplos de cálculos en función de las necesidades específicas en materia de seguimiento y evaluación.
Recursos de la OIM
- 2010 IOM Data Protection Manual. Ginebra.
- 2017 Manual para proyectos de la OIM. Segunda edición. Ginebra (enlace interno únicamente).
- 2018a IOM Evaluation Policy. Oficina del Inspector General, septiembre.
- 2018b Monitoring Policy. IN/31. 27 de septiembre.
- s.f.a OIG/Evaluation Strategy 2021-2023. Función de evaluación central de la Oficina del Inspector
General. - s.f.b IOM Informed Consent Form (enlace interno únicamente).
- s.f.c PRIMA for All (enlace interno únicamente).
- s.f.d OIG/Evaluation M&E Budget Calculator (enlace interno únicamente).
Recursos externos
Barnett, C. y L. Camfield
- 2016 Ethics in evaluation. Journal of Development Effectiveness, 8(4):528-534.
Buchanan-Smith, M., J. Cosgrave y A. Warner
- 2016 Guía de evaluación de la acción humanitaria. ALNAP/ODI, Londres.
Federación Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja
- 2011 Project/Programme Monitoring and Evaluation (M&E) Guide. Ginebra.
Grupo de Evaluación de las Naciones Unidas (UNEG)
- 2016a Normas y estándares de evaluación. Nueva York.
- 2016b Evaluation Competency Framework. Nueva York.
- 2020 UNEG Ethical Guidelines for Evaluation.
Morra-Imas, L.G. y R.C. Rist
- 2009 The Road to Results: Designing and Conducting Effective Development Evaluations. Banco Mundial,
Washington, D.C.
Morris, M.
- 2003 Ethical considerations in evaluation. En: International Handbook of Educational Evaluation, Part 1. Springer International Handbooks of Education (Publicado bajo la dirección de T. Kellaghan, D. Stufflebeam y L. Wingate). Kluwer Academic Publishers, Dordrecht, págs. 303-327.
- 2015a Professional judgment and ethics. En: Community Psychology: Foundations for Practice (Publicado
bajo la dirección de V. Scott y S.M. Wolfe). SAGE Publications, págs. 132-156. - 2015b Research on evaluation ethics: Reflections and an agenda. En: Research on Evaluation: New Directions for Evaluation, 2015(148):31-42.
Morris, M. y R. Cohn
- 1993 Program evaluators and ethical challenges: A national survey. Evaluation Review, 17(6):621-642.
ONUSIDA
- 2010 Standards for a Competency-based Approach to Monitoring and Evaluation Curricula and Trainings. Grupo de Referencia sobre Vigilancia y Evaluación, Ginebra.
Organización de Cooperación y Desarrollo Económicos (OCDE)
- 2019 Mejores criterios para una mejor evaluación: Definiciones revisadas de los criterios de evaluación y principios para su utilización. Red de Evaluación del Desarrollo del CAD-OCDE.
Prom-Jackson, S. y G. Bartsiotas
- 2014 Análisis de la función de evaluación en el sistema de las Naciones Unidas. JIU/REP/2014/6. Dependencia Común de Inspección del sistema de las Naciones Unidas, Ginebra.
Thomson, S., A. Ansoms y J. Murison (Publicado bajo la dirección de)
- 2013 Emotional and Ethical Challenges for Field Research in Africa: The Story Behind the Findings. Palgrave Macmillan, Hampshire.
Worthen, B.R., J.R. Sanders y J.L. Fitzpatrick
- 2004 Program Evaluation: Alternative Approaches and Practical Guidelines. Tercera edición. Pearson Education Inc., Boston.