La ética es un conjunto de valores y creencias que se basan en la opinión de una persona sobre lo que es correcto, incorrecto, bueno y malo y que influye en las decisiones que toman las personas. Puede estar dictada por la organización o por la legislación del país en el que trabaja el personal con funciones de seguimiento y evaluación y lo que las personas consideran ético en ese contexto.

Los datos recopilados ofrecen una importante fuente de información a los encargados de la adopción de decisiones sobre la intervención que se está supervisando o evaluando. Si bien las evaluaciones positivas pueden ayudar a obtener más fondos, a ampliar un proyecto piloto o a mejorar la reputación, la detección de problemas graves puede llevar a situaciones difíciles, en las que está en juego la credibilidad de la labor realizada. Comprender y saber gestionar las situaciones e influencia políticas es fundamental para preservar la integridad de la labor de seguimiento y evaluación, y unos métodos de recopilación de datos adecuadamente definidos y sólidos desempeñan una función decisiva. Morra Imas y Rist, 2009. Véase asimismo el capítulo 2 relativo a las normas, estándares y gestión del seguimiento y la evaluación.

Directrices y principios éticos

Al planificar, diseñar, gestionar y notificar actividades de seguimiento y evaluación, los profesionales en este ámbito deberían asegurarse de que sus acciones se rijan por directrices éticas, en particular las esbozadas infra:

• IOM Evaluation Policy y Monitoring Policy (septiembre de 2018);
• Principios de la OIM de Protección de Datos (IN/00138) (mayo de 2009) (enlace interno únicamente);
• Normas de Conducta de la OIM (IN/15 Rev.1) (enlace interno únicamente);
• UNEG Ethical Guidelines for Evaluation (marzo de 2008, revisado en 2020).

Algunos de los principios éticos comunes presentados en los documentos mencionados supra “deben aplicarse con el debido respeto de los derechos humanos, la protección de datos y la confidencialidad, así como del género, la etnia, la edad, la orientación sexual, el idioma, la discapacidad y otras cuestiones pertinentes".OIM, 2017b, pág. 23. Estos pueden resumirse como sigue:

La adhesión a estos principios éticos comunes también contribuye a garantizar que la información reunida sea exacta, pertinente, oportuna y se utilice de forma responsable (véase el capítulo 2, así como el Anexo 2.1. Lista de verificación de las consideraciones éticas en el seguimiento y la evaluación).

• Independencia significa también evitar los conflictos de intereses, conservar la capacidad de emitir juicios independientes y no dejarse influir por la presión de ninguna parte para modificar los hallazgos de la evaluación.

Al planificar la recopilación de datos, algunas consideraciones básicas garantizan que los datos que han de ser recopilados y analizados sean válidos y fiables. Estas consideraciones son: finalidad de la recopilación de datos, metodología para la recopilación de datos, recursos para la recopilación de datos y calendario de la recopilación de datos.

Según el Manual para proyectos de la OIM, las fuentes de datos indican de dónde y cómo se extraerá la información necesaria para medir los indicadores especificados. Module 2 of IOM Project Handbook, pág. 50

En general, existen dos fuentes de datos que se pueden utilizar a los efectos del seguimiento o la evaluación:

• Los datos primarios son los datos que el personal con funciones de seguimiento y evaluación recopila directamente utilizando varios instrumentos, como entrevistas con informantes clave, encuestas, grupos focales u observaciones.
• Los datos secundarios son los datos obtenidos de otras fuentes preexistentes, como el censo de un país o los datos de encuestas de asociados, donantes o gobiernos.

• Sírvase tomar nota de que, en aquellos casos en que la OIM trabaja con asociados en la ejecución directamente administrados por la Organización, los datos recopilados siguen considerándose datos primarios recopilados por la OIM.

Al elegir las fuentes de datos, resulta útil comenzar con un análisis documental para evaluar mejor qué tipo de datos utilizar. En el caso del seguimiento, esto corresponde a la información incluida en la columna “Fuente y método de recopilación de datos” de la matriz de resultados de la OIM y el marco de seguimiento de resultados (véase el capítulo 3). En el caso de la evaluación, el tipo de datos se aclarará en el pliego de condiciones de la evaluación, el informe inicial o la matriz de evaluación, y también puede incluir datos derivados del seguimiento.

Un análisis documental se centra habitualmente en analizar las fuentes de datos primarios y secundarios existentes y pertinentes, y puede ser estructurado o no estructurado. Los exámenes documentales estructurados utilizan una estructura formal para el análisis documental, mientras que los exámenes no estructurados son lectura preparatorias. En el Anexo 4.2. Cómo llevar a cabo un análisis documental se ofrecen orientaciones detalladas sobre la realización de este tipo de examen.

Al planificar la recopilación y análisis de datos, conocer los distintos tipos de medición, es decir, cómo se medirán los datos, puede influir en la decisión de elegir la metodología apropiada. Esto es especialmente importante para fundamentar el diseño de las herramientas de recopilación datos, por ejemplo las encuestas.

Cuestiones que cabe considerar
	¿Qué es lo que se quiere medir? ¿Cuál es la finalidad de la medición? ¿Cómo se va a proceder para medirlo?

Las medidas de los indicadores enumerados en una matriz de resultados o una matriz de evaluación pueden incluir variables categóricas (cualitativas) y/o variables numéricas (cuantitativas). Una variable es cualquier característica o atributo que difiere y puede medirse para cada unidad en una muestra o una población (véase la sección relativa al “muestreo”).

• Las variables categóricas representan tipos de datos cualitativos que pueden dividirse en grupos o categorías.Las variables categóricas pueden clasificarse, además, en variables nominales, dicotómicas (binarias) y ordinales Esos grupos pueden consistir en etiquetas alfabéticas (como el género, el color del pelo o la religión) o numéricas (por ejemplo, mujer = 1, hombre = 0), o etiquetas binarias (como “sí” o “no”) que no contienen información más allá de los cómputos de frecuencia relacionados con la pertenencia al grupo.Para más información sobre los tipos de variables, véase Laerd Statistics, s.f.
• Las variables numéricas (también denominadas variables cuantitativas) se utilizan para medir cosas que pueden expresarse en términos numéricos como cifras absolutas, por ejemplo el número de personas a las que se ha impartido formación, desglosadas por sexo, un porcentaje, un índice o tasa, o una proporción o razón.

Al diseñar los indicadores, las tareas más importantes consisten en vincularlos de manera lógica con los resultados de la intervención y determinar cómo medirán los indicadores estos resultados.

Any measure that is intended to be used should be relevant, credible, valid, reliable and cost-effective. The quality of indicators is determined by four main factors:

(a) Quality of the logical link between the indicator and what is being measured (such as the objective, outcome, output and/or impact of an intervention)

• What is being measured and why? What are the potential indicators?
• Why does/do the indicator(s) measure the objective, outcome, output and/or impact?
• How does the indicator measure the objective, outcome, output and/or impact?

(b) Quality of the measurement

• Are the indicators measuring what they are designed to measure (validity)?
• Do the indicators provide the same results when the measurements are repeated (reliability)?

(c) Quality of implementation

• Are the financial costs of measuring the indicators worth the information to be collected (cost-effectiveness)? 
• Are the data collection instruments the most appropriate given the established indicators for measuring the intervention objectives, outcomes, outputs and/or impact (relevancy)? Limited resources (time, personnel and money) can often prevent the use of the most appropriate data collection instruments.

(d) Quality of recognizing the measurement results and their interpretation

• To what extent are the measurement results and their interpretation accepted as a basis for decision-making by those involved (credibility)?

Table 4.1 provides a checklist for ensuring good quality measures.

Source: Adapted from Morra Imas and Rist, 2009, p. 293.

Los valores que adopta una variable forman una escala de medición, que se utiliza para clasificar y/o cuantificar los indicadores. Estas escalas pueden ser nominales, ordinales, de intervalos o de razón. Los niveles de medición utilizados determinarán el tipo de técnicas de análisis de datos que cabe o no emplear.

Niveles de medición

Escalas nominales

Las escalas nominales consisten en la asignación de categorías sin clasificar que reflejan en mayor medida la calidad que la cantidad. Todo valor que pueda asignarse a las distintas categorías solo representa una categoría descriptiva (sin ningún valor numérico inherente en términos de magnitud). La medición a partir de una escala nominal puede ayudar a determinar si las unidades sujetas a observación son distintas, pero no puede determinar la dirección o el tamaño de esta diferencia. Las escalas nominales se utilizan con fines de clasificación o agrupación.

La tarea más importante de un indicador es garantizar la mejor asignación posible de las características que son objeto de medición con la escala de medición. Esta separación de las características “y su dispersión estadística mensurable (varianza) en la escala son los principales conocimientos adquiridos gracias al indicador (las variables)”.Stockmann, A Practitioner Handbook on Evaluation, pág. 204

When planning for data collection and thinking of the type of data that will be collected, it is important to assess the target audience from which the data will be collected. A crucial consideration that may influence decision-making is to determine the sample size and sampling strategy to select a representative sample of respondents, as this has budgetary implications.

While at times it may be feasible to include the entire population in the data collection process, at other times, this may not be necessary nor feasible due to time, resource and context-specific constraints, so a sample is selected.

El muestreo es el proceso consistente en seleccionar unidades de una población (esto es, una muestra) para describir o hacer inferencias sobre esa población (es decir, para estimar cómo es la población sobre la base de los resultados de la muestra).

Preguntas que deben formularse al realizar un muestreo

¿Quiénes serán los entrevistados para la recopilación de datos? ¿De cuántas personas se recopilarán datos? ¿Por qué es mejor recopilar datos del grupo A que del grupo B? ¿Cuántas respuestas habrá que recopilar para que los hallazgos sean fiables, válidas y representativas para una población o un grupo más grandes? ¿Cuántos datos habrá que recopilar para poder realizar un análisis en profundidad? ¿Será suficiente hablar con unos pocos beneficiarios sobre los resultados de una determinada actividad, o se necesitará al conjunto de la población objetivo? ¿Cuál es el equilibrio ideal entre la información que pueden proporcionar los participantes y el número de participantes que se requiere hasta que se haya obtenido la información necesari?

El muestreo se aplica tanto a los métodos de seguimiento o evaluación cualitativos como cuantitativos. Mientras que el muestreo aleatorio (también denominado muestreo probabilístico) suele aplicarse cuando se utilizan principalmente herramientas de recopilación de datos cuantitativos, el muestreo no aleatorio (también denominado muestreo no probabilístico o intencional) suele aplicarse a la labor de seguimiento o evaluación que se basa en gran medida en datos cualitativosAdaptado de Trochim, 2020a y Lærd Dissertation, n.d.

La selección adecuada de una muestra, idealmente de manera aleatoria, puede reducir la probabilidad de introducir sesgos en los datos, por lo que mejora la medida en que los datos recopilados reflejan la situación actual de una intervención. Los sesgos son cualquier proceso en cualquiera de las etapas del diseño, planificación, ejecución, análisis y presentación de los datos que produce resultados o conclusiones que difieren sistemáticamente de la verdad.Adaptado de Sackett, 1979.Para obtener más información sobre los tipos de sesgos, véase el Anexo 4.3. Tipos de sesgos.

Muestreo aleatorio

El muestreo aleatorio en un enfoque de muestreo que se utiliza cuando se requiere un elevado número de entrevistados y cuando se usan los resultados del muestreo para hacer generalizaciones con respecto al conjunto de la población objetivo. Dicho de otro modo, a fin de asegurarse de que la muestra represente verdaderamente a la población objetivo en general, y de que no refleje únicamente las opiniones de un grupo muy reducido incluido en la muestra, se elige aleatoriamente a las personas representativas. El muestreo aleatorio es un método eficaz para evitar los sesgos en el muestreo.

El muestreo aleatorio requiere un marco muestral, que es una lista del conjunto de la población objetivo a partir de la cual se selecciona la muestra. Muchas veces, esto es difícil de aplicar, por lo que existen otras técnicas de muestreo aleatorio que no requieren un marco muestral completo (muestreo aleatorio sistemático, estratificado y por conglomerados).

Muestro no aleatorio o intencional

Figura 4.7. Muestra no aleatoria
	El muestreo no aleatorio se utiliza cuando: No se requiere un número elevado de encuestados; La investigación es exploratoria; Se utilizan métodos cualitativos; El acceso es complejo; La población se encuentra muy dispersa.

El muestreo no aleatorio o intencional es apropiado cuando se realiza un estudio de una pequeña muestra (“n”), la investigación es exploratoria, se utilizan métodos cualitativos, el acceso es complejo o la población se encuentra muy dispersa. Para obtener más información acerca de cuándo es apropiado utilizar el muestreo no aleatorio, véanse Patton (2015) y Daniel (2012). La técnica de muestreo elegida dependerá de las necesidades de información, la metodología (cuantitativa o cualitativa) y las herramientas de recopilación de datos que serán necesarias.

Fuente: En el cuadro se muestran los tipos más comunes de muestreo no aleatorio o intencional, pero existen otros tipos de muestreo no aleatorio o intencional, descritos en Patton, 2015.

Limitaciones del muestreo no aleatorio o intencional

La utilización de muestras no aleatorias o intencionales, en particular de muestras de conveniencia o de “bola de nieve”, tiene varias limitaciones. En primer lugar, no pueden hacerse generalizaciones para el conjunto de la población objetivo. En segundo lugar, las pruebas estadísticas para hacer inferencias no puedan aplicarse a los datos cuantitativos. Por último, las muestras no aleatorias pueden estar sujetas a varios sesgos que se reducen cuando la muestra se selecciona aleatoriamente. Si utilizan una muestra no aleatoria, el personal con funciones de seguimiento y evaluación debería preguntarse lo siguiente: “¿Hay algo en esta muestra en particular que pueda ser distinto del conjunto de la población?”. Si la respuesta es sí, la muestra puede no ser representativa de algunos grupos de la población. La presentación de las características demográficas de la muestra puede proporcionar información sobre cuán representativa es de la población objetivo de la que se extrajo la muestra.

Fuente: Adaptado de Sheppard, 2020.

El tamaño de la muestra vendrá determinado por lo que se quiere medir, con qué finalidad y cómo se medirá. El tamaño de la muestra también deberá garantizar, con el mayor nivel de confianza posible, que un cambio o una diferencia observados entre los grupos es el resultado de la intervención, y no fruto de la casualidad. Sin embargo, esto puede no ser siempre así en el caso del muestreo no aleatorio o intencional.

Determinación del tamaño de la muestra: Muestreo aleatorio

Cuando se requiere un gran número de encuestados, el tamaño adecuado de la muestra se decide teniendo en cuenta el nivel de confianza y el error de muestreo.

• En el caso de un estudio que requiera un reducido número de participantes, la selección de pequeñas muestras aleatorias puede dar lugar a estimaciones sumamente engañosas de la población objetivo. Por consiguiente, el muestreo no aleatorio será más adecuado.

Determinación del tamaño de la muestra: Muestreo no aleatorio o intencional

En el muestreo no aleatorio o intencional, un indicador de si se ha conseguido o no una muestra adecuada es la saturación de los datos. Una vez alcanzado este punto, no es necesario recopilar más datos. Sin embargo, habida cuenta de las escasas orientaciones acerca de cuántas entrevistas se necesitan para llegar al punto de saturación, a veces puede ser difícil identificarlo.

Las preguntas que figuran a continuación pueden ayudar a determinar cuántas personas habrá que incluir en la muestra para llegar al punto de saturación de los datos y para que estos sean creíbles:

• ¿Deberían incluirse todos los segmentos de población en la muestra?
• ¿Deberían incluirse personas con distintas perspectivas en la muestra?
• ¿Deberían triangularse las conclusiones (véase la sección relativa a la triangulación)?

Las encuestas son una técnica habitual para recopilar datos. Permiten recabar información específica sobre una muestra extraída de la población objetivo para un proyecto, un programa o una política, especialmente datos sobre las percepciones, opiniones e ideas. Si bien las encuestas también pueden utilizarse para medir el comportamiento previsto, siempre hay margen para la interpretación, y cualquier dato recopilado puede ser menos “fáctico”, ya que lo que las personas dicen que tienen previsto hacer puede no reflejar lo que harán en realidad.

Por lo general, una encuesta se lleva a cabo con una muestra relativamente grande seleccionada aleatoriamente de modo que los resultados sean representativos de la población objetivo más amplia (véase la sección relativa al muestreo). El formato de la encuesta puede ser estructurado o semiestructurado, dependiendo de la finalidad de la recopilación de datos (véase el cuadro 4.8), y esta puede realizarse de manera puntual (encuesta transversal) o a lo largo de un periodo de tiempo (encuesta longitudinal).

Las encuestas transversales se utilizan para recopilar información sobre la población objetivo en un momento dado, por ejemplo al final de un proyecto. Esta forma de encuesta puede emplearse para determinar la relación existente entre dos factores, por ejemplo, el impacto de un proyecto destinado a mejorar los medios de vida en el nivel de conocimientos del encuestado para que este pueda iniciar una actividad generadora de ingresos.

Las encuestas longitudinales recogen datos a lo largo de un periodo de tiempo, lo que permite realizar un análisis de los cambios que se producen en la población objetivo, así como de la relación existente entre los factores, a lo largo del tiempo. Existen distintos tipos de encuestas longitudinales, entre los que cabe mencionar los estudios de panel y de cohorte.Los estudios de panel y los estudios de cohorte son dos enfoques para el diseño de estudios longitudinales. Los estudios de cohorte hacen un seguimiento de las personas identificadas mediante características específicas a lo largo de un periodo de tiempo definido, mientras que los estudios de panel tienen por objeto abarcar al conjunto de la población Lugtig y Smith, 2019.

Las encuestas pueden administrarse de distintas maneras, por ejemplo en forma de entrevistas personales, entrevistas telefónicas o de cuestionarios impresos o en línea, en los que los participantes deberán escribir sus respuestas.

Para más información sobre cómo diseñar y llevar a cabo una encuesta, véase el Anexo 4.5. Diseño y administración de la encuesta y el Anexo 4.6. Ejemplo de encuesta.

Interviews are a qualitative research technique used to shed light on subjectively lived experiences of, and viewpoints from, the respondents’ perspective on a given issue, or sets of issues, that are being monitored or evaluated for a given intervention. Interviews provide opportunities for mutual discovery, understanding, reflection and explanation. Interviews are of three types: (a) structured; (b) semi-structured; and (c) unstructured. Table 4.9 provides an overview of each interview approach, when to use it and some examples.

Para obtener más información sobre las entrevistas, la estructura de la entrevista y las indagaciones, véase el Anexo 4.7. Estructura y preguntas de la entrevista (ejemplos facilitados a lo largo de todo el anexo) y el Anexo 4.8. Ejemplo de entrevista.

Un grupo focal es otra técnica de investigación cualitativa consistente en una discusión en grupo prevista entre un número limitado de personas, con un moderador y, de ser posible, con personas que tomen notas y observadores (si se utiliza la observación).Los grupos focales no deberían contar, por lo general, con más de 15 participantes. Si el número de participantes es más elevado, pueden utilizarse las técnicas de entrevista a grupos comunitarios. La finalidad de un grupo focal es obtener ideas y percepciones diversas sobre un tema de interés en un entorno relajado y tolerante que permita expresar distintos puntos de vista, sin que existan presiones para llegar a un consenso. Los grupos de discusión también se utilizan para conocer en mayor profundidad un tema o una cuestión, lo que generalmente no es posible si se utiliza una encuesta. Así, por ejemplo, una encuesta puede mostrar que el 63 por ciento de la población prefiere la actividad Y, pero un grupo de discusión puede revelar las razones que explican esta preferencia. Los grupo de discusión también pueden ayudar a comprobar si existen sesgos de conveniencia social, que es la tendencia entre los encuestados a responder lo que creen que el encuestador desea oír, en lugar de expresar sus verdaderas opiniones. Por ejemplo, durante la discusión en un grupo focal, uno puede descubrir que la verdadera preferencia de los participantes es la actividad X, y no la actividad Y, a partir de sus respuestas a la encuesta. Ahora bien, los grupos dirigidos ofrecen en menor medida la oportunidad de generar relatos individuales detallados sobre el tema o la cuestión que se está examinando. Cuando se requiera este tipo de datos, se deberían utilizar entrevistas. Si una persona responde con demasiada frecuencia, es importante ver si este comportamiento intimida a los demás participantes y moderar las discusiones, invitando a los demás participantes a contribuir. También es importante entender quién es esa persona, por ejemplo, un dirigente político que trata de imponer las respuestas al grupo.

Para obtener más información sobre los grupos dirigidos de discusión, véase el Anexo 4.9. Preparación, organización y moderación de un grupo focal y el Anexo 4.10. Ejemplo de la OIM - Guía sobre los grupos dirigidos de discusión.

Un estudio de caso es un método de recopilación de datos cualitativos que se utiliza para examinar situaciones de la vida real y si las conclusiones del caso pueden ilustrar determinados aspectos de la intervención que es objeto de seguimiento o evaluación. Consiste en un examen exhaustivo de casos a fin de obtener información detallada, con el objetivo de comprender la dinámica operacional, las actividades, los productos, los efectos y las interacciones de una intervención.

Los estudios de casos conllevan un análisis contextual detallado de un número limitado de sucesos o condiciones y de sus relaciones, que sirve de base para la aplicación de ideas y la ampliación de los métodos. Los datos recopilados por medio de un estudio de caso pueden ayudar a entender una cuestión o un objeto complejos y conferir una mayor validez a lo que ya se sabe.

Un estudio de caso es útil para estudiar los factores que contribuyen a la obtención de productos y efectos. Sin embargo, este método de recopilación de datos puede exigir invertir un tiempo y recursos considerables, y el análisis y la extrapolación de la información obtenida de estudios de casos pueden ser complejos.

La observación es una técnica de investigación que el personal con funciones de seguimiento y evaluación puede utilizar para comprender mejor el comportamiento de los participantes y el entorno físico en el que se está llevando a cabo un proyecto, un programa o una política. Observar significa ver detenidamente a las personas y sus entornos y constatar sus comportamientos e interacciones utilizando los cinco sentidos: la vista, el tacto, el gusto, el oído y el olfato.

Se debería recurrir a las observaciones en los siguientes casos:

• Para recopilar datos sobre los comportamientos individuales o las interacciones entre las personas y su entorno;
• Cuando sea necesario conocer un entorno físico;
• Cuando no sea factible recopilar datos de entrevistas o encuestas a personas.CDC, 2018.

Las observaciones pueden realizarse adoptando un enfoque estructurado, semiestructurado o no estructurado.

Si desea obtener más información sobre las observaciones, o consejos y ejemplos relacionados con estas, así como sobre la planificación y la realización de las observaciones, véase el Anexo 4.11. Ejemplos de observaciones y planificación y realización de las observaciones.

Una vez determinado el diseño del seguimiento y evaluación y una vez desarrollados los métodos y las herramientas, la recopilación de datos puede comenzar. Se recomienda asimismo impartir formación sobre la metodología a los equipos encargados de la recopilación de datos. Esta formación debería examinar de manera detallada las distintas herramientas de recopilación de datos que se utilizarán e incluir ejercicios prácticos sobre cómo aplicarlas.

La elaboración de una guía de recopilación de datos, en la que se den instrucciones claras a los encuestadores, es una herramienta de referencia útil, tanto antes de la formación como después de esta, para la recopilación efectiva de datos (véase el ejemplo que figura a continuación, en el que se reproduce un extracto de una encuesta incluida en una guía de recopilación de datos). Si sigue estos pasos, se asegurará de que los datos recogidos sean exactos, con una mínima posibilidad de error. Sin embargo, en algunos casos puede no ser factible organizar una formación completa debido a las limitaciones de tiempo y de recursos, por lo que una guía de recopilación de datos puede constituir una importante referencia.

Los datos recopilados se deberán transferir, seguidamente, a una aplicación informática, como Microsoft Word o Excel. La presentación de los datos en formato electrónico facilitará la depuración de los datos y su análisis. En el caso de los datos cuantitativos, el primer paso en la introducción de datos es crear el/los archivo(s) de datos con objeto de facilitar su transferencia entre una hoja de cálculo y un paquete de programas estadísticos, como SPSS o Stata, para la realización de análisis estadísticos

En el caso de los datos cualitativos, el primer paso en el proceso de introducción de datos es transferir todas las notas tomadas en las entrevistas, los grupos focales y las observaciones a un documento Word para realizar un análisis del contenido mediante la utilización de paquetes de programas de datos cualitativos, como NVivo o MAXQDA.

Otro componente de la introducción de datos es la asignación a cada sujeto (o unidad de análisis) de un identificador único (ID) (por ejemplo: 01, 02, 03, etc.), a menos que esto se haga directamente durante el proceso de recopilación de datos. Para ello, se debería crear un archivo aparte que haga corresponder la información de identificación de cada sujeto (unidad de análisis) con su identificador único. La asignación de un identificador único a cada encuestado garantiza que los datos no puedan atribuirse a estos últimos en caso de sean divulgados a otras partes.

Una vez que los datos se hayan transferido del medio empleado para registrar la información a una aplicación informática (Word o Excel), estos deben examinarse para ver si contienen errores. Una vez hecho esto, los errores se deberán diagnosticar y tratar.

Los errores en los datos pueden producirse en distintas etapas del diseño, aplicación y análisis de datos (véase la figura 4.8):

• Al diseñar los instrumentos de recopilación de datos (estrategias de muestreo inadecuadas, medidas no válidas, sesgos u otros);
• Al recopilar o introducir datos;
• Al transformar/extraer/transferir datos;
• Al estudiar o analizar los datos;
• Al presentar el proyecto de informe para una revisión inter pares.ACNUR, 2015.

* ACNUR, 2015.

Una vez identificados los datos sospechosos, el siguiente paso es revisar todas las respuestas de los encuestados con objeto de determinar si los datos tienen sentido dado el contexto en el que se recopilaron. A raíz de esta revisión, hay varios diagnósticos posibles para cada punto de datos sospechoso detectado:

• El punto de datos falta. Los datos faltantes pueden ser el resultado de respuestas omitidas por los encuestados (falta de respuesta), de preguntas que hayan pasado por alto el encuestador (entrada errónea u omisión) o los agentes encargados de la recopilación de datos, o pueden producirse abandonos (en el caso de los estudios longitudinales).
• El punto de datos es un verdadero valor extremo. Los verdaderos valores extremos son respuestas que parecen excesivas pero que pueden justificarse por otras respuestas.
• El punto de datos es un verdadero valor normal. Los verdaderos valores normales son respuestas válidas.
• El punto de datos es un error. Los errores pueden ser errores tipográficos o respuestas inadecuadas (los encuestados no entendieron bien las preguntas formuladas). A veces, los errores pueden detectarse rápidamente cuando existen límites predefinidos, ya que los valores son lógica o biológicamente imposibles. Por ejemplo, si la muestra comprende únicamente a encuestados de entre 18 y 35 años de edad, pero en la encuesta se ha indicado que un encuestado tiene 80 años, lo que es imposible.Ibid.

Una vez detectadas las observaciones problemáticas, estas deben tratarse antes de pasar al análisis de datos. A continuación se enumeran algunos de los principales enfoques para abordar los errores en los datos:

• No modificar los datos. Este enfoque es el más conservador, ya que implica aceptar los datos erróneos como respuesta(s) válida(s) y no realizar ningún cambio. En el caso de los estudios en que la muestra (“n”) es grande, dejar una respuesta errónea puede no afectar al análisis. Sin embargo, cuando la muestra es pequeña, la decisión de no modificar los datos puede ser más problemática.
• Corregir los datos, pero sin modificar la intención del encuestado o el sentido que estos tienen para él.
• Suprimir los datos. Es importante recordar que la omisión de datos puede dar la impresión de que los datos se escogen a fin de obtener los resultados deseados. Una alternativa es crear una variable binaria (1 = registro sospechoso; 0 = registro no sospechoso) y usar esta nueva variable como filtro de registro en las tablas dinámicas o en los filtros de datos de una tabla para comprender la incidencia de los datos potencialmente erróneos en los resultados finales.
• Volver a medir los datos sospechosos o erróneos, si el tiempo y los recursos lo permiten.Ibid.

Los valores faltantes no pueden ignorarse sencillamente, sino que hay que prestarles atención. El primer paso es decidir qué celdas en blanco deben rellenarse con ceros (porque representan una observación negativa, por ejemplo “no”; “no presente” u “opción no seleccionada”) y cuáles deben dejarse en blanco (si se utilizan espacios en blanco para indicar los valores faltantes o que no se aplican). Las celdas en blanco también pueden rellenarse con códigos de valores faltantes, por ejemplo, 96 (no sabe), 97 (no responde), 98 (omitir pregunta/ no se aplica) o 99 (en blanco/faltante).

Si la proporción de casos faltantes o incompletos es considerable para una determinada categoría de casos, ello supondrá un problema importante para el seguimiento y la evaluación. Una vez sabido que falta un conjunto de datos, es importante determinar si los datos faltantes son aleatorios o si varían de forma sistemática, y hasta qué punto existe un problema. Los valores faltantes aleatorios pueden producirse porque el sujeto no respondió a algunas preguntas involuntariamente. La evaluación puede ser excesivamente compleja o larga, o el encuestador puede estar cansado o no prestar atención, por lo que se salta la pregunta. Los valores faltantes aleatorios también pueden deberse a errores al introducir los datos. Si solo hay un número reducido de valores faltantes en el conjunto de datos (normalmente, menos del 5%), en ese caso es probable que estos sean aleatorios. Los valores faltantes no aleatorios pueden producirse porque el informante clave no respondió intencionalmente a algunas preguntas (pregunta confusa o sensible, o inexistencia de opciones apropiadas, como “sin opinión” o “no se aplica”).

La opción por defecto para tratar los datos faltantes es filtrarlos y excluirlos del análisis:

(a) Supresión por línea/por caso: Se excluyen los casos con valores faltantes en la(s) variable(s) analizada(s). Si se analiza solamente una variable, la supresión por línea consiste simplemente en analizar los datos existentes. Si se analizan múltiples variables, la supresión por línea elimina casos si existe un valor faltante en cualquiera de las variables. El inconveniente es la pérdida de datos, ya que se suprimen todos los datos de los sujetos que pueden haber respondido a algunas de las preguntas, pero no a otras (datos faltantes).

(b) Supresión por pares: Se incluyen todos los datos disponibles. A diferencia de la supresión por línea, que suprime todos los casos (sujetos) con valores faltantes en cualquiera de las variables que se están analizando, la supresión por pares solo elimina del análisis los valores faltantes específicos (y no el caso entero). Es decir, se incluyen todos los datos disponibles. Si se está realizando un análisis de correlación entre múltiples variables, esta técnica permite realizar el análisis de correlación bivariada entre todos los puntos de datos disponibles y pasar por alto esos datos faltantes cuando existan en algunas variables. En este caso, la supresión por pares implicará diferentes tamaños de muestras para cada correlación. La supresión por pares es útil cuando el tamaño de la muestra es pequeño o los valores faltantes son numerosos ya que, para empezar, no existen muchos valores, por lo que no tendría sentido omitir aún más valores con la supresión por pares.

Nota: El término supresión se refiere a la exclusión en un procedimiento estadístico, y no a la supresión (de variables o casos) del conjunto de datos.

(c) Supresión de todos los casos con valores faltantes: Solo se conservan los casos con valores completos. Este enfoque reduce el tamaño muestral de los datos, lo que se traduce en una pérdida de potencia y en un incremento del error en la estimación (intervalos de confianza más amplios). Si bien esto puede no suponer ningún problema en el caso de los conjuntos de datos grandes, es una importante desventaja para los conjuntos de datos pequeños. Además, los resultados pueden estar sesgados si los sujetos con valores faltantes son distintos de los sujetos sin valores faltantes (es decir, no aleatorios), lo que tiene como resultado una muestra no representativa.

(d) Imputación (sustitución de los valores faltantes): Se conservan todos los casos sustituyendo los datos faltantes por un valor probable basado en otra información disponible (como la media o la mediana de las observaciones para la variable respecto de la que falta el valor). Una vez imputados todos los valores faltantes, puede analizarse el conjunto de datos utilizando técnicas estándar para que los datos sean completos. Existen métodos de imputación más complejos, en los que se utilizan ecuaciones para tratar de predecir los valores de los datos faltantes en función de una serie de variables para las que se dispone de datos. Cada método de imputación puede dar lugar a estimaciones sesgadas. La descripción de los aspectos técnicos, la adecuación y la validez de cada una de estas técnicas va más allá del alcance de este documento. En definitiva, la elección de la técnica adecuada dependerá de lo siguiente: i) cuántos datos faltan (y por qué); ii) los patrones, la aleatoriedad y la distribución de los valores faltantes, y iii) los efectos de los valores faltantes y la manera en que se utilizarán los datos en el análisis. Se recomienda encarecidamente consultar a un estadístico si el personal con funciones de seguimiento y evaluación se encuentra con un conjunto de datos pequeño con un gran cantidad de valores faltantes.

En la práctica, cuando se disponga de pocos recursos estadísticos a los efectos del seguimiento y la evaluación, la creación de una copia de la variable y la sustitución de los valores faltantes por la media o la mediana a menudo pueden ser suficientes y preferibles a la pérdida de casos por la utilización de métodos de supresión.

Durante el proceso de depuración de datos, puede ser necesario volver a codificar algunas variables y crear nuevas variables para satisfacer las necesidades analíticas del ejercicio de seguimiento y evaluación. Las variables pueden volver a codificarse de distintas formas, entre las que cabe mencionar: 

• Formatear: Fecha (día, mes y año), prefijos para mejorar la ordenación en los cuadros y el redondeo (en el caso de las variables continuas).
• Sintaxis: Traducción, estilo lingüístico y simplificación.
• Recodificación de una variable categórica (como el origen étnico, la ocupación y otras correcciones de las categorías y ortográficas).
• Recodificación de una variable continua (como la edad) en una variable categórica (como el grupo de edad).
• Combinar los valores de una variable en un número más reducido de categorías (por ejemplo, agrupar todos los problemas causados por las cuestiones relacionadas con el acceso).
• Combinar varias variables para crear una nueva variable (como la elaboración de un índice basado en un conjunto de variables).
• Definir una condición sobre la base de determinados valores límite (como población “en situación de riesgo” frente a “población en situación de grave riesgo”).
• Cambiar el nivel de medición (por ejemplo, pasar de una escala de intervalos a una escala ordinal).
• Es preciso hacer una distinción entre los valores (conceptualmente).

Las variables categóricas pueden recodificarse de tres maneras:

(a) Comprimir una variable categórica en menos categorías, combinando aquellas categorías que guarden una relación lógica o eliminando las categorías que tengan un menor número de observaciones;

(b) Dividir una variable categórica en varias variables con menos categorías;

(c) Combinar varias variables categóricas en menos variables con más categorías.

Dos buenas prácticas en materia de gestión son la transparencia y la documentación adecuada de todos los procedimientos seguidos, incluido el proceso de depuración de datos.

La documentación de los errores, los cambios y las adiciones es esencial para lo siguiente:

• Determinar y mantener la calidad de los datos;
• Evitar que distintas personas encargadas de la introducción de datos comprueben la repetición de errores;
• Saber qué controles de la calidad de los datos se han realizado y quién los ha llevado a cabo;
• Detectar y corregir los errores de depuración de datos;
• Informar a los usuarios de los datos de los cambios introducidos en la última versión de los datos consultados

Para poder seguir de cerca los cambios realizados en los datos, cabe crear un registro de cambios. El hecho de llevar un registro de todas las modificaciones realizadas permite volver atrás y recuperar los valores iniciales, en caso necesario. A continuación se enumeran algunos de los campos incluidos en un registro de cambios:

• Tabla (si se usan varias tablas)
• Columna, fila
• Fecha de la modificación
• Modificado por
• Valor anterior
• Nuevo valor
• Observaciones

El análisis de datos cualitativos es un proceso destinado a reducir y descifrar grandes cantidades de información cualitativa – que muchas veces proviene de múltiples fuentes, como las notas tomadas en los grupos dirigidos de discusión, en las entrevistas individuales y en las observaciones – con objeto de deducir temas y patrones pertinentes que aborden las cuestiones planteadas por el seguimiento y la evaluación. Al analizar datos cualitativos, la atención se centra en las palabras pronunciadas por los encuestados, el contexto en el que se recopilaron los datos, la coherencia y las contradicciones de los puntos de vista de los encuestados, la frecuencia e intensidad de las observaciones de los participantes, su especificidad y los temas y patrones emergentes. Por ejemplo, en el marco del seguimiento de un proyecto en curso, se decide organizar 10 grupos focales con algunos de los beneficiarios. ¿Qué debería hacerse una vez que se hayan recopilado todas las notas de la discusión? ¿Los datos se deberían analizar de manera puntual o sistemática, es decir, se debería resaltar la información pertinente o codificarla?

Los códigos son palabras o frases cortas que asignan simbólicamente un atributo sumativo, destacado, que capta la esencia y/o evocador para una porción de datos visuales o basados en palabras.Saldana, 2009, pág. 3. La codificación es el proceso de calificar como “perteneciente a” o representativo de algún tipo de fenómeno, que puede ser un concepto, una creencia, una acción, un tema, una práctica cultural o una relación. La codificación puede realizarse manualmente, utilizando papel y resaltadores, o usando una computadora, en un documento de Word, una hoja de cálculo de Excel o un programa informático de análisis de datos cualitativos como NVivo.

Para empezar a codificar los datos manualmente, recopile los ejemplares impresos de todos los datos, marque el texto con bolígrafos, lápices, resaltadores y rotuladores y, por último, corte, pegue, perfore, apile y junte todos los datos. Es preferible dejar márgenes amplios y mucho espacio en blanco para las anotaciones.

Considerando de que casi todos los profesionales tienen acceso a programas de procesamiento de textos y hojas de cálculo, estos son bastante populares en el análisis de datos cualitativos (véase la figura 4.10, en la que se muestra la codificación en un documento Word).

Cuando la cantidad de datos sea considerable, por ejemplo en el caso de 20 o más transcripciones de entrevistas, puede adquirirse una licencia para un paquete de programas informáticos de análisis de datos como NVivo Sírvase consultar la guía de iniciación Getting Started Guide de QSR International (2014), donde se realiza una introducción a NVivo y se incluye una guía introductoria para la configuración de este programa informático y la codificación de datos.

En el Anexo 4.12. Etapas para analizar los datos cualitativos, se proporcionan orientaciones sobre cómo analizar los datos cualitativos.

Una vez introducidos los datos cuantitativos en una hoja de cálculo, esta podrá utilizarse para generar información a fin de responder a las preguntas planteadas en materia de seguimiento o evaluación. Las estadísticas ayudan a transformar los datos cuantitativos en información útil que será de ayuda para la toma de decisiones al proporcionar, entre otras cosas, un resumen de los datos o una descripción de los patrones, relaciones y conexiones. Las estadísticas pueden ser descriptivas o inferenciales. Como su nombre indica, las estadísticas descriptivas proporcionan información que ayuda a describir y resumir los datos. Otros métodos de estadísticas descriptivas son las representaciones gráficas en forma de histogramas, diagramas circulares o diagramas de barras, por nombrar algunos. Ello ofrece un método rápido para realizar comparaciones entre diferentes conjuntos de datos y detectar los valores más pequeños y los más grandes, las tendencias o los cambios a lo largo de un periodo de tiempo. Las estadísticas inferenciales utilizan los datos extraídos de una muestra de la población para hacer generalizaciones acerca de las poblaciones.

Habida cuenta de que la mayor parte de las estadísticas empleadas en los ejercicios de seguimiento y evaluación son descriptivas, en el examen realizado a continuación se ofrecerán herramientas y ejemplos de cómo calcular estos tipos de estadísticas.

Como ya se ha mencionado en la sección relativa a la medición, los datos se recopilan a partir de unidades, que pueden ser individuos, hogares, escuelas, comunidades u otros. Las diferentes mediciones, preguntas o elementos de información recopilados de estas unidades o acerca de estas son las variables. Existen dos tipos de variables, las variables numéricas cuantitativas y las variables categóricas. Mientras que las variables categóricas están compuestas por un grupo de categorías (como el sexo, hombre/mujer), las variables numéricas consisten en cifras, como el número de participantes en una formación.

Los grupos de datos categóricos son todas las unidades incluidas en las distintas categorías, que pueden resumirse determinando la frecuencia de una categoría. Por ejemplo, el número de mujeres de una comunidad, que puede describirse como la frecuencia de las mujeres en la comunidad. Esta información se presenta utilizando un cuadro de frecuencias. El cuadro de frecuencias muestra cuántos individuos de la comunidad pertenecen a cada categoría (hombre/mujer), lo que también puede representarse como un porcentaje o proporción del total.

Los cuadros de frecuencias pueden utilizarse para presentar las conclusiones en un informe o pueden convertirse en un gráfico para una presentación más visual. Una proporción describe la frecuencia relativa de cada categoría y se calcula dividiendo cada frecuencia por el número total.

Los porcentajes se calculan multiplicando la proporción por 100. Las proporciones y los porcentajes pueden ser más fáciles de entender e interpretar que un examen de los datos brutos de frecuencia, por lo que a menudo se añaden al cuadro de frecuencias (véase el cuadro 4.15).

El centro y la dispersión de los datos son dos estadísticas descriptivas habitualmente empleadas. Si bien el centro describe un valor típico, la dispersión describe la distancia de un punto de datos desde el centro de los datos.

Las estadísticas más habituales para describir el centro son la media (es decir, el promedio) y la mediana. La mediana es el valor medio de un conjunto de datos; la mitad de los datos son mayores que la mediana y la mitad inferiores. La media se calcula sumando todos los valores y luego dividiendo el resultado por el número total de valores.

Otras estadísticas que describen la dispersión son el rango intercuartílico y la desviación estándar

• El rango intercuartílico es la diferencia entre el cuartil superior y el cuartil inferior de los datos. Una cuarta parte (o el 25%) de los datos están situados por encima del cuartil superior y una cuarta parte por debajo del cuartil inferior.
• La desviación estándar muestra la diferencia media entre cada uno de los puntos de datos (en el ejemplo anterior, la edad de los jóvenes) y el promedio de edad. Si todos los puntos de datos están situados cerca de la media, entonces la desviación estándar es baja, lo que muestra que hay poca diferencia entre los valores. Una desviación estándar grande indica que los datos están muy dispersos.

Para más información sobre el cálculo de estadísticas descriptivas con Microsoft Excel, véase el Anexo 4.13. Cálculo de estadísticas descriptivas.

La triangulación es el proceso de comparar diferentes fuentes de datos y métodos para corroborar los hallazgos y compensar las cualquier debilidad en los datos con otros datos más sólidos.

La triangulación puede mejorar la validez y la fiabilidad de las observaciones existentes con respecto a una determinada cuestión. La capacidad para comparar y contrastar diferentes hallazgos y perspectivas sobre la misma situación o fenómeno es una manera eficaz de constatar incoherencias en los datos e identificar aquellas esferas que requieren un análisis más detenido. Cuando las conclusiones convergen, ello puede llevar a nuevas conclusiones creíbles sobre una cuestión y a nuevas maneras de entenderla.

Si bien no existen reglas fijas para analizar los datos a los efectos de la triangulación, en el centro del proceso figuran varias actividades:

• Analizar los datos de manera crítica. Por ejemplo, priorizar aquellas conclusiones que sean más pertinentes para el/los objetivo(s) de la triangulación, identificar la forma en que distintas fuentes están relacionadas entre sí y señalar las lagunas en los datos.
• Identificar las tendencias y si estas proceden de una o varias fuentes de datos.
• Elaborar hipótesis de trabajo relacionadas con el/los objetivo(s) de la triangulación de datos. Por ejemplo, si el objetivo es comprender si están cambiando determinados comportamientos entre los beneficiarios y si los cambios pueden relacionarse directamente con la intervención, deberían elaborarse hipótesis que estén relacionadas con este objetivo a partir de los datos disponibles. Las hipótesis pueden respaldar el objetivo; por ejemplo, una hipótesis que lo respalde podría ser “la prestación de apoyo psicosocial ha reducido los síntomas del trastorno por estrés postraumático entre los beneficiarios”.
• Confirmar o refutar las hipótesis. Se trata de un punto fundamental de la triangulación, en el que es probable que surjan nuevas ideas, perspectivas y explicaciones. También es el punto en que se identifican las lagunas en los datos, lo que podría llevar a buscar datos adicionales. Si no se dispone de otros datos, puede ser necesario modificar o descartar una hipótesis. Las hipótesis modificadas se tendrán que confirmar de nuevo
• Utilizar la convergencia de los datos que respaldan o no la hipótesis para extraer conclusiones razonadas del ejercicio de triangulación. Las conclusiones deberían estar lo más estrechamente relacionadas con el/los objetivo(s) enunciados de la triangulación. Un elemento fundamental en este proceso es justificar debidamente una hipótesis/objetivo en función de los datos disponibles. Puede ser útil considerar las siguientes preguntas durante el proceso:
  • ¿Qué hipótesis están respaldadas por los datos más rigurosos?
  • ¿Qué hipótesis están respaldadas por fuentes independientes?
  • ¿Qué hipótesis están respaldadas por datos cuantitativos y cualitativos?
  • ¿Hay sesgos o limitaciones importantes en los datos disponibles?
  • ¿Hay otras explicaciones posibles no abarcadas por las hipótesis?
  • ¿Cuán seguro está usted de la conclusión?
  • ¿Es factible la conclusión (es decir, conduce a una mejora específica en la respuesta)?
• Documentar cuidadosa y minuciosamente las conclusiones antes de difundirlas.

Paso 1: Determinar el objetivo de la visualización de datos

Antes de que el personal con funciones de seguimiento y evaluación comience a diseñar la visualización de datos, se deberían formular las preguntas siguientes:

• ¿Qué tratan de comunicar los datos?
• ¿Cómo se involucrará o convencerá al público para que actúe con respecto a la información presentada?
• ¿Cuál es el mensaje con el que se debería quedar el público?

Es importante tener claro(s) el/los objetivo(s) de la presentación visual de los datos para diseñar correctamente dicha visualización. Definir el mensaje es una etapa fundamental de este proceso, y el gráfico debería consolidar lo que es la organización o la intervención y lo que hace.

Paso 2: Conocer al público

Conocer al público significa preguntar lo que ya sabe, qué información adicional desea tener para aprender y qué nivel de detalle necesita para comprender el mensaje que se está transmitiendo.

Paso 3: Pensar en cómo visualizar la historia

Una vez depurados y analizados los datos recopilados, se debería tener una idea más clara de las conclusiones que han de presentarse. En el cuadro 4.15 se ofrece un panorama general de las principales técnicas de visualización que se pueden utilizar, en función de lo que revelen los datos.

Fuente: Carrington y Handley, 2017.

For additional information regarding each type of visualization, see Annex 4.14. Types of visualizations.

¿En qué consiste?

La gestión de datos constituye el marco que utiliza la OIM para gestionar las estructuras, las políticas, los principios básicos y la calidad institucionales que garantizarán el acceso a información exacta. Establece las normas, las obligaciones en materia de rendición de cuentas y las atribuciones y se asegura de que el uso de los datos y e información sobre migración sea lo más valioso posible para la OIM, al tiempo que gestiona el costo y la calidad del manejo de la información. La gestión de datos garantiza el uso coherente, integrado y disciplinado de los datos sobre migración por parte de la OIM.

¿En qué medida es pertinente para la labor de la OIM?

La gestión de datos permite considerar los datos como un activo en cada intervención de la OIM y, lo que es más importante, es la base sobre la que pueden reposar todas las iniciativas de la Organización. La programación basada en datos empíricos solo se convierte en una realidad cuando los datos pueden demostrar cuál es el problema y cómo resolverlo. Ello significa poder medir lo que no se conoce y saber lo que está disponible y con qué es posible trabajar.

El ciclo de vida de los datos sobre migración a lo largo de todo el ciclo del proyecto incluye la planificación y el diseño, la recopilación y la elaboración, la organización, el almacenamiento y la protección, el uso, la verificación y el examen y, en última instancia, la mejora o la eliminación de los datos.

Elementos a los que se debe prestar atención:

(a) Administrador de los datos: Durante la fase de ejecución de la intervención, los datos que han de recopilarse deben contar con un claro administrador de los datos. Si la intervención es un proyecto ejecutado a nivel de una oficina en el país, el Jefe de Misión será el administrador de los datos. Si abarca más de un país, lo más probable es que el administrador de los datos sea el Director Regional. Si se trata de un proyecto mundial, se deberá determinar a qué esfera temática pertenece el proyecto y, en ese caso, el Jefe de División sería el administrador de los datos. Cuando los datos sean transversales, es probable que el administrador de los datos sea el Jefe de Departamento.

(b) Funciones y responsabilidades: Todo el personal de proyectos debería conocer sus funciones y responsabilidades con respecto a los datos y tener únicamente acceso a los datos que necesite para desempeñar su trabajo.

(c) Calidad de los datos: Los datos deben ser exactos, válidos, fiables, oportunos, pertinentes y completos.

(d) Clasificación de los datos en aras de la seguridad y la privacidad: Se debería determinar el nivel de riesgo para la recopilación de datos, y estos se deberían clasificar en consecuencia, de modo que puedan almacenarse con controles de acceso rigurosos.

(e) Procesamiento de datos, incluidos la recopilación y el uso: Se deberían desarrollar herramientas que permitan recopilar únicamente los datos necesarios a los efectos de su utilización.

• En el recuadro de texto titulado Gestión de datos sobre migración en la OIM de este capítulo figura una lista de los recursos pertinentes.

Pasos para realizar un análisis documental

Paso 1: Identificar todas las fuentes posibles.

Paso 2: Organizar los documentos por categorías.

Habida cuenta de que algunos documentos son más pertinentes que otros, no se debería conceder la misma importancia o atención a todos los documentos. Para facilitar el análisis documental, los documentos disponibles pueden clasificarse en niveles:

• Nivel I: Documentos que abordan específicamente el tema del ejercicio de seguimiento o evaluación, como los informes de situación, sobre los progresos realizados o de seguimiento y las propuestas de proyectos;
• Nivel II: Documentos de antecedentes, como artículos de prensa o informes de otros organismos;
• Nivel III: Documentos no relacionados con proyectos.

Paso 3: Decidir el enfoque (estructurado/no estructurado).

Muchas veces, por razones de tiempo, las actividades de seguimiento y evaluación se limitan a los documentos de primer nivel y parcialmente de segundo nivel, para los que es conveniente adoptar un enfoque no estructurado. Un análisis documental que incluya documentos del segundo y tercer nivel requiere un enfoque estructurado, como el siguiente:

• Formulario de examen estructurado a fin de registrar los comentarios leídos en los documentos;
• Uso de rúbricas con objeto de asignar una puntuación a distintas partes de la documentación, por ejemplo utilizando una escala de cuatro puntos para dividir los documentos en las siguientes categorías:
  • Los que no abordan el tema en absoluto.
  • Los que abordan el tema parcialmente.
  • Los que abordan el tema de alguna manera significativa.
  • Los que se centran principalmente en el tema.
• Indexación y búsqueda de documentos para analizar el contenido.

La exactitud de los datos recogidos y de las conclusiones extraídas depende del profesional encargado del seguimiento y la evaluación y de los encuestados, y de cómo estos abordan y cumplen las distintas etapas de los procesos de recopilación, análisis y presentación de datos. Ningún estudio está totalmente exento de sesgos. Por consiguiente, es importante ser transparentes con respecto a cualquier sesgo existente en los datos recopilados en los informes de seguimiento o evaluación. En todos los informes de seguimiento o evaluación se debería incluir una declaración relativa a los posibles sesgos y las medidas adoptadas para controlarlos.

Sesgos de quien responde

Sesgos de no respuesta: Este sesgo se produce cuando los individuos seleccionados se niegan a participar, o no pueden participar, en la encuesta. El resultado es que los datos recopilados diferirán de manera significativa de los de la población objetivo. Para evitarlo, el personal con funciones de seguimiento y evaluación debería cerciorarse de que la muestra seleccionada sea representativa de la población objetivo o ajustar la muestra si este sesgo se vuelve demasiado importante.

Sesgos de asentimiento: El sesgo de asentimiento se produce cuando un encuestado tiende a estar de acuerdo y a ser positivo acerca de lo que pregunta el entrevistador. Para evitarlo, se deberían revisar las preguntas que sugieren esa respuesta a fin de conocer el verdadero punto de vista del encuestado sobre las cuestiones de interés.Sarniak, 2015

Sesgo de aceptación social: Esto sesgo implica que los encuestados responden a las preguntas de un modo en el que creen que serán aceptados y amados. Para evitarlo, pueden formularse preguntas indirectas, es decir, preguntar qué piensa, qué siente y cómo se comportará una tercera persona. Este enfoque permite a los encuestados proyectar sus propios sentimientos en los de otras personas, sin dejar de proporcionar respuestas sinceras y representativas.Ibid.

Sesgo de habituación: En este caso, el encuestado da la misma respuesta a todas las preguntas redactadas en términos similares. Para evitarlo, las preguntas se deberían redactar/formular de manera distinta, con diversas opciones de respuesta.Ibid.

Sesgo de patrocinio: Habida cuenta de que los encuestados saben, por lo general, quién es la organización que financia la intervención, sus sentimientos y opiniones acerca de esa organización pueden sesgar sus respuestas. Por ejemplo, los encuestados pueden presentar una situación extrema con la esperanza de obtener financiación adicional o futura de la organización. Este sesgo puede ser más difícil de corregir, pero puede utilizarse el mismo enfoque que en el caso del sesgo de asentimiento.Ibid.

Sesgo de deserción/mortalidad: Cuando los encuestados abandonan el estudio, la muestra seleccionada puede dejar de ser representativa de la población objetivo. En ese caso, se deberá ajustar la muestra.

Sesgo de selección: El sesgo de selección es la distorsión de los datos por el modo en que estos fueron recopilados. La autoselección es una forma habitual de sesgo de selección, en la que las personas se ofrecen como voluntarias para participar en el estudio. En este caso, el origen del sesgo es que los participantes pueden no responder de la misma manera que aquellos que no se presentaron como voluntarios para participar en el estudio.

Sesgo de recuerdo: Este sesgo se produce cuando los encuestados tienen dificultades para recordar determinada información, lo que tiene como resultado la recopilación de información inexacta. Una manera de reducir al mínimo este sesgo es vincular las preguntas a eventos importantes con los que los encuestados estén familiarizados y que puedan ayudarles a recordar la información pertinente.

Sesgos del evaluador/investigador 

Sesgo de confirmación: Este tipo de sesgo se produce cuando el personal con funciones de seguimiento y evaluación parte de una hipótesis o creencia acerca de la intervención que se está supervisando o evaluando y utiliza la información facilitada por el encuestado para confirmar esa hipótesis o creencia. El sesgo de confirmación también puede extenderse a la etapa de análisis, ya que los evaluadores/investigadores tienden a recordar puntos que respalden su hipótesis y puntos que refuten otras hipótesis. Para reducir al mínimo este sesgo, el personal con funciones de seguimiento y evaluación debería volver a evaluar periódicamente las impresiones de los encuestados y cuestionar los supuestos e hipótesis preexistentes.

Sesgo del orden de las preguntas: Este sesgo se produce cuando una pregunta influye en las respuestas de los encuestados a preguntas posteriores. Las palabras y las ideas presentadas en las preguntas preparan a los encuestados, por lo que influyen en sus pensamientos, sentimientos y actitudes en relación con las preguntas siguientes. Si bien en algunos casos este tipo de sesgo es inevitable, puede reducirse formulando preguntas generales antes de las específicas, no asistidas antes de las asistidas, y positivas antes de las negativas.

Sesgo de preguntas tendenciosas y de formulación: Este tipo de sesgo se produce cuando el personal con funciones de seguimiento y evaluación desarrolla la respuesta de un encuestado en un intento de confirmar una hipótesis, sobre la base de una relación construida con el encuestado, o sobrestiman su conocimiento del encuestado. Para minimizar este sesgo, los profesionales deberían formular preguntas que empleen el lenguaje del encuestado y evitar resumir lo que dijo el encuestado con sus propias palabras.

Sesgo de publicación: Este sesgo se produce cuando es menos probable que se presenten o publiquen resultados negativos que positivos. Las evaluaciones son encargadas, en su mayor parte, por organismos o donantes que tienen interés en el resultado, de manera que es posible que la estructura de incentivos tienda hacia conclusiones más positivas, incluso cuando se contrata a consultores externos para llevar a cabo la evaluación.”Ibid.

Muestreo aleatorio

Muestreo aleatorio simple

Las muestras aleatorias son muestras en las que cada unidad de la población objetivo determinada para el ejercicio de seguimiento o evaluación tiene la misma probabilidad de ser seleccionada. Este enfoque es justo y reduce el sesgo de selección, que socava la exactitud de las predicciones realizadas acerca de la población objetivo (véase la sección relativa a los sesgos).

Idealmente, una muestra debería ser representativa del conjunto de la población objetivo. Para seleccionar una muestra aleatoria, se requiere un marco muestral. Se asigna un número de identificación único a cada unidad y, a continuación, utilizando una tabla o un generador de números aleatorios, se selecciona aleatoriamente un determinado número de unidades.

Ejemplo: En el emplazamiento X del país Y hay 1.536 desplazados internos, y 1.536 es una cifra de cuatro dígitos, de manera que se asigna a cada individuo de la población una cifra de cuatro dígitos comenzando por 0001, 0002, 0003, 0004, y así sucesivamente. A continuación, empezando por cualquier punto de la tabla de números aleatorios, se eligen cifras de cuatro dígitos sucesivas hasta obtener 300 cifras distintas entre 0001 y 1.536 o se generan 300 cifras aleatorias entre 0001 y 1.536 utilizando una aplicación informática como Microsoft Excel (véase el ejemplo infra)

Cómo seleccionar una muestra aleatoria de 300 desplazados internos de una población total de 1.536 desplazados internos con Microsoft Excel

Paso 1: Haga clic en la celda A1, teclee RANDBETWEEN(0001,1536) y pulse “Enter”

Paso 2: Para generar, por ejemplo, una lista de 300 cifras aleatorias, seleccione la celda A1, haga clic en la esquina inferior derecha de esta celda y arrástrela hasta la celda A300.

Muestreo aleatorio sistemático

El muestreo aleatorio sistemático es una técnica en la que se selecciona aleatoriamente un número próximo al inicio de la lista del marco muestral, se saltan varios números, se selecciona otro número, se saltan varios números más, se selecciona el siguiente nombre, y así sucesivamente. El número de nombres omitidos en cada fase depende del tamaño deseado de la muestra.

Cómo seleccionar una muestra aleatoria sistemática

Paso 1: Estimar el número de unidades de la población (por ejemplo, 1.536 desplazados internos en el emplazamiento X).

Paso 2: Determinar el tamaño de la muestra (por ejemplo, 300 desplazados internos).

Paso 3: Dividir el paso 1 entre el paso 2 (k=N/n) para obtener el número correspondiente al “salto”: Ejemplo: k = 1.536/300 = 5,12

Paso 4: Seleccionar un sujeto al azar a partir del primer número k del marco muestral (por ejemplo, el quinto número).

Paso 5: Seleccionar cada número k situado después de ese número hasta que se haya seleccionado la muestra necesaria.

Al utilizar el muestreo aleatorio simple y, debido a que la selección se hace al azar, tal vez no se obtenga una buena representación de los subgrupos de una población. Existen otras técnicas de muestreo aleatorio para resolver esta cuestión.

Muestreo aleatorio estratificado

El muestreo aleatorio estratificado, también conocido como muestreo proporcional o muestreo aleatorio por cuotas, es una técnica que divide el marco muestral en dos o más subgrupos o estratos (subpoblaciones) en función de características significativas, como el tipo de migrante o el género, a partir de las cuales se escoge aleatoriamente a los participantes. A continuación, se extrae una muestra de cada estrato. Cuando se utiliza la misma fracción de muestreo en los distintos estratos, se realiza un muestreo aleatorio estratificado proporcional. Cuando se emplean diferentes fracciones de muestreo en los estratos, se utiliza el muestreo aleatorio estratificado no proporcional. Esta técnica es útil cuando el proyecto, el programa o la política van dirigido a varios grupos que se quieren comparar.

Ejemplo: De entre las personas del emplazamiento para desplazados internos del país Y, ¿cuántas son niños, jóvenes, adultos jóvenes, adultos o personas mayores? Si los niños, los jóvenes y las personas mayores representan únicamente una pequeña proporción de la población total del emplazamiento para desplazados internos, una muestra aleatoria simple puede no incluir un número suficiente de esas personas para poder llevar a cabo un análisis significativo.

Cómo seleccionar una muestra aleatoria estratificada

Paso 1: Dividir a la población en los estratos de interés. Por ejemplo, de los 1.536 desplazados internos, 142 son niños (de entre 0 y 12 años), 157 jóvenes (de entre 13 y 25 años), 413 adultos jóvenes (de entre 26 y 34 años), 701 adultos (de entre 35 y 60 años) y 123 personas mayores (de más de 60 años).

Paso 2: Seleccionar una muestra aleatoria simple de cada estrato. Ejemplo: 142/1.536 = 0,092 * 142 = 13,12

Seleccionar una muestra aleatoria simple de 13 del estrato correspondiente a los niños.

• Nota: El número de unidades seleccionadas de cada estrato debería ser equivalente a la proporción de la población total en el estrato.

Las técnicas de muestreo aleatorio simple, sistemático y estratificado requieren un marco muestral, que es muy difícil de obtener en el caso de los individuos o familias. Cuando no se disponga de un marco muestral o las unidades de la lista estén tan dispersas que sería demasiado largo y costoso realizar un muestreo aleatorio simple, el muestreo por conglomerados es una alternativa útil.

Muestreo aleatorio por conglomerados

En el muestreo aleatorio por conglomerados se divide a la población en varios conglomerados y, a continuación, se selecciona una muestra aleatoria simple de los conglomerados. Las unidades de los conglomerados seleccionados constituyen la muestra. A diferencia del muestreo aleatorio estratificado, el muestreo aleatorio por conglomerados utiliza los conglomerados para identificar las unidades, y no para compararlas. Un inconveniente de este enfoque es que los conglomerados pueden diferir en características importantes de los no incluidos en la muestra, por lo que sesgan la exactitud de las inferencias hechas respecto de la población objetivo.

Cómo seleccionar una muestra aleatoria por conglomerados

Paso 1: Determinar la población de interés (por ejemplo, 1.536 desplazados internos del emplazamiento X del país Y).

Paso 2: Dividir a la población en un gran número de conglomerados (hay 10 zonas en el campamento de desplazados internos, con aproximadamente 150 desplazados internos cada una, de las cuales dos han sido sometidas a un muestreo aleatorio).

Paso 3: Elegir una muestra aleatoria simple de los conglomerados (por ejemplo, someter a muestreo aleatorio 2 de las 10 zonas, para una muestra total de aproximadamente 300 desplazados internos).

Muestreo aleatorio polietápico

El muestreo aleatorio polietápico es una técnica que combina dos o más métodos de muestreo aleatorio de manera sucesiva. Por lo general, el proceso comienza tomando una muestra aleatoria por conglomerados, seguida de una muestra aleatoria simple o de una muestra aleatoria estratificada. El muestreo aleatorio polietápico también puede combinar técnicas de muestreo aleatorio y no aleatorio.

Ejemplo: En el país Z hay 7 emplazamientos para desplazados internos. Con objeto de evaluar el apoyo que la OIM está prestando a las poblaciones de desplazados internos de esos emplazamientos, seleccione deliberadamente 2 de los 7 emplazamientos de acuerdo con una serie de criterios. En cada uno de los dos emplazamientos hay 8 zonas con alrededor de 60 desplazados internos cada una. Seleccione aleatoriamente 2 zonas de cada uno de los dos emplazamientos, para una muestra total de 240 desplazados internos.

Muestreo no aleatorio

Muestreo intencional

El muestreo intencional consiste en seleccionar una muestra de acuerdo con una serie de criterios predeterminados que se considera que proporcionarán los datos necesarios para el seguimiento o la evaluación del proyecto, el programa o la política objeto de examen. A diferencia del muestreo aleatorio, esta técnica de muestreo se utiliza principalmente con un número reducido de personas que cuentan con la información necesaria, y el tiempo y los recursos para recopilar esa información son limitados. En contextos de emergencia como las sociedades afectadas por conflictos, este enfoque también puede resultar más apropiado ya que, si se toma de una muestra aleatoria, se corre el riesgo de agravar las tensiones.

A diferencia del muestreo aleatorio, el muestreo intencional es deliberadamente sesgado a fin de seleccionar los casos más apropiados para las preguntas formuladas en materia de seguimiento o evaluación. Por lo tanto, si se emplea esta técnica de muestreo, es necesario ser transparentes y rigurosos al seleccionar una muestra a fin de controlar e identificar los posibles sesgos en los datos que deben tenerse en cuenta en la interpretación de los resultados. Para un análisis de cómo seleccionar muestras intencionales, véase la Guía de evaluación de la acción humanitaria de Buchanan-Smith y otros (2016).

Muestro por "bola de nieve"

Una muestra de “bola de nieve” es otra forma de muestreo intencional que se utiliza cuando no se sabe a quién, qué o cuántas perspectivas incluir. Comience con una entrevista y, a continuación, pida a la persona entrevistada que identifique a otros posibles entrevistados con los que se pueda hablar. Se continúa con este proceso hasta haber alcanzado un punto de saturación. La saturación es el punto en el proceso de recopilación de datos en que no surge información nueva o pertinente en la que se aborden las preguntas propuestas en materia de seguimiento o evaluación. El muestreo por “bola de nieve” es particularmente útil cuando se quiere llegar a poblaciones inaccesibles o difíciles de localizar.

Al usar el muestreo intencional, se deberían incluir diversos puntos de vista en la muestra a fin de garantizar la credibilidad de las conclusiones, es decir, recurrir a la triangulación de las fuentes de datos. Por ejemplo, se deberían tener en cuenta los roles, el género, el origen étnico, la religión, la ubicación geográfica y otros factores que revistan importancia para el problema que está abordando el proyecto, el programa o la política objeto de examen, a fin de reflejar diferentes perspectivas en la muestra. Cuando ello no sea posible, es necesario ser transparentes con respecto a los puntos de vista que han sido o no incluidos en el informe de seguimiento o evaluación.

Muestreo por cuotas

El muestreo por cuotas es otra técnica de muestreo intencional que consiste en seleccionar un determinado número de distintos tipos de unidades de una población de manera no aleatoria según unas cuotas fijas. El muestreo por cuotas puede ser proporcional (a fin de representar las principales características de la población objetivo mediante el muestreo de una cantidad proporcional de cada una) o no proporcional (a fin de especificar el número mínimo de unidades muestreadas en cada categoría sin que sea necesario obtener cifras que se correspondan con las proporciones en la población objetivo). Así, por ejemplo, en el emplazamiento de desplazados internos se pueden seleccionar 150 mujeres y 150 hombres para entrevistarlos (n = 300, proporcional) o 200 desplazados internos, 50 migrantes que retornan y 50 refugiados (n = 300, no proporcional).

Muestreo de conveniencia

Las muestras de conveniencia se seleccionan sobre la base de la disponibilidad o la autoselección de los participantes (voluntarios) o de la conveniencia del investigador. Si bien esta técnica no es intencional ni estratégica, sigue utilizándose ampliamente porque es económica, sencilla y práctica. Un ejemplo de esta técnica sería llegar a la zona de intervención del proyecto y entrevistar al personal disponible el día de la visita y a los beneficiarios que se vayan encontrando al recorrer las distintas partes del emplazamiento. Ahora bien, también es la técnica de muestreo menos fiable de todos los enfoques de muestreo no aleatorio presentados supra, ya que las personas con mayor disponibilidad están excesivamente representadas, con lo cual se subestima la variabilidad existente en la población objetivo. Si se emplea esta técnica, el uso de cuotas puede ayudar a garantizar que la muestra sea más incluyente, por ejemplo asegurándose de que se muestree el mismo número de hombres y mujeres, y de que una de cada dos entrevistas se realice a una mujer.

Formato de las preguntas, tipos de preguntas y opciones de respuesta

El formato de las preguntas de la encuesta puede ser cerrado o abierto. Muchas encuestas suelen incluir una combinación de ambos. Las preguntas cerradas pueden contestarse con una respuesta sencilla o una selección de opciones de respuesta. Los formatos más habituales de las preguntas cerradas incluyen opciones de respuesta que son:

• Dicotómicas

  Ejemplo: ¿Sus hijos asisten a la escuela? □ Sí □ No

• Ordenadas

  Ejemplo: ¿Con qué frecuencia se distribuyen alimentos (o dinero en efectivo/vales) en el emplazamiento?

• □ Cada día □ Dos veces a la semana □ Una vez a la semana □ Cada dos semanas □ Una vez al mes □ Irregular □ Nunca □ No sabe □ No contesta ¿por qué? _______________

• Desordenadas

  Ejemplo: Motivos del desplazamiento □ Conflicto □ Inundación □ Incendio □ Sequía □ Corrimiento de tierras □ Otros

• Rellenar el espacio en blanco

  Ejemplo: ¿Cuánto gana al día? ____

Para más información y ejemplos sobre los distintos formatos de las preguntas cerradas, véase el capítulo de David y Sutton relativo al diseño de encuestas en Social Research (2011).

Las preguntas abiertas, en cambio, permiten a los encuestados responder con sus propias palabras. Por ejemplo, “¿Por qué eligió concretamente este país de destino?”

Al diseñar una encuesta se pueden utilizar seis tipos distintos de preguntas.Patton, 1987.Existen otros tipos/categorías de preguntas que se utilizan para las entrevistas y que se desarrollan en mayor medida en el Anexo 4.7.

(a) Las preguntas sobre el comportamiento/experiencia examinan lo que los encuestados hacen o pretenden hacer, cómo se comportan/actúan, qué experimentan o en qué situación se encuentran, cómo responden a esta situación o simplemente qué ocurre en el contexto en el que se está ejecutando el proyecto, programa o política. Por ejemplo: ¿Tiene la intención de trasladarse a otro lugar?

(b) Las preguntas sobre la opinión/los valores examinan los pensamientos, las reacciones, las impresiones, las actitudes y el punto de vista acerca de las actividades o cuestiones que se están supervisando o evaluando.

Ejemplo:

¿Cómo describiría las posibilidades de acceso de su hogar a servicios públicos tales como la educación, el alojamiento, la salud y otros servicios existentes en la zona en que reside actualmente?

□ Excelente: No experimentamos ningún problema en absoluto.

□ Bueno: El acceso es bueno, pero experimentamos pequeñas demoras.

□ Neutral.

□ Malo: Experimentamos demoras y problemas.

□ Muy malo: Hay demoras y la comunidad y las autoridades locales nos niegan el acceso.

(c) Las preguntas sobre los sentimientos examinan las emociones o las reacciones emocionales con respecto a una experiencia, pensamiento o cuestión en particular

Ejemplo:

¿Considera que está integrado localmente?

□ Sí □ Parcialmente integrado □ No □ No sabe

(d) Las preguntas sobre conocimientos indagan acerca de los conocimientos del encuestado sobre una determinada cuestión. Ejemplo: ¿Cuántos miembros de su hogar padecen una enfermedad crónica?

(e) Las preguntas sensoriales examinan lo que el encuestado ve, oye, toca, prueba y huele. Ejemplo: ¿El emplazamiento está suficientemente iluminado por la noche?

(f) Las preguntas sobre antecedentes/demográficas tratan de obtener información biográfica o histórica de los encuestados.

Ejemplo:

Sexo: □ Hombre □ Mujer

Al elaborar las preguntas de la encuesta, es importante evitar que estas sean ambiguas, compuestas, tendenciosas o que contengan una doble negación. Una pregunta ambigua es aquella en que el encuestado puede interpretar la pregunta de distintas maneras porque utiliza frases o términos vagos. Una pregunta compuesta es aquella en que se pregunta sobre dos cuestiones distintas simultáneamente. Una pregunta que contenga “y” u “o” indica que esta puede ser compuesta. Una pregunta tendenciosa es aquella en que se sugiere una determinada respuesta al encuestado. La doble negación en una pregunta introduce una confusión innecesaria, por lo que aumenta el riesgo de que se recopilen datos poco fiables. Evitando estos errores, se garantiza que los datos recopilados son válidos y fiables.

Ejemplo de preguntas ambiguas:

Ejemplo de preguntas compuestas:

Ejemplo de preguntas tendenciosas:

Ejemplo de preguntas con una doble negación:

Secuenciación de las preguntas

El orden en que se formulan las preguntas puede afectar a la calidad de las respuestas recibidas, e influir en si los encuestados cumplimentarán o no la encuesta. Así, por ejemplo, si se comienza la encuesta con preguntas sumamente delicadas, los participantes pueden proporcionar información inexacta, pueden saltarse preguntas o retirarse del conjunto de la encuesta. A continuación se ofrecen algunos consejos sobre la secuenciación de las preguntas de las encuestas:

• Comience con preguntas que sean de interés para los encuestados.
• Formule preguntas sobre el presente antes de formular preguntas sobre el pasado o el futuro.
• Reparta las preguntas fácticas a lo largo de la encuesta, ya que estas suelen provocar que los encuestados se retiren.
• Empiece por las preguntas más sencillas y coloque las preguntas más difíciles o delicadas al final.
• Coloque las preguntas personales/demográficas al final, ya que algunos encuestados pueden sentirse incómodos y no seguir con la encuesta si se les formulan determinadas preguntas de antecedentes al principio.
• Agrupe las preguntas similares o conexas.
• Asegúrese de que las preguntas sigan un hilo lógico.
• Formule las preguntas más importantes cuando llegue a las dos terceras partes de la encuesta.
• Priorice las preguntas y elimine aquellas preguntas de baja prioridad.

Diseño de la encuesta

Al igual que la secuenciación de las preguntas de la encuesta, el diseño de la encuesta también es importante para recopilar datos de calidad (sobre todo en el caso de las encuestas autoadministradas). A continuación se enumeran algunos de los principales puntos que se deben incluir en una encuesta:

• Título, fecha y número de identificación del encuestado;
• Información de contacto y devolución;
• Declaración introductoria/carta de presentación en la que se indique la finalidad de la encuesta y se explique cómo se utilizará; • Limite el número de títulos para los temas abarcados;
• Las preguntas deben ser sencillas, breves y concisas;
• Las preguntas y las opciones de respuesta se deberían formatear y redactar de manera coherente;
• Se debería numerar cada pregunta;
• Dé instrucciones sobre cómo responder a cada pregunta (por ejemplo, seleccionar una opción o todas las opciones que correspondan, marcar una casilla, trazar un círculo alrededor de la respuesta o redactar una respuesta breve);
• Ordene las respuestas desde el nivel inferior al nivel superior, desplazándose de la izquierda a la derecha (por ejemplo, 1 – Nunca; 2 – A veces; 3 – A menudo; 4 –Siempre).

Declaración introductoria o carta de presentación

La declaración introductoria o carta de presentación debería ser breve y fácil de entender. Los principales puntos generalmente incluidos son:

• Finalidad e importancia de la encuesta; 
• Identificación de la organización que lleva a cabo la encuesta;
• Importancia de la participación del encuestado;
• Explicación de por qué se eligió al encuestado para participar en la encuesta;
• Tiempo aproximado que llevará cumplimentar la encuesta;
• Garantía de que la información será anónima y confidencial;
• Agradecimiento por el tiempo y el esfuerzo del encuestado; El nombre y los datos de contacto de una persona para realizar nuevas indagaciones;
• Ofrecimiento de informar acerca de los resultados de la encuesta.

Construcción de un vínculo

Al comenzar una encuesta (o una entrevista, véase la sección relativa a las entrevistas) es importante establecer un buen vínculo con el encuestado. Un vínculo es la capacidad de relacionarse con el encuestado de un modo que genere un buen nivel de confianza y entendimiento. ¿Cómo construir un buena vínculo con el encuestado?

a) Causar una buena primera impresión.

Cuando llegue al punto de encuentro para realizar la entrevista, haga todo lo posible para que el encuestado se sienta cómodo. Con unas pocas palabras bien escogidas, se puede poner al encuestado en un estado de ánimo óptimo para participar en la encuesta. Comience con una sonrisa y un saludo como “Buenos días” o “Buenas tardes” y, a continuación, prosiga con la introducción.

b) Obtenga el consentimiento del encuestado.

c) Responda a las preguntas del encuestado con franqueza.

d) Garantice el anonimato y la confidencialidad de las respuestas.

Si el encuestado duda en responder a una pregunta o pregunta para qué se utilizarán los datos, explique que la información recopilada será confidencial, que no se usarán nombres individuales con ningún fin, y que toda la información se agrupará al redactar cualquier informe. Además, se aconseja no mencionar ninguna otra encuesta realizada y no mostrar los formularios de encuesta cumplimentados a otros encuestadores delante de un encuestado o de cualquier otra persona.

e) Adopte siempre un enfoque positivo.

f) Entreviste al encuestado en privado.

La presencia de una tercera persona durante la encuesta puede impedir que se obtengan respuestas francas y sinceras del encuestado. Por consiguiente, es muy importante que la encuesta se lleve a cabo en privado y que sea el encuestado quien responda a todas las preguntas.

Si se encuentran presentes otras personas, explique al encuestado que algunas de las preguntas son privadas y pida entrevistar a la persona en el lugar más apropiado para hablar solos. A veces, el hecho de pedir privacidad puede despertar la curiosidad de otras personas, que querrán escuchar. Establecer reglas de privacidad desde el principio permitirá al encuestado ser más franco y estar más atento a las preguntas.

Si es imposible conseguir privacidad, la entrevista se puede llevar a cabo con las demás personas presentes. En ese caso, separe al encuestado de las demás personas en la medida de lo posible.

g) Utilice a los participantes como expertos.

Se invita a determinados individuos a participar en un estudio porque se considera que estos poseen importantes conocimientos que son necesarios para el seguimiento o la evaluación de un proyecto, un programa o una política específicos. En ese caso, se aconseja hacer saber a los participantes que la encuesta se enriquecerá con sus conocimientos. Comunicar esto a los participantes ayuda a instaurar un reconocimiento respetuoso de las valiosas contribuciones que estos harán al ejercicio de seguimiento o evaluación.

Revisión, traducción, prueba preliminar y prueba piloto de la encuesta

Una vez redactada la versión inicial de la encuesta, se recomienda involucrar a las principales partes interesadas y a los expertos locales para que realicen un examen detenido del proyecto de encuesta y lo modifiquen sobre la base de la información recibida. Este proceso puede tener que repetirse varias veces antes de realizar una prueba preliminar de la encuesta. Si la encuesta va a llevarse a cabo en el idioma local, esta debe traducirse antes de la prueba preliminar. El/los traductor(es) deberían dominar ambos idiomas y, en la medida de lo posible, estar familiarizados con las cuestiones tratadas en la encuesta. Una vez que la encuesta se haya traducido al idioma local, un segundo traductor debería traducirla de nuevo al idioma original. Este proceso garantiza una traducción fiel. Las discrepancias o malentendidos deben abordarse antes de la prueba preliminar de la encuesta.

Al realizar la prueba preliminar, es importante probar la encuesta entre un grupo de personas de diferentes horizontes que sean indicadas para las cuestiones que se están supervisando o evaluando. El objetivo de una prueba preliminar es asegurarse de que la encuesta está recopilando la información que está destinada a recopilar. Una prueba preliminar adecuada debería examinar la encuesta en tres niveles:

• En conjunto: ¿Son coherentes todas las secciones de la encuesta? ¿Hay secciones que formulen la misma pregunta?
• A nivel de cada sección: Si la encuesta consta de más de una sección, ¿recopila cada una de las secciones la información que se quiere obtener? ¿Se tienen en cuenta todas las actividades o cuestiones principales que se están supervisando o evaluando? ¿Hay alguna pregunta que no sea pertinente?
• Preguntas individuales: ¿Está clara la redacción? ¿Es correcta la traducción? ¿La pregunta da pie a respuestas ambiguas? ¿Existen otras posibles interpretaciones?

Una manera de evaluar la encuesta en estos tres niveles es sentarse con un número reducido de encuestados mientras están cumplimentando la encuesta y pedirles que razonen en voz alta mientras la rellenan. Aunque este proceso tome tiempo, puede proporcionar pautas importantes sobre la manera en que los posibles encuestados interpretarán las preguntas formuladas. Toda pregunta que sea objeto de una mala comprensión se debería revisar y probar de nuevo. Este proceso puede tener que repetirse varias veces, sobre todo si la encuesta se ha traducido a otro idioma, ya que ello puede acarrear discrepancias o malentendidos con respecto a la traducción exacta.

Una vez finalizada la encuesta, cabe someterla a una prueba piloto con una muestra apropiada de posibles encuestados que participarán en la encuesta. Ello proporcionará una buena indicación de la validez y la fiabilidad de las preguntas de la encuesta. Este ejercicio piloto también ofrece una oportunidad para ejercitarse en la aplicación de la encuesta, y puede ayudar a identificar las dificultades que pueden surgir durante la recopilación efectiva de los datos.

Extractos del seguimiento de la distribución posterior de artículos no alimentarios por la OIM en Sudán del Sur, Wau, septiembre de 2017

Se utilizó un cuestionario para el seguimiento de hogares posterior a la distribución administrado a través de teléfonos móviles para recopilar datos de los hogares, que incluía la observación y el registro visuales (fotos) del uso y el estado de los artículos distribuidos. A partir de 3.507 hogares, se  calculó un tamaño de la muestra  inicial de 88 hogares utilizando la calculadora del tamaño de la muestra a la que se hace referencia en las directrices del grupo temático de albergue y artículos no alimentarios de Sudán del Sur. Además, siguiendo la recomendación formulada en esas directrices, se añadió el 20 por ciento del tamaño de la muestra inicial a fin de tener en cuenta las encuestas echadas a perder o la introducción errónea de los datos. Por consiguiente, se añadieron 19 hogares (el 20% del tamaño de la muestra inicial), lo que dio como resultado un tamaño de la muestra prevista de 105 hogares. El nivel de confianza era del 96 por ciento, con un margen de error del 10 por ciento. Cada encuestador disponía de tres días para encuestar a los hogares, y recopiló datos de siete hogares cada día a lo largo de tres días. Un encuestador entrevistó a dos hogares adicionales, por lo que el tamaño total de la muestra fue de 107 hogares.

Introducción

• Preséntese y explique claramente el objetivo de la visita al entrevistado.
• Confirme que el entrevistado obtuvo efectivamente albergue y los artículos no alimentarios (mantas, mosquiteros, bidones comprimibles y prendas de ropa (kangas) durante la distribución que realizó la OIM en mayo de 2017.
• Obtenga el consentimiento del entrevistado antes de seguir adelante con el cuestionario, e infórmele de que la entrevista durará unos 30 minutos.
• Explique que usted no va a suministrar ningún otro artículo, sino que la información proporcionada contribuirá únicamente a mejorar las distribuciones en el futuro.
• Procure que la entrevista sea lo más confidencial posible para evitar los sesgos. Ello puede significar tener que pedir educadamente a los espectadores que se alejen, o encontrar un lugar en el que las personas no puedan oír la conversación casualmente.
• Confirme que el cabeza del hogar y/o la persona inscrita y que recogió los artículos en el momento de la distribución es la persona a la que está entrevistando.

A continuación se incluyen algunos ejemplos posibles, que muestran únicamente una pequeña parte de una encuesta.

¿Recibió usted artículos no alimentarios durante la distribución realizada por la OIM en mayo de 2017 ?

□ Sí □ No

1a. Seleccione el Estado:

□ Zona Administrativa de Abyei □ Ecuatoria Central □ Ecuatoria Oriental □ Jonglei

1b. Lugar de la entrevista: ____________________________

2. Nombre del encuestador: ___________________________

3a. Nombre del encuestado (nombre del beneficiario):___________________

3b. Sírvase indicar el sexo del encuestado: □ Hombre □ Mujer

3c. ¿Cuál es el tamaño de su hogar?

□ 1 □ 2 □ 3 □ 4 □ 5 □ 6 □ 7 □ 8 □ 9 □ Más de 10

4a. ¿Considera que recibió los artículos a tiempo para satisfacer sus necesidades?

□ Sí, a tiempo □ Con retraso □ Demasiado tarde

4b. ¿Cuál era la calidad de la esterilla para dormir?

□ Buena □ Media □ Deficiente

4c. ¿La distribución estuvo bien organizada?

□ Excelentemente organizada □ Bien organizada □ Medianamente organizada □ Poco organizada □ Mal organizada

4d. ¿Qué cambios ha experimentado desde que le fueron distribuidos esos artículos? (por ejemplo, protección contra la malaria, sueño más confortable)

Parts of the interview and types of questions

Table A4.1. Overview of interview structure and types of questions

The opening

During the first few minutes of an interview, it is advisable to inform the participant about the interview by using an introductory statement similar to that for a survey. The length of the interview can be confirmed by saying something like this:

• The interview should last about an hour. Does that still work for you? While I will encourage you to elaborate on your answers to the questions that I will ask, there may be times when I redirect, so that we may be sure to cover all the issues within the hour.

The first questions should then focus on building rapport, helping the participants feel comfortable and knowledgeable. Therefore, questions should be non-intimidating, open-ended, easy and inviting, such as open-ended experience questions that will prompt the respondents to tell stories (for example, “What can you tell me about Project X?”) or factual questions about the issues being monitored/ evaluated (for example, “What basic services are available in your community?”).

The body

After the opening, you can begin to ask generative questions, which are non-directive, non-intimidating questions aimed at generating frameworks for talk. Tour questions ask the interviewee to share familiar descriptive knowledge or memories about an activity or event; for example, “Can you describe a typical day for me?” Tour questions can be followed with probes by asking for examples or timeline questions; for example, “What were the events that led up to you leaving your home?” Hypothetical questions ask interviewees to imagine their behaviours, actions, feelings or thoughts in certain situations; for example, “Imagine you receive X amount of money; how would you use it?” Behaviour and action questions can also be asked, as well as compare–contrast questions; for example, “How is your daily routine similar to or different from the daily routine you had before leaving your home?” Finally, questions can be about motives (of the interviewee and/or those of another person). Such questions include asking about feelings, actions or behaviours, worded in the format of “why” or “how” questions. After asking about past and present experiences, future prediction questions can be asked to obtain further related information, for example, “Where do you see yourself living in the near future?”

To obtain specific information, directive questions are used. The simplest type of directive question is the closed-ended question, which has predetermined single, dichotomous or multiple response options. There are also typology questions where respondents are asked to organize their knowledge into different types or categories; for example, “What types of recreational activities do you engage in on a regular basis?” Prompts can be used to encourage participants to articulate a range of categories or types. If interested to ask the participant to comment on the data collected thus far, member reflection questions can be used; for example, “On the basis of my fieldwork so far, it seems that one reason for … is … What do you think about my interpretation here?” If potentially threatening/intimidating questions need to be asked (such as personal or political), these should be left for the end of the interview as these may be less problematic if good rapport is already built with the participants.

The closing

Several types of questions exist for closing an interview. Catch-all questions can be used to capture and tie together loose ends or unfinished stories; for example, “What question did I not ask that you think I should have asked?” The end of an interview is also the time to ask identity-enhancing questions, which encourage the interviewee to leave the discussion feeling appreciated and an expert. For instance, “What did you feel was the most important thing we talked about today and why?” Answers to these questions can also guide future interviews. For demographic questions, when and how to ask them remains debated. Whereas some researchers and practitioners believe they should be asked at the beginning, in case the participant terminates the interview prematurely, others find they can interfere with building rapport. At the end of the interview, remember to thank the interviewees and reassure them of anonymity and confidentiality.

Cómo formular las preguntas de una entrevista

Las preguntas de una entrevista de buena calidad deberían tener las siguientes características:

• Ser sencillas y claras (no usar acrónimos, abreviaturas o términos especializados);
• No ser preguntas compuestas;
• Privilegiar las respuestas abiertas y elaboradas;
• Nota: Si se decide incluir preguntas afirmativas o negativas (sí/no), estas deberían ir seguidas de las preguntas “¿Por qué?” o “¿De qué manera?”, o se deberían reformular para permitir una respuesta más elaborada (por ejemplo, “En qué medida …”).
• Ser claras (sin dobles negaciones), neutras y no tendenciosas;
• No resultar amenazadoras para el entrevistado;
• Deberían acompañarse de preguntas complementarias apropiadas.

Preguntas complementarias

Las preguntas complementarias son preguntas reactivas que se formulan para aclarar lo que ha planteado el entrevistado. El objetivo es obtener una mayor claridad, un mayor nivel de detalle o un conocimiento en profundidad del entrevistado sobre las cuestiones que objeto de seguimiento o evaluación.

Ejemplos de preguntas complementarias aclaratorias:

¿Entendí correctamente que …?

¿Cuando afirma … qué quiere decir exactamente?

Ejemplos de preguntas complementarias para pedir más detalles:

¿Cómo lidió con …?

¿Puede decirme algo más sobre …?

Ejemplos de preguntas complementarias analíticas:

¿Cómo definiría …?

¿Qué es/fue importante acerca de …?

Ejemplos de preguntas complementarias sobre variaciones y de contraste:

¿Lidiaría con X de la misma manera la próxima vez?

Algunas de las personas con las que he hablado dijeron que … ¿Cuál es su opinión al respecto?

Revisión, traducción, prueba preliminar y prueba piloto de la entrevista

Como en el caso de las encuestas, las entrevistas también se deberían revisar, traducir (en caso necesario), probar de manera preliminar y someterse a una prueba piloto. Para un examen de cómo proceder, consulte la subsección y el anexo sobre las encuestas.

Consejos para realizar las entrevistas

• Haga saber al entrevistado el objetivo y el calendario de la entrevista, la razón por la cual se le entrevista, cómo fue seleccionado, cómo se usarán los datos (anonimato y confidencialidad), cuánto tiempo durará la entrevista, si se le facilitará una copia del informe y que tendrá a su disposición notas resumidas de la entrevista si así lo desea.
• Elija una hora y un lugar que sea seguro, al que se pueda acceder fácilmente, silencioso y sin distracciones.
• Haga que una persona tome notas de la entrevista o la grabe, cuando sea factible.
• Si toma notas, asegúrese de no distraerse de la conversación:
  • Mantenga el contacto visual en la medida de lo posible;
  • Escriba las palabras y frases principales (no de manera literal);
  • Para recoger una determinada respuesta, pida al entrevistado que la repita a fin de tener suficiente tiempo para plasmarla;
  • Cuando se trate de respuestas importantes, pida al entrevistado si se pueden utilizar/citar sus palabras exactas. • Cíñase al enfoque elegido para la entrevista (estructurado, semiestructurado o no estructurado).
• Construya una relación de confianza y evite formular preguntas delicadas hasta que el entrevistado parezca sentirse cómodo.
• Dé al entrevistado suficiente tiempo para responder.
• Sea consciente de las normas culturales mediante el contacto visual, la incorporación de las consideraciones de género y la formulación de preguntas directas.
• Redacte las notas lo antes posible una vez realizada la entrevista.

Evaluación: Proyecto de la OIM para la lucha contra la trata de personas en Timor-Leste - Protocolo de entrevista para las partes interesadas y el proyecto

Las preguntas pertinentes se extrajeron de la lista completa que figura más abajo, según la función del entrevistado (por ejemplo, encargado de la ejecución del proyecto o parte interesada) y los ámbitos de competencia.

Se me ha pedido que lleve a cabo una evaluación del proyecto de la OIM titulado “Fortalecer las respuestas del Gobierno y los proveedores de servicios contra la trata de personas en Timor-Leste: Una iniciativa de creación de capacidad”. Los objetivos de la evaluación son: a) medir los progresos realizados en el marco del proyecto; b) identificar las dificultades encontradas en la ejecución de este proyecto, y c) identificar las enseñanzas extraídas, las mejores prácticas y las posibles esferas para el diseño y la ejecución del proyecto en el futuro. La evaluación se centra en las actividades realizadas en el marco de este proyecto específicamente, y no en todo el programa de actividades que la OIM lleva a cabo en el país. Los principales entrevistados en esta evaluación son los miembros del personal de la OIM que participan en la ejecución del proyecto, las organizaciones asociadas en la ejecución, los beneficiarios de las actividades del proyecto y las partes interesadas gubernamentales y de la sociedad civil. Se garantizará la confidencialidad de las respuestas individuales, y solo compartiremos conclusiones de carácter general y observaciones anónimas.

¡Gracias por su tiempo y cooperación en este proceso!

Información de antecedentes

(a) ¿Cuál es su cargo, su función y cuáles son sus responsabilidades en relación con el proyecto de la OIM?

(b) ¿Desde cuándo ocupa este cargo?

Pertinencia

(c) A su entender, ¿qué trata de lograr el proyecto de la OIM?

(d) ¿En qué medida siguen siendo válidos los objetivos del programa?

(e) A su entender, ¿cuáles son las principales actividades y productos del programa?

(f) ¿Son las actividades y los productos del programa coherentes con los efectos y la consecución de su objetivo?

(g) En su opinión, ¿cuáles son los supuestos que vinculan las actividades, los productos, los efectos y los objetivos?

Eficacia

(h) ¿Ha participado su organización en la ejecución de alguna de las actividades de este proyecto?

(i) En caso afirmativo, ¿en cuáles?

(ii) En caso negativo, ¿ha oído hablar de la realización de estas actividades? En caso afirmativo, ¿de cuáles?

(iii) ¿Cuáles han sido los principales logros de estas actividades?

(iv) De acuerdo con su experiencia, ¿qué tipos de actividades han tenido más éxito o menos? ¿Por qué?

(v) ¿Cuáles han sido los principales factores que han afectado positiva o negativamente a su trabajo (o al de otras personas) en este proyecto?

Sostenibilidad

(i) ¿Qué factores contribuirán a la continuidad de los logros del proyecto una vez concluido este o la impedirán?

(j) ¿En qué medida se han institucionalizado los productos del proyecto? Por ejemplo, ¿las instituciones nacionales han adoptado directrices, mandatos, documentos de política, legislación u otros?

Progresos realizados en el marco del proyecto (para los encargados de la ejecución)

(k) En su opinión ¿cuáles han sido los principales logros del proyecto hasta la fecha?

(l) ¿Cuáles han sido las principales decepciones?

(m) ¿Hasta qué punto el proyecto se está ejecutando en los plazos previstos? ¿Por qué?

(n) ¿Cuáles han sido los puntos fuertes y los puntos débiles en la ejecución de la iniciativa piloto? (por ejemplo, en lo que se refiere a la puntualidad, la gestión de riesgos, los asociados y la asignación de recursos)

(o) ¿Cuáles han sido las principales enseñanzas extraídas hasta la fecha con respecto a la ejecución de la iniciativa piloto? ¿Qué recomendaciones o sugerencias puede formular para el período restante de ejecución del proyecto? ¿Y más allá del proyecto?

Preparing for a focus group discussion

An average focus group discussion involves 6 to 8 people and a maximum of 15 and lasts between one to two hours. When selecting the participants for a focus group discussion, it is important that the group is homogeneous so that participants feel more comfortable expressing their opinions. To select homogenous groups of participants, consider, among other things, the following:

• Gender: Will men and women feel comfortable discussing this topic in a mixed-gender group? For example, women might feel uncomfortable discussing issue X if men are in the group.
• Age: Will age affect the way that people react to this topic? For example, a young person might feel uncomfortable talking about issue X if older people from his community are in the group.
• Hierarchy: Will people of different hierarchical positions be able to discuss this topic equally? For example, a resident from village A might feel uncomfortable discussing issue X if the local administrator is in the group.Humans of Data, 2017

Other considerations can also include the participation of officials of the government among participants who may influence the answers or cultural differences that may affect the answers (mixing participation of indigenous people with other non-indigenous communities).

Una vez seleccionados los participantes, es preciso obtener su consentimiento informado, ya sea oralmente o mediante un formulario por escrito. En cuanto al lugar de la discusión, es importante elegir un sitio tranquilo y seguro, y al que todos los participantes puedan acceder fácilmente. Si no es necesario realizar ninguna encuesta ni recopilar datos demográficos, puede diseñarse un formulario breve, que será administrado a los participantes al final de la discusión del grupo focal.

Cómo dirigir una discusión de grupo

Introducción

Al comienzo de la reunión del grupo focal, el moderador debería presentar el objetivo de la discusión y un panorama general de los temas que se abordarán, garantizar a los participantes que sus respuestas serán confidenciales y anónimas, y exponer las reglas básicas. A continuación se ofrece un ejemplo de una introducción que puede leerse a los participantes al principio de la reunión del grupo dirigido:

“Gracias por haber aceptado participar en este grupo focal. Hablaremos de … Permítanme recordarles que la información facilitada se tratará de manera confidencial y que pueden negarse a responder cualquier pregunta y poner fin a su participación en la discusión en todo momento.

Para que la discusión en grupo transcurra de manera fluida y respetuosa para todos los participantes, se deberán observar en todo momento las siguientes reglas básicas:

• Solo hablará una persona a la vez.
• Lo que se diga en la sala no saldrá de esta.
• Todo el mundo tiene la oportunidad de compartir sus ideas, experiencia y opiniones.
• No existen respuestas correctas o incorrectas.
• Todos los participantes escucharán atentamente y respetarán a los demás.

Además de estas reglas básicas, quiero preguntarles si hay otras reglas básicas que deseen añadir a la lista.”

Establecer un vínculo

Antes de comenzar con el cuestionario o la guía de temas del grupo focal, puede reservarse un tiempo para establecer una vínculo a fin de que los participantes se sientan cómodos los unos con los otros y seguros para sincerarse y compartir sus ideas, experiencia y opiniones. Para ello, inicie la discusión pidiendo a los participantes que se presenten (por ejemplo: “En primer lugar, quisiera que todo el mundo se presente. ¿Puede decirnos su nombre?”) o lleve a cabo un ejercicio para romper el hielo (véase el recuadro de ejemplo).

Cuestionario/guía de temas

Similar to interviews, focus groups will vary in the extent to which discussions are structured. If having a strong sense of the issues to be explored, consider developing a questionnaire (the number of questions will depend on the length and number of participants, but should not exceed 10 questions). If not having a thorough understanding of the issue(s) to be explored, consider developing a topic guide that will allow the group itself to shape the agenda and the flow of the discussion.

Recapitulación

• “¿Que ha oído en esta discusión que, a su juicio, sea realmente importante?”
• “Muchas gracias por su tiempo y participación. La discusión ha sido muy fructífera.”
• “Sus opiniones serán un elemento especialmente valioso para… Esperamos que la discusión le haya parecido interesante.”

Una vez terminada la reunión del grupo focal

Si se graba la discusión, lo cual deberá especificarse el principio, transcriba la conversación cuanto antes para que no se pierdan los matices específicos del diálogo.

Consejos para moderar un grupo focal

a) Escuche atentamente a los participantes y sea neutral.

Una escucha atenta implica escuchar lo que está diciendo cada persona y observar la postura corporal y los gestos faciales, lo que puede aportar información acerca de la manera más apropiada de involucrar a los participantes. Es importante ser lo más imparcial posible, aunque tenga una opinión firme acerca de algo. Si los participantes perciben que tiene una opinión, querrán cambiar sus respuestas para que sean más aceptables desde un punto de vista social, en lugar de reflejar lo que realmente opinan o sienten acerca de un tema.

b) Muestre a los participantes que sus palabras están siendo escuchadas.

Algunas señales habituales que indican que se está prestando atención son inclinarse hacia delante ligeramente, mirar directamente a los participantes mientras están hablando y asentir cuando corresponda. Desviar la mirada con frecuencia o mirar el reloj o, lo que es peor, bostezar, puede hacer que los participantes crean que no se les escucha o que resultan aburridos, lo que puede tener como resultado que se desinteresen de la discusión.

c) Use el silencio para alentar a los participantes a que desarrollen lo que están diciendo.

Observar unos momentos de silencio durante la discusión puede alentar a los participantes a que desarrollen lo que están diciendo.

d) Formule preguntas complementarias.

Cuando los participantes dan respuestas incompletas o irrelevantes, pueden formularse preguntas complementarias para obtener respuestas más elaboradas y claras. Algunas técnicas sugeridas a este respecto son:

• Repita la pregunta;
• Haga una pausa antes de la respuesta;
• Repita la respuesta;
• Formule preguntas del tipo “cuándo”, “qué”, “dónde” y “cuál”;
• Haga comentarios neutros, por ejemplo: “¿Algo más?”

La utilización de preguntas complementarias con fines de aclaración también refuerza la impresión de que los participantes poseen conocimientos especializados, basados en sus experiencias directas con los temas o las cuestiones que se están supervisando o evaluando. Las buenas preguntas complementarias hacen saber a los participantes que se les escucha y que merece la pena saber más sobre lo que tienen que decir. Es importante evitar formular preguntas tendenciosas, ya que pueden sugerir a los participantes una opinión, y que no se quiere aprender de ellos en calidad de persona que escucha de manera imparcial. Este tipo de preguntas también pueden llevar a los participantes a responder de manera socialmente aceptable.

e) Deje hablar a los participantes.

Para no interrumpir a los participantes si se quiere dar seguimiento a alguna cuestión, tome nota de la cuestión mentalmente y pregunte sobre ella una vez que estos hayan terminado de expresar sus pensamientos.

f) Controle el tiempo.

Algunas personas tienen tendencia a hablar extensamente de sus ideas, experiencia y opiniones. El moderador tiene que estructurar la discusión del grupo focal de manera que puedan obtenerse respuestas completas de los participantes sin darles prisa, al tiempo que se respetan las limitaciones de tiempo.

g) Haga que la discusión avance.

Cuando los participantes comparten información menos pertinente o alejada del tema, se puede hacer avanzar la discusión de manera educada, por ejemplo poniendo de relieve algo de lo que esté hablando el participante que sea pertinente para otra pregunta (o conjunto de preguntas) preparada para la discusión. Otra forma de lograrlo es señalar que el tiempo se está acabando, y que todavía se deben examinar otros aspectos, por lo que se invita a avanzar en la discusión.

h) Reduzca la presión para ajustarse al punto de vista predominante.

Cuando se adopta una idea sin que se haya mantenido una discusión general o se haya expresado un desacuerdo, es probable que exista una presión del grupo para ajustarse al punto de vista predominante. Para reducir al mínimo esta dinámica de grupo, se sugiere formular preguntas complementarias a fin de obtener otros puntos de vista. Por ejemplo, “La discusión ha sido interesante, pero exploremos otras ideas o puntos de vista ¿Alguien ha tenido una idea o experiencia distinta que quiera compartir?”

i) Tome notas

Las notas manuscritas deberían ser extensas y reflejar con precisión el contenido de la discusión del grupo focal, así como toda observación destacada en relación con el comportamiento no verbal, como las expresiones faciales, los gestos de las manos y la dinámica de grupo.

Guía sobre los grupos dirigidos de discusión: Extractos del seguimiento de la distribuición posterior de artículos no alimentarios por la OIM en Sudán del Sur (Wau, septiembre de 2017)

Se organizaron dos grupos dirigidos de discusión, uno integrado por mujeres (11 participantes) y otro por hombres (9 participantes). Las personas movilizadoras de la comunidad ayudaron a reunir a los participantes. Un intérprete local estuvo presente para traducir las discusiones del árabe de Wau al inglés y viceversa.

Eficacia

• ¿Qué artículos recibió?
• ¿Cómo se enteró de que se estaba realizando el registro?

Protección

• ¿Ha observado algún cambio después de obtener albergue/los artículos no alimentarios? (Detalle los cambios en su relación con la comunidad, familiares u otros. ¿Surgieron celos? ¿Afectó esto a su sentimiento de seguridad? ¿Hubo ladrones?

Adecuación (de los artículos) 

• ¿Los artículos que recibió le permitieron satisfacer sus necesidades? (¿Podría clasificar los artículos que más necesitaba en el momento de la distribución?)

Alcance

• ¿Se registró a todas las personas desplazadas?

Calidad de la intervención (servicios prestados por la Organización)

• ¿Se implicó a la comunidad, las autoridades locales y los beneficiarios en la determinación de los criterios y las necesidades en relación con los artículos no alimentarios?

Rendición de cuentas

• ¿Había un mostrador de reclamaciones?

Ejemplos de observaciones

Las observaciones estructuradas se llevan a cabo utilizando una hoja de registro o una lista de verificación en la que se enumeran las observaciones concretas.

Las observaciones semiestructuradas pueden realizarse utilizando guías de observación.

Las observaciones no estructuradas deben efectuarse al dirigirse hacia el lugar de la observación o al desplazarse por éste (véase el ejemplo del cuadro A4.4).

Planificación de las observaciones

Al planificar las observaciones, se aconseja tener en cuenta los siguientes pasos:

Paso 1: Determinar lo que se está supervisando o evaluando, es decir, identificar los indicadores que se están supervisando, los criterios de evaluación y las cuestiones que se están examinando.

Paso 2: Determinar los elementos concretos sobre los que se deben recopilar datos y cómo recopilar la información necesaria (hojas de registro y listas de comprobación, guías de observación o notas de campo).

Paso 3: Seleccionar los emplazamientos en que se realizarán las observaciones.

Paso 4: Seleccionar y formar a los observadores.

Paso 5: Poner a prueba con carácter experimental los procedimientos de recopilación de datos a partir de la observación.

Paso 6: Programar las observaciones de manera adecuada a fin de asegurarse de que se observen aquellos componentes de la actividad que permitirán responder a las preguntas de evaluación.CDC, 2018

El procedimiento de recopilación de datos a partir de la observación debería ponerse a prueba con carácter experimental antes de utilizarse a los efectos del seguimiento o la evaluación. Para ello, dos observadores como mínimo deberían acudir al mismo emplazamiento y rellenar la hoja de observación. Une vez rellenadas, se deberían comparar las hojas. Si existen grandes diferencias en lo que respecta a las observaciones realizadas, los observadores pueden precisar más formación y aclaraciones. Si las diferencias son mínimas, el procedimiento puede utilizarse para el seguimiento o la evaluación.

Consejos para llevar a cabo las observaciones

Hacer

a) Inicie el proceso de observación sin ideas preconcebidas ni expectativas fijas.

(b) Tome nota de las observaciones llevadas a cabo y de la información presentada voluntariamente que guarden relación con los temas examinados, más allá del ejercicio de evaluación formal.

(c) Registre la información que sea contradictoria o sorprendente desde el punto de vista de sus expectativas.

(d) Manténgase centrado para poder hacer comparaciones útiles.

(e) Manténgase activo y curioso durante el proceso de observación, que consiste en ver, escuchar, oler, probar, sentir y tocar

(f) Sea consciente de lo que no se vio, como la ausencia de personas, servicios o infraestructuras.

(g) Respete la cultural local.

No hagas

(a) No comience el proceso de observación con una serie de expectativas ni trate de recabar los datos principalmente para demostrar una hipótesis preexistente.

(b) No confíe en que recordará la información. Haga constar las observaciones en la hoja de observación.

(c) No se centre únicamente en la miseria y la pobreza. Sea consciente de las capacidades, las oportunidades y el capital social de la comunidad afectada.

(d) No sea indiscreto. Procure ser lo más sensible y respetuoso posible.

(e) No tome fotografías sin pedir permiso previamente.

Etapa 1: Familiarizarse con los datos

Antes de comenzar a analizar los datos, el personal con funciones de seguimiento y evaluación debe familiarizarse con ellos. Este proceso exige leer y releer todas las notas tomadas (los datos). Al recorrer los datos, es importante tomar nota de cualquier pensamiento que le venga a la mente y resumir cada transcripción y elemento de información que vaya a ser analizado. El objetivo en esta etapa es asimilar los datos recopilados y reflexionar sobre estos, tomando nota de las reflexiones y las intuiciones pero reservándose la opinión. Se pueden formular preguntas abiertas como: “¿Qué está ocurriendo aquí? o “¿Qué le llama la atención?”Tracy, 2013

Etapa 2: Ronda inicial de condificación

Una vez conocido el contenido de los datos, los profesionales pueden empezar a codificar el material para condensar la información en temas clave que pueden ayudar a responder a las preguntas planteadas en materia de seguimiento y evaluación.

Existen dos enfoques principales para la codificación de datos cualitativos. El primero consiste en crear un marco que refleje los fines y objetivos del seguimiento o la evaluación, que se utilizará para analizar los datos recopilados. Se trata de un enfoque deductivo, ya que primero se identifican los conceptos y las cuestiones de interés, lo que permite centrarse en determinadas respuestas de los entrevistados y hacer caso omiso del resto.

La ronda inicial de codificación comienza con un examen de los datos y la asignación de palabras o frases que capten su esencia. Las personas que utilicen un enfoque manual podrían escribir el código al margen, y las que usen un programa de procesamiento de textos podrían teclear el código en la función “Comentario” o en otra columna.

Los códigos asignados en esta primera ronda de codificación también son, por lo general, aunque no siempre, códigos de primer nivel. Los códigos de primer nivel se centran en “qué” está presente en los datos. Son descriptivos, y muestran las actividades y procesos básicos presentes en los datos, como REÍRSE), por lo que requieren poca interpretación, la cual se realizará en la segunda ronda de codificación.

A lo largo de todo el proceso de codificación es importante comparar constantemente los datos aplicables a cada código y modificar las definiciones de los códigos para dar cabida a los nuevos datos (o modificar los códigos y crear nuevos códigos). Tanto la agrupación de los datos en grandes categorías como su fragmentación en partes más pequeñas tienen ventajas e inconvenientes. Bazeley y Jackson, 2013. Aquellas personas que primero fragmentan los datos en partes pequeñas, cada una con su propio código, suelen incluir estas partes en categorías más amplias durante los ciclos de codificación posteriores. En cambio, aquellos que los agrupan primero suelen hacer distinciones más precisas en una etapa ulterior.

¿Qué datos se deberían codificar en primer lugar? Muchos expertos en datos cualitativos aconsejan codificar en primer lugar los datos que son típicos o interesantes de alguna manera, y pasar seguidamente a los datos comparativos. Los textos de datos codificados inicialmente influirán en el sistema de codificación resultante, por lo que en estas etapas iniciales se aconseja escoger textos que representen un amplio abanico de los datos disponibles. Además, un enfoque iterativo no requiere que todo el corpus de datos tenga que someterse a un ciclo de codificación primaria fragmentada y detallada. Después de haber leído todos los datos unas cuantas veces, y de haber realizado una codificación inicial línea por línea de una parte de los datos, cabe considerar algunas actividades para centrar el análisis de datos.

Cuando los profesionales efectúan la ronda inicial de codificación, es útil crear una lista de códigos y una breve definición o un ejemplo representativo de cada uno, sobre todo si los códigos no se explican por sí mismos. A medida que la codificación vaya siendo más específica, es conveniente elaborar un libro de códigos sistemático – una presentación de los datos en la que se enumeren los principales códigos, definiciones y ejemplos que se utilizarán en el análisis. Los libros de códigos pueden considerarse como “leyendas” para los datos, y ayudan a hacer frente a la dificultad que supone sumergirse en páginas de transcripciones, subrayados y garabatos.

Además de crear un libro de códigos, es importante volver con frecuencia a las preguntas planteadas en materia de seguimiento o evaluación. Habida cuenta de que casi todos el personal con funciones de seguimiento y evaluación se enfrenta a distintas limitaciones de tiempo y recursos, muchos siguen direcciones de análisis que no solo tienen en cuenta los temas emergentes en la codificación inicial, sino también aquellos que encajan bien con los objetivos, la experiencia y los plazos del seguimiento o evaluación.

A lo largo del análisis, la revisión de las preguntas de la investigación y de otros conceptos de sensibilización contribuye a garantizar que estos sigan siendo pertinentes e interesantes. Los intereses iniciales son simples puntos de partida, y pueden surgir otras cuestiones más destacadas al analizar los datos.

Etapa 3: Segunda ronda de codificación

En la segunda ronda de codificación se comienzan a examinar con espíritu crítico los códigos identificados en la ronda inicial de codificación, que se organizan, se sintetizan y se categorizan en conceptos interpretativos. Esta segunda ronda tiene por objeto explicar, teorizar y sintetizar los códigos de la primera ronda identificando patrones, reglas o progresiones causa-efecto y realizando interpretaciones.

Por ejemplo, si se identifican aquellos códigos que reaparecen continuamente en los datos, el personal con funciones de seguimiento y evaluación puede decidir vincularlos entre sí de manera que respondan a las preguntas planteadas en materia de seguimiento o evaluación.

Por consiguiente y, llegados a este punto, se tendrá una mejor comprensión de qué datos serán más importantes para el análisis. Algunos datos, aun cuando ya se hayan recopilado, pueden tener sólo una relación tangencial con las cuestiones que se están examinando y, por lo tanto, no se incluirán en el análisis en cuestión. En este punto, el personal con funciones de seguimiento y evaluación también verá si es necesario recopilar datos adicionales para desarrollar un código o una explicación emergentes acerca de lo que se está observando en los datos recopilados. Una manera de determinar si se requieren datos adicionales es formular esta pregunta: “¿El análisis emergente permite abordar la pregunta planteada en materia de seguimiento o evaluación de manera interesante y significativa?” De no ser así, ello puede indicar la necesidad de obtener más datos, o podría apuntar a la necesidad de realizar otras actividades de síntesis.

A lo largo de todo el proceso de codificación, es importante apuntar sistemáticamente los pensamientos e ideas que vayan surgiendo. En primer lugar, cree un documento que registre cronológicamente todas las actividades del análisis (fecha y examen de lo que se ha logrado en términos de análisis). En segundo lugar, redacte notas analíticas, como parte del proceso de análisis y como un resultado del análisis. Las notas analíticas son espacios de conversación con uno mismo acerca de los datos. Estas notas ayudan al personal con funciones de seguimiento y evaluación a dilucidar los relatos fundamentales contenidos en los datos y sirven de etapa intermedia esencial entre la codificación y la redacción del borrador del análisis. Si bien pueden adoptar muy distintas formas, suelen caracterizarse por uno o varios de los siguientes elementos:

• Definen el código lo más exactamente posible;
• Explican sus propiedades;
• Ofrecen ejemplos de datos en bruto que ilustran el código;
• Especifican las condiciones en que este surge, se mantiene y cambia;
• Describen sus consecuencias;
• Muestran su relación con otros códigos;
• Formulan hipótesis sobre el código.Tracy, 2013.

• Las notas analíticas son muy útiles para reflexionar detenidamente sobre la relación existente entre los distintos códigos.

Los profesionales también deberían hacer de abogado del diablo consigo mismos mediante el proceso de análisis de casos negativos, una práctica en que se les pide que traten de buscar activamente datos anormales que no parezcan respaldar las hipótesis emergentes, y que seguidamente revisen los argumentos para que se ajusten mejor a todos los datos emergentes. El análisis de casos negativos desincentiva la práctica de elegir a su antojo ejemplos de datos que solo se ajustan a explicaciones anteriores y que pasan por alto los datos discrepantes. Por ello, el análisis de casos negativos ayuda a garantizar la fidelidad y la credibilidad de las explicaciones emergentes.

Además de las notas analíticas, el personal con funciones de seguimiento y evaluación debería crear un esbozo de análisis flexible en el que se tome nota de las preguntas planteadas y de la posible forma en que los códigos emergentes responden a dichas preguntas.

Una vez codificados los datos, ha llegado el momento de extraer temas de los códigos. En esta etapa, los profesionales deben examinar los códigos y agruparlos para representar temas comunes, destacados y significativos. Una manera útil de hacerlo es escribir los títulos de los códigos en pequeños pedazos de papel y esparcirlos sobre una mesa; este proceso ofrecerá una visión de conjunto de los distintos códigos y permitirá moverlos y agruparlos por temas. Trate de encontrar los patrones y estructuras subyacentes, incluidas las diferencias entre los distintos grupos de entrevistados (por ejemplo, adultos frente a niños u hombres frente a mujeres) si estos se analizan conjuntamente. Etiquete estos grupos de códigos (o incluso los códigos únicos) con un tema más interpretativo y “básico”. En una nueva hoja de papel, escriba el título del tema básico y colóquelo junto al grupo de códigos. En la etapa final, examine los temas básicos y agrúpelos en “temas organizadores” de orden superior y más interpretativos.

El cálculo de estas estadísticas descriptivas puede realizarse fácilmente con Microsoft Excel. Para ello, instale el conjunto de herramientas de análisis de datos. Abra Excel, vaya a ARCHIVO (File)| OPCIONES (Options)| COMPLEMENTOS (Add-ins) y añada las Herramientas para análisis (Analysis ToolPack). Una vez hecho esto, debería aparecer Análisis de datos (Data Analysis) en el extremo derecho de la barra de herramientas. La ventaja de la herramienta de análisis de datos es que puede hacer varias cosas a la vez. Si necesita tener una rápida visión general de los datos, le facilitará una lista de estadísticas descriptivas que expliquen sus datos.

Existen varias formas y herramientas de visualización de los datos. A continuación se presentan algunos de los tipos y muestras más frecuentes.

Cuadro recapitulativo

Los cuadros recapitulativos son útiles para mostrar los datos de forma sencilla y comprensible. El uso de un cuadro recapitulativo permite al lector analizar los datos y constatar las relaciones o los valores significativos. En la figura A4.1. se muestra un cuadro recapitulativo de los tipos de emplazamientos que albergan a desplazados internos debido al conflicto en curso en Sudán del Sur.

Hechos y cifras

La infografía es una manera útil de atraer la atención hacia hechos y cifras importantes en los datos. Se pueden utilizar símbolos e imágenes, así como distintos tamaños de letra, para presentar los valores de los datos de forma atractiva y fácilmente comprensible (véase el ejemplo de la gráfico A4.1).

Comparación, rango y distribución

Los diagramas de barras y los mapas cromáticos pueden usarse para comparar, ordenar y mostrar la distribución de los valores de los datos. Los diagramas de barras utilizan un eje horizontal (X) y un eje vertical (Y) para la representación gráfica de datos categóricos o longitudinales. Los diagramas de barras comparan u ordenan las variables agrupando los datos mediante barras. La longitud de las barras es proporcional a los valores que representa el grupo. Los diagramas de barras pueden ser verticales u horizontales. En los diagramas de barras verticales, las categorías objeto de comparación figuran en el eje horizontal y, en los diagramas de barras horizontales (véase la gráfico A4.2), los países objeto de comparación figuran en el eje vertical. Los diagramas de barras son útiles para clasificar datos categóricos, ya que permiten comparar dos o más valores o grupos en términos de magnitud relativa en un momento dado

Los histogramas son una representación gráfica de la distribución y frecuencia de los datos numéricos. Muestran con qué frecuencia se produce cada valor en un conjunto de datos cuantitativos y continuo. Los histogramas agrupan los datos en categorías específicas o intervalos a fin de mostrar la distribución y la frecuencia de cada valor.

En la gráfico A4.3 se muestra la proporción de encuestados que indican haber sido víctimas de explotación, del tipo que sea, en la ruta del Mediterráneo oriental por grupo de edad. En este gráfico, la edad de los encuestados se ha agrupado en categorías específicas, en lugar de mostrarse cada edad individualmente.

Otra forma de visualizar la distribución de los datos es utilizar mapas cromáticos. En la figura A4.2 se muestra la concentración de personas que retornan del Pakistán y la República Islámica del Irán a tres provincias del Afganistán (Laghman, Nangarhar y Kunar).

Nota: Este mapa se presenta únicamente a título ilustrativo. Los límites territoriales y nombres mostrados y las designaciones empleadas en él no implican el respaldo o la aceptación oficial por parte de la Organización Internacional para las Migraciones.

Proporción o parte de un todo

Los diagramas circulares o de anillo son diagramas circulares divididos en partes, donde el tamaño de cada parte muestra el valor relativo, normalmente respecto del 100 por cien. Los diagramas circulares o de anillo son útiles para ofrecer una visión de conjunto de las distintas categorías en un momento determinado (véase las gráfico A4.4 y A4.5).

Si decide utilizar un diagrama circular, asegúrese de que el número de partes sea de cinco como máximo, ya que de lo contrario se corre el riesgo de distraer al lector del punto principal. Además, puede ocurrir que el valor de algunos de los sectores sea relativamente similar, lo que dificulta la comparación de su contribución relativa. Si los valores de las partes son relativamente similares, tal vez sea más apropiado utilizar un diagrama de barras horizontal para ver claramente la diferencia entre ellos.

Variación a lo largo del tiempo

Los diagramas de barras también pueden utilizarse para representar datos longitudinales que se repiten a lo largo del tiempo a fin de ayudar a determinar las tendencias y los patrones temporales (véase la gráfico A4.6). Del mismo modo, los gráficos lineales son otra forma excelente de visualizar las tendencias (véase la gráfico A4.7).

Relaciones y tendencias

Los diagramas de dispersión se usan habitualmente para mostrar la relación existente entre las variables. En estos diagramas, tanto el eje horizontal como el eje vertical son ejes de valores, y no ejes categóricos. Por ejemplo, las Naciones Unidas han publicado un nuevo estudio en el que se observa una relación causal entre las sequías prolongadas en El Salvador, Guatemala y Honduras y el aumento de la migración irregular de estos países a los Estados Unidos de América. Los miembros de las familias afectadas por la sequía tienen 1,5 por ciento más de probabilidades de emigrar que los de hogares similares de otros lugares. Si bien este valor es bajo, lo que es significativo es que la correlación entre el fenómeno de la sequía y la emigración es positiva y que la probabilidad de emigrar es mayor que la de las familias que no provienen del Corredor SecoPrograma Mundial de Alimentos, 2017, pág. 16.. El diagrama de dispersión puede utilizarse para ilustrar esta relación positiva (como la duración del aumento de la sequía o los aumentos de la migración irregular). En la gráfico A4.8, el diagrama de dispersión demuestra la existencia de una relación positiva entre el número de unidades vendidas por grupo de productos y los ingresos. Cuantas más unidades vendidas, mayores serán los ingresos.

Un gráfico de burbujas es una variante del diagrama de dispersión en que los puntos de datos se sustituyen por burbujas y se representa una dimensión adicional de los datos usando el tamaño de las burbujas. Al igual que en el diagrama de dispersión, en el diagrama de burbujas no se utiliza un eje categórico, sino que tanto el eje horizontal como el eje vertical son ejes de valores.

Análisis textual

El análisis textual se refiere a diversos procesos que permiten modificar los datos cualitativos a fin de organizarlos y describirlos de manera clara e intuitiva. Para resumir el texto recopilado, por ejemplo en las notas de los grupos dirigidos de discusión, pueden realizarse resúmenes y análisis básicos del texto. Para ello, se suelen utilizar frecuencias de palabras (listas de palabras y sus frecuencias) o nubes de palabras (véase la figura A4.3).

Cuadro A4.5 Lista de verificación para evaluar las visualizaciones de datos

Para más información y ejemplos de los puntos enumerados en la lista de verificación para evaluar las visualizaciones de datos (cuadro A4.5), véase Data Visualization for Dummies, de Yuk y Diamond (2014), concretamente el capítulo 13, consagrado a la evaluación de las visualizaciones de datos reales.