El seguimiento y la evaluación a distancia implican la recopilación de datos cualitativos o cuantitativos utilizando un teléfono o un móvil con fines de seguimiento o evaluación (Hensen et al., 2020). El seguimiento y la recopilación de datos a distancia pueden utilizar métodos como entrevistas en línea o telefónicas, debates en grupos focales, métodos de audio-diario, voz fotográfica, documentación en vídeo, análisis documental de medios sociales, autoetnografía y encuestas por teléfono móvil (ibíd.). Los principales componentes de la supervisión a distancia incluyen plazos, aprobaciones, diseño de instrumentos, codificación de encuestas y formación de encuestadores (Banco Mundial, 2021).
En toda la comunidad internacional humanitaria y de desarrollo, COVID-19 y las situaciones de conflicto (más desde el punto de vista de países como Afganistán) han obligado a las organizaciones a adaptar sus actividades de investigación, seguimiento y evaluación para garantizar una recopilación de datos de alta calidad a distancia (Elliott et al., 2020). En los últimos tiempos, el COVID-19 ha incrementado la necesidad de recopilar datos a distancia en todo el mundo. Sin embargo, en un país como Afganistán, el aumento de los conflictos, además de COVID-19, hace obligatoria la recogida de datos a distancia en varias partes del país.
Preparativos para el seguimiento y la evaluación a distancia
La experiencia demuestra que la preparación para el seguimiento y la evaluación a distancia en lo que respecta al desarrollo de marcos de muestreo, la selección de muestras, la formación de los encuestadores y el perfeccionamiento de las herramientas y aplicaciones de recopilación de datos es fundamental para garantizar el éxito de las entrevistas a distancia. Sin embargo, estas actividades incluyen varias subactividades y requieren muchos debates detallados y planificación, incluyendo revisiones, reestrategias, reflexión crítica, sesiones informativas periódicas y retroalimentación, y la mejora continua del proceso de recopilación de datos. Por ejemplo, al realizar el muestreo para una encuesta nacional de encuestados expuestos a programas de radio y televisión, la muestra se distribuyó en función de la proporción de la población.
El muestreo se realizó por regiones, provincias, sexo y nivel de estudios. En las conversaciones con el cliente se acordó que los encuestados que habían pasado muchos años en la madrasa debían considerarse educados. Además, la muestra debía ajustarse en la medida de lo posible a los datos nacionales sobre educación facilitados por el cliente. Todo esto se hizo para que la muestra fuera lo más representativa posible. Sin embargo, esto aumentó el reto de llegar a los encuestados que encajaban en el marco de muestreo requerido. Además, un encuestado elegible era aquel que había estado expuesto previamente al contenido relevante del programa en radio, televisión o medios sociales.
Se utilizó un cuestionario de selección para reclutar a los encuestados elegibles utilizando una base de datos recibida del cliente y la base de datos propiedad de Adroit Associates. Sin embargo, la base de datos compartida por el cliente se la había proporcionado otra agencia de investigación de un encargo de investigación anterior y la mayoría de los números de teléfono no eran pertinentes para la encuesta. Para aumentar el número de personas con mayores posibilidades de encajar en los criterios de inclusión de la encuesta, se recurrió a un muestreo exponencial no discriminatorio tipo bola de nieve. Uno de los principales retos era garantizar la representación de las mujeres en la muestra. Para abordar este reto, el muestreo de bola de nieve demostró su eficacia. Para garantizar la transparencia y la rendición de cuentas en el seguimiento y la evaluación a distancia, se facilitaron al cliente informes diarios que incluían datos sobre la selección y las entrevistas finales realizadas con éxito.
El cliente también vigiló de cerca la calidad de los datos, ya que éstos se recopilaban a través de la aplicación KoBo y la base de datos KoBo era compartida entre el cliente y Adroit Associates. La aplicación KoBo fue desarrollada por el cliente, pero Adroit Associates la perfeccionó. Para afinar la aplicación (tanto el cribado como el cuestionario principal), la aplicación se sometió a un simulacro de 10 muestras y luego de 100 muestras. Los resultados del ensayo se utilizaron para ajustar la aplicación de modo que el proceso de entrevista fuera más eficaz (menos lento). Sin embargo, este ejercicio resultó útil para formar a los encuestadores, ya que experimentaron situaciones de la vida real mientras realizaban las entrevistas piloto. Para reducir los abandonos, las entrevistas de selección y las principales se realizaron simultáneamente. Además, se contrató a más encuestadoras, ya que la experiencia demuestra que los encuestados están más dispuestos a hablar con una encuestadora. Las mujeres encuestadoras también tienen mayores tasas de finalización de las entrevistas que los hombres encuestadores durante el seguimiento y la evaluación a distancia.
El proceso de seguimiento y evaluación a distancia
Los encuestadores fueron supervisados por un especialista en investigación que proporcionó a cada uno de ellos (10 en este caso) una lista de números de teléfono. El especialista en investigación llevaba la cuenta de los números asignados a cada uno de los encuestadores y, al final del día, recogía de ellos informes diarios sobre el número de llamadas realizadas, el número de abandonos y el número de llamadas realizadas con éxito. A partir de estos informes, se proporcionaba al cliente un informe analítico diario consolidado. Las reuniones periódicas con el punto focal del cliente garantizaron que se resolvieran rápidamente problemas como la falta de números de teléfono a los que llamar.
El cliente también proporcionó varios miembros del Comité de Desarrollo Comunitario (CDC) para poder llegar a más encuestados. Los encuestadores no sólo estaban presentes en Kabul, sino en todo Afganistán, en varias provincias. Coordinarse con ellos a diario fue todo un reto y requirió mucho tiempo. Sin embargo, situar a los encuestadores en distintas regiones garantizó que conocieran el contexto local y los matices culturales. A los encuestadores que trabajaban en la oficina de Adroit Associates en Kabul se les pidió que eligieran los rincones más tranquilos de la oficina para realizar las entrevistas, de modo que no les molestaran los ruidos y las voces de fondo. Mientras realizaban las entrevistas, los encuestadores se enteraron de que algunos de los encuestados no podían contestar al teléfono mientras estaban trabajando. Por lo tanto, los encuestadores concertaron una cita con ellos más tarde ese mismo día y les llamaron à la hora prevista.
De este modo se garantizó que no se perdieran encuestados elegibles debido a sus limitaciones de tiempo. Se garantizó que los encuestadores adoptaran un enfoque muy humano de las entrevistas y fueran más allá de las horas de trabajo oficiales para garantizar que la entrevista se completara con éxito. Se formó a los encuestadores para que fueran respetuosos y mantuvieran la calma aunque los encuestados se mostraran poco amables y abusivos.
Conclusión
El seguimiento y la evaluación a distancia plantean tanto retos como oportunidades. Últimamente se ha hecho omnipresente debido à la pandemia de COVID-19; sin embargo, hay que seguir experimentando con los métodos de recopilación de datos a distancia para comprender hasta qué punto son eficaces en diferentes contextos y à la hora de abordar diferentes necesidades de investigación. Además, la recogida de datos a distancia puede plantear problemas éticos críticos que los investigadores y encuestadores deben conocer, sobre todo à la hora de identificar y reclutar a los participantes en el estudio. Además, la necesidad de recurrir à la técnica de bola de nieve en la recogida de datos a distancia tiene sus propios problemas éticos y limitaciones. La experiencia de Adroit Associates en el seguimiento y la evaluación a distancia demuestra que el papel de los encuestadores es fundamental en todo el proceso. El éxito de la entrevista a distancia depende en gran medida de la experiencia y las aptitudes del encuestador.
Más información sobre nuestros servicios de seguimiento, evaluación y aprendizaje:
