Le suivi et l’évaluation à distance impliquent la collecte de données qualitatives ou quantitatives à l’aide d’un téléphone ou d’un mobile à des fins de suivi ou d’évaluation (Hensen et al., 2020). Le suivi à distance et la collecte de données peuvent utiliser des méthodes telles que les entretiens en ligne ou par téléphone, les discussions de groupe, les méthodes de journal audio, la voix photographique, la documentation vidéo, l’analyse documentaire des médias sociaux, l’auto-ethnographie et les enquêtes par téléphone portable (ibid). Les principaux éléments du suivi à distance comprennent les calendriers, les approbations, la conception des instruments, les enquêtes de codage et la formation des recenseurs (Banque mondiale, 2021).
Dans l’ensemble de la communauté internationale du développement et de l’aide humanitaire, le COVID-19 et les situations de conflit (davantage du point de vue de pays tels que l’Afghanistan) ont contraint les organisations à adapter leurs activités de recherché, de suivi et d’évaluation afin de garantir une collecte de données de haute qualité à distance (Elliott et al., 2020). Le COVID-19 a récemment accru la nécessité de collecter des données à distance dans le monde entier. Toutefois, dans un pays comme l’Afghanistan, la multiplication des conflits, en plus de la COVID-19, rend la collecte de données à distance obligatoire dans diverses régions du pays.
Préparer le suivi et l’évaluation à distance
L’expérience montre que la préparation du suivi et de l’évaluation à distance en termes de développement de bases d’échantillonnage, de sélection d’échantillons, de formation des enquêteurs et de mise au point des outils de collecte de données et des applications est essentielle pour garantir la réussite des entretiens à distance. Cependant, ces activités comprennent plusieurs sous-activités et nécessitent de nombreuses discussions et planifications détaillées, y compris des révisions, des re-stratégies, une réflexion critique, des débriefings réguliers et un retour d’information, ainsi qu’une amélioration continue du processus de collecte des données. Par exemple, lors de l’échantillonnage pour une enquête nationale sur les personnes interrogées exposées à des programmes de radio et de télévision, l’échantillon a été réparti en fonction de la proportion de la population.
L’échantillonnage a été réalisé par région, par province, par sexe et par niveau d’instruction. Lors des discussions avec le client, il a été convenu que les personnes interrogées qui ont passé de nombreuses années dans les madrasas devaient être considérées comme instruites. En outré, l’échantillon devait être aligné autant que possible sur les données nationales sur l’éducation fournies par le client. Tout cela a été fait pour rendre l’échantillon aussi représentatif que possible. Néanmoins, il a été plus difficile d’atteindre les personnes interrogées qui correspondaient au cadre d’échantillonnage requis. En outré, un répondant éligible était celui qui avait déjà été exposé au contenu d’un programme pertinent à la radio, à la télévision ou dans les médias sociaux.
Un questionnaire de sélection a été utilisé pour recruter des répondants éligibles à partir d’une base de données fournie par le client et de la base de données propriétaire d’Adroit Associates. Cependant, la base de données partagée par le client lui avait été fournie par une autre agence de recherché lors d’une précédente mission de recherché et la plupart des numéros de téléphone n’étaient pas pertinents pour l’enquête. Afin d’augmenter le nombre de numéros susceptibles de correspondre aux critères d’inclusion de l’enquête, un échantillonnage exponentiel non discriminatoire en boule de neige a été utilisé. L’un des principaux défis était d’assurer la représentation des femmes dans l’échantillon. Pour relever ce défi, l’échantillonnage en boule de neige s’est avéré efficace. Pour garantir la transparence et la responsabilité du suivi et de l’évaluation à distance, le client a reçu des rapports quotidiens comprenant des données sur la sélection et les derniers entretiens menés à bien.
Le client a également gardé un œil attentif sur la qualité des données car celles-ci étaient collectées par l’application KoBo et la base de données KoBo était partagée entre le client et Adroit Associates. L’application KoBo a été développée par le client mais a été affinée par Adroit Associates. Afin d’affiner l’application (à la fois la sélection et le questionnaire principal), l’application a été soumise à un essai à blanc de 10 échantillons, puis de 100 échantillons. Les résultats de ces essais ont été utilisés pour affiner l’application afin de rendre le processus d’entretien plus efficace (moins chronophage). Toutefois, cet exercice s’est avéré utile pour la formation des enquêteurs, qui ont été confrontés à des situations réelles lors des entretiens pilotes. Afin de réduire le nombre d’abandons, les entretiens de sélection et les entretiens principaux ont été menés simultanément. En outré, un plus grand nombre d’enquêteurs féminins ont été recrutés, car l’expérience montre que les répondants sont plus enclins à parler à une enquêtrice. Les femmes ont également un taux d’achèvement des entretiens plus élevé que les hommes lors du suivi et de l’évaluation à distance.
Le processus de suivi et d’évaluation à distance
Les enquêteurs ont été supervisés par un spécialiste de la recherché qui a fourni à chacun des enquêteurs (10 dans ce cas) une liste de numéros de téléphone. Le spécialiste de la recherché a suivi les numéros attribués à chacun des enquêteurs et, à la fin de la journée, a recueilli des rapports quotidiens sur le nombre d’appels effectués, le nombre d’abandons et le nombre d’appels réussis. Un rapport analytique quotidien consolidé a été fourni au client sur la base de ces rapports. Des réunions régulières avec le point focal du client ont permis de résoudre rapidement des problèmes tels que le manqué de numéros de téléphone à appeler.
Le client a également fourni un certain nombre de membres du comité de développement communautaire (CDC) afin de pouvoir atteindre un plus grand nombre de personnes interrogées. Les enquêteurs n’étaient pas seulement présents à Kaboul, mais dans tout l’Afghanistan, dans différentes provinces. La coordination quotidienne avec eux était difficile et prenait beaucoup de temps. Cependant, le fait de placer les enquêteurs dans différentes régions leur a permis de connaître le contexte local et les nuances culturelles. Il a été demandé aux enquêteurs du bureau de Kaboul d’Adroit Associates de choisir les coins les plus calmes du bureau pour mener les entretiens afin de né pas être dérangés par les bruits de fond et les voix. Lors des entretiens, les enquêteurs ont appris que certaines des personnes interrogées né pouvaient pas répondre à leur téléphone lorsqu’elles étaient au travail. Ils ont donc pris rendez-vous avec eux plus tard dans la journée et les ont appelés à l’heure prévue.
Cela a permis de s’assurer que les répondants éligibles n’étaient pas oubliés en raison de leur manqué de temps. Les enquêteurs ont adopté une approche très humaine de l’entretien et ont dépassé les heures de travail officielles pour s’assurer que l’entretien était mené à bien. Les enquêteurs ont été formés à être respectueux et calmes, même si les personnes interrogées n’étaient pas aimables et abusives.
Conclusion
Le suivi et l’évaluation à distance constituent à la fois des défis et des opportunités. Elles sont devenues omniprésentes récemment en raison de la pandémie de COVID-19 ; cependant, les méthodes de collecte de données à distance doivent être davantage expérimentées pour comprendre leur efficacité dans différents contextes et pour répondre à différents besoins de recherché. En outré, la collecte de données à distance peut présenter des défis éthiques majeurs dont les chercheurs et les enquêteurs doivent être conscients, notamment en ce qui concerne l’identification et le recrutement des participants à l’étude. En outré, la nécessité d’utiliser la technique de la boule de neige dans la collecte de données à distance comporte ses propres problèmes éthiques et ses propres limites. L’expérience d’Adroit Associates en matière de suivi et d’évaluation à distance montre que le rôle des enquêteurs est essentiel dans l’ensemble du processus. Le succès de l’entretien à distance dépend fortement de l’expérience et des compétences de l’enquêteur.
En savoir plus sur nos services de suivi, d’évaluation et d’apprentissage :
