L’évaluation et l’apprentissage adaptatif: les enseignements de RF MERL Mali
Rapid Feedback Monitoring, Evaluation, Research and Learning (RF MERL) est une initiative du Bureau de la planification, de l’apprentissage et de la gestion des ressources de l’USAID qui coconçoit des approches rigoureuses, mais flexibles, pour générer des données opportunes et utiles pour l’USAID et ses partenaires. Le consortium RF MERL, dirigé par Results for Development (R4D), s’est associé à l’USAID/Mali pour soutenir deux programmes de projets de santé intégrés. Le premier, Keneya Sinsi Wale (KSW), fournit un soutien au niveau régional pour renforcer les systèmes de santé, le financement et la gouvernance, tandis que le deuxième, Keneya Nieta, (KN) travaille au niveau des villages pour améliorer la prestation durable des services de santé essentiels communautaires. Ce blog partage les principaux enseignements tirés d’entretiens avec l’équipe RF MERL/Mali et les partenaires de mise en œuvre.
Les évaluations d’impact et d’autres méthodes traditionnelles de production de données probantes constituent un élément essentiel de l’espace d’évaluation du développement international depuis des décennies. Pourtant, il y a un appétit dans ce domaine pour les approches d’apprentissage adaptatif, qui adoptent une approche plus flexible des méthodologies d’évaluation et mettent l’accent sur la recherche menée localement et la prise de décision plus tôt. Les bailleurs de fonds et les partenaires locaux savent que les deux volets de recherche sont précieux, mais ils se demandent si les méthodes traditionnelles et novatrices peuvent fonctionner ensemble.
Au cours des 10 dernières années, RF MERL a expérimenté des moyens de mener des activités d’apprentissage et de prise de décision en plus des évaluations d’impact traditionnelles. Nous entendons souvent les questions suivantes lorsque nous discutons de l’approche RF MERL:
- Est-il possible d’utiliser à la fois une évaluation d’impact et un apprentissage adaptatif?
- Pourquoi l’apprentissage adaptatif est-il bénéfique?
- Quand est-il préférable d’ajouter des boucles de rétroaction à un stade précoce à une évaluation d’impact?
- Comment réaliser simultanément un apprentissage adaptatif et une évaluation d’impact?
- Comment puis-je considérer le projet de manière holistique, plutôt que comme deux axes de travail distincts?
Au fil du temps, nous avons constaté que ces deux approches distinctes peuvent se renforcer et se compléter. Dans le cadre de notre travail sur RF MERL/Mali, nous avons conçu une évaluation d’impact rigoureuse classique qui fonctionne en tandem avec une série d’activités d’apprentissage adaptatif pour construire un programme plus solide à long terme.
En utilisant RF MERL/Mali comme étude de cas, voici plusieurs idées clés sur la façon d’utiliser – et de combiner – ces deux approches.
Vous n’avez pas à choisir entre une évaluation d’impact et des méthodes d’apprentissage adaptatif.
L’apprentissage adaptatif renforce — et n’empêche pas — une évaluation ultérieure de l’impact.
En fait, l’ajout d’activités d’apprentissage adaptatif à notre évaluation d’impact au Mali a permis d’obtenir des résultats d’apprentissage supérieurs à la somme de leurs parties.
Les évaluations d’impact et les activités d’apprentissage adaptatif fonctionnent souvent comme des engagements autonomes. Les évaluations d’impact fournissent une analyse rétrospective de ce qui s’est passé lors de la mise en œuvre d’un programme ; Ils ne participent pas à la prise de décision quotidienne qui est requise lors de la livraison. Les activités d’apprentissage adaptatif, quant à elles, se concentrent sur l’apprentissage et l’amélioration des problèmes de première ligne au cours d’un projet. Cependant, en raison de leur orientation précise et de leur court échéancier, les activités d’apprentissage adaptatif ne fourniront pas de données probantes concluantes sur l’impact à long terme du programme.
La mesure de l’impact d’un programme implique généralement la mise en place d’une seule intervention et la collecte de données sur une période de mesure pour déterminer si l’intervention a atteint l’effet escompté. Dans le cadre d’une évaluation d’impact traditionnelle, l’introduction d’activités supplémentaires telles que des exercices d’apprentissage adaptatif peut faire perdre aux chercheurs la capacité d’identifier l’intervention qui a eu un impact. Nous soutenons que cette gestion adaptative est un élément essentiel d’une mise en œuvre solide du programme qui ne vise qu’à améliorer la mise en œuvre et le rendement du programme (adoption, adhésion, durabilité, etc.), et non la nature de l’activité ou des interventions. RF MERL soutient les équipes de gestion adaptative en favorisant la prise de décisions fondées sur des données probantes et en renforçant les données probantes existantes du programme plutôt que d’introduire une variable confondante.
La combinaison d’une évaluation d’impact et d’un apprentissage adaptatif permet d’obtenir un apprentissage qui peut être intégré dans le travail de programme à long terme et dont les résultats sont mesurés par l’évaluation d’impact. Si elles sont efficaces, les activités d’apprentissage adaptatif peuvent accélérer la mise en œuvre réussie du programme, ce qui se traduit par un impact plus important sur le programme.
« Je pense que les deux approches sont complémentaires parce qu’ensemble, le travail que nous faisons ici ira au-delà de la vie du projet lui-même. Les intervenants que nous engageons dans [les activités d’apprentissage adaptatif] sont des membres de la communauté. Maintenant que la communauté est engagée dans notre travail, cela aura un impact longtemps après que nous aurons terminé. »
–Birama Djan Diakite, membre de l’équipe KSW
Les activités d’apprentissage adaptatif peuvent aider à interroger les résultats à un stade précoce d’une longue chaîne de causalité.
Le Projet de santé intégrée de l’USAID/Mali utilise le financement d’initiatives de gouvernance locale afin d’améliorer les résultats en matière de santé. Cette chaîne de causalité, c’est-à-dire la séquence de résultats intermédiaires qui doivent être atteints pour obtenir l’impact du programme, est longue. Il faudrait de nombreuses années pour qu’une évaluation d’impact détermine si les changements apportés au financement des gouvernements locaux ont eu un impact sur la santé de la communauté. L’ajout d’un travail d’apprentissage adaptatif à la conception de l’évaluation de l’impact a permis à l’équipe de déterminer où il pouvait y avoir des pannes au début de la chaîne occasionnelle et de tester comment les résoudre.
« Nous savons que la chaîne de causalité entre la gouvernance et les résultats en matière de santé est très longue et pas toujours simple, mais les évaluations d’impact sont tout de même importantes pour découvrir les résultats des programmes. Les activités d’apprentissage adaptatif aident les partenaires à impliquer les parties prenantes locales et à améliorer la mise en œuvre pour soutenir les résultats de ces programmes. »
–Dr Eric Djimeu Wouabe, chercheur principal du RF MERL/Mali
La confiance dans la gouvernance locale est un domaine potentiel qui pourrait limiter l’impact du programme au début de la chaîne de causalité. Si les membres de la communauté ne croient pas que les responsables locaux travaillent dans l’intérêt supérieur de la communauté, ils sont moins susceptibles d’assister aux événements communautaires liés à la santé qu’ils organisent. Cette confiance est difficile à mesurer et à établir mais elle est essentielle à l’amélioration des résultats en matière de santé. RF MERL a travaillé avec KN et KSW dans le cadre d’activités d’apprentissage adaptatif visant à faire participer les communautés à la gouvernance locale de la santé par le biais de réunions communautaires et de campagnes de sensibilisation.
À la suite de ces activités d’apprentissage adaptatif, RF MERL a constaté une augmentation de l’engagement communautaire – grâce à la réactivité aux campagnes de sensibilisation et à la participation à des réunions communautaires axées sur la santé – dans la gouvernance locale de la santé. KN et KSW intégreront les résultats de ces activités d’apprentissage adaptatif dans leurs plans de travail actuels, ce qui pourrait contribuer à l’efficacité globale des programmes.
La poursuite de l’apprentissage adaptatif parallèlement à une évaluation de l’impact nécessite un partenariat approfondi et une attention accrue au timing.
Une collaboration étroite entre les partenaires de mise en œuvre, le partenaire de la MEL et les bailleurs de fonds est essentielle.
Les activités d’apprentissage adaptatif, qui mettent l’accent sur les besoins uniques de première ligne de chaque programme, ont exigé que les membres de l’équipe KN, KSW et USAID/Mali s’engagent profondément et régulièrement avec l’équipe RF MERL. Cela peut représenter un défi pour les partenaires qui sont déjà occupés par leurs activités de programme. Pourtant, la collaboration avec RF MERL a donné aux membres de l’équipe KN et KSW l’impulsion nécessaire pour faire une pause, réfléchir et apprendre de la mise en œuvre de leur programme d’une manière qui aurait autrement été impossible en raison de leur bande passante et de leurs ressources limitées.
« La collaboration avec RF MERL autour des [activités d’apprentissage adaptatif] a été très utile parce que nous avons eu des discussions que le projet n’aurait probablement pas eues autrement. Cela aide KN à vraiment renforcer et à améliorer les activités que nous mettons en œuvre en utilisant les informations supplémentaires fournies par les exercices [d’apprentissage adaptatif]. »
–Dr. Eckhard Kleinau, membre de l’équipe KN
L’établissement de relations avec les partenaires pendant les activités d’apprentissage adaptatif renforce également la confiance pour une collaboration continue pendant l’évaluation de l’impact. L’opacité fréquente entre les partenaires de mise en œuvre, les partenaires de la MEL et les bailleurs de fonds lors d’une évaluation d’impact traditionnelle peut provoquer des tensions lorsque les projets rencontrent inévitablement des obstacles. Cependant, lorsque tous les partenaires ont déjà travaillé ensemble lors de la conception et de la mise en œuvre de l’apprentissage adaptatif, des canaux de communication préétablis permettent l’honnêteté et la résolution collaborative des problèmes si des obstacles surviennent.
La gestion des échéanciers des projets est essentielle.
Les évaluations d’impact et les activités d’apprentissage adaptatif fonctionnent bien ensemble parce qu’elles supplantent les faiblesses de l’autre : les évaluations d’impact indiquent si un programme a fonctionné mais n’indiquent pas pourquoi, tandis que les activités d’apprentissage adaptatif renforcent la conception sans détailler l’efficacité globale du programme. Pour apprendre au fur et à mesure et identifier les résultats d’un programme, la mise en œuvre de l’apprentissage adaptatif et la collecte de données doivent être séquencées avec précision.
Chronologie RF MERL/Mali, telle qu’elle a été conçue à l’origine:
RF MERL a utilisé l’effort annuel de collecte de données pour l’évaluation de l’impact afin de recueillir des données supplémentaires pour l’analyse des activités d’apprentissage adaptatif. Ce séquençage a permis à l’équipe de la MEL de comprendre l’impact quantitatif des activités d’apprentissage adaptatif et de mener des entrevues qualitatives avec des informateurs clés pour l’évaluation de l’impact. La chronologie parallèle maximise l’apprentissage tout en utilisant efficacement les ressources.
Il peut être difficile de synchroniser la mise en œuvre des activités d’apprentissage adaptatif, la mise en œuvre des plans de travail des partenaires et la collecte de données. Les activités d’apprentissage adaptatif nécessitent une participation importante de tous les partenaires à un projet, l’approbation d’un comité d’examen externe du gouvernement ou d’un établissement et l’engagement de la communauté, ce qui peut prendre beaucoup de temps. L’attention sur le terrain d’un coordinateur d’étude est particulièrement importante dans ce contexte de double méthodologie pour s’assurer que tous les aspects du projet se déroulent sans heurts et dans les délais.
RF MERL continue d’explorer comment les méthodologies fonctionnent ensemble.
Notre travail avec RF MERL/Mali fournit un exemple convaincant de la façon dont les exercices d’apprentissage adaptatif peuvent soutenir l’évaluation d’impact traditionnelle. Cette approche méthodologique à deux volets a été choisie parce que l’équipe de RF MERL s’engage à réfléchir de manière créative à la meilleure façon d’utiliser les outils méthodologiques à notre disposition.
Le domaine du suivi, de l’évaluation, de la recherche et de l’apprentissage expérimente constamment des approches traditionnelles et non traditionnelles de notre travail. RF MERL s’est engagé dans cette exploration, et nous savons qu’il est essentiel de trouver des moyens de combiner différentes méthodes d’une manière qui améliore les résultats d’apprentissage globaux.
