Tag Archives: système suivi et évaluation MSF

Questions à Vincent Brown (Unité d’évaluation MSF Paris) et Filipe Ribeiro (DG MSF Paris)

6 Avr

– Comment est organisée l’unité évaluation de MSF Paris ?

 L’unité d’évaluation est hébergée par la Direction Générale. Nous réalisons une dizaine d’évaluations par an, la plupart internes. Ces évaluations durent de 6 semaines à 3 mois. Je m’occupe de cette unité évaluation avec un rôle de facilitateur, j’accompagne, je ne rédige pas forcément les termes de références mais je fais bien préciser les questions. Les demandes d’évaluation sont souvent faites par la Direction des Opérations en accord avec la Direction Générale. L’agenda se fait généralement en décembre pour l’année calendaire suivante, mais les demandes peuvent avoir lieu à tout moment pendant l’année et on parle d’évaluation « à chaud » dans notre jargon MSF, « Real time evaluation », en français évaluation en temps réel. Par exemple sur le choléra ou des vaccinations rougeole de grande envergure, il y a besoin de regarder les stratégies sur le terrain en même temps que se propage l’épidémie. Ou alors en cours de projet moyen/long terme sur des hôpitaux, une évaluation peut avoir lieu à mi-parcours. Nous choisissons aussi des évaluations par thème : par exemple la prise en charge du choléra. Les demandes n’émanent pas uniquement de la Direction des Opérations : elles peuvent venir de partout : du terrain, des desks (directeurs de programmes liés à des zones géographiques), du mouvement international MSF. Par exemple nous avons eu une demande l’année dernière émanant des logisticiens à l’égard des hôpitaux en containers en Haiti pour voir la durabilité de ces projets 2 ans après leur mise en place en urgence, suite au tremblement de terre du 12 janvier 2010.  Les demandes émanent moins souvent de la directions médicale car ils ont déjà un certain nombre de spécialistes qui oeuvrent déjà dans leur domaine d’expertise : orthopédie, pharmacie, stérilisation, HIV-SIDA, nutrition… L’unité d’évaluation permet des approches transversales : par exemple sur les hôpitaux en containers, cela concernait plusieurs départements, l’aspect logistique, technique (la pertinence et la faisabilité sur le terrain de mettre en place une telle structure) et puis l’aspect médical (ces structures conviennent-elles dans la pratique ?).

Les consultants sont employés en CDD sur la durée de leur évaluation. Ils ont accès à tous les documents référents possibles, il est parfois très difficile d’avoir des informations, ou alors c’est l’inverse, trop d’info est disponible, il faut l’organiser, la traiter. Après il y a une visite terrain, plus ou moins longue, une à deux semaines suivant le thème et puis un temps de réalisation du rapport mais toujours précédé par des restitutions, sur le terrain, puis en capitale, pour un débriefing plus officiel afin de quitter le pays en ayant partagé les grands axes de nos réflexions. Ensuite à Paris, on programme une réunion d’environ 2 heures pour partager les résultats. On débriefe avant la rédaction finale du rapport afin de tester la faisabilité des recommandations. Les recommandations doivent être adaptées à la réalité du contexte, au « possible ». On aime bien sur les projet moyens/long terme, cela fait partie du plan d’action, retourner sur les terrains d’action après 6 mois/1 an. Le suivi se fait aussi par la proximité avec les desk, ils sont juste en dessous, on va toujours discuter pour savoir où on en est…

– Quelles approches ? Quelles méthodes ? Quels critères ?

Les évaluations globales de projets ou par thèmes spécifiques concernent toutes les activités de la mise en oeuvre opérationnelle sur le terrain et reflète donc l’implication des divers départements de MSF. Ces activités sont mises en oeuvre en principe selon un certain cadre stratégique, plus ou moins précis,  et qui varie beaucoup en fonction des contextes.

L’approche méthodologique des évaluateurs s’adapte à ces diverses situations ;  elle est assez classique avec l’analyse des stratégies d’un projet et des résultats atteints par rapport à des objectifs fixés, reportés dans les plans d’action, avec un descriptif d’activités et des moyens variables selon les personnes responsables, etc. L’évaluation se veut argumentée couplant les aspects qualitatifs et quantitatifs : elle est basée sur des faits réels et des activités mesurables ;  pour ces dernières, leur tendance est suivie au cours du temps, et en comparant à d’autres situations lorsque cela est possible. L’entretien avec les acteurs et décideurs est systématique et participatif, en triangulation, avec le souci d’être le plus représentatif possible et de toucher le plus grand nombre, pour objectiver les réponses. L’évaluation analyse longuement les informations recueillies et les interprète. Les évaluateurs sont toujours extérieurs à l’action et à l’évaluation en cours.

Les résultats sont interprétés en fonction de plusieurs paramètres, entre autres :

– l’ensemble des paramètres techniques et stratégiques nécessaire à la réalisation d’une intervention terrain

– leur pertinence, en focalisant sur les arguments et critères retenus, liés aux besoins prioritaires et urgents des bénéficiaires ;

– la valeur ajoutée d’une intervention est prise en compte, avec ses aspects techniques, ses besoins médiatiques et politiques (par exemple alerter la communauté internationale)

– l’efficacité avec surtout le contrôle de la morbi-mortalité, la proportion de guérisons et d’améliorations,

– et l’efficience qui doit mettre en perspective les résultats obtenus avec les moyens mis à disposition, en essayant d’objectiver la qualité des soins médicaux, sans oublier une vision globable de santé publique.

Les résultats sont aussi interprétés et comparés à d’autres sources[1].


[1] Les référentiels utilisés sont reconnus, soit internationalement, ou au sein des pays concernés, ou encore obtenus à partir d’autres expériences MSF. Ces référentiels ou indicateurs sont choisis le plus souvent parce qu’ils sont issus d’un environnement présentant des activités comparables. Les indicateurs d’activités sont néanmoins toujours  adaptés et interprétés selon les divers contextes d’intervention où a lieu une évaluation. Le plus souvent, il s’agit de situations très complexes à cause de la pénurie ou absence d’accès aux soins, de conditions graves d’insécurité, et où la situation de précarité économique des populations est extrême.

  

Quels apprentissages ? Comment capitaliser ?

Au delà de la notion de « rendu de compte », c’est surtout la notion de « leçons apprises » qui est recherchée : ceci représente un tournant important pour MSF qui souhaite formaliser davantage les activités d’évaluation en interne (Conseil d’Administration, 2003). A cette époque, MSF évolue déjà comme organisation apprenante, notamment en créant depuis 25 ans ses propres formations à partir de la capitalisation des expériences vécues sur le terrain. Dans ce cadre, le but des évaluations à MSF est donc de mener une autocritique interne constructive de ses projets pour améliorer les interventions auprès des bénéficiaires.

Les résultats des évaluations sont couramment utilisés pour orienter les stratégies, à partir d’objectifs opérationnels qui sont redéfinis chaque année. Cette vision annuelle a tendance à évoluer avec des projets hospitaliers qui durent facilement plus de 5 ans. En pratique, les évaluations des projets santé contribuent à suivre la mise en oeuvre et le respect des bonnes pratiques médicales et logistiques, notamment dans les hôpitaux soutenus par MSF (Voiret I. et al., 2011).

L’amélioration de la qualité des interventions MSF est en partie basée sur la possibilité de revisiter et discuter les résultats des interventions au sein du groupe à tous les niveaux. La capitalisation en groupe se fait à travers les différents départements et métiers de MSF.  Ceci a lieu notamment lors des journées d’évaluation et de réflexion qui abordent l’ensemble des points spécifiques retenus par les évaluateurs, avec un certains nombre d’acteurs du terrain et de décideurs. Les évaluateurs sont indépendants dans cette démarche mais l’approche, se veut sur un mode de « critique constructive » en interne et de mise en commun pour réfléchir sur nos actions.

Les résultats et les recommandations peuvent correspondre, soit à des acquis opérationnels déjà existants qu’il faut remettre dans la « mémoire collective », où à de nouvelles stratégies qu’il faut diffuser et faire connaitre.

Dans un but d’apprentissage, le processus d’évaluation participe à la dynamique générale de formation et d’information en interne. Le processus d’apprentissage est souvent en rapport avec le développement d’une certaine culture de l’évaluation et de réflexion sur nos activités opérationnelles. Les premiers à en bénéficier sont le département des opérations MSF qui ont le plus souvent demandé ces évaluations et s’approprient naturellement les résultats.

La politique de MSF étant de travailler avec des évaluateurs/évaluatrices juniors, ceci permet de mettre en pratique avec eux/elles l’apprentissage des méthodes d’évaluations, en améliorant la capacité d’analyse et de réflexion, et la présentation des résultats à argumenter « devant ses pairs ». Ceci s’inscrit comme une étape dans leur parcours individuel à MSF.

Par ailleurs, les études de cas à partir d’exemples réels d’évaluations, sont très utiles pour animer des formations et des ateliers spécifiques. En ce sens, ici aussi le contenu des évaluations y contribue largement, ceci dans la plupart des domaines présentés.

La diffusion des résultats se fait sur les sites web de MSF en interne et dans le mouvement, et auprès des partenaires; certains travaux sont aussi présentés à l’extérieur lors de conférences ou de formations internationales (Masters ou autres) voire peuvent conduire à des publications dans des revues internationales. Davantage de publications ou d’articles sont envisagés.

 Enfin, dans un monde comme MSF où le temps est compté, nous évaluateurs avons la chance de discuter 1h30, 2h00 avec des personnes à des postes clés sur les sujets traités (une soixantaine d’entretiens sont réalisés pour chaque évaluation, jusqu’à une centaine pour les évaluations internationale). Nous constatons, en permettant aux gens de s’exprimer en profondeur sur des sujets qui les touchent,  un effet indirect de bonne cohésion, de « ciment interne ».

Quels sont les freins ? Quels aspects pourraient être améliorés ?

MSF est régulièrement concerné par l’évaluation des résultats de ses interventions. Alors que cette approche existe en principe depuis des années, la « culture » de l’évaluation doit encore se développer en interne à MSF. L’organisation, du fait de son indépendance, a une responsabilité face aux populations secourues, face au public et aussi face à ces donateurs.

On peut donc toujours améliorer ! L’agenda est très chargé à MSF et il faut que la place de l’évaluation s’inscrive bien dans l’évolution du projet. Entre le moment ou la demande, pertinente, émerge, et le moment où nous leur apportons des réponses, les gens sont passés à une autre urgence, ont d’autres priorités… Accaparer leur attention à ce moment-là reste un challenge.

Aussi, l’implication concomitante des divers départements reste un enjeu à développer, invitant davantage d’investissement institutionnel. En ce sens les journées d’évaluation ont réussi à créer une véritable dynamique interne, regroupant les personnes de divers métiers autour de la même table.

 

Quelques évaluations récentes :

– Evaluation à but de capitalisation du Trauma Center de Teme, Port Harcourt, Nigéria, Mars 2013

– Revue critique interne des Indicateurs Hospitaliers généralistes à MSF, basée sur 5 hôpitaux, Février 2013)

– Evaluation des réfugiés Nubas au Sud Soudan, MSF OCP, Décembre 2012

– Evaluation des briefings des Chefs de Projets et Coordinateurs à MSF-OCP (Centre Opérationnel MSF Paris), Octobre 2012

– Hôpitaux en conteners en Haïti (MSF Paris pour le mouvement MSF, 4 hôpitaux), Février 2012

– Evaluation hôpitaux en Afrique sub-saharienne, 2009/2012

– Hôpital pur brulés et traumas, Suleymaniyah, Kurdistan, Irak (2009)

– Intervention immédiate post-séisme en Haïti (2010)

– Hôpital de campagne/tente gonflables (2010)

Publicités