Image

Le travail humanitaire (Rash Brax)

21 Avr

10255085_1250473004979758_8997661488655882514_o

Sept « péchés capitaux » de l’évaluateur : Pièges et repères déontologiques

24 Nov

A découvrir ou à redécouvrir, tout juste 10 ans après sa première parution :  les sept « péchés capitaux » de l’évaluateur : Pièges et repères déontologiques, par Philippe Lavigne Delville (notes méthodologiques n° 5, Direction Scientifique, GRET, Octobre 2004).

Ne pas rater l’annexe : l’évaluation du Programme Palestine (an 00 – an 33)

Philippe Lavigne Delville est socio-anthropologue, directeur de recherche à l’IRD. Il travaille en particulier sur les politiques et projets de développement et sur les politiques foncières. Il a été Directeur scientifique du GRET de 1999 à 2008 et est président de l’APAD depuis 2013.  

Sept « péchés capitaux » de l’évaluateur : Pièges et repères déontologiques

Une évaluation est un exercice difficile. En quelques jours ou quelques semaines au mieux, il faut porter un regard le plus objectif possible sur une réalité complexe et multiforme et porter une analyse sur des stratégies et des actions, dans lesquelles des équipes se sont investies, parfois pendant plusieurs années. Il faut intégrer et organiser une masse d’informations d’ordres différents ; se construire une connaissance et une analyse du projet ; respecter les équipes et leur travail sans pour autant oublier tout regard critique ; appréhender le point de vue des bénéficiaires sans prendre pour argent comptant tout ce qu’ils disent ; répondre aux attentes – pas toujours explicites ou réalistes – des commanditaires sans s’asservir à leurs logiques…

Une évaluation est souvent un exercice violent pour ceux qui la vivent. Nous avons tous connu des évaluations productives, mais aussi des évaluations injustes et biaisées. Evaluer un projet demande une éthique affirmée pour éviter de tomber dans des pièges fréquents. En voici quelques-uns, inspirés de cas vécus. Il y en a sûrement d’autres…

1. Instrumentaliser l’évaluation à son profit …

2. S’inféoder a priori à l’un ou l’autre des acteurs

3. Plaquer ses propres schémas, sans chercher à comprendre ce qu’ont cherché à faire les équipes, et pourquoi

4. Tomber dans le piège du rétrospectif

5. Imputer aux acteurs des « choix » qui ne sont que des réponses au jeu de contraintes au sein duquel ils se trouvent

6. Prendre pour argent comptant des objectifs initiaux irréalistes

7. Ne voir que les résultats à court terme… ou seulement de possibles effets à long terme

Retrouvez l’intégralité de la note sur le site du GRET.

Questions à Pierre Bastid, chargé de cofinancement au CCFD-Terre Solidaire

27 Mai

Quelques mots de présentation du CCFD, de la direction des partenariats internationaux, de ton poste…

 

Le CCFD (Comité Catholique Contre la Faim et pour le Développement) travaille autour de 3 axes :

  • des projets de développement menés avec nos partenaires locaux
  • l’éducation au développement (la sensibilisation de tous à une vie plus solidaire)
  • le plaidoyer auprès des décideurs politiques

Ces projets de développement sont menés exclusivement avec 360 partenaires autour de 442 projets (en 2012) dans 58 pays du monde. Les six thématiques prioritaires d’intervention du CCFD-Terre Solidaire à l’international sont :

  • la souveraineté alimentaire,
  • l’économie sociale et solidaire,
  • les migrations internationales,
  • le financement du développement (dont la lutte contre les paradis fiscaux),
  • l’égalité femmes-hommes
  • la prévention des conflits.

Le CCFD a cette spécificité de ne pas être un opérateur de terrain mais d’identifier des organisations locales considérées pour avoir un potentiel de développement de leur propre pays. Nous les appuyons ainsi dans la mise en oeuvre de leurs propres projets.

En tant que chargé de cofinancement, je fais partie de la direction des partenariats internationaux. Nous intervenons dans le cadre de projets cofinancés par des institutions publiques ou privées. Nous arrivons en support de nos collègues des pôles géographiques chargés de l’identification et du suivi des partenaires. Un des enjeux de notre service est l’accès de nos partenaires à des financements internationaux. Nous travaillons principalement avec l’AFD et l’Union Européenne. Nous sollicitons aussi des collectivités territoriales comme le Conseil Régional d’Ile de France et à la marge quelques fondations privées. La partie cofinancée représente environ 5 % des fonds qui transitent actuellement au CCFD : une enveloppe assez faible par rapport à notre budget global. D’une part nous avons la chance d’avoir une masse importante de fonds propres, d’autre part nous utilisons ces cofinancements pour créer un effet de levier, pour former nos partenaires et leur permettre à terme d’accéder directement à ce type de financement et ce dans un objectif d’autonomisation financière.

Le service cofinancement accompagne dans la veille des opportunités de financements institutionnels, la construction de projets à cofinancer, dans la compréhension de la réglementation des bailleurs. Si le financement est octroyé nous appuyons dans la mise en oeuvre du projet et ce jusqu’à sa clôture. Le suivi/ évaluation de ces projets est partie intégrante de mon travail. Je suis particulièrement chargé de la zone Asie et du bassin méditerranéen où je gère une quinzaine de projets.

Quel suivi et évaluation pour ces projets ?

Dans le cadre des partenariats internationaux, nous sommes soumis à la réglementation des bailleurs. Nous formons nos partenaires aux règlementations et à une bonne gestion des projets, ce qui inclut bien évidemment cette composante de suivi/évaluation fortement recommandée par les bailleurs institutionnels. Notamment publics : l’AFD et l’UE en particulier.

Dès la construction du projet, les activités de suivi/évaluation sont budgétisées et intégrées dans le projet soit par la mise à disposition de ressources humaines spécifiques soit par la budgétisation d’une ou plusieurs évaluation externes. Différentes modalités sont choisies en fonction des capacités du partenaire : soit un exercice appelé dans notre terminologie bailleur « monitoring »  (une analyse annuelle des progrès du projet) soit une évaluation à mi-parcours et une évaluation finale. A minima, chaque projet bénéficiera d’une visite annuelle des équipes du CCFD dans le cadre de l’évaluation interne du projet et d’une évaluation externe de fin de projet.

Lorsqu’un projet est sélectionné par un bailleur, très tôt suite à la signature du contrat, nous réalisons une mission d’installation. Lors de cette mission nous reprenons l’ensemble de la stratégie projet et construisons avec le partenaire une matrice de suivi qui définit les indicateurs à suivre, la fréquence de mesure, l’affectation des tâches afin de définir qui au sein du staff projet sera responsable de la collecte et du traitement des données nécessaires au suivi/évaluation.

Le cadre logique est devenu incontournable. Plus ou moins imposé par les bailleurs, il reste néanmoins un outil de synthèse intéressant. Pour le suivi/évaluation, l’enjeu essentiel demeure le choix des indicateurs. Particulièrement leur mesurabilité et leur fiabilité.

Je vous donne un exemple de contre-pratique : dans un programme de protection des droits des populations indigènes aux Philippines, certains indicateurs étaient censés mesurer le sentiment de sécurité des populations avec des questionnaires. Sauf que dans certains endroits… nous nous sommes rendus compte que les chefs de villages indiquaient précisément aux habitants ce qu’ils devaient répondre ! Bref, il ne suffit pas d’avoir une belle matrice sur le papier.

 En ce qui concerne les évaluations externes, la plupart de nos partenaires ont déjà été évalué. Ils sont donc plutôt rodés à l’exercice même s’ils le vivent souvent comme une contrainte. Les termes de références sont élaborés conjointement avec eux autour des critères demandés par les bailleurs internationaux c’est à dire généralement ceux du CAD  : pertinence, efficacité, efficience, impact, durabilité.

 Nous diffusons ensuite l’appel d’offre sur le site du F3E, Reliefweb-OCHA ainsi que dans nos réseaux et ceux de nos partenaires.  Nous essayons d’encourager les binômes d’évaluateurs, souvent un international avec un bonne maitrise du processus d’évaluation et un local avec une bonne maitrise du contexte et de la langue.

Quels freins demeurent dans ce dispositif de suivi et d’évaluation ?

Le timing. Sur tous les projets, je ne sais pas si une seule ONG me contredirait là-dessus, nous sommes souvent un peu serré au niveau du temps. En premier lieu dans la mise en oeuvre du projet. Alors d’autant plus dans les activités d’évaluation qui n’apparaissent pas forcement comme prioritaires par rapport à la mise en œuvre des activités même du projet. Dans le cadre d’une évaluation externe le processus est long : élaborer les termes de références, les publier, sélectionner l’offre… Il faut déjà compter de 4 à 5 mois. Il faut idéalement laisser du temps pour recevoir suffisamment d’offres et pouvoir mener des entretiens auprès des évaluateurs. Le dialogue doit parallèlement avoir le temps de s’engager avec nos partenaires locaux qui sont, avec nous, décisionnaires sur le choix de l’équipe d’évaluation. C’est un enjeu d’appropriation de l’évaluation par nos partenaires.

La durée de l’évaluation aussi. On demande en quinze jours ou trois semaines à des personnes extérieures qui ne connaissent ni le projet ni le partenaire d’émettre un avis… C’est un challenge ! Nous demandons un travail très approfondi en très peu de temps. Du coup, souvent, les résultats de l’évaluation viennent uniquement conforter des éléments que nous connaissions déjà, ce qui n’est déjà pas si mal, cela assoit la légitimité de nos propres recommandations. Mais il est rare que nous apprenions quelque chose de neuf… Autre conséquence, les recommandations manquent aussi parfois de précisions : c’est la limite de cet exercice si court.

Le budget: nous devons nous conformer à des enveloppes définies à l’avance par les bailleurs. Certains de nos partenaires ont déjà des départements et du personnel affectés au « monitoring », pour les plus petites structures, c’est plus compliqué.

La langue parfois. A titre d’exemple, trouver des personnes maitrisant des langues indigènes au Sud-Est des Philippines en plus des méthodologies d’évaluation reste loin d’être évident !

Enfin, une limite forte est la logique projet. La plupart de nos partenaires préféreraient une évaluation de leur structure plutôt que du projet cofinancé uniquement. C’est pourquoi nous poussons dans les termes de références à avoir des recommandations qui puissent éclairer non seulement le projet mais l’ensemble de la structure.

Une ONG qui mène une dizaine de projets va donc se retrouver avec dix évaluations différentes ! Entre nos visites terrains, les évaluations, les audits et les visites des bailleurs, les ONG passent leurs temps à accueillir des visiteurs. C’est une source d’efforts et une contrainte logistique importante.  N’oublions pas que le but premier est quand même de mettre en œuvre des activités visant à soutenir des populations en difficulté… Les bailleurs devraient trouver un moyen de coordonner leurs demandes de suivi/évaluation en acceptant par exemple des évaluations conjointes de plusieurs projets (c’est le cas par exemple au Liban, sur un projet de de soutien à des coopératives issues du commerce équitable, dans lequel l’AFD et un autre bailleur acceptent de fusionner l’évaluation du projet cofinancé). D’autant plus que les consignes des bailleurs sont claires en ce qui concerne les ressources humaines : ce sont des lignes budgétaires qui doivent rester modestes. Et qui du coup n’intègrent pas ces temps d' »accueil ».

La conception du CCFD, et je la partage, c’est que ce n’est pas uniquement un projet qui permet de faire évoluer les choses, c’est un ensemble de projets mené par un ensemble de structures… L’enjeu est la structuration de ces structures, une composante que nous appuyons fortement.

En ce qui concerne l’utilité de l’évaluation et donc les recommandations, celles-ci restent parfois trop vagues, ce qui rend difficile leur mise en oeuvre. C’est pourquoi nous exigeons des évaluateurs des recommandations qui soient le plus spécifique possible avec des chronogrammes affectés par postes et organisations partenaires.

Par évaluation, j’entends « processus d’amélioration ». C’est un point sur lequel nous sensibilisons partenaires comme évaluateurs. Nous précisons bien aux évaluateurs que leur mission est aussi de motiver les gens, de faire effet de levier. Une évaluation trop critique pourrait aussi déboucher sur la démotivation des partenaires voire la mise à mort du programme.

Pour autant, les limites des recommandations des évaluations finales sont aussi liées au financement : s’il n’y a plus de sous, les recommandations seront difficilement mises en oeuvre. C’est différent dans le cadre du monitoring car nous revenons d’une année sur l’autre en partie pour vérifier la prise en compte des recommandations.

Les enjeux de réussite d’une évaluation sont au final les mêmes que celles d’un projet de développement : l’appropriation.  Si nos partenaires ne perçoivent pas l’utilité de l’exercice, s’ils ne s’approprient pas les recommandations, il sera bien complexe de les appliquer. Cet exercice d’appropriation est fondamental et chaque évaluateur devrait le garder en tête à tout moment de l’évaluation.

Quel budget est consacré aux activités de suivi et d’évaluation ?

Les évaluations extérieures sont budgétisées de 15 000 à 20 000 euros, sachant que le cout des projets varie de 500 000 à 1 million d’euros en moyenne. Le cout de l’évaluation externe représente donc de 1,5 à 3% du budget global du projet. La part prise en charge par le bailleur est spécifique à chaque appel à projet, de 50% à l’intégralité du coût de l’évaluation. Nous commanditons une dizaine d’évaluations externes par an sur les projets cofinancés.

L’autre composante budgétaire liée au suivi/évaluation correspond à nos visites annuelles de terrain, le monitoring. Le suivi que nous faisons à partir du siège n’entre pas en compte comme une ligne budgétaire spécifique « suivi et évaluation » : il est inclus dans nos profils de poste.

Si nous cumulons les visites de monitoring et les évaluations extérieures, la part totale de budget consacré au S&E dépasse alors les 5% du budget global du projet.

Une illustration concrète d’une bonne pratique ou d’une évaluation utile ?

Nous avons un projet aux Sud des Philippines visant le renforcement du système judiciaire traditionnel de populations indigènes de l’Ile de Mindanao. Sur ce projet était programmé une évaluation à mi-parcours et une évaluation finale. Hors nous avions pris du retard sur l’évaluation à mi-parcours, nous avons alors proposé au bailleur, l’Union Européenne, de fusionner les 2 évaluations en une seule programmée au 2/3 du projet, soit un an avant la clôture permettant ainsi la mise en œuvre des recommandations dans la période du projet.

Le projet apportait une vraie plus-value au niveau local, ce qui a été confirmé par l’évaluation. Nous avions alors un réel argumentaire auprès du bailleur pour un réarrangement de la dernière année du projet et une réaffectation du budget : par exemple recruter un poste supplémentaire pour la dissémination, organiser des ateliers avec d’autres ONG, étendre le champs d’action et la population cible initiale…

Les effets de la prise en compte des recommandations sont déjà visibles !

Questions à Vincent Brown (Unité d’évaluation MSF Paris) et Filipe Ribeiro (DG MSF Paris)

6 Avr

– Comment est organisée l’unité évaluation de MSF Paris ?

 L’unité d’évaluation est hébergée par la Direction Générale. Nous réalisons une dizaine d’évaluations par an, la plupart internes. Ces évaluations durent de 6 semaines à 3 mois. Je m’occupe de cette unité évaluation avec un rôle de facilitateur, j’accompagne, je ne rédige pas forcément les termes de références mais je fais bien préciser les questions. Les demandes d’évaluation sont souvent faites par la Direction des Opérations en accord avec la Direction Générale. L’agenda se fait généralement en décembre pour l’année calendaire suivante, mais les demandes peuvent avoir lieu à tout moment pendant l’année et on parle d’évaluation « à chaud » dans notre jargon MSF, « Real time evaluation », en français évaluation en temps réel. Par exemple sur le choléra ou des vaccinations rougeole de grande envergure, il y a besoin de regarder les stratégies sur le terrain en même temps que se propage l’épidémie. Ou alors en cours de projet moyen/long terme sur des hôpitaux, une évaluation peut avoir lieu à mi-parcours. Nous choisissons aussi des évaluations par thème : par exemple la prise en charge du choléra. Les demandes n’émanent pas uniquement de la Direction des Opérations : elles peuvent venir de partout : du terrain, des desks (directeurs de programmes liés à des zones géographiques), du mouvement international MSF. Par exemple nous avons eu une demande l’année dernière émanant des logisticiens à l’égard des hôpitaux en containers en Haiti pour voir la durabilité de ces projets 2 ans après leur mise en place en urgence, suite au tremblement de terre du 12 janvier 2010.  Les demandes émanent moins souvent de la directions médicale car ils ont déjà un certain nombre de spécialistes qui oeuvrent déjà dans leur domaine d’expertise : orthopédie, pharmacie, stérilisation, HIV-SIDA, nutrition… L’unité d’évaluation permet des approches transversales : par exemple sur les hôpitaux en containers, cela concernait plusieurs départements, l’aspect logistique, technique (la pertinence et la faisabilité sur le terrain de mettre en place une telle structure) et puis l’aspect médical (ces structures conviennent-elles dans la pratique ?).

Les consultants sont employés en CDD sur la durée de leur évaluation. Ils ont accès à tous les documents référents possibles, il est parfois très difficile d’avoir des informations, ou alors c’est l’inverse, trop d’info est disponible, il faut l’organiser, la traiter. Après il y a une visite terrain, plus ou moins longue, une à deux semaines suivant le thème et puis un temps de réalisation du rapport mais toujours précédé par des restitutions, sur le terrain, puis en capitale, pour un débriefing plus officiel afin de quitter le pays en ayant partagé les grands axes de nos réflexions. Ensuite à Paris, on programme une réunion d’environ 2 heures pour partager les résultats. On débriefe avant la rédaction finale du rapport afin de tester la faisabilité des recommandations. Les recommandations doivent être adaptées à la réalité du contexte, au « possible ». On aime bien sur les projet moyens/long terme, cela fait partie du plan d’action, retourner sur les terrains d’action après 6 mois/1 an. Le suivi se fait aussi par la proximité avec les desk, ils sont juste en dessous, on va toujours discuter pour savoir où on en est…

– Quelles approches ? Quelles méthodes ? Quels critères ?

Les évaluations globales de projets ou par thèmes spécifiques concernent toutes les activités de la mise en oeuvre opérationnelle sur le terrain et reflète donc l’implication des divers départements de MSF. Ces activités sont mises en oeuvre en principe selon un certain cadre stratégique, plus ou moins précis,  et qui varie beaucoup en fonction des contextes.

L’approche méthodologique des évaluateurs s’adapte à ces diverses situations ;  elle est assez classique avec l’analyse des stratégies d’un projet et des résultats atteints par rapport à des objectifs fixés, reportés dans les plans d’action, avec un descriptif d’activités et des moyens variables selon les personnes responsables, etc. L’évaluation se veut argumentée couplant les aspects qualitatifs et quantitatifs : elle est basée sur des faits réels et des activités mesurables ;  pour ces dernières, leur tendance est suivie au cours du temps, et en comparant à d’autres situations lorsque cela est possible. L’entretien avec les acteurs et décideurs est systématique et participatif, en triangulation, avec le souci d’être le plus représentatif possible et de toucher le plus grand nombre, pour objectiver les réponses. L’évaluation analyse longuement les informations recueillies et les interprète. Les évaluateurs sont toujours extérieurs à l’action et à l’évaluation en cours.

Les résultats sont interprétés en fonction de plusieurs paramètres, entre autres :

– l’ensemble des paramètres techniques et stratégiques nécessaire à la réalisation d’une intervention terrain

– leur pertinence, en focalisant sur les arguments et critères retenus, liés aux besoins prioritaires et urgents des bénéficiaires ;

– la valeur ajoutée d’une intervention est prise en compte, avec ses aspects techniques, ses besoins médiatiques et politiques (par exemple alerter la communauté internationale)

– l’efficacité avec surtout le contrôle de la morbi-mortalité, la proportion de guérisons et d’améliorations,

– et l’efficience qui doit mettre en perspective les résultats obtenus avec les moyens mis à disposition, en essayant d’objectiver la qualité des soins médicaux, sans oublier une vision globable de santé publique.

Les résultats sont aussi interprétés et comparés à d’autres sources[1].


[1] Les référentiels utilisés sont reconnus, soit internationalement, ou au sein des pays concernés, ou encore obtenus à partir d’autres expériences MSF. Ces référentiels ou indicateurs sont choisis le plus souvent parce qu’ils sont issus d’un environnement présentant des activités comparables. Les indicateurs d’activités sont néanmoins toujours  adaptés et interprétés selon les divers contextes d’intervention où a lieu une évaluation. Le plus souvent, il s’agit de situations très complexes à cause de la pénurie ou absence d’accès aux soins, de conditions graves d’insécurité, et où la situation de précarité économique des populations est extrême.

  

Quels apprentissages ? Comment capitaliser ?

Au delà de la notion de « rendu de compte », c’est surtout la notion de « leçons apprises » qui est recherchée : ceci représente un tournant important pour MSF qui souhaite formaliser davantage les activités d’évaluation en interne (Conseil d’Administration, 2003). A cette époque, MSF évolue déjà comme organisation apprenante, notamment en créant depuis 25 ans ses propres formations à partir de la capitalisation des expériences vécues sur le terrain. Dans ce cadre, le but des évaluations à MSF est donc de mener une autocritique interne constructive de ses projets pour améliorer les interventions auprès des bénéficiaires.

Les résultats des évaluations sont couramment utilisés pour orienter les stratégies, à partir d’objectifs opérationnels qui sont redéfinis chaque année. Cette vision annuelle a tendance à évoluer avec des projets hospitaliers qui durent facilement plus de 5 ans. En pratique, les évaluations des projets santé contribuent à suivre la mise en oeuvre et le respect des bonnes pratiques médicales et logistiques, notamment dans les hôpitaux soutenus par MSF (Voiret I. et al., 2011).

L’amélioration de la qualité des interventions MSF est en partie basée sur la possibilité de revisiter et discuter les résultats des interventions au sein du groupe à tous les niveaux. La capitalisation en groupe se fait à travers les différents départements et métiers de MSF.  Ceci a lieu notamment lors des journées d’évaluation et de réflexion qui abordent l’ensemble des points spécifiques retenus par les évaluateurs, avec un certains nombre d’acteurs du terrain et de décideurs. Les évaluateurs sont indépendants dans cette démarche mais l’approche, se veut sur un mode de « critique constructive » en interne et de mise en commun pour réfléchir sur nos actions.

Les résultats et les recommandations peuvent correspondre, soit à des acquis opérationnels déjà existants qu’il faut remettre dans la « mémoire collective », où à de nouvelles stratégies qu’il faut diffuser et faire connaitre.

Dans un but d’apprentissage, le processus d’évaluation participe à la dynamique générale de formation et d’information en interne. Le processus d’apprentissage est souvent en rapport avec le développement d’une certaine culture de l’évaluation et de réflexion sur nos activités opérationnelles. Les premiers à en bénéficier sont le département des opérations MSF qui ont le plus souvent demandé ces évaluations et s’approprient naturellement les résultats.

La politique de MSF étant de travailler avec des évaluateurs/évaluatrices juniors, ceci permet de mettre en pratique avec eux/elles l’apprentissage des méthodes d’évaluations, en améliorant la capacité d’analyse et de réflexion, et la présentation des résultats à argumenter « devant ses pairs ». Ceci s’inscrit comme une étape dans leur parcours individuel à MSF.

Par ailleurs, les études de cas à partir d’exemples réels d’évaluations, sont très utiles pour animer des formations et des ateliers spécifiques. En ce sens, ici aussi le contenu des évaluations y contribue largement, ceci dans la plupart des domaines présentés.

La diffusion des résultats se fait sur les sites web de MSF en interne et dans le mouvement, et auprès des partenaires; certains travaux sont aussi présentés à l’extérieur lors de conférences ou de formations internationales (Masters ou autres) voire peuvent conduire à des publications dans des revues internationales. Davantage de publications ou d’articles sont envisagés.

 Enfin, dans un monde comme MSF où le temps est compté, nous évaluateurs avons la chance de discuter 1h30, 2h00 avec des personnes à des postes clés sur les sujets traités (une soixantaine d’entretiens sont réalisés pour chaque évaluation, jusqu’à une centaine pour les évaluations internationale). Nous constatons, en permettant aux gens de s’exprimer en profondeur sur des sujets qui les touchent,  un effet indirect de bonne cohésion, de « ciment interne ».

Quels sont les freins ? Quels aspects pourraient être améliorés ?

MSF est régulièrement concerné par l’évaluation des résultats de ses interventions. Alors que cette approche existe en principe depuis des années, la « culture » de l’évaluation doit encore se développer en interne à MSF. L’organisation, du fait de son indépendance, a une responsabilité face aux populations secourues, face au public et aussi face à ces donateurs.

On peut donc toujours améliorer ! L’agenda est très chargé à MSF et il faut que la place de l’évaluation s’inscrive bien dans l’évolution du projet. Entre le moment ou la demande, pertinente, émerge, et le moment où nous leur apportons des réponses, les gens sont passés à une autre urgence, ont d’autres priorités… Accaparer leur attention à ce moment-là reste un challenge.

Aussi, l’implication concomitante des divers départements reste un enjeu à développer, invitant davantage d’investissement institutionnel. En ce sens les journées d’évaluation ont réussi à créer une véritable dynamique interne, regroupant les personnes de divers métiers autour de la même table.

 

Quelques évaluations récentes :

– Evaluation à but de capitalisation du Trauma Center de Teme, Port Harcourt, Nigéria, Mars 2013

– Revue critique interne des Indicateurs Hospitaliers généralistes à MSF, basée sur 5 hôpitaux, Février 2013)

– Evaluation des réfugiés Nubas au Sud Soudan, MSF OCP, Décembre 2012

– Evaluation des briefings des Chefs de Projets et Coordinateurs à MSF-OCP (Centre Opérationnel MSF Paris), Octobre 2012

– Hôpitaux en conteners en Haïti (MSF Paris pour le mouvement MSF, 4 hôpitaux), Février 2012

– Evaluation hôpitaux en Afrique sub-saharienne, 2009/2012

– Hôpital pur brulés et traumas, Suleymaniyah, Kurdistan, Irak (2009)

– Intervention immédiate post-séisme en Haïti (2010)

– Hôpital de campagne/tente gonflables (2010)

Portail Francophone de l’Evaluation et Mutualisation

13 Fév

Source : Comité Portail Francophone de l’Evaluation et Mutualisation

Copilotage : Marie Gervais (SQEP)  / Jean-Louis Dethier (SWEP) / Ibrahima Thierno Lo (SENEVAL)

Comme annoncé en juillet 2008 dans la Déclaration de Strasbourg, acte fondateur du Réseau francophone de l’Evaluation, celui-ci se propose de faciliter la mutualisation des expériences, des concepts et des méthodes d’évaluation à l’échelle du monde francophone. Outre le Portail Francophone de l’Evaluation en cours de finalisation, qui constitue le premier étage de cette initiative du RFE, ce dernier compte développer de nouvelles initiatives dans les trois années à venir.

Ayant constaté les apports décisifs mais aussi mesuré les limites du fonctionnement de l’actuel Portail de l’Evaluation de l’OIF, le RFE, en accord avec l’Organisation Internationale de la Francophonie et le soutien de l’UNICEF s’est engagée dans la mise en place d’un nouveau  Portail Francophone de l’Evaluation qui s’inscrira dans l’initiative internationale MyM&E («Mon Monitoring et Evaluation»), qui compte déjà un volet anglophone et compte développer ensuite un volet hispanophone une fois que le portail francophone sera lancé.

Ce portail interactif devrait contribuer dès le premier semestre 2013 au développement d’une culture francophone de l’évaluation et à la mutualisation des savoirs et connaissances dans ce domaine.

L’étape suivante (2013-2014)  portera sur la formalisation puis la diffusion d’un journal numérique francophone de l’évaluation qui mettra à disposition de l’ensemble de la communauté francophone des évaluateurs des articles ou textes de références ainsi que des expériences pratiques d’évaluation.

A noter :

Le RFE devrait être juridiquement institué  fin février 2013, au terme des premières Assises du RFE qui se tiendront les 26 et 27 février prochain à l’OIF à Paris.

Image

Evaluation filmée (Rash Brax)

23 Nov

Politique française d’aide publique au développement : un effort d’évaluation à accentuer

3 Oct

Source : La politique française d’aide au développement – Cour des Comptes, rapport public thématique, juin 2012

Les politiques d’aide au développement font partie des politiques publiques les plus évaluées au plan national et international. Elles sont même l’objet d’une évaluation extérieure périodique (examen par les pairs dans le cadre de l’OCDE), qui vient compléter des dispositifs nationaux d’évaluation.

A – Un dispositif éclaté et modeste

1 -La dispersion des démarches d’évaluation

En France, l’évaluation de l’aide est pour l’essentiel sous la responsabilité de trois entités sans lien organique : le pôle de l’évaluation de la direction générale de la mondialisation du ministère chargé des affaires étrangères, l’unité d’évaluation des activités de développement de la direction générale du Trésor et la division de l’évaluation et de la capitalisation de l’Agence française de développement. Ces trois entités assurent avant tout un rôle de programmation, de coordination et d’appui méthodologique et confient les évaluations elles-mêmes à des organismes extérieurs. Une telle organisation, dispersée et non hiérarchisée, est une spécificité française. Chez les autres donateurs, l’évaluation relève plutôt d’une entité unique, autonome ou intégrée à l’agence chargée de gérer l’aide. Cette pluralité d’intervenants peut, certes, être vue comme favorisant la diversité des approches et permettant des regards croisés. Elle affaiblit cependant la fonction d’évaluation, car elle impose fréquemment des comités de pilotage mixtes et des cofinancements pour réaliser les évaluations. Depuis 2008, les programmes annuels d’évaluation des trois commanditaires sont certes coordonnés, seul le ministère de l’économie disposant d’un programme triennal. L’accent croissant mis sur l’évaluation de l’aide rend ainsi souhaitable le rapprochement des trois entités dans une structure commune dotée de procédures homogènes.

2 -Une approche modeste

L’activité d’évaluation s’est globalement accrue au cours des dernières années, avec, notamment, la systématisation de l’évaluation rétrospective des projets de l’Agence française de développement et l’élargissement des activités de l’unité du ministère de l’économie. Le coût total de la fonction d’évaluation, quoique mal connu, s’élevait, en 2009, à moins de 3 M€, dont les deux tiers au titre de l’Agence française de développement. Ces dépenses représentent moins de 0,1 % de l’aide bilatérale programmable française. Il est difficile de comparer les moyens consacrés à l’évaluation de l’aide française avec ceux des autres donateurs bilatéraux. Dans une étude récente, le réseau d’évaluation de l’OCDE (EVALNET) estimait cependant que la France y consacrait en 2008 0,06 % de son aide bilatérale contre 0,16 % en moyenne pour l’ensemble des donateurs, dont 0,12 % pour l’Allemagne et 0,09 % pour le Royaume-Uni. En termes de ressources humaines, cette fonction ne mobilise aujourd’hui qu’une vingtaine d’agents quand, par exemple, le Groupe indépendant d’évaluation (GIE) de la Banque mondiale en compte 120. Au-delà de leur nombre, la question la plus cruciale réside dans la compétence de ces personnels, le choix ayant été fait de privilégier le recrutement d’agents disposant d’une expérience opérationnelle plutôt que de spécialistes de l’évaluation. La décision prise depuis quelques années de confier à des consultants externes la réalisation des évaluations proprement dites renforce, à cet égard, la nécessité d’une vérification de la qualité du travail de ces experts.

 

B -Une aide incomplètement évaluée

1 -Les lacunes de l’évaluation

Le système d’évaluation français ne permet de couvrir que l’aide relevant de la mission budgétaire Aide publique au développement. Même dans ce cadre restreint, l’aide pilotable ne peut être considérée comme suffisamment évaluée.

S’agissant de l’aide bilatérale relevant du ministère chargé des affaires étrangères, les projets du fonds de solidarité prioritaire (FSP) sont, en principe, évalués systématiquement à deux reprises : à mi- parcours et après achèvement. Toutefois, les systèmes d’information ne permettent pas de connaître le nombre de projets clôturés chaque année, ce qui rend impossible la vérification de cette obligation. En réalité, entre un tiers et la moitié des projets de ce fonds ne sont jamais évalués.

 Les textes de référence -guide de l’évaluation à la direction générale de la mondialisation, Vade-mecum du fonds de solidarité prioritaire (FSP) – sont vagues ou elliptiques. Comme s’y est engagé le ministère, leur formalisation et leur actualisation sont indispensables. Les subventions du ministère aux associations, qui doivent être évaluées lorsque leur montant excède 300 000 €, ne le sont pas systématiquement : trois seulement des 19 évaluations programmées en 2006 et 2007 ont ainsi été réalisées. S’agissant de l’aide liée relevant du ministère de l’économie, tous les projets achevés financés par la « réserve pays émergents » (RPE) et le fonds d’étude et d’aide au secteur privé (FASEP) ont vocation à être évalués. En réalité, la majorité des projets de la « réserve pays émergents » (RPE) n’est pas évaluée et, compte tenu de leur taille et de leur nombre (environ 40 par an pour un montant moyen de 450 000 €), les études du FASEP ne sont évaluées que par « grappe » sectorielle, géographique ou thématique. On peut notamment regretter que l’Afrique du nord qui concentre une part importante des projets et des crédits de la RPE n’ait donné lieu qu’à une seule évaluation. Bien qu’elles représentent désormais un enjeu significatif, les aides budgétaires globales demeurent trop rarement évaluées (deux évaluations entre 2007 et 2010). L’Agence française de développement a intensifié son effort d’évaluation depuis 2006 et créé en 2009, conformément à une recommandation de l’OCDE, un comité des évaluations qui rend compte au conseil d’administration. Pourtant, si l’évaluation des projets « courants » de l’Agence a été généralisée depuis 2010, les autres projets (financements spécifiques pour le compte de l’Etat, projets multi-pays, projets multi-bailleurs, cofinancements minoritaires de projet d’infrastructure, subventions d’un montant inférieur à 750 000 €) échappent encore à cette pratique. Ainsi, 12 évaluations de projet, correspondant à un montant global de 340 M€, ont été conduites entre janvier 2007 et septembre 2010 sur un total de 45 projets « Réserve pays émergents » exécutés pour un montant global d’environ 564 M€.

Le contrat d’objectifs signé entre le ministère chargé des affaires étrangères et européennes et l’Agence française de développement pour les années 2006-2008 prévoyait « l’évaluation externe de tous les nouveaux projets financés sur subvention », mais l’Agence a décidé d’en étendre le principe aux financements sur prêt. Le nouveau contrat prévoit l’évaluation d’au moins 90 % des projets d’un montant supérieur à 750 000 €.

 

Suivre

Recevez les nouvelles publications par mail.

Rejoignez 51 autres abonnés