Tag Archives: efficacité de l’aide

Politique française d’aide publique au développement : un effort d’évaluation à accentuer

3 Oct

Source : La politique française d’aide au développement – Cour des Comptes, rapport public thématique, juin 2012

Les politiques d’aide au développement font partie des politiques publiques les plus évaluées au plan national et international. Elles sont même l’objet d’une évaluation extérieure périodique (examen par les pairs dans le cadre de l’OCDE), qui vient compléter des dispositifs nationaux d’évaluation.

A – Un dispositif éclaté et modeste

1 -La dispersion des démarches d’évaluation

En France, l’évaluation de l’aide est pour l’essentiel sous la responsabilité de trois entités sans lien organique : le pôle de l’évaluation de la direction générale de la mondialisation du ministère chargé des affaires étrangères, l’unité d’évaluation des activités de développement de la direction générale du Trésor et la division de l’évaluation et de la capitalisation de l’Agence française de développement. Ces trois entités assurent avant tout un rôle de programmation, de coordination et d’appui méthodologique et confient les évaluations elles-mêmes à des organismes extérieurs. Une telle organisation, dispersée et non hiérarchisée, est une spécificité française. Chez les autres donateurs, l’évaluation relève plutôt d’une entité unique, autonome ou intégrée à l’agence chargée de gérer l’aide. Cette pluralité d’intervenants peut, certes, être vue comme favorisant la diversité des approches et permettant des regards croisés. Elle affaiblit cependant la fonction d’évaluation, car elle impose fréquemment des comités de pilotage mixtes et des cofinancements pour réaliser les évaluations. Depuis 2008, les programmes annuels d’évaluation des trois commanditaires sont certes coordonnés, seul le ministère de l’économie disposant d’un programme triennal. L’accent croissant mis sur l’évaluation de l’aide rend ainsi souhaitable le rapprochement des trois entités dans une structure commune dotée de procédures homogènes.

2 -Une approche modeste

L’activité d’évaluation s’est globalement accrue au cours des dernières années, avec, notamment, la systématisation de l’évaluation rétrospective des projets de l’Agence française de développement et l’élargissement des activités de l’unité du ministère de l’économie. Le coût total de la fonction d’évaluation, quoique mal connu, s’élevait, en 2009, à moins de 3 M€, dont les deux tiers au titre de l’Agence française de développement. Ces dépenses représentent moins de 0,1 % de l’aide bilatérale programmable française. Il est difficile de comparer les moyens consacrés à l’évaluation de l’aide française avec ceux des autres donateurs bilatéraux. Dans une étude récente, le réseau d’évaluation de l’OCDE (EVALNET) estimait cependant que la France y consacrait en 2008 0,06 % de son aide bilatérale contre 0,16 % en moyenne pour l’ensemble des donateurs, dont 0,12 % pour l’Allemagne et 0,09 % pour le Royaume-Uni. En termes de ressources humaines, cette fonction ne mobilise aujourd’hui qu’une vingtaine d’agents quand, par exemple, le Groupe indépendant d’évaluation (GIE) de la Banque mondiale en compte 120. Au-delà de leur nombre, la question la plus cruciale réside dans la compétence de ces personnels, le choix ayant été fait de privilégier le recrutement d’agents disposant d’une expérience opérationnelle plutôt que de spécialistes de l’évaluation. La décision prise depuis quelques années de confier à des consultants externes la réalisation des évaluations proprement dites renforce, à cet égard, la nécessité d’une vérification de la qualité du travail de ces experts.

 

B -Une aide incomplètement évaluée

1 -Les lacunes de l’évaluation

Le système d’évaluation français ne permet de couvrir que l’aide relevant de la mission budgétaire Aide publique au développement. Même dans ce cadre restreint, l’aide pilotable ne peut être considérée comme suffisamment évaluée.

S’agissant de l’aide bilatérale relevant du ministère chargé des affaires étrangères, les projets du fonds de solidarité prioritaire (FSP) sont, en principe, évalués systématiquement à deux reprises : à mi- parcours et après achèvement. Toutefois, les systèmes d’information ne permettent pas de connaître le nombre de projets clôturés chaque année, ce qui rend impossible la vérification de cette obligation. En réalité, entre un tiers et la moitié des projets de ce fonds ne sont jamais évalués.

 Les textes de référence -guide de l’évaluation à la direction générale de la mondialisation, Vade-mecum du fonds de solidarité prioritaire (FSP) – sont vagues ou elliptiques. Comme s’y est engagé le ministère, leur formalisation et leur actualisation sont indispensables. Les subventions du ministère aux associations, qui doivent être évaluées lorsque leur montant excède 300 000 €, ne le sont pas systématiquement : trois seulement des 19 évaluations programmées en 2006 et 2007 ont ainsi été réalisées. S’agissant de l’aide liée relevant du ministère de l’économie, tous les projets achevés financés par la « réserve pays émergents » (RPE) et le fonds d’étude et d’aide au secteur privé (FASEP) ont vocation à être évalués. En réalité, la majorité des projets de la « réserve pays émergents » (RPE) n’est pas évaluée et, compte tenu de leur taille et de leur nombre (environ 40 par an pour un montant moyen de 450 000 €), les études du FASEP ne sont évaluées que par « grappe » sectorielle, géographique ou thématique. On peut notamment regretter que l’Afrique du nord qui concentre une part importante des projets et des crédits de la RPE n’ait donné lieu qu’à une seule évaluation. Bien qu’elles représentent désormais un enjeu significatif, les aides budgétaires globales demeurent trop rarement évaluées (deux évaluations entre 2007 et 2010). L’Agence française de développement a intensifié son effort d’évaluation depuis 2006 et créé en 2009, conformément à une recommandation de l’OCDE, un comité des évaluations qui rend compte au conseil d’administration. Pourtant, si l’évaluation des projets « courants » de l’Agence a été généralisée depuis 2010, les autres projets (financements spécifiques pour le compte de l’Etat, projets multi-pays, projets multi-bailleurs, cofinancements minoritaires de projet d’infrastructure, subventions d’un montant inférieur à 750 000 €) échappent encore à cette pratique. Ainsi, 12 évaluations de projet, correspondant à un montant global de 340 M€, ont été conduites entre janvier 2007 et septembre 2010 sur un total de 45 projets « Réserve pays émergents » exécutés pour un montant global d’environ 564 M€.

Le contrat d’objectifs signé entre le ministère chargé des affaires étrangères et européennes et l’Agence française de développement pour les années 2006-2008 prévoyait « l’évaluation externe de tous les nouveaux projets financés sur subvention », mais l’Agence a décidé d’en étendre le principe aux financements sur prêt. Le nouveau contrat prévoit l’évaluation d’au moins 90 % des projets d’un montant supérieur à 750 000 €.

 

Priorisation… (Rash Brax)

1 Mai

Evaluations filmées

27 Fév

Journaliste indépendant spécialisé dans le développement, Eric Mounier réalise pour l’AFD sa première évaluation filmée en 2009 et entreprend en parallèle un Master en relations internationales à Sciences Po…

–  Comment est née l’idée d’une «évaluation filmée»? 

La démarche a été initiée par la division évaluation et capitalisation (EVA) de l’AFD. Le film « Construire contre les marées » analyse l’action de l’agence pendant les 10 ans qu’elle a passé au Cambodge, ses impacts sociaux, économiques et politiques. L’utilisation de l’outil de l’évaluation filmée était une première pour l’AFD et posait la question de l’apport de l’audiovisuel dans le processus d’évaluation. Le programme réhabilitation des polders de Prey Nup servira-t-il de modèle pour les milliers d’hectares qui restent à être réhabilités ? L’organisation sociale, politique et financière mise en place est-elle viable ? Le film a été construit et chapitré selon les critères d’évaluation: pertinence, efficacité, efficience, etc…

Ensuite, la deuxième évaluation filmée «Soweto» adressait l’évaluation du programme Gcin’amanzi (« conservation de l’eau » en zoulou). Ce film documentaire est toujours construit comme une enquête évaluative mais cette fois-ci les critères ne sont pas visibles, chapitrés, mais fondus dans le projet, les séquences sont chronologiques.  Il relate les principaux évènements et résultats du projet et permet au spectateur de se forger sa propre opinion. L’évaluation filmée permet de sortir des «modèles», apporte une image brute, compréhensible par tous, une certaine réalité de terrain.

Enfin, nous sommes sur les finalisations techniques d’une troisième évaluation filmée en Palestine qui devrait être livrée très prochainement. Cette fois-ci la démarche était différente, il s’agissait d’une sorte de prolongement, nous sommes parti d’une évaluation écrite, de ses conclusions et recommandations, pour aborder des questions nouvelles, l’idée étant d’y apporter un complément.

– Comment s’organise une évaluation filmée?

 Nous travaillons avec un sémiologue, chercheur à paris 3, Roger Odin, il apporte un regard, des analyses, une certaine approche sur comment utiliser l’audiovisuel dans le processus évaluatif.

Pour Soweto,  Yves Ficatier, évaluateur de la division évaluation et capitalisation de l’AFD, a apporté une contribution essentielle sur les phases d’analyses, de compréhension du projet, les outils… Corinne Jeannin est productrice du film mais est aussi venue faire le repérage et a apporté un regard neuf et extérieur. En tant que réalisateur, je mène le processus.

 Ce processus prend environ une année: repérage, écriture, 4 à 5 semaines de tournage, 8 semaines de montage, visionnage, restitution, modifications, finalisation technique… Et ce pour un format de 60 minutes, cependant d’autres formats sont envisageables, l’audiovisuel permet d’appréhender l’évaluation de multiples façons.

– Quels projets, à terme?

 Après 3 évaluations filmées, dans un secteur où chacun se positionne dans une optique d’utilité, questionne l’apport de sa pierre à l’édifice et l’efficacité de l’aide, il serait intéressant de prendre le recul suffisant pour comprendre l’apport de ces évaluations filmées… Est-ce  utile?  Si oui, de quelle manière?

 Comment est-ce que l’on s’en sert? Quel est l’impact sur les prises de décisions? Est-ce qu’un regard que l’on porte sur les autres peut modifier les approches? J’en suis certain mais comment s’en assurer?

 Un peu de temps a passé et il serait utile de retourner sur les projets et auprès des opérateurs pour mesurer les effets de nos évaluations filmées!

Construire contre les marées – 1998-2008 – Evaluation filmée
Un film de Eric Mounier, une production Studio K, AFD, 2009, durée: 58 minutes

Projet Eau à Soweto – 2005-2010 – Evaluation filmée
Un film de Eric Mounier, une production Studio K, AFD, 2011, durée: 54 minutes

L’efficience et l’efficacité des contributions de l’UE acheminées par des organisations des Nations Unies dans des pays affectées par des conflits

8 Fév

L’efficience et l’efficacité des contributions de l’UE acheminées par des organisations des Nations Unies dans des pays affectés par des conflits – Cour des comptes européenne – Rapport spécial n°3 – 2011 – Extraits

  • La Commission a intensifié sa coopération avec les Nations unies dans le cadre de son engagement en faveur d’une coordination de son engagement en faveur d’une coordination renforcée de l’aide. Le montant des fonds d’EuropeAid acheminés par des organisations des Nations unies est passé de 144 millions d’euros en 2001 à 935 millions d’euros en 2009, en culminant à plus de 1 milliard d’euros en 2006. (Synthèse I.)
  • Des faiblesses fréquentes affectant la conception des projets ont été obser­vées, avec des conséquences négatives sur la mise en oeuvre et l’évaluation des projets. (synthèse IV. conclusion b)
  • Dans leur grande majorité, les accords de contribution faisant partie de l’échantillon (18 accords sur 19) présentaient une ou plusieurs des faiblesses suivantes:  (24.)
  1. objectifs non spécifiques
  2. absence d’indicateurs
  3. absence de critères de base
  4. faiblesse du lien logique entre activités et objectifs
  5. calendrier peu réaliste
  6. sous-estimation des risques
  • Les faiblesses graves observées dans plusieurs projets étaient généralement le fruit de déficiences au niveau de la conception du projet et d’un manque de suivi à un stade ultérieur (29.)
  •  Comme la Commission dépend généralement des Nations unies pour obtenir des informations sur l’état d’avancement et les réalisations des projets, il faut que des rapports lui soient présentés en temps utile et qu’ils lui fournissent des informations suffisantes, notamment en ce qui concerne l’obtention de résultats. Or, s’agissant des projets examinés, de nombreux rapports étaient soit tardifs, soit incomplets. (50.)
  •  Le manque d’informations pour sept des dix-neuf projets a considérablement entravé l’évaluation de l’efficience par la Commission. Pour la plupart des projets, il n’a pas été possible de déterminer avec certitude les travaux que la Commission avait accomplis afin d’évaluer l’efficience, car cet exercice n’était ni systématique ni dûment documenté. (51.)
  •  Il conviendrait d’évaluer systématiquement l’efficience des projets financés et d’établir dans la mesure du possible, des valeurs de référence pour les éléments de coûts usuels. (synthèse – recommandation c)

Le barnum humanitaire… selon Rash Brax

20 Oct

L’évaluation dans les agences de développement: France

22 Juil

Au niveau national, trois unités interviennent dans l’évaluation de l’aide au développement :

  • AFD: Division Evaluation et capitalisation
  • MAEE: Pôle Evaluation, Direction générale de la Mondialisation, du Développement et des Partenariats
  • MINEFI: Unité d’évaluation des activités de développement, Direction générale du Trésor

Rôles et mandats

Division Evaluation et capitalisation, Agence Française de développement (AFD)

L’évaluation à l’AFD répond à deux buts principaux :

  • améliorer les politiques, programmes et projets d’aide futurs grâce aux enseignements tirés
  • servir de base pour l’obligation de redevabilité, y compris vis-à-vis du public.

La division a pour mission d’animer les travaux d’évaluation à l’AFD en ligne avec ces objectifs, et notamment :

  1. de définir les méthodologies et d’assurer le processus qualité en ce qui concerne les évaluations à l’achèvement des financements de l’AFD,
  2. de réaliser des analyses d’impact de certains projets, programmes ou politiques soutenus par l’AFD,
  3. de piloter des évaluations globales ou stratégiques,
  4. de réaliser des méta-évaluations et des capitalisations thématiques.

La division offre un appui méthodologique aux évaluations finales réalisées au niveau du terrain.

Pôle Evaluation, Direction générale de la Mondialisation, du Développement et des Partenariats, Ministère des Affaires étrangères et européennes

La pratique de l’évaluation à la DGM se traduit par la réalisation d’un programme d’évaluations concernant :

  • des évaluations de projets ou de programmes concernant un pays (projets FSP pays), un groupe de pays (projets régionaux) ou une thématique (projets mobilisateurs). La réalisation de ces évaluations est maintenant largement décentralisée et conduite sous la responsabilité directe des services du ministère ou des SCAC (Service de Coopération et d’Action Culturelle), avec l’appui méthodologique du Pôle de l’évaluation ;
  • des évaluations qualifiées de stratégiques, couvrant de manière rétrospective, mais avec une visée prospective, une politique ou un ensemble de moyens ;

L’évaluation tend à devenir systématique vis-à-vis :

  • des opérateurs ou associations ayant bénéficié d’un financement supérieur à 300 000 € ;
  • des projets du Fonds de Solidarité Prioritaire (évaluation finale) dont il est dûment tenu compte lors de l’examen des nouveaux projets.

Le Pôle de l’évaluation assure la diffusion de la culture de l’évaluation, notamment auprès des partenaires du sud à travers le (FSP) « Appui au partenariat en évaluation de politiques publiques dans les pays de la zone de solidarité prioritaire ».

Unité d’évaluation des activités de développement, Direction générale du Trésor, Ministère de l’économie, des finances et de l’industrie

La DG Trésor programme des évaluations rétrospectives de différentes initiatives bilatérales d’aide au développement, notamment celles financées par la Réserve pays émergents (RPE) ainsi que les projets de FASEP-ETUDES. L’unité d’évaluation de la DGTPE a élargi son périmètre d’intervention en direction des programmes et des politiques avec une dimension stratégique et qui constituent tant en volume que par nature des enjeux essentiels. La DG Trésor répond aux demandes d’évaluation de la dotation française aux organisations multilatérales ainsi qu’aux projets multilatéraux.

Au plan national, trois unités d’évaluation participent à la réalisation d’évaluations conjointes, tout particulièrement sur l’évaluation de questions transversales. Depuis 2009, un rapport commun sur les résultats d’évaluation est réalisé annuellement pour le Parlement.

Au niveau européen et international, les trois unités d’évaluation des activités de développement participent conjointement aux travaux du réseau Evalunet du CAD de l’OCDE ainsi qu’au réseau des responsables européens des unités d’évaluation (EU-HES).  Conformément aux principes de la Déclaration de Paris, le partenariat avec les pays bénéficiaires s’est progressivement généralisé : les partenaires locaux sont associés à différentes étapes du processus d’évaluation, qu’il s’agisse des évaluations stratégiques et sectorielles, des évaluations de projets ou des évaluations-pays.


Ressources consacrées à l’évaluation
AFD: 1,2 million USD
MAEE: 1,4 million USD
MINEFI: 700 000 USD

Soit 0,06% de l’aide publique au développement fournie sur le plan bilatéral:  sommes des budgets AFD, MAEE, MINEFI sur APD bilatéral 2008 (6,4 millions USD)

La division Evaluation et capitalisation (AFD) programme en moyenne 16 évaluations par an, dont 3 jointes. Le Pôle Evaluation, Direction générale de la Mondialisation, du Développement et des Partenariats (MAEE) programme en moyenne 12 évaluations par an, dont une jointe et une multilatérale. L’Unité d’évaluation des activités de développement (MINEFI) programme environ 10 évaluations par an, dont deux jointes.

Source: OECD (2010), Evaluation in Development Agencies, Better Aid, OECD Publishing; AFD, Division Evaluation et capitalisation; MAEE Pôle Evaluation, Direction générale de la Mondialisation, du Développement et des Partenariats; MINEFI, Unité d’évaluation des activités de développement, Direction générale du Trésor

The last mile problem

16 Mar

/embed;tile=1;sz=512×288; » />

</object>