Tag Archives: métier évaluateur

Sept « péchés capitaux » de l’évaluateur : Pièges et repères déontologiques

24 Nov

A découvrir ou à redécouvrir, tout juste 10 ans après sa première parution :  les sept « péchés capitaux » de l’évaluateur : Pièges et repères déontologiques, par Philippe Lavigne Delville (notes méthodologiques n° 5, Direction Scientifique, GRET, Octobre 2004).

Ne pas rater l’annexe : l’évaluation du Programme Palestine (an 00 – an 33)

Philippe Lavigne Delville est socio-anthropologue, directeur de recherche à l’IRD. Il travaille en particulier sur les politiques et projets de développement et sur les politiques foncières. Il a été Directeur scientifique du GRET de 1999 à 2008 et est président de l’APAD depuis 2013.  

Sept « péchés capitaux » de l’évaluateur : Pièges et repères déontologiques

Une évaluation est un exercice difficile. En quelques jours ou quelques semaines au mieux, il faut porter un regard le plus objectif possible sur une réalité complexe et multiforme et porter une analyse sur des stratégies et des actions, dans lesquelles des équipes se sont investies, parfois pendant plusieurs années. Il faut intégrer et organiser une masse d’informations d’ordres différents ; se construire une connaissance et une analyse du projet ; respecter les équipes et leur travail sans pour autant oublier tout regard critique ; appréhender le point de vue des bénéficiaires sans prendre pour argent comptant tout ce qu’ils disent ; répondre aux attentes – pas toujours explicites ou réalistes – des commanditaires sans s’asservir à leurs logiques…

Une évaluation est souvent un exercice violent pour ceux qui la vivent. Nous avons tous connu des évaluations productives, mais aussi des évaluations injustes et biaisées. Evaluer un projet demande une éthique affirmée pour éviter de tomber dans des pièges fréquents. En voici quelques-uns, inspirés de cas vécus. Il y en a sûrement d’autres…

1. Instrumentaliser l’évaluation à son profit …

2. S’inféoder a priori à l’un ou l’autre des acteurs

3. Plaquer ses propres schémas, sans chercher à comprendre ce qu’ont cherché à faire les équipes, et pourquoi

4. Tomber dans le piège du rétrospectif

5. Imputer aux acteurs des « choix » qui ne sont que des réponses au jeu de contraintes au sein duquel ils se trouvent

6. Prendre pour argent comptant des objectifs initiaux irréalistes

7. Ne voir que les résultats à court terme… ou seulement de possibles effets à long terme

Retrouvez l’intégralité de la note sur le site du GRET.

Publicités

3 questions à François Doligez

5 Mai

François Doligez – Agro-économiste – Professeur associé à la Faculté de Sciences Economiques, Université de Rennes 1 – Chargé de programme à l’IRAM

François Doligez, vous êtes agro-économiste, vous avez participé et réalisé de nombreuses évaluations; le métier d’évaluateur existe-t-il à part entière ou est-il forcément adossé à un autre champ de compétence?

Pour ma part, il est difficile d’exercer le métier d’évaluateur sans avoir acquis une bonne expérience et de solides références dans un domaine particulier. Ces dernières confèrent la légitimité nécessaire à une opinion -le jugement de l’expert- forcément empreinte de subjectivité. Elles permettent également de « ne pas passer à côté de l’essentiel » qui a parfois trait « aux ficelles du métier » plus qu’à sa formalisation. Pour autant, l’accumulation d’expériences ne fait pas forcément un bon évaluateur ! Le métier d’évaluateur implique une démarche structurée, des outils et des méthodes d’analyse spécifique, mais aussi une capacité d’écoute et une attitude réflexive qui vont au-delà et sont parfois contraires avec l’accumulation d’expériences…

La discipline de l’évaluation semble s’être considérablement développée depuis les années 90, multiplication des sociétés nationales d’évaluation, création de département ou bureau de l’évaluation dans la quasi-totalité des ONG’s et Organisation Internationales, augmentation du nombre de formations diplomantes liées à l’évaluation… Le rôle de l’évaluation dans la conception et la mise en oeuvre des politiques, programmes et projets de développement est-il plus perceptible qu’auparavant?

Oui dans la forme et sur le fond. L’évaluation fait de plus en plus partie des modes de management public. Au mieux elle constitue une contribution dans un processus concerté entre acteurs et destiné à formuler les politiques publiques. Au pire, c’est une étape de procédure imposée par les bailleurs ou les décideurs publics mais qui permet surtout de fournir des « problèmes aux solutions ».

Peut-on parler d’uniformité des méthodes et des pratiques? De nombreux acteurs se référèrent aux normes du Comité d’aide au développement de l’OCDE pour une évaluation de qualité. Des études d’impact  de type « randomised control trial » sont de plus en plus pratiquées. Pour autant, ce type d’étude est totalement inaccessible à des structures de taille modeste. Quelles méthodologies, quels premiers pas vers l’évaluation préconiseriez-vous pour des petites structures sans ressources spécifiques dédiées à l’évaluation?

Tout d’abord, l’uniformisation des méthodes et des pratiques ne peut répondre à la diversité des questions posées par l’évaluation des politiques publiques. Elle découle d’une hiérarchisation des preuves (évidences) qui relève d’abord d’une lutte d’influence et de pouvoir beaucoup plus que du débat « scientifique » et qui peut entraîner des biais, ou des œillères, préjudiciables à la formulation des politiques publiques (on voit la vraie vie au travers de lunettes roses, ou grises ; mais jamais sous son vrai jour). Les normes de qualité devraient permettre de maintenir, au nom de la triangulation des données, une pluralité de méthodes. Les approches statistiques à contrefactuel permettent de résoudre, sous certaines conditions, les biais de sélection dans les comparaisons « avec et sans traitement ». Mais leur application est forcément limitée et leur champ d’analyse ne peut permettre d’appréhender la complexité des processus de mise en œuvre et le mode opératoire des politiques publiques. Dans le cas des petites structures sans ressources dédiées, l’animation d’une réflexion globale (de type systémique) et partagée avec les acteurs (approche participative) est souvent fructueuse et peut enrichir la collecte et l’analyse de données quantitatives collectées tout au long du suivi des programmes.

a

Après un séjour au Nicaragua, François Doligez a rejoint l’IRAM au début des années 1990 pour accompagner des programmes de microfinance . Il a participé à de nombreuses études et évaluations dans la coopération pour le développement durable en Amérique latine et en Afrique. Depuis 2004, il enseigne en parallèle de l’IRAM comme professeur associé à la Faculté des Sciences Economiques de l’Université de Rennes 1.