Cartographie des usages de l'évaluation d'impact

Des évaluations d'impact : pour quoi faire ? Retrouvez ici la cartographie des usages de l'évaluation d'impact - sous licence libre.

Cette carte est le fruit d’une collaboration de recherche menée en 2021-2022 entre l’Agence Française de Développement, Quadrant Conseil et Strategic Design Scenarios. Elle part de la question suivante : Comment se redonner du choix dans les approches d’évaluation d’impact, au-delà des seules approches contrefactuelles et alors qu’une diversité de méthodes existe aujourd'hui ?

L’approche engagée ici, incluant démarche évaluative et démarche de design des politiques publiques, visait à travailler sur un moment clé de la commande d’évaluation d’impact, celui lors duquel s’établit un « champ des possibles » en matière d’approches d’évaluation dans l’interaction entre chargé·e d’évaluation et commanditaire potentiel·le.

Il s’agit d’un moment lors duquel le projet d’évaluation est encore très incertain. Les commanditaires ont une vue encore limitée de ce qu’ils ou elles veulent, de leurs besoins, des approches qui pourraient y répondre. Les chargé·es d’évaluation doivent alors tâtonner pour identifier une approche qui peut convenir, à partir d’un répertoire d’approches souvent limité (en raison de leur connaissance des dites approches, de l’expérience qu’ils et elles en ont, de ce qui se fait ou non à l’AFD, etc.).

Une façon de dépasser cette situation consistait à ne pas entrer dans ce dialogue par le prisme des approches, mais d’abord par les usages concrets que les agents de l’AFD et les autres parties prenantes font des évaluations. C’est ce à quoi s’est attaché cette recherche-action, qui a permis d’explorer, à travers des cold cases et une cartographie conceptuelle ces usages concrets.

La cartographie conceptuelle est un outil permettant de grouper et de hiérarchiser collectivement des énoncés au moyen de méthodes statistiques. De cette façon, nous avons recueilli une liste d'une cinquantaine d'usages concrets, réduits à une trentaine collectivement ; deux groupes, l'un composé des évaluateurs/rices du département Évaluation, et l'autre des différents services de l'AFD (potentiellement commanditaires), ont regroupé librement ces usages dans des groupes qu'ils ont nommés. Ces regroupements ont ensuite été traités statistiquement pour faire apparaître des grappes d'usage, discutées ensuite pour faire apparaître des groupes d'usages cohérents. Cette approche, inductive, permet d'éviter d'imposer des catégories d'usage d'ordre administratif ou bien issu du champ disciplinaire de l'évaluation pour faire ressortir des catégories "indigènes" au groupe impliqué.

Loin des mots d’ordre de « redevabilité » et d’« apprentissage », les usages qui se dessinent pour l’AFD relèvent ainsi du stratégique, du pilotage, de l’amélioration continue et du dialogue. Les approches d’évaluation d’impact ont ensuite été raccrochées à ces usages potentiels, pour offrir un « champ des possibles » pertinent en matière d’évaluation d’impact. Au final, la carte est conçue comme un outil pédagogique : elle permet, au sein des départements d’évaluation, de réfléchir aux usages effectifs que les services font des évaluations, et notamment d’impact, et de monter collectivement en capacité à proposer des réponses pertinentes à ces besoins.

L'approche est reproductible, avec l'idée que les types d'usage apparus à l'AFD renvoient à des catégories propres à cette agence : quelle typologie apparaîtrait dans d'autres agences ?