Évaluer au service des transitions

Comment les transitions changent l'évaluation, et comment l'évaluation peut être utile aux transitions

Ceci est le texte d'une intervention de Thomas Delahais aux Rencontres internationales francophones en évaluation environnementale, le 15 janvier 2025. The English version is available here.

Évaluer au service des transitions

Comment les transitions changent l'évaluation, et comment l'évaluation peut être utile aux transitions

T. Delahais - 15.01.2025

La première fois que j'ai été confronté à une initiative de transition, c'était il y a une douzaine d'années, et il s'agissait de la 'Transformation sociale et écologique régionale en Nord-Pas-de-Calais'. Il s'agissait d'expérimenter, sur une dizaine de sujets importants, comme les systèmes alimentaires, la rénovation énergétique des logements ou certains écosystèmes du territoire, une nouvelle façon de faire les politiques publiques, qui mettraient ensemble tous les acteurs concernés, repartiraient des problèmes multiples que les politiques veulent résoudre, dessineraient un avenir désirable, viable, et proposeraient des solutions nouvelles pour y arriver. Et c'était tellement autre chose que ce qui se faisait habituellement sur ces sujets, où on déroulait des politiques européennes ou nationales, ou bien ou on faisait comme d'habitude, ou comme son voisin, que c'était très suspect. D'ailleurs, dans le premier entretien de cadrage que j'ai mené, on m'a dit "nous espérons que cette évaluation montrera que tout ça c'est une arnaque" !

Et au contraire, nous avons montré en quoi les processus qui étaient engagés avaient énormément de valeur ; mais qu'ils étaient aussi complexes, fragiles, incertains, faisaient appel à des mécanismes mal connus, etc.

Les outils classiques de l'évaluation avaient du mal à rendre compte des effets d'une initiative de transition de ce type. Si nous partions des objectifs pour rendre compte des effets, c'était un échec, mais en partant du réel, de ce qui arrivait réellement, on pouvait dire qu'il y avait des échecs, ce qui est normal pour une innovation publique, mais aussi des succès énormes. Sur le long terme, surtout, penser en termes de transition nous a amenés à revoir nos pratiques d'évaluation, et c'est de ce sujet que je voudrais parler aujourd'hui.

Les transitions :

incertaines
totales
multi-niveaux
innovantes
contestées

Le mot 'transition' est utilisé par de nombreux acteurs, pour parler de beaucoup de choses différentes. Ici je voudrais le définir de la façon suivante :

• C'est un terme qui décrit le passage de la société actuelle, intensive en carbone, destructrice de l'environnement à une société durable
• Il désigne à la fois le processus de changement, mais aussi les politiques qui visent à mettre en œuvre et piloter ce processus

Les transitions sont incertaines. Nous ne savons pas à quoi ressemble une société durable et comment y arriver. Les conséquences des actions menées aujourd'hui sont difficilement prévisibles.

Elles affectent tous les aspects de la société en même temps. En fait il y a plusieurs transitions. Elles ne peuvent pas inclure seulement l'environnement, ou seulement le climat, ou seulement le bâti, etc.

Elles sont multi-acteurs, multi-niveaux, multi-étapes. Leur réussite dépend de la congruence de changement opérés à tous ces niveaux.

Elles nécessitent des innovations techniques, sociales, organisationnelles, humaines, dont la mise en œuvre et les effets sont eux-mêmes incertains. Il y a concurrence entre ces innovations pour aller vers une société durable.

Elles sont, enfin, fondamentalement contestées, non seulement en raison de l'incertitude généralisée sur ce qu'il faut faire et la façon de le faire, mais aussi parce qu'elles touchent fondamentalement aux valeurs et aux croyances des personnes et des sociétés.

Toutes les politiques de transition ne l'envisagent pas de la même façon. Certaines ont une orientation fondamentalement technique et cherchent des solutions aux problèmes posés par la pollution, le changement climatique, etc ; d'autres ont une orientation fondamentalement politique et cherchent d'abord à inventer un monde durable avant de trouver les chemins pour y aller. Beaucoup intègrent les deux orientations, mais celles-ci ne s'évaluent pas de la même façon.

---

Et l'évaluation ?

Je parle ici d'une grande famille de pratiques qui sont concernées par les conséquences que les interventions ont eu ou pourraient avoir. Le schéma ci-dessus du Griffith Centre propose une représentation de cette famille élargie.

Et bien l'évaluation est fortement affectée par ces caractéristiques des transitions ; mais elle a aussi beaucoup de ressources et de potentiel pour contribuer aux transitions.

L'évaluation affectée par les transitions :

périmètre
incertitude sur la marche à suivre
valeurs conflictuelles
cultures et pratiques

En quoi l'évaluation est-elle affectée, et se retrouve-t-elle parfois inadaptée vis-à-vis de ces initiatives de transition ?

Un premier souci, c'est celui des limites qui nous sont fixées. L'évaluation est souvent une activité de marché, on répond à une commande, qui fait porter une prestation sur un projet, un programme, un territoire, sur un temps donné. Or les transitions demandent souvent à intégrer plusieurs dimensions, différents types d'acteurs, de point de vue, etc. Le problème c'est qu'on ne sait souvent pas, au début, ce qui devrait être le bon périmètre de l'évaluation. Mais comment faire évoluer ce périmètre en cours de route ?

Un deuxième enjeu, c'est qu'on ne sait plus ce qui marche, ce qui est la bonne chose à faire. Une infrastructure peut suivre les meilleures règles, mais s'avérer inadaptée quelques années après ; parce que d'une part, le climat, le vivant évoluent à une vitesse effrénée ; parce que les transitions touchent tous les aspects de nos vies, avec des conséquences largement inattendues ; et parce que nous tâtonnons dans le noir pour nous adapter. Dans nos évaluations de programmes européens, on commence à se demander : 'est-ce que cette infrastructure est prête pour le futur ?' Ce qui amène beaucoup d'incertitudes, parce qu'on ne les juge plus sur des critères connus mais des critères plus ou moins plausibles. Donc comment juger et proposer des améliorations si on ne sait pas ce qu'il faut faire ?

Un troisième souci, c'est le niveau de contestation, la conflictualité associée aux transitions. Parce que les transitions touchent à tous les sujets, elles sont amenées à être jugées selon des ensemble de valeurs, de croyances, très différentes. L'évaluation a tendance à vouloir apporter une "vérité scientifique", mais les critères et les indicateurs retenus sont empreints de valeurs également. Il nous arrive d'aboutir à un jugement de succès ou d'échec sur la même intervention, selon les critères qui sont retenus - tous valides. Qu'est-ce que c'est qu'une "bonne" transition ?

Dernier enjeu que je voudrais évoquer ici : La tendance à se focaliser sur les décisions publiques, alors que les transitions concernent tous les acteurs publics et privés, à la fois dans des décisions formelles, mais aussi dans des pratiques de mise en œuvre, des actes administratifs, techniques, des habitudes... qui passent sous le radar alors qu'ils sont aussi importants que la décision. Veut-on soutenir des décisions quand on sait qu'elles seront sapées ou non appliquées en pratique ? Comment contribuer à un changement de culture et de pratique et pas seulement à des décisions ponctuelles ?

Une évaluation au service des transitions :

ami critique
pluraliste et participative
centrée sur la culture évaluative

Les problèmes que j'évoque sont complexes, et nous n'avons pas de baguette magique pour les résoudre. Mais je voudrais mettre en avant certaines des choses que l'évaluation peut faire ici.

Je ne vais pas évoquer les dimensions méthodologiques. Ce que les évaluateurs savent bien, c'est qu' "avoir raison" n'est certainement pas une raison suffisante pour emporter la décision. En fait, s'occuper de la décision est aussi important que la production de connaissance.

Premier point, il faut d'abord reconnaître que l'évaluation est une activité politique, c'est-à-dire qu'elle n'est pas extérieure à la transition, elle n'est pas un outil neutre qui fournirait une vérité extérieure à laquelle se référer.

Après notre évaluation de la TESR, que j'évoquais tout à l'heure, nous avons dû reconnaître que nous étions favorables aux transitions, c'est-à-dire que nous avons envie qu'elles se fassent, et qu'elles soient l'occasion d'améliorer le monde. Et donc, cela nous a amené à nous positionner d'une certaine façon, en tant qu'"amis critiques" des initiatives de transition, et plus généralement de celles et ceux qui sont prêt·es à s'impliquer dans la transition. Je crois que c'est fondamental, et la pierre de touche de tout le reste. Étant entendu que l'amitié n'empêche pas l'exigence, la rigueur empirique, et le courage de faire passer des messages difficiles.

Cette posture d'ami critique amène à repenser assez fondamentalement les compétences nécessaires pour être un bon évaluateur. Il s'agit donc d'être bienveillant, mais aussi de savoir communiquer et collaborer et de faire preuve de courage pour faire passer des messages difficiles. Cela change aussi la responsabilité qui incombe aux évaluateurs - pas de porter la transition sur leurs épaules, mais d'y prendre leur part.

Cela nous permet aussi de travailler avec des gens et des acteurs pour qui l'évaluation fait partie du problème plutôt que la solution. Nous faisons face à une défiance importante de beaucoup d'acteurs, qui ont pourtant des valeurs et des perspectives importantes à faire entendre dans l'évaluation.

On peut partir du principe que, dans les transitions, il y a toujours plusieurs critères pour juger d'un projet ou d'une intervention, et l'atteinte des objectifs - souvent mal formulés, incertains - ou le respect de règles légales ne sont pas toujours les plus pertinents. En fait, souvent, définir des critères de jugement, s'accorder sur une "bonne transition", cela fait partie du travail politique. Parfois —souvent— les critères qui ressortent ne sont pas cohérents entre eux. C'est difficile pour nous évaluateurs qui aimons la cohérence. Mais les transitions, c'est souvent faire le moins mauvais choix plutôt que le meilleur, c'est gérer des demandes paradoxales entre différentes limites planétaires à préserver, entre défense de l'environnement et protection des populations, c'est gérer des questions techniques et des questions politiques, etc. On a donc besoin de jugements nuancés, qui s'appuient sur des sources, des savoirs de nature différente également. Mais on a aussi besoin de varier les perpectives, de sortir d'un face-à-face entre environnement et économie pour penser par exemple en termes de bien-être territorial durable.

Le processus évaluatif est une occasion importante pour faire émerger ces valeurs, ces perspectives et ces savoirs. C'est aussi la possibilité d'impliquer les différents acteurs concernés au-delà de la consultation ou de l'information, dans un échange approfondi. Un enjeu essentiel, par exemple, c'est d'amener l'ensemble des acteurs à poser des questions évaluatives qui reflètent réellement ce qui comptent pour eux, ce qui demande un travail de long terme, et un rôle de l'évaluation qui est celui d'assurer la traduction des points de vue des différents acteurs et une négociation sur ce qui compte. Est-ce qu'une bonne évaluation, ce n'est pas d'abord celle qui a changé les regards des acteurs sur les choses importantes, les problèmes à résoudre, qui a permis d'éviter les solutions toutes faites et de proposer des compromis acceptables ?

Mais si l'on cherche à aller au-delà de projets ou de décisions spécifiques pour accompagner les transitions, qui sont nécessairement continues, il faut aussi sortir de ce processus évaluatif ponctuel qui est très limitant. En effet, nous l'avons dit, les transitions avancent par tâtonnements successifs, par essai-erreur, par combinaisons d'interventions, en saisissant des opportunités... et tout ça ne correspond pas toujours à un projet bien défini! C'est ce qui nous amène aussi, nous évaluateurs, à reconsidérer notre rôle plus profondément : devenir des compagnons de route sur le long terme ; être présent sur la durée de la mise en œuvre pour anticiper les difficultés, contribuer à rendre les interventions menées plus favorables aux transitions ; et privilégier la construction d'une culture de l'évaluation dans les transitions.

C'est aussi important parce que les projets de transition ambitieux sont souvent sous le feu de critiques croisées. Elles sont toujours nécessairement irréalistes, mais insuffisantes ; il y a toujours des solutions qui semblent plus faciles et meilleures, etc. Mais un rapport, même avec une méthodologie irréprochable, ne sauvera pas une initiative de transition. En réalité, les évaluateurs ont un rôle essentiel pour alimenter des récits de la transition, qui soient désirables, mais aussi appuyés par des éléments empiriques robustes : et cela se fait largement en-dehors du cadre de la prestation de marché, sur le long terme. Et les évaluations sont de nouveau amenées à porter et diffuser des leçons entre différents acteurs, différents niveaux territoriaux, différents secteurs.

Tout cela à nouveau pose des questions quant à l'évaluation comme prestation, et notamment la dimension ponctuelle de la commande publique. Est-ce que l'avenir de l'évaluation dans les transitions, ce n'est pas d'abord une meilleure diffusion d'une posture évaluative, partagée par tous les acteurs, qui permette à chaque fois que c'est nécessaire de réfléchir aux conséquences des actions menées ; d'être attentif aux valeurs et aux différentes perspectives ; ou de privilégier la vérification empirique aux préjugés sur "ce qui marche" ou pas ? Je vous remercie.