EES 2022 : C’est pas (que) toi, c’est moi (aussi)

English version here

Début juin, près de la moitié de l’équipe de Quadrant Conseil était à Copenhague pour cette nouvelle édition des journées européennes de l’évaluation : trois jours, plus de 200 sessions et plus de 600 participants venant d’Europe et d’ailleurs.

La précédente édition en présentiel datait d’avant le COVID et la guerre en Europe, c’était à Thessalonique en 2018. Cette édition avait consacré le retour à des questions de valeurs et de justice sociale, après la fièvre méthodologique des années 2000 et 2010. Une édition en ligne avait été organisée en septembre 2021 : celle-ci a permis d’écluser, au moins en partie, la profusion des communications opportunistes sur l’évaluation en temps de COVID, et sans doute d’être un peu plus dans le monde d’après.

Le titre de cette édition était Evaluation at a watershed, littéralement avant la chute d'eau, qu'on pourrait traduire par "l'évaluation à un tournant". Sauf que, évidemment, l'image de la chute d'eau traduit bien mieux l'urgence de la situation, et la nécessité de pagayer à contre-courant.

Méfiez-vous, c'est le Danemark quand même, elle est fraîche.

Deux constats d’abord :

• le premier, la grande qualité des communications cette année. Une conférence professionnelle ou scientifique, c’est comme une boîte de chocolats, mais dans laquelle certains seraient bourrés de somnifères, périmés ou franchement toxiques. Certes, nous étions toutes et tous heureux d’être là; nous n’avons pas assisté à toutes les sessions et ne sommes donc pas à l’abri d’un biais de l’évaluateur ou d’un biais de sélection. On pourra quand même se réjouir d’un très bon niveau général des contributions, et s’il était possible d’aller voir les stars comme Michael Q. Patton, qui avait fait le déplacement depuis le Minnesota où il réside, on pouvait aussi les yeux fermés pousser la porte de nombreuses salles et être déçu en bien.
• Second constat, un public différent, avec la présence de Français et de francophones en nombre, après des années funestes où nous nous comptions sur les doigts d’une ou deux mains. Outre les membres des organisations internationales, des consultant·es, des chercheurs/ses, des associatifs ont fait le voyage. Bref, ça ne parlait pas qu’anglais (ou danois) et ce n’était pas une mauvaise chose !

Les évaluateurs et les évaluatrices doivent changer

Il est toujours difficile de dire si une conférence internationale a porté sur tel ou tel sujet, malgré les axes soutenus par les organisateurs (organisatrices, en réalité, merci à elles !). Mais enfin, il y a une couleur, une tonalité qui se dégagent. À Maastricht, c’était la pluralité méthodologique ; à Thessalonique, le retour aux valeurs et la justice sociale.

Pour cette année, l'association souhaitait se concentrer sur quatre transformations: des systèmes d'évaluation, des évaluateurs et des évaluatrices, de (et via) l'évaluation, et dans les méthodologies. Ces sujets étaient bien sûr présents à Copenhague. On citera notamment les débats pointus sur les mécanismes causaux et les évaluations d’impact alternatives ou complémentaires au contrefactuel (dont notre propre communication sur les principes de l’analyse de contribution) ; ou encore la présence toujours forte de questions relatives aux valeurs et à l’éthique. Les différentes approches transformationnelles étaient également très présentes.

Le thème central, cependant, c'était bien la prise de conscience de l'urgence climatique, sociale, sociétale à laquelle nous faisons collectivement face, et de la complexité des enjeux - ce qu'a parfaitement rappelé le Directeur de l'Agence européenne de l'Environnement, Hans Bruyninckx, dans sa présentation. En introduisant la notion de problèmes "super-vicieux", il rejette une bonne fois pour toutes l'idée qu'il y aurait des réponses simples aux enjeux auxquels nous faisons face. Mieux : il invite les évaluateurs et les évaluatrices, non pas tant à rendre compte du passé qu'à être des acteurs des transitions actuelles (concept qui nous est familier en France, mais absent jusqu'ici des débats évaluatifs).

Or, cette transition n'est pas si facile. Les évaluateurs et les évaluatrices peuvent eux-mêmes être très conservateurs dans leurs pratiques, ou pris dans des routines, ou bien frileux (qu'on en juge à ces milliers d'évaluations de projet utilisant les critères du DAC, quand bien même en privé les mêmes les jugeraient inadéquats). Pourtant, face à l'urgence, face à la complexité des transitions à engager, les évaluateurs et les évaluatrices réunis semblaient comprendre qu'eux aussi devaient changer ; qu'ils et elles font partie des systèmes qui doivent évoluer. Tom Ling l'a dit en introduction en des termes choisis : "Let’s entertain the possibility that we might be wrong" ("Envisageons l'éventualité que nous ayons tort"). On pourrait traduire cela de façon plus brutale : "il n'y a plus de neutralité dans ce monde. Il faut soit faire partie de la solution, ou bien vous faites partie du problème".

Ce changement a été abordé à de multiples niveaux. Commençons peut-être par le plus difficile et le plus original dans cette conférence, c'est-à-dire des changements qui relèvent de l'intime. Le monde de l'évaluation comme d'autres se complaît depuis de nombreuses années déjà à parler de complexité et de transformation – des mots à la limite de l'effet de manche et qui souvent, révélaient un vide abyssal pour peu qu'on creuse un peu. Cette année, c'est l'acronyme VUCA (pour Volatilité, Incertitude, Complexité et Ambiguité) qui était sur toutes les lèvres, pour rendre compte de l'état de crise permanente dans lequel nous vivons.

VUCA, une dragée pas facile à avaler... source inconnue

Cependant, s'intéresser au complexe, c'est se lancer dans un défi personnel. C'est par exemple apprendre à naviguer dans l'incertitude là où les évaluateurs et les évaluatrices aiment à travers systèmes de suivi, modèles et autres méthodes créer de la certitude ; c'est accepter d'être soi-même partie des systèmes qu'on étudie, ce qui invite à ouvrir la focale des évaluations, mais aussi à abandonner des fausses postures d'indépendance ou d'objectivité ; c'est s'interroger sur ses propres lunettes et la façon dont elles affectent ce que les évaluateurs et évaluatrices regardent et commentent (et ce qu'ils et elles ne regardent pas) ; c'est se demander jusqu'à quel point l'évaluation n'est pas un ingrédient clé du status quo actuel et de la difficulté de faire réellement changer les politiques publiques.

Très bel exemple de ces évolutions du domaine de l'intime, la session de Barbara Schmidt-Abbey, Joan O'Donnell et Kirsten Bording Collins (qui remporte aussi le prix du plus grand nombre de w dans un titre) : Being Evaluation Practitioners In A Volatile And Uncertain World: What Do We Do When We Do What We Do? Elles insistent notamment sur la nécessaire réflexivité dans et sur la pratique pour la faire évoluer.

Barbara nous invite à penser de façon systématique ET systémique

Deuxième niveau de changement, ceux qui relèvent des relations que les évaluateurs et les évaluatrices entretiennent avec leur environnement. Durant ces trois jours, de très nombreuses métaphores ont été employées pour caractériser les rôles qu'ils et elles doivent pouvoir prendre : L'évaluateur/rice comme craft artisan, bricoleur, codesigner, partner, critical friend, knowledge broker, trustful companion... Dans tous les cas, dans un contexte d'incertitude maximale, l'évaluateur ou l'évaluatrice doit d'abord essayer de faire la bonne chose - et faire la bonne chose ça peut être une multitude de pratiques, bien au-delà des rôles classiques de l'évaluation. C'est ainsi, soutient Martin Reynolds, que l'évaluation peut devenir un réel service public (dirait-on, en France, un commun ? en tout cas nous on est bien d'accord).

Troisième niveau, essentiel enfin, c'est celui des systèmes et des initiatives dans lesquels les évaluateurs et les évaluatrices s'inscrivent : comment faire en sorte d'être au cœur des dynamiques de changement, qu'elles soient institutionnelles, issues de collectifs d'organisations, communautaires ou citoyennes ? Là où la communauté évaluatrice se lamente un peu trop souvent que ses travaux ne soient pas suffisamment utilisés, il y avait à Copenhague une véritable remise en cause : comment, plutôt, être là où les changements se font maintenant, pour les accompagner comme nous savons le faire ? comment repérer les faiseurs et faiseuses de changement et les aider – même lorsqu'ils ne demandent pas d'évaluation ? comment répondre à des besoins auxquels les évaluateurs et les évaluatrices sauront répondre, même s'ils ne sont pas qualifiés d'évaluatifs ?

Tous ces changements demandent enfin des évolutions de connaissances (où sont les concepts, théories et cadres qui permettront de penser les transitions ?); de compétences (et notamment des savoir-être nécessaires pour impulser des dynamiques ou se faire entendre - grands absents des formations initiales et continues, plus centrées sur la méthode); mais aussi de posture : apprendre à regarder l'avenir plutôt que le passé, par exemple (ou dans les mots de Stefano D'Errico et ses collègues: "From what works? to what will work?"); ou encore assumer ses valeurs et s'engager moralement pour le changement ; accepter d'apporter son intuition experte sur les interventions menées, la façon de les concevoir et des les mettre en œuvre (là où notre légitimité habituelle est dans les données que nous collectons et analysons) ; ou enfin apprendre à transmettre, en profondeur, ce que nous tirons des évaluations et de notre expérience accumulée aux acteurs du changement – qui a parlé de récits à construire ?

Leçon apprise : découper les chatons, c'est mal (Joan O'Donnell, Maynooth University)

Conclusion

Avec cette session 2022, les plus optimistes diront que la communauté évaluative européenne a amorcé un "tournant sceptique" vis-à-vis de l'évaluation, comme l'ont énoncé Peter Dahler-Larser et Estelle Raimondo. Elle commence (peut-être !) à reconnaître que l'évaluation n'est pas toujours une panacée, que les évaluateurs et évaluatrices ne font pas toujours la bonne chose, et qu'ils et elles doivent sans doute amorcer leur transition – être les agents du changement qu'ils et elles appellent de leurs vœux. Pas facile... On pense à feue Eleanor Chelimsky: il faut du courage pour être un·e évaluateur/rice...

On a envie de croire que ce changement est pérenne. Si c'était le cas, on verra peut-être à la prochaine EES celles et ceux qui manquaient le plus, c'est-à-dire ces acteurs du changement écologique, social ou sociétal, qui ont tout à gagner de l'évaluation mais restent étrangement absent·es de ces sortes de conférences. Chiche!

Thomas Delahais

P.S. : EES se montrait peut-être pour la 1re fois cette année sensible à son bilan carbone. On pouvait venir en train (et on est pas les seuls), mais c'était pas si facile ! Pourquoi pas la prochaine fois choisir une destination accessible au plus grand nombre et encourager à venir en train, et laisser l'avion à celles et ceux qui traversent des océans ?

Merci à Sébastien Galéa, Benoît Simon et aux collègues de Quadrant Conseil pour leurs commentaires et suggestions sur ce texte!

Rare image d'une faiseuse de changement -une élue, en fait- perdue au milieu d'évaluateurs et d'évaluatrices