EES 2022 : C’est pas (que) toi, c’est moi (aussi)

English version here

Début juin, près de la moitié de l’équipe de Quadrant Conseil était à Copenhague pour cette nouvelle édition des journées européennes de l’évaluation : trois jours, plus de 200 sessions et plus de 600 participants venant d’Europe et d’ailleurs.

La précédente édition en présentiel datait d’avant le COVID et la guerre en Europe, c’était à Thessalonique en 2018. Cette édition avait consacré le retour à des questions de valeurs et de justice sociale, après la fièvre méthodologique des années 2000 et 2010. Une édition en ligne avait été organisée en septembre 2021 : celle-ci a permis d’écluser, au moins en partie, la profusion des communications opportunistes sur l’évaluation en temps de COVID, et sans doute d’être un peu plus dans le monde d’après.

Le titre de cette édition était Evaluation at a watershed, littéralement avant la chute d'eau, qu'on pourrait traduire par "l'évaluation à un tournant". Sauf que, évidemment, l'image de la chute d'eau traduit bien mieux l'urgence de la situation, et la nécessité de pagayer à contre-courant.

copenhague Méfiez-vous, c'est le Danemark quand même, elle est fraîche.

Deux constats d’abord :

Les Ă©valuateurs et les Ă©valuatrices doivent changer

Il est toujours difficile de dire si une conférence internationale a porté sur tel ou tel sujet, malgré les axes soutenus par les organisateurs (organisatrices, en réalité, merci à elles !). Mais enfin, il y a une couleur, une tonalité qui se dégagent. À Maastricht, c’était la pluralité méthodologique ; à Thessalonique, le retour aux valeurs et la justice sociale.

Pour cette année, l'association souhaitait se concentrer sur quatre transformations: des systèmes d'évaluation, des évaluateurs et des évaluatrices, de (et via) l'évaluation, et dans les méthodologies. Ces sujets étaient bien sûr présents à Copenhague. On citera notamment les débats pointus sur les mécanismes causaux et les évaluations d’impact alternatives ou complémentaires au contrefactuel (dont notre propre communication sur les principes de l’analyse de contribution) ; ou encore la présence toujours forte de questions relatives aux valeurs et à l’éthique. Les différentes approches transformationnelles étaient également très présentes.

Le thème central, cependant, c'était bien la prise de conscience de l'urgence climatique, sociale, sociétale à laquelle nous faisons collectivement face, et de la complexité des enjeux - ce qu'a parfaitement rappelé le Directeur de l'Agence européenne de l'Environnement, Hans Bruyninckx, dans sa présentation. En introduisant la notion de problèmes "super-vicieux", il rejette une bonne fois pour toutes l'idée qu'il y aurait des réponses simples aux enjeux auxquels nous faisons face. Mieux : il invite les évaluateurs et les évaluatrices, non pas tant à rendre compte du passé qu'à être des acteurs des transitions actuelles (concept qui nous est familier en France, mais absent jusqu'ici des débats évaluatifs).

Or, cette transition n'est pas si facile. Les évaluateurs et les évaluatrices peuvent eux-mêmes être très conservateurs dans leurs pratiques, ou pris dans des routines, ou bien frileux (qu'on en juge à ces milliers d'évaluations de projet utilisant les critères du DAC, quand bien même en privé les mêmes les jugeraient inadéquats). Pourtant, face à l'urgence, face à la complexité des transitions à engager, les évaluateurs et les évaluatrices réunis semblaient comprendre qu'eux aussi devaient changer ; qu'ils et elles font partie des systèmes qui doivent évoluer. Tom Ling l'a dit en introduction en des termes choisis : "Let’s entertain the possibility that we might be wrong" ("Envisageons l'éventualité que nous ayons tort"). On pourrait traduire cela de façon plus brutale : "il n'y a plus de neutralité dans ce monde. Il faut soit faire partie de la solution, ou bien vous faites partie du problème".

Ce changement a été abordé à de multiples niveaux. Commençons peut-être par le plus difficile et le plus original dans cette conférence, c'est-à-dire des changements qui relèvent de l'intime. Le monde de l'évaluation comme d'autres se complaît depuis de nombreuses années déjà à parler de complexité et de transformation – des mots à la limite de l'effet de manche et qui souvent, révélaient un vide abyssal pour peu qu'on creuse un peu. Cette année, c'est l'acronyme VUCA (pour Volatilité, Incertitude, Complexité et Ambiguité) qui était sur toutes les lèvres, pour rendre compte de l'état de crise permanente dans lequel nous vivons.

vuca VUCA, une dragée pas facile à avaler... source inconnue

Cependant, s'intéresser au complexe, c'est se lancer dans un défi personnel. C'est par exemple apprendre à naviguer dans l'incertitude là où les évaluateurs et les évaluatrices aiment à travers systèmes de suivi, modèles et autres méthodes créer de la certitude ; c'est accepter d'être soi-même partie des systèmes qu'on étudie, ce qui invite à ouvrir la focale des évaluations, mais aussi à abandonner des fausses postures d'indépendance ou d'objectivité ; c'est s'interroger sur ses propres lunettes et la façon dont elles affectent ce que les évaluateurs et évaluatrices regardent et commentent (et ce qu'ils et elles ne regardent pas) ; c'est se demander jusqu'à quel point l'évaluation n'est pas un ingrédient clé du status quo actuel et de la difficulté de faire réellement changer les politiques publiques.

Très bel exemple de ces évolutions du domaine de l'intime, la session de Barbara Schmidt-Abbey, Joan O'Donnell et Kirsten Bording Collins (qui remporte aussi le prix du plus grand nombre de w dans un titre) : Being Evaluation Practitioners In A Volatile And Uncertain World: What Do We Do When We Do What We Do? Elles insistent notamment sur la nécessaire réflexivité dans et sur la pratique pour la faire évoluer.

schmidt Barbara nous invite à penser de façon systématique ET systémique

Deuxième niveau de changement, ceux qui relèvent des relations que les évaluateurs et les évaluatrices entretiennent avec leur environnement. Durant ces trois jours, de très nombreuses métaphores ont été employées pour caractériser les rôles qu'ils et elles doivent pouvoir prendre : L'évaluateur/rice comme craft artisan, bricoleur, codesigner, partner, critical friend, knowledge broker, trustful companion... Dans tous les cas, dans un contexte d'incertitude maximale, l'évaluateur ou l'évaluatrice doit d'abord essayer de faire la bonne chose - et faire la bonne chose ça peut être une multitude de pratiques, bien au-delà des rôles classiques de l'évaluation. C'est ainsi, soutient Martin Reynolds, que l'évaluation peut devenir un réel service public (dirait-on, en France, un commun ? en tout cas nous on est bien d'accord).

Troisième niveau, essentiel enfin, c'est celui des systèmes et des initiatives dans lesquels les évaluateurs et les évaluatrices s'inscrivent : comment faire en sorte d'être au cœur des dynamiques de changement, qu'elles soient institutionnelles, issues de collectifs d'organisations, communautaires ou citoyennes ? Là où la communauté évaluatrice se lamente un peu trop souvent que ses travaux ne soient pas suffisamment utilisés, il y avait à Copenhague une véritable remise en cause : comment, plutôt, être là où les changements se font maintenant, pour les accompagner comme nous savons le faire ? comment repérer les faiseurs et faiseuses de changement et les aider – même lorsqu'ils ne demandent pas d'évaluation ? comment répondre à des besoins auxquels les évaluateurs et les évaluatrices sauront répondre, même s'ils ne sont pas qualifiés d'évaluatifs ?

Tous ces changements demandent enfin des évolutions de connaissances (où sont les concepts, théories et cadres qui permettront de penser les transitions ?); de compétences (et notamment des savoir-être nécessaires pour impulser des dynamiques ou se faire entendre - grands absents des formations initiales et continues, plus centrées sur la méthode); mais aussi de posture : apprendre à regarder l'avenir plutôt que le passé, par exemple (ou dans les mots de Stefano D'Errico et ses collègues: "From what works? to what will work?"); ou encore assumer ses valeurs et s'engager moralement pour le changement ; accepter d'apporter son intuition experte sur les interventions menées, la façon de les concevoir et des les mettre en œuvre (là où notre légitimité habituelle est dans les données que nous collectons et analysons) ; ou enfin apprendre à transmettre, en profondeur, ce que nous tirons des évaluations et de notre expérience accumulée aux acteurs du changement – qui a parlé de récits à construire ?

miaou Leçon apprise : découper les chatons, c'est mal (Joan O'Donnell, Maynooth University)

Conclusion

Avec cette session 2022, les plus optimistes diront que la communauté évaluative européenne a amorcé un "tournant sceptique" vis-à-vis de l'évaluation, comme l'ont énoncé Peter Dahler-Larser et Estelle Raimondo. Elle commence (peut-être !) à reconnaître que l'évaluation n'est pas toujours une panacée, que les évaluateurs et évaluatrices ne font pas toujours la bonne chose, et qu'ils et elles doivent sans doute amorcer leur transition – être les agents du changement qu'ils et elles appellent de leurs vœux. Pas facile... On pense à feue Eleanor Chelimsky: il faut du courage pour être un·e évaluateur/rice...

On a envie de croire que ce changement est pérenne. Si c'était le cas, on verra peut-être à la prochaine EES celles et ceux qui manquaient le plus, c'est-à-dire ces acteurs du changement écologique, social ou sociétal, qui ont tout à gagner de l'évaluation mais restent étrangement absent·es de ces sortes de conférences. Chiche!

Thomas Delahais

P.S. : EES se montrait peut-être pour la 1re fois cette année sensible à son bilan carbone. On pouvait venir en train (et on est pas les seuls), mais c'était pas si facile ! Pourquoi pas la prochaine fois choisir une destination accessible au plus grand nombre et encourager à venir en train, et laisser l'avion à celles et ceux qui traversent des océans ?

Merci à Sébastien Galéa, Benoît Simon et aux collègues de Quadrant Conseil pour leurs commentaires et suggestions sur ce texte!

faiseuse de changement Rare image d'une faiseuse de changement -une Ă©lue, en fait- perdue au milieu d'Ă©valuateurs et d'Ă©valuatrices

EES 2022 — It’s not (only) you, it’s me (too)

dimanche 17 juillet 2022

Feedback on the European Evaluation Society Conference in Copenhagen

🚂 EES 2022 - C’est pas (que) toi, c’est moi (aussi)

mardi 12 juillet 2022

Retour sur la conférence de la société européenne d'évaluation à Copenhague

đź“š Trois articles d'Ă©valuation (nÂş7, 15 juin 2022)

mercredi 15 juin 2022

Dans ce numéro, cinéma à tous les étages : La Revanche des Sith, Octobre rouge et 120 battements par minute... ou presque

🎙 L'évaluation des contrats de ville

mercredi 01 juin 2022

Publication

📚 L'évaluation en contexte de développement

mardi 31 mai 2022

Publication

đź’ˇ Recherche et action publique : il faut ĂŞtre deux pour danser le tango

vendredi 25 mars 2022

Publication

đź“š Trois articles d'Ă©valuation (nÂş6, 15 mars 2022)

mardi 15 mars 2022

Dans ce numéro, la cartographie des controverses rencontre la science comportementale, et la recherche l'action publique.

đź’ˇ Qu'attendre de la recherche pour Ă©clairer l'action publique

jeudi 20 janvier 2022

Publication

📚 Trois articles d'évaluation (nº5, 15 décembre 2021)

mercredi 15 décembre 2021

Numéro spécial Anthologie

Citations relatives Ă  l'Ă©valuation des politiques publiques

lundi 20 septembre 2021

Des citations inspirantes pour qui Ă©value.

đź“š Trois articles d'Ă©valuation (nÂş4, 15 septembre 2021)

mercredi 15 septembre 2021

Dans ce numéro, évaluation et bureaucratie, l'ultime combat, enquêter avec d'autres êtres, et oldiesbutgoodies, on sauve le monde avec Bob Stake !

đź’ˇ Glossaires de l'Ă©valuation

dimanche 12 septembre 2021

Liste de glossaires

💡 7 bonnes raisons de prendre en compte l'égalité entre les femmes et les hommes dans ma pratique d'évaluation

vendredi 09 juillet 2021

Oldies but goodies (Karine Sage)

đź“š Trois articles d'Ă©valuation (nÂş3, 15 mai 2021)

samedi 15 mai 2021

Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !

đź’ˇ Les Ă©valuations participatives, plus facile Ă  dire qu'Ă  faire

jeudi 29 avril 2021

Nouvel article publié (Thomas Delahais)

Quatre jeux de cartes d'Ă©valuation francophones

mardi 27 avril 2021

Ă€ l'occasion de la sortie de Strateval, nous revenons sur 3 autres jeux de cartes autour de l'Ă©valuation

đź’ˇ Qu'est-ce que l'analyse militante apporte Ă  l'Ă©valuation des politiques publiques ?

jeudi 08 avril 2021

Nouvel article publié (Marc Tevini)

📚 Trois articles d'évaluation (nº2, 15 février 2021)

lundi 15 février 2021

Dans ce numéro, évaluation féministe quésaco, apprentissage et redevabilité même combat ? et oldiesbutgoodies, des éléments pour une sociologie de l'évaluation... C'est le sommaire de ce numéro 2.

đź“˝ L'Ă©valuation des politiques sociales, de quoi parle-t-on ?

vendredi 15 janvier 2021

Introduction au séminaire de l'IRTS HDF du 26/01.

đź“˝ L'analyse de contribution en pratique

mardi 15 décembre 2020

Introduction Ă  la formation Ă  l'analyse de contribution

đź“š Trois articles d'Ă©valuation (nÂş1, 15 novembre 2020)

dimanche 15 novembre 2020

Dans ce numéro, plongée en pleine guerre froide avec la Realpolitik de l'évaluation, des idées pour professionnaliser l'évaluation, et oldiesbutgoodies, de quoi se demander ce que les évaluateurs et les évaluatrices défendent dans leur métier... C'est le sommaire de ce numéro 1.

đź“˝ L'Ă©valuation participative, plus facile Ă  dire qu'Ă  faire

lundi 09 novembre 2020

Intervention de T Delahais au Congrès de la SEVAL organisé par le GREVAL à Fribourg, le 4 septembre 2020.

đź’ˇ En situation anormale, l'Ă©valuation doit devenir la norme

jeudi 29 octobre 2020

Contribution de T Delahais et M Tevini en réponse à l'appel de la SFE, "Ce que la crise sanitaire nous apprend sur l'utilité et les pratiques d'évaluation".

đź’ˇ Comment Ă©valuer la transition

vendredi 23 octobre 2020

Nouvel article publié (Thomas Delahais, Karine Sage, Vincent Honoré)

💡 Quels mécanismes à l'œuvre dans les innovations ?

mardi 06 octobre 2020

Nouvel article publié (Agathe Devaux-Spatarakis)

đź“š Trois articles d'Ă©valuation (v0, 30 juillet 2020)

jeudi 30 juillet 2020

À l'honneur pour cette édition, la sagesse pratique des évaluateurs et des évaluatrices, soit « la capacité de faire les bons choix, au bon moment, pour les bonnes raisons » ; ce que les mots et concepts de l'évaluation perdent et gagnent à leur traduction d'une langue à l'autre et oldies but goodies, une piqûre de rappel quant à la vocation démocratique de l'évaluation en France... C'est le sommaire de ce numéro 0.