EES 2022 : C’est pas (que) toi, c’est moi (aussi)

English version here

DĂ©but juin, prĂšs de la moitiĂ© de l’équipe de Quadrant Conseil Ă©tait Ă  Copenhague pour cette nouvelle Ă©dition des journĂ©es europĂ©ennes de l’évaluation : trois jours, plus de 200 sessions et plus de 600 participants venant d’Europe et d’ailleurs.

La prĂ©cĂ©dente Ă©dition en prĂ©sentiel datait d’avant le COVID et la guerre en Europe, c’était Ă  Thessalonique en 2018. Cette Ă©dition avait consacrĂ© le retour Ă  des questions de valeurs et de justice sociale, aprĂšs la fiĂšvre mĂ©thodologique des annĂ©es 2000 et 2010. Une Ă©dition en ligne avait Ă©tĂ© organisĂ©e en septembre 2021 : celle-ci a permis d’écluser, au moins en partie, la profusion des communications opportunistes sur l’évaluation en temps de COVID, et sans doute d’ĂȘtre un peu plus dans le monde d’aprĂšs.

Le titre de cette édition était Evaluation at a watershed, littéralement avant la chute d'eau, qu'on pourrait traduire par "l'évaluation à un tournant". Sauf que, évidemment, l'image de la chute d'eau traduit bien mieux l'urgence de la situation, et la nécessité de pagayer à contre-courant.

copenhague MĂ©fiez-vous, c'est le Danemark quand mĂȘme, elle est fraĂźche.

Deux constats d’abord :

Les Ă©valuateurs et les Ă©valuatrices doivent changer

Il est toujours difficile de dire si une confĂ©rence internationale a portĂ© sur tel ou tel sujet, malgrĂ© les axes soutenus par les organisateurs (organisatrices, en rĂ©alitĂ©, merci Ă  elles !). Mais enfin, il y a une couleur, une tonalitĂ© qui se dĂ©gagent. À Maastricht, c’était la pluralitĂ© mĂ©thodologique ; Ă  Thessalonique, le retour aux valeurs et la justice sociale.

Pour cette annĂ©e, l'association souhaitait se concentrer sur quatre transformations: des systĂšmes d'Ă©valuation, des Ă©valuateurs et des Ă©valuatrices, de (et via) l'Ă©valuation, et dans les mĂ©thodologies. Ces sujets Ă©taient bien sĂ»r prĂ©sents Ă  Copenhague. On citera notamment les dĂ©bats pointus sur les mĂ©canismes causaux et les Ă©valuations d’impact alternatives ou complĂ©mentaires au contrefactuel (dont notre propre communication sur les principes de l’analyse de contribution) ; ou encore la prĂ©sence toujours forte de questions relatives aux valeurs et Ă  l’éthique. Les diffĂ©rentes approches transformationnelles Ă©taient Ă©galement trĂšs prĂ©sentes.

Le thĂšme central, cependant, c'Ă©tait bien la prise de conscience de l'urgence climatique, sociale, sociĂ©tale Ă  laquelle nous faisons collectivement face, et de la complexitĂ© des enjeux - ce qu'a parfaitement rappelĂ© le Directeur de l'Agence europĂ©enne de l'Environnement, Hans Bruyninckx, dans sa prĂ©sentation. En introduisant la notion de problĂšmes "super-vicieux", il rejette une bonne fois pour toutes l'idĂ©e qu'il y aurait des rĂ©ponses simples aux enjeux auxquels nous faisons face. Mieux : il invite les Ă©valuateurs et les Ă©valuatrices, non pas tant Ă  rendre compte du passĂ© qu'Ă  ĂȘtre des acteurs des transitions actuelles (concept qui nous est familier en France, mais absent jusqu'ici des dĂ©bats Ă©valuatifs).

Or, cette transition n'est pas si facile. Les Ă©valuateurs et les Ă©valuatrices peuvent eux-mĂȘmes ĂȘtre trĂšs conservateurs dans leurs pratiques, ou pris dans des routines, ou bien frileux (qu'on en juge Ă  ces milliers d'Ă©valuations de projet utilisant les critĂšres du DAC, quand bien mĂȘme en privĂ© les mĂȘmes les jugeraient inadĂ©quats). Pourtant, face Ă  l'urgence, face Ă  la complexitĂ© des transitions Ă  engager, les Ă©valuateurs et les Ă©valuatrices rĂ©unis semblaient comprendre qu'eux aussi devaient changer ; qu'ils et elles font partie des systĂšmes qui doivent Ă©voluer. Tom Ling l'a dit en introduction en des termes choisis : "Let’s entertain the possibility that we might be wrong" ("Envisageons l'Ă©ventualitĂ© que nous ayons tort"). On pourrait traduire cela de façon plus brutale : "il n'y a plus de neutralitĂ© dans ce monde. Il faut soit faire partie de la solution, ou bien vous faites partie du problĂšme".

Ce changement a Ă©tĂ© abordĂ© Ă  de multiples niveaux. Commençons peut-ĂȘtre par le plus difficile et le plus original dans cette confĂ©rence, c'est-Ă -dire des changements qui relĂšvent de l'intime. Le monde de l'Ă©valuation comme d'autres se complaĂźt depuis de nombreuses annĂ©es dĂ©jĂ  Ă  parler de complexitĂ© et de transformation – des mots Ă  la limite de l'effet de manche et qui souvent, rĂ©vĂ©laient un vide abyssal pour peu qu'on creuse un peu. Cette annĂ©e, c'est l'acronyme VUCA (pour VolatilitĂ©, Incertitude, ComplexitĂ© et AmbiguitĂ©) qui Ă©tait sur toutes les lĂšvres, pour rendre compte de l'Ă©tat de crise permanente dans lequel nous vivons.

vuca VUCA, une dragée pas facile à avaler... source inconnue

Cependant, s'intĂ©resser au complexe, c'est se lancer dans un dĂ©fi personnel. C'est par exemple apprendre Ă  naviguer dans l'incertitude lĂ  oĂč les Ă©valuateurs et les Ă©valuatrices aiment Ă  travers systĂšmes de suivi, modĂšles et autres mĂ©thodes crĂ©er de la certitude ; c'est accepter d'ĂȘtre soi-mĂȘme partie des systĂšmes qu'on Ă©tudie, ce qui invite Ă  ouvrir la focale des Ă©valuations, mais aussi Ă  abandonner des fausses postures d'indĂ©pendance ou d'objectivitĂ© ; c'est s'interroger sur ses propres lunettes et la façon dont elles affectent ce que les Ă©valuateurs et Ă©valuatrices regardent et commentent (et ce qu'ils et elles ne regardent pas) ; c'est se demander jusqu'Ă  quel point l'Ă©valuation n'est pas un ingrĂ©dient clĂ© du status quo actuel et de la difficultĂ© de faire rĂ©ellement changer les politiques publiques.

TrÚs bel exemple de ces évolutions du domaine de l'intime, la session de Barbara Schmidt-Abbey, Joan O'Donnell et Kirsten Bording Collins (qui remporte aussi le prix du plus grand nombre de w dans un titre) : Being Evaluation Practitioners In A Volatile And Uncertain World: What Do We Do When We Do What We Do? Elles insistent notamment sur la nécessaire réflexivité dans et sur la pratique pour la faire évoluer.

schmidt Barbara nous invite à penser de façon systématique ET systémique

DeuxiĂšme niveau de changement, ceux qui relĂšvent des relations que les Ă©valuateurs et les Ă©valuatrices entretiennent avec leur environnement. Durant ces trois jours, de trĂšs nombreuses mĂ©taphores ont Ă©tĂ© employĂ©es pour caractĂ©riser les rĂŽles qu'ils et elles doivent pouvoir prendre : L'Ă©valuateur/rice comme craft artisan, bricoleur, codesigner, partner, critical friend, knowledge broker, trustful companion... Dans tous les cas, dans un contexte d'incertitude maximale, l'Ă©valuateur ou l'Ă©valuatrice doit d'abord essayer de faire la bonne chose - et faire la bonne chose ça peut ĂȘtre une multitude de pratiques, bien au-delĂ  des rĂŽles classiques de l'Ă©valuation. C'est ainsi, soutient Martin Reynolds, que l'Ă©valuation peut devenir un rĂ©el service public (dirait-on, en France, un commun ? en tout cas nous on est bien d'accord).

TroisiĂšme niveau, essentiel enfin, c'est celui des systĂšmes et des initiatives dans lesquels les Ă©valuateurs et les Ă©valuatrices s'inscrivent : comment faire en sorte d'ĂȘtre au cƓur des dynamiques de changement, qu'elles soient institutionnelles, issues de collectifs d'organisations, communautaires ou citoyennes ? LĂ  oĂč la communautĂ© Ă©valuatrice se lamente un peu trop souvent que ses travaux ne soient pas suffisamment utilisĂ©s, il y avait Ă  Copenhague une vĂ©ritable remise en cause : comment, plutĂŽt, ĂȘtre lĂ  oĂč les changements se font maintenant, pour les accompagner comme nous savons le faire ? comment repĂ©rer les faiseurs et faiseuses de changement et les aider – mĂȘme lorsqu'ils ne demandent pas d'Ă©valuation ? comment rĂ©pondre Ă  des besoins auxquels les Ă©valuateurs et les Ă©valuatrices sauront rĂ©pondre, mĂȘme s'ils ne sont pas qualifiĂ©s d'Ă©valuatifs ?

Tous ces changements demandent enfin des Ă©volutions de connaissances (oĂč sont les concepts, thĂ©ories et cadres qui permettront de penser les transitions ?); de compĂ©tences (et notamment des savoir-ĂȘtre nĂ©cessaires pour impulser des dynamiques ou se faire entendre - grands absents des formations initiales et continues, plus centrĂ©es sur la mĂ©thode); mais aussi de posture : apprendre Ă  regarder l'avenir plutĂŽt que le passĂ©, par exemple (ou dans les mots de Stefano D'Errico et ses collĂšgues: "From what works? to what will work?"); ou encore assumer ses valeurs et s'engager moralement pour le changement ; accepter d'apporter son intuition experte sur les interventions menĂ©es, la façon de les concevoir et des les mettre en Ɠuvre (lĂ  oĂč notre lĂ©gitimitĂ© habituelle est dans les donnĂ©es que nous collectons et analysons) ; ou enfin apprendre Ă  transmettre, en profondeur, ce que nous tirons des Ă©valuations et de notre expĂ©rience accumulĂ©e aux acteurs du changement – qui a parlĂ© de rĂ©cits Ă  construire ?

miaou Leçon apprise : découper les chatons, c'est mal (Joan O'Donnell, Maynooth University)

Conclusion

Avec cette session 2022, les plus optimistes diront que la communautĂ© Ă©valuative europĂ©enne a amorcĂ© un "tournant sceptique" vis-Ă -vis de l'Ă©valuation, comme l'ont Ă©noncĂ© Peter Dahler-Larser et Estelle Raimondo. Elle commence (peut-ĂȘtre !) Ă  reconnaĂźtre que l'Ă©valuation n'est pas toujours une panacĂ©e, que les Ă©valuateurs et Ă©valuatrices ne font pas toujours la bonne chose, et qu'ils et elles doivent sans doute amorcer leur transition – ĂȘtre les agents du changement qu'ils et elles appellent de leurs vƓux. Pas facile... On pense Ă  feue Eleanor Chelimsky: il faut du courage pour ĂȘtre un·e Ă©valuateur/rice...

On a envie de croire que ce changement est pĂ©renne. Si c'Ă©tait le cas, on verra peut-ĂȘtre Ă  la prochaine EES celles et ceux qui manquaient le plus, c'est-Ă -dire ces acteurs du changement Ă©cologique, social ou sociĂ©tal, qui ont tout Ă  gagner de l'Ă©valuation mais restent Ă©trangement absent·es de ces sortes de confĂ©rences. Chiche!

Thomas Delahais

P.S. : EES se montrait peut-ĂȘtre pour la 1re fois cette annĂ©e sensible Ă  son bilan carbone. On pouvait venir en train (et on est pas les seuls), mais c'Ă©tait pas si facile ! Pourquoi pas la prochaine fois choisir une destination accessible au plus grand nombre et encourager Ă  venir en train, et laisser l'avion Ă  celles et ceux qui traversent des ocĂ©ans ?

Merci à Sébastien Galéa, Benoßt Simon et aux collÚgues de Quadrant Conseil pour leurs commentaires et suggestions sur ce texte!

faiseuse de changement Rare image d'une faiseuse de changement -une Ă©lue, en fait- perdue au milieu d'Ă©valuateurs et d'Ă©valuatrices

🃏 Cartographie des usages de l'Ă©valuation d'impact

mardi 01 novembre 2022

Quelle démarche pour une cartographie des usages de l'évaluation d'impact ?

📚 Trois articles d'Ă©valuation (nÂș8, 15 octobre 2022)

samedi 15 octobre 2022

Un numĂ©ro trĂšs trĂšs lutte – pour l'Ă©quitĂ© raciale, entre objectivistes et subjectivistes, et oldies but goodies pour faire entendre l'Ă©valuation dans un contexte politisĂ©.

📚 Évaluer les politiques locales d'Ă©galitĂ© femmes-hommes

mardi 04 octobre 2022

Publication

🚂 EES 2022: It’s not (only) you, it’s me (too)

dimanche 17 juillet 2022

Feedback on the European Evaluation Society Conference in Copenhagen

🚂 EES 2022 - C’est pas (que) toi, c’est moi (aussi)

mardi 12 juillet 2022

Retour sur la conférence de la société européenne d'évaluation à Copenhague

📚 Trois articles d'Ă©valuation (nÂș7, 15 juin 2022)

mercredi 15 juin 2022

Dans ce numéro, cinéma à tous les étages : La Revanche des Sith, Octobre rouge et 120 battements par minute... ou presque

🎙 L'Ă©valuation des contrats de ville

mercredi 01 juin 2022

Publication

📚 L'Ă©valuation en contexte de dĂ©veloppement

mardi 31 mai 2022

Publication

đŸŽ„ Cinq choses Ă  savoir sur les initiatives de transition

lundi 02 mai 2022

Vidéo

💡 Recherche et action publique : il faut ĂȘtre deux pour danser le tango

vendredi 25 mars 2022

Publication

📚 Trois articles d'Ă©valuation (nÂș6, 15 mars 2022)

mardi 15 mars 2022

Dans ce numéro, la cartographie des controverses rencontre la science comportementale, et la recherche l'action publique.

💡 Qu'attendre de la recherche pour Ă©clairer l'action publique

jeudi 20 janvier 2022

Publication

📚 Trois articles d'Ă©valuation (nÂș5, 15 dĂ©cembre 2021)

mercredi 15 décembre 2021

Numéro spécial Anthologie

Citations relatives Ă  l'Ă©valuation des politiques publiques

lundi 20 septembre 2021

Des citations inspirantes pour qui Ă©value.

📚 Trois articles d'Ă©valuation (nÂș4, 15 septembre 2021)

mercredi 15 septembre 2021

Dans ce numĂ©ro, Ă©valuation et bureaucratie, l'ultime combat, enquĂȘter avec d'autres ĂȘtres, et oldiesbutgoodies, on sauve le monde avec Bob Stake !

💡 Glossaires de l'Ă©valuation

dimanche 12 septembre 2021

Liste de glossaires

💡 7 bonnes raisons de prendre en compte l'Ă©galitĂ© entre les femmes et les hommes dans ma pratique d'Ă©valuation

vendredi 09 juillet 2021

Oldies but goodies (Karine Sage)

📚 Trois articles d'Ă©valuation (nÂș3, 15 mai 2021)

samedi 15 mai 2021

Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !

💡 Les Ă©valuations participatives, plus facile Ă  dire qu'Ă  faire

jeudi 29 avril 2021

Nouvel article publié (Thomas Delahais)

Quatre jeux de cartes d'Ă©valuation francophones

mardi 27 avril 2021

À l'occasion de la sortie de Strateval, nous revenons sur 3 autres jeux de cartes autour de l'Ă©valuation

💡 Qu'est-ce que l'analyse militante apporte Ă  l'Ă©valuation des politiques publiques ?

jeudi 08 avril 2021

Nouvel article publié (Marc Tevini)

📚 Trois articles d'Ă©valuation (nÂș2, 15 fĂ©vrier 2021)

lundi 15 février 2021

Dans ce numĂ©ro, Ă©valuation fĂ©ministe quĂ©saco, apprentissage et redevabilitĂ© mĂȘme combat ? et oldiesbutgoodies, des Ă©lĂ©ments pour une sociologie de l'Ă©valuation... C'est le sommaire de ce numĂ©ro 2.

đŸ“œ L'Ă©valuation des politiques sociales, de quoi parle-t-on ?

vendredi 15 janvier 2021

Introduction au séminaire de l'IRTS HDF du 26/01.

đŸ“œ L'analyse de contribution en pratique

mardi 15 décembre 2020

Introduction Ă  la formation Ă  l'analyse de contribution

📚 Trois articles d'Ă©valuation (nÂș1, 15 novembre 2020)

dimanche 15 novembre 2020

Dans ce numéro, plongée en pleine guerre froide avec la Realpolitik de l'évaluation, des idées pour professionnaliser l'évaluation, et oldiesbutgoodies, de quoi se demander ce que les évaluateurs et les évaluatrices défendent dans leur métier... C'est le sommaire de ce numéro 1.

đŸ“œ L'Ă©valuation participative, plus facile Ă  dire qu'Ă  faire

lundi 09 novembre 2020

Intervention de T Delahais au CongrÚs de la SEVAL organisé par le GREVAL à Fribourg, le 4 septembre 2020.

💡 En situation anormale, l'Ă©valuation doit devenir la norme

jeudi 29 octobre 2020

Contribution de T Delahais et M Tevini en réponse à l'appel de la SFE, "Ce que la crise sanitaire nous apprend sur l'utilité et les pratiques d'évaluation".

💡 Comment Ă©valuer la transition

vendredi 23 octobre 2020

Nouvel article publié (Thomas Delahais, Karine Sage, Vincent Honoré)

💡 Quels mĂ©canismes Ă  l'Ɠuvre dans les innovations ?

mardi 06 octobre 2020

Nouvel article publié (Agathe Devaux-Spatarakis)

📚 Trois articles d'Ă©valuation (v0, 30 juillet 2020)

jeudi 30 juillet 2020

À l'honneur pour cette Ă©dition, la sagesse pratique des Ă©valuateurs et des Ă©valuatrices, soit « la capacitĂ© de faire les bons choix, au bon moment, pour les bonnes raisons » ; ce que les mots et concepts de l'Ă©valuation perdent et gagnent Ă  leur traduction d'une langue Ă  l'autre et oldies but goodies, une piqĂ»re de rappel quant Ă  la vocation dĂ©mocratique de l'Ă©valuation en France... C'est le sommaire de ce numĂ©ro 0.