livre 3 articles – 30 juillet 2020 – n°0

À l'honneur pour cette édition, la sagesse pratique des évaluateurs et des évaluatrices, soit « la capacité de faire les bons choix, au bon moment, pour les bonnes raisons » ; ce que les mots et concepts de l'évaluation perdent et gagnent à leur traduction d'une langue à l'autre et #oldiesbutgoodies, une piqûre de rappel quant à la vocation démocratique de l'évaluation en France... C'est le sommaire de ce numéro 0.

L'évaluation de programme axée sur la rencontre des acteurs, une sagesse pratique

Hurteau et al., L'évaluation axée sur la rencontre des acteurs

Ce livre représente un pas considérable dans la compréhension et l'opérationnalisation du concept de « sagesse pratique », et en français qui plus est !

La sagesse pratique peut être définie comme « la capacité de faire les bons choix, au bon moment, pour les bonnes raisons ». Pour les jeunes professionnel·les, l'entrée dans l'évaluation se fait souvent par l'acquisition et la mise en œuvre de méthodes, de compétences ou de savoir-faire. Être évaluateur ne se résume pourtant pas à suivre des protocoles ou à mettre en œuvre des techniques. On pourrait même dire que ce n'est pas l'essentiel ! Or, il est souvent difficile d'exprimer le "je ne sais quoi" qui fait la différence entre un "bon évaluateur" et un autre, qui réalisent pourtant les mêmes tâches.

Dans un de nos chapitres préférés, De la sagesse pratique à une pratique empreinte de sagesse, Arnold Love explique pourquoi il considère la sagesse pratique comme une « vertu fondamentale ». Introduit par Ernest House et Thomas Schwandt dans le champ de l'évaluation, ce concept (issu de la pensée d'Aristote et qui a renouvelé récemment la sociologie des professions) peut être définie comme "la capacité de faire les bons choix, au bon moment, pour les bonnes raisons". Autrement dit, si l'évaluateur peut mobiliser dans son activité un ensemble de connaissances et de techniques, ce qui va vraiment faire la différence, c'est sa capacité à les mobiliser à bon escient dans le vrai monde, au service des finalités de l'évaluation, et en particulier de son utilité.

S'appuyant sur E. House, Love fait l'analogie entre la pratique que développent les évaluateurs chevronnés et l'expertise clinique:

[…] Ces évaluateurs reconnaissent les tendances (patterns), perçoivent et cernent les situations, s'appuient sur leur intuition, délibèrent sur les actions envisageables, font preuve d'empathie, contrebalancent des objectifs contradictoires, improvisent, portent des jugements et ajustent leur réaction afin qu'elle soit appropriée au moment et aux circonstances. En bref, la sagesse pratique est dépendante du contexte et elle opère dans une zone grise […]

Étant donnée sa dimension centrale dans l'évaluation, A. Love appelle les évaluateurs et les évaluatrices à mieux cultiver la sagesse pratique dès la formation initiale mais aussi tout du long de la vie. Il s'agit ainsi d'intégrer des des questionnements (éthiques, par exemple), introspectifs et collectifs, qui favorisent la réflexivité et le développement professionnel.

François Dumaine, évaluateur canadien travaillant au niveau fédéral, propose un bel exemple d'une telle réflexivité dans son chapitre, La Traversée du Funambule, qui constitue une analyse éclairante sur la façon dont réflexion théorique et activité pratique interagissent dans l'évolution professionnelle de l'évaluateur :

Trop souvent et largement par la force des choses, les praticiens de l'évaluation, particulièrement au niveau fédéral, conceptualisent leur travail comme étant centré sur la collecte et l'analyse de données probantes. Le discours entourant les différents modèles d'évaluation force une réflexion élargie qui s'attarde à des questions beaucoup plus fondamentales sur ce que représente véritablement l'évaluation de programme dans un processus décisionnel.

F. Dumaine montre comment, dans le contexte canadien, l'évaluation « s'apparente d'abord et avant tout au développement de politiques publiques, bien plus qu'à une fonction de mesure d'impact ». Mais dans cette fonction, l'évaluation n'est pas seule, elle intervient parmi de nombreuses autres pratiques et « on ne s'attend pas à ce que les gestionnaires et hauts fonctionnaires d'un ministère ou d'une agence soient en mesure de comprendre le processus et les nuances méthodologiques entre ces différents types de recherche ». Dans ce contexte, l'évaluation doit « établir sa niche et s'assurer qu'elle est comprise et acceptée parmi ceux pour qui l'évaluation est préparée ». Ce que décrit ainsi Dumaine, c'est la façon dont l'évaluateur peut effectivement « établir sa niche », en se positionnant comme « conseiller crédible », c'est-à-dire en qui on a confiance pour rendre compte de la mise en œuvre et des conséquences des politiques, mais aussi pour amener les résultats d'une façon qui prenne en compte la culture de l'organisation.

La traversée du funambule, c'est celle qui consiste justement à créer les conditions de sa crédibilité, elle-même nécessaire à son utilité – et au risque de la chute :

Comme l'exigent les règles d'éthique en recherche, un évaluateur devra toujours s'opposer à toutes actions qui auraient pour conséquence de biaiser les résultats de l'évaluation […] On doit cependant réaliser que si le processus en vient à soulever un tel dilemme, c'est que l'évaluation dans son ensemble est déjà un échec. […] Si les décideurs ont décidé qu'ils n'étaient pas prêts à entendre l'évaluateur au point de lui demander de modifier les constats de l'évaluation, il n'y a déjà plus d'évaluation en cours. On doit alors sauver la réputation de l'évaluateur, mais il sera, en toute probabilité, impossible de sauver l'évaluation elle-même.

L'article de Marthe Hurteau, enfin, Quand la rencontre entre les acteurs ne se produit pas, nous a touché personnellement puisqu'elle parle des situations dans lesquelles des rapports inadéquats entre les acteurs font avorter l'évaluation :

Au cours de ma carrière, j'ai été témoin des abus de pouvoir de personnes en autorité et j'ai moi-même été, je l'avoue, coincée par de tels agissements. C'est en parlant ouvertement de cette situation que plusieurs collègues sont venus à ma rencontre pour me dire qu'ils avaient vécu des situations similaires. Ainsi, si […] je garde un très bon souvenir de l'ensemble des mandats que j'ai réalisés, je reconnais avoir dû faire face à des réactions difficiles et même hostiles de la part de quelques clients et dans tous les cas, l'expérience s'est avérée éprouvante.

Pour Marthe Hurteau, l'évaluation est une « rencontre » entre des acteurs, qui apprennent à se faire confiance. De la répétition des échanges et du climat de collaboration qui s'installent, va dépendre la crédibilité de l'évaluation, et in fine, son utilité.

Autrement dit, les échanges interindividuels ou collectifs, les bonnes relations, la façon de travailler ensemble ne sont pas des éléments périphériques à l'évaluation, mais essentiels. Dès lors, nous autres évaluateurs/rices apprennons tous – cela fait partie de notre sagesse pratique – à créer les conditions de cette rencontre.

Marthe Hurteau revient sur les nombreuses façons de susciter les bonnes conditions de l'évaluation. Mais que se passe-t-il quand, malgré tous nos efforts, ces conditions de collaboration et de confiance réciproque ne se matérialisent pas ? Quand l'évaluation devient une souffrance ? Il faut alors, d'abord et avant tout, reconnaître le problème, mais aussi sans doute apprendre à mieux faire confiance à notre intuition :

[Les évaluateurs qui se sont retrouvés en situation hostile] m'ont tous confirmé qu'ils auraient dû écouter leur intuition. Ils savaient dès le point de départ que “ça se ne serait pas facile”, mais ils se sont littéralement convaincus qu'ils seraient capables de gérer la situation grâce à à leur expérience, leur expertise et en faisant des concessions. Cependant, la situation s'est vite détériorée et il a été difficile, sinon impossible, de la redresser. Ainsi, prêtons oreille à notre intuition dite “experte“ et nous pourrons la valider par la suite.

Lire l'introduction et la 4e de couverture ici.

Hurteau, M., Bourgeois, I. et Houle, S., L'évaluation de programme axée sur la rencontre des acteurs, une sagesse pratique, Presses Universitaires du Québec, 2018

Evaluation, Language, and Untranslatables

Peter Dahler-Larsen

Cet article de P. Dahler-Larsen (en photo) et de 10 autres auteur·es explore la question de la traduction des termes et des concepts de l'évaluation dans un certain nombre de langues européennes. À travers de nombreux exemples, il montre que l'enjeu n'est pas seulement la perte de certaines subtilités. En réalité, par le jeu des résonances entre les langues, des choix de traduction ou des contextes d'utilisation, ce sont des sens nouveaux qui apparaissent.

Bien qu'il soit concentré sur les aspects de traduction, cet article amène à réfléchir au sens des mots, et à la façon dont, à leur tour, les termes choisis et le sens qui leur est affecté influence la vision de ce qu'est l'évaluation, de ce qu'elle peut, et de la façon dont elle est menée. Au final, « certains termes qui semblent similaires avant et après traduction sont en fait de faux amis, parce que le sens du nouveau terme est plus étroit, spécifique […] que le terme non traduit ou d'autres termes qui auraient pu être choisis. »

L'exemple en italien du terme « impact » est éclairant. En italien, impatto est utilisé pour parler d'une collision ou, dans un sens métaphorique, une influence. C'est un terme qui renvoie à l'idée de quelque chose de violent et de négatif.

Dans le language évaluatif italien, ce terme a été introduit avec l'évaluation d'impact environnemental, qui porte sur des interventions ayant un impact important sont amenées à être modifiées ou à être mieux régulées. Ici, un impact important renvoie à quelque chose qui affecte négativement l'environnement (pollution, désertification, etc.).

Plus récemment cependant, ce terme a été utilisé dans un sens positif, cette fois, pour désigner l'impact au sens contrefactuel. Or, le passage du négatif au positif, et d'une vision très large des impacts à une vision très étroite (l'attribution d'un changement au regard d'un indicateur particulier à une intervention) semble être passés inaperçus, selon les auteur·es.

On fait forcément le parallèle avec le français de France, dans lequel le terme « impact » fait l'objet d'un travail de définition dans les années 1990 (rappelé ici), mais sans empêcher dans les années 2000 la confiscation du terme par les randomistas, comme l'a établi notre collègue A. Devaux-Spatarakis dans sa thèse. Aujourd'hui, la notion d'"impact social" présente dans l'économie sociale et solidaire, ou de "finance à impact positif" brouillent encore les pistes, et invitent à débattre plus avant de termes comme celui-ci, très présents dans le débat public.

Au-delà des éléments théoriques, la vingtaine d'exemples donnés, dans de nombreuses langues (en finnois, en italien, en espagnol, etc.) est très éclairante et apporte une dimension concrète très appréciable à l'article.

Dahler-Larsen, P. et al. (2017). Evaluation, Language, and Untranslatables. American Journal of Evaluation. https://doi.org/10.1177/1098214016678682

Téléchargeable à cette adresse.

L'Ă©valuation des politiques et des actions publiques

Rapport Viveret sur l'Ă©valuation des politiques et des actions publiques

À l'heure où l'évaluation des politiques publiques redevient un « credo cher » à nos dirigeants, il n'est pas inutile de se replonger dans le rapport de Patrick Viveret au premier ministre (1989), qui fonde l'ambition démocratique de l'évaluation en France, à rebours de ce qui se joue alors dans d'autres pays (la redevabilité vis-à-vis de l'argent du contribuable en Grande-Bretagne, par exemple).

Le cœur de l'évaluation, P. Viveret le rappelle justement, c'est de « [mettre] en œuvre une capacité de jugement. Or le propre d'une société démocratique est d'entourer tout jugement d'un maximum de garanties, afin d'en éviter les abus. » Ces garanties, ce sont celles de la compétence ("sur un sujet qui ne souffre pas la médiocrité ou l'à peu-près"), de l'indépendance, de la transparence et du pluralisme ("on ne peut juger d'un point de vue unique").

Le rapport de Patrick Viveret n'a, et c'est troublant, rien perdu de son acuité sur les enjeux de la société démocratique et de l'action publique. Viveret voit dans l'évaluation un acte politique plutôt que scientifique ou scientiste. C'est un moyen de partage du pouvoir et du savoir dans la cité, au service tant de l'efficacité de l'action publique que de la logique démocratique « dont le but ultime est l'accroissement de la possibilité de débat et d'intervention des citoyens dans le champ des politiques publiques ». C'est de la tension entre ces deux logiques que peut naître l'amélioration de l'action publique au service de l'intérêt général.

Le rapport ne fait pas mystère du fait qu'il s'agit d'un travail de longue haleine, avec des hauts et des bas. Le programme reste cependant stimulant:

Passer d'une culture exclusivement centrée sur le contrôle à une culture de l'évaluation, ne plus considérer les citoyens comme des “assujettis” mais comme des acteurs de plein droit de la rénovation des services publics et jouer la carte d'une mobilisation de l'intelligence des agents publics plutôt que celle de l'obéissance des fonctionnaires est une entreprise de longue haleine. Aussi est-il nécessaire de définir une politique de l'évaluation et de l'inscrire dans la durée.

Un rapport à télécharger ici.

Et aussi...


Ce numéro 0 a été préparé par Thomas Delahais. Pour vous abonner, cliquez ici (4 numéros par an).

EES 2022 — It’s not (only) you, it’s me (too)

dimanche 17 juillet 2022

Feedback on the European Evaluation Society Conference in Copenhagen

🚂 EES 2022 - C’est pas (que) toi, c’est moi (aussi)

mardi 12 juillet 2022

Retour sur la conférence de la société européenne d'évaluation à Copenhague

đź“š Trois articles d'Ă©valuation (nÂş7, 15 juin 2022)

mercredi 15 juin 2022

Dans ce numéro, cinéma à tous les étages : La Revanche des Sith, Octobre rouge et 120 battements par minute... ou presque

🎙 L'évaluation des contrats de ville

mercredi 01 juin 2022

Publication

📚 L'évaluation en contexte de développement

mardi 31 mai 2022

Publication

🎥 Cinq choses à savoir sur les initiatives de transition

lundi 02 mai 2022

Vidéo

đź’ˇ Recherche et action publique : il faut ĂŞtre deux pour danser le tango

vendredi 25 mars 2022

Publication

đź“š Trois articles d'Ă©valuation (nÂş6, 15 mars 2022)

mardi 15 mars 2022

Dans ce numéro, la cartographie des controverses rencontre la science comportementale, et la recherche l'action publique.

đź’ˇ Qu'attendre de la recherche pour Ă©clairer l'action publique

jeudi 20 janvier 2022

Publication

📚 Trois articles d'évaluation (nº5, 15 décembre 2021)

mercredi 15 décembre 2021

Numéro spécial Anthologie

Citations relatives Ă  l'Ă©valuation des politiques publiques

lundi 20 septembre 2021

Des citations inspirantes pour qui Ă©value.

đź“š Trois articles d'Ă©valuation (nÂş4, 15 septembre 2021)

mercredi 15 septembre 2021

Dans ce numéro, évaluation et bureaucratie, l'ultime combat, enquêter avec d'autres êtres, et oldiesbutgoodies, on sauve le monde avec Bob Stake !

đź’ˇ Glossaires de l'Ă©valuation

dimanche 12 septembre 2021

Liste de glossaires

💡 7 bonnes raisons de prendre en compte l'égalité entre les femmes et les hommes dans ma pratique d'évaluation

vendredi 09 juillet 2021

Oldies but goodies (Karine Sage)

đź“š Trois articles d'Ă©valuation (nÂş3, 15 mai 2021)

samedi 15 mai 2021

Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !

đź’ˇ Les Ă©valuations participatives, plus facile Ă  dire qu'Ă  faire

jeudi 29 avril 2021

Nouvel article publié (Thomas Delahais)

Quatre jeux de cartes d'Ă©valuation francophones

mardi 27 avril 2021

Ă€ l'occasion de la sortie de Strateval, nous revenons sur 3 autres jeux de cartes autour de l'Ă©valuation

đź’ˇ Qu'est-ce que l'analyse militante apporte Ă  l'Ă©valuation des politiques publiques ?

jeudi 08 avril 2021

Nouvel article publié (Marc Tevini)

📚 Trois articles d'évaluation (nº2, 15 février 2021)

lundi 15 février 2021

Dans ce numéro, évaluation féministe quésaco, apprentissage et redevabilité même combat ? et oldiesbutgoodies, des éléments pour une sociologie de l'évaluation... C'est le sommaire de ce numéro 2.

đź“˝ L'Ă©valuation des politiques sociales, de quoi parle-t-on ?

vendredi 15 janvier 2021

Introduction au séminaire de l'IRTS HDF du 26/01.

đź“˝ L'analyse de contribution en pratique

mardi 15 décembre 2020

Introduction Ă  la formation Ă  l'analyse de contribution

đź“š Trois articles d'Ă©valuation (nÂş1, 15 novembre 2020)

dimanche 15 novembre 2020

Dans ce numéro, plongée en pleine guerre froide avec la Realpolitik de l'évaluation, des idées pour professionnaliser l'évaluation, et oldiesbutgoodies, de quoi se demander ce que les évaluateurs et les évaluatrices défendent dans leur métier... C'est le sommaire de ce numéro 1.

đź“˝ L'Ă©valuation participative, plus facile Ă  dire qu'Ă  faire

lundi 09 novembre 2020

Intervention de T Delahais au Congrès de la SEVAL organisé par le GREVAL à Fribourg, le 4 septembre 2020.

đź’ˇ En situation anormale, l'Ă©valuation doit devenir la norme

jeudi 29 octobre 2020

Contribution de T Delahais et M Tevini en réponse à l'appel de la SFE, "Ce que la crise sanitaire nous apprend sur l'utilité et les pratiques d'évaluation".

đź’ˇ Comment Ă©valuer la transition

vendredi 23 octobre 2020

Nouvel article publié (Thomas Delahais, Karine Sage, Vincent Honoré)

💡 Quels mécanismes à l'œuvre dans les innovations ?

mardi 06 octobre 2020

Nouvel article publié (Agathe Devaux-Spatarakis)

đź“š Trois articles d'Ă©valuation (v0, 30 juillet 2020)

jeudi 30 juillet 2020

À l'honneur pour cette édition, la sagesse pratique des évaluateurs et des évaluatrices, soit « la capacité de faire les bons choix, au bon moment, pour les bonnes raisons » ; ce que les mots et concepts de l'évaluation perdent et gagnent à leur traduction d'une langue à l'autre et oldies but goodies, une piqûre de rappel quant à la vocation démocratique de l'évaluation en France... C'est le sommaire de ce numéro 0.