3 articles – 30 juillet 2020 – n°0

À l'honneur pour cette édition, la sagesse pratique des évaluateurs et des évaluatrices, soit « la capacité de faire les bons choix, au bon moment, pour les bonnes raisons » ; ce que les mots et concepts de l'évaluation perdent et gagnent à leur traduction d'une langue à l'autre et #oldiesbutgoodies, une piqûre de rappel quant à la vocation démocratique de l'évaluation en France... C'est le sommaire de ce numéro 0.

L'évaluation de programme axée sur la rencontre des acteurs, une sagesse pratique

Ce livre représente un pas considérable dans la compréhension et l'opérationnalisation du concept de « sagesse pratique », et en français qui plus est !

La sagesse pratique peut être définie comme « la capacité de faire les bons choix, au bon moment, pour les bonnes raisons ». Pour les jeunes professionnel·les, l'entrée dans l'évaluation se fait souvent par l'acquisition et la mise en œuvre de méthodes, de compétences ou de savoir-faire. Être évaluateur ne se résume pourtant pas à suivre des protocoles ou à mettre en œuvre des techniques. On pourrait même dire que ce n'est pas l'essentiel ! Or, il est souvent difficile d'exprimer le "je ne sais quoi" qui fait la différence entre un "bon évaluateur" et un autre, qui réalisent pourtant les mêmes tâches.

Dans un de nos chapitres préférés, De la sagesse pratique à une pratique empreinte de sagesse, Arnold Love explique pourquoi il considère la sagesse pratique comme une « vertu fondamentale ». Introduit par Ernest House et Thomas Schwandt dans le champ de l'évaluation, ce concept (issu de la pensée d'Aristote et qui a renouvelé récemment la sociologie des professions) peut être définie comme "la capacité de faire les bons choix, au bon moment, pour les bonnes raisons". Autrement dit, si l'évaluateur peut mobiliser dans son activité un ensemble de connaissances et de techniques, ce qui va vraiment faire la différence, c'est sa capacité à les mobiliser à bon escient dans le vrai monde, au service des finalités de l'évaluation, et en particulier de son utilité.

S'appuyant sur E. House, Love fait l'analogie entre la pratique que développent les évaluateurs chevronnés et l'expertise clinique:

[…] Ces évaluateurs reconnaissent les tendances (patterns), perçoivent et cernent les situations, s'appuient sur leur intuition, délibèrent sur les actions envisageables, font preuve d'empathie, contrebalancent des objectifs contradictoires, improvisent, portent des jugements et ajustent leur réaction afin qu'elle soit appropriée au moment et aux circonstances. En bref, la sagesse pratique est dépendante du contexte et elle opère dans une zone grise […]

Étant donnée sa dimension centrale dans l'évaluation, A. Love appelle les évaluateurs et les évaluatrices à mieux cultiver la sagesse pratique dès la formation initiale mais aussi tout du long de la vie. Il s'agit ainsi d'intégrer des des questionnements (éthiques, par exemple), introspectifs et collectifs, qui favorisent la réflexivité et le développement professionnel.

François Dumaine, évaluateur canadien travaillant au niveau fédéral, propose un bel exemple d'une telle réflexivité dans son chapitre, La Traversée du Funambule, qui constitue une analyse éclairante sur la façon dont réflexion théorique et activité pratique interagissent dans l'évolution professionnelle de l'évaluateur :

Trop souvent et largement par la force des choses, les praticiens de l'évaluation, particulièrement au niveau fédéral, conceptualisent leur travail comme étant centré sur la collecte et l'analyse de données probantes. Le discours entourant les différents modèles d'évaluation force une réflexion élargie qui s'attarde à des questions beaucoup plus fondamentales sur ce que représente véritablement l'évaluation de programme dans un processus décisionnel.

F. Dumaine montre comment, dans le contexte canadien, l'évaluation « s'apparente d'abord et avant tout au développement de politiques publiques, bien plus qu'à une fonction de mesure d'impact ». Mais dans cette fonction, l'évaluation n'est pas seule, elle intervient parmi de nombreuses autres pratiques et « on ne s'attend pas à ce que les gestionnaires et hauts fonctionnaires d'un ministère ou d'une agence soient en mesure de comprendre le processus et les nuances méthodologiques entre ces différents types de recherche ». Dans ce contexte, l'évaluation doit « établir sa niche et s'assurer qu'elle est comprise et acceptée parmi ceux pour qui l'évaluation est préparée ». Ce que décrit ainsi Dumaine, c'est la façon dont l'évaluateur peut effectivement « établir sa niche », en se positionnant comme « conseiller crédible », c'est-à-dire en qui on a confiance pour rendre compte de la mise en œuvre et des conséquences des politiques, mais aussi pour amener les résultats d'une façon qui prenne en compte la culture de l'organisation.

La traversée du funambule, c'est celle qui consiste justement à créer les conditions de sa crédibilité, elle-même nécessaire à son utilité – et au risque de la chute :

Comme l'exigent les règles d'éthique en recherche, un évaluateur devra toujours s'opposer à toutes actions qui auraient pour conséquence de biaiser les résultats de l'évaluation […] On doit cependant réaliser que si le processus en vient à soulever un tel dilemme, c'est que l'évaluation dans son ensemble est déjà un échec. […] Si les décideurs ont décidé qu'ils n'étaient pas prêts à entendre l'évaluateur au point de lui demander de modifier les constats de l'évaluation, il n'y a déjà plus d'évaluation en cours. On doit alors sauver la réputation de l'évaluateur, mais il sera, en toute probabilité, impossible de sauver l'évaluation elle-même.

L'article de Marthe Hurteau, enfin, Quand la rencontre entre les acteurs ne se produit pas, nous a touché personnellement puisqu'elle parle des situations dans lesquelles des rapports inadéquats entre les acteurs font avorter l'évaluation :

Au cours de ma carrière, j'ai été témoin des abus de pouvoir de personnes en autorité et j'ai moi-même été, je l'avoue, coincée par de tels agissements. C'est en parlant ouvertement de cette situation que plusieurs collègues sont venus à ma rencontre pour me dire qu'ils avaient vécu des situations similaires. Ainsi, si […] je garde un très bon souvenir de l'ensemble des mandats que j'ai réalisés, je reconnais avoir dû faire face à des réactions difficiles et même hostiles de la part de quelques clients et dans tous les cas, l'expérience s'est avérée éprouvante.

Pour Marthe Hurteau, l'évaluation est une « rencontre » entre des acteurs, qui apprennent à se faire confiance. De la répétition des échanges et du climat de collaboration qui s'installent, va dépendre la crédibilité de l'évaluation, et in fine, son utilité.

Autrement dit, les échanges interindividuels ou collectifs, les bonnes relations, la façon de travailler ensemble ne sont pas des éléments périphériques à l'évaluation, mais essentiels. Dès lors, nous autres évaluateurs/rices apprennons tous – cela fait partie de notre sagesse pratique – à créer les conditions de cette rencontre.

Marthe Hurteau revient sur les nombreuses façons de susciter les bonnes conditions de l'évaluation. Mais que se passe-t-il quand, malgré tous nos efforts, ces conditions de collaboration et de confiance réciproque ne se matérialisent pas ? Quand l'évaluation devient une souffrance ? Il faut alors, d'abord et avant tout, reconnaître le problème, mais aussi sans doute apprendre à mieux faire confiance à notre intuition :

[Les évaluateurs qui se sont retrouvés en situation hostile] m'ont tous confirmé qu'ils auraient dû écouter leur intuition. Ils savaient dès le point de départ que “ça se ne serait pas facile”, mais ils se sont littéralement convaincus qu'ils seraient capables de gérer la situation grâce à à leur expérience, leur expertise et en faisant des concessions. Cependant, la situation s'est vite détériorée et il a été difficile, sinon impossible, de la redresser. Ainsi, prêtons oreille à notre intuition dite “experte“ et nous pourrons la valider par la suite.

Lire l'introduction et la 4e de couverture ici.

Hurteau, M., Bourgeois, I. et Houle, S., L'évaluation de programme axée sur la rencontre des acteurs, une sagesse pratique, Presses Universitaires du Québec, 2018

Evaluation, Language, and Untranslatables

Cet article de P. Dahler-Larsen (en photo) et de 10 autres auteur·es explore la question de la traduction des termes et des concepts de l'évaluation dans un certain nombre de langues européennes. À travers de nombreux exemples, il montre que l'enjeu n'est pas seulement la perte de certaines subtilités. En réalité, par le jeu des résonances entre les langues, des choix de traduction ou des contextes d'utilisation, ce sont des sens nouveaux qui apparaissent.

Bien qu'il soit concentré sur les aspects de traduction, cet article amène à réfléchir au sens des mots, et à la façon dont, à leur tour, les termes choisis et le sens qui leur est affecté influence la vision de ce qu'est l'évaluation, de ce qu'elle peut, et de la façon dont elle est menée. Au final, « certains termes qui semblent similaires avant et après traduction sont en fait de faux amis, parce que le sens du nouveau terme est plus étroit, spécifique […] que le terme non traduit ou d'autres termes qui auraient pu être choisis. »

L'exemple en italien du terme « impact » est éclairant. En italien, impatto est utilisé pour parler d'une collision ou, dans un sens métaphorique, une influence. C'est un terme qui renvoie à l'idée de quelque chose de violent et de négatif.

Dans le language évaluatif italien, ce terme a été introduit avec l'évaluation d'impact environnemental, qui porte sur des interventions ayant un impact important sont amenées à être modifiées ou à être mieux régulées. Ici, un impact important renvoie à quelque chose qui affecte négativement l'environnement (pollution, désertification, etc.).

Plus récemment cependant, ce terme a été utilisé dans un sens positif, cette fois, pour désigner l'impact au sens contrefactuel. Or, le passage du négatif au positif, et d'une vision très large des impacts à une vision très étroite (l'attribution d'un changement au regard d'un indicateur particulier à une intervention) semble être passés inaperçus, selon les auteur·es.

On fait forcément le parallèle avec le français de France, dans lequel le terme « impact » fait l'objet d'un travail de définition dans les années 1990 (rappelé ici), mais sans empêcher dans les années 2000 la confiscation du terme par les randomistas, comme l'a établi notre collègue A. Devaux-Spatarakis dans sa thèse. Aujourd'hui, la notion d'"impact social" présente dans l'économie sociale et solidaire, ou de "finance à impact positif" brouillent encore les pistes, et invitent à débattre plus avant de termes comme celui-ci, très présents dans le débat public.

Au-delà des éléments théoriques, la vingtaine d'exemples donnés, dans de nombreuses langues (en finnois, en italien, en espagnol, etc.) est très éclairante et apporte une dimension concrète très appréciable à l'article.

Dahler-Larsen, P. et al. (2017). Evaluation, Language, and Untranslatables. American Journal of Evaluation. https://doi.org/10.1177/1098214016678682

Téléchargeable à cette adresse.

L'évaluation des politiques et des actions publiques

À l'heure où l'évaluation des politiques publiques redevient un « credo cher » à nos dirigeants, il n'est pas inutile de se replonger dans le rapport de Patrick Viveret au premier ministre (1989), qui fonde l'ambition démocratique de l'évaluation en France, à rebours de ce qui se joue alors dans d'autres pays (la redevabilité vis-à-vis de l'argent du contribuable en Grande-Bretagne, par exemple).

Le cœur de l'évaluation, P. Viveret le rappelle justement, c'est de « [mettre] en œuvre une capacité de jugement. Or le propre d'une société démocratique est d'entourer tout jugement d'un maximum de garanties, afin d'en éviter les abus. » Ces garanties, ce sont celles de la compétence ("sur un sujet qui ne souffre pas la médiocrité ou l'à peu-près"), de l'indépendance, de la transparence et du pluralisme ("on ne peut juger d'un point de vue unique").

Le rapport de Patrick Viveret n'a, et c'est troublant, rien perdu de son acuité sur les enjeux de la société démocratique et de l'action publique. Viveret voit dans l'évaluation un acte politique plutôt que scientifique ou scientiste. C'est un moyen de partage du pouvoir et du savoir dans la cité, au service tant de l'efficacité de l'action publique que de la logique démocratique « dont le but ultime est l'accroissement de la possibilité de débat et d'intervention des citoyens dans le champ des politiques publiques ». C'est de la tension entre ces deux logiques que peut naître l'amélioration de l'action publique au service de l'intérêt général.

Le rapport ne fait pas mystère du fait qu'il s'agit d'un travail de longue haleine, avec des hauts et des bas. Le programme reste cependant stimulant:

Passer d'une culture exclusivement centrée sur le contrôle à une culture de l'évaluation, ne plus considérer les citoyens comme des “assujettis” mais comme des acteurs de plein droit de la rénovation des services publics et jouer la carte d'une mobilisation de l'intelligence des agents publics plutôt que celle de l'obéissance des fonctionnaires est une entreprise de longue haleine. Aussi est-il nécessaire de définir une politique de l'évaluation et de l'inscrire dans la durée.

Un rapport à télécharger ici.

Et aussi...

• Une tribune, récemment parue dans le Monde, rappelle que « L’évaluation des politiques publiques, loin d’être un luxe, est un moteur essentiel de la démocratie ».
• C'est a priori une première en France, une évaluation du dispositif de lutte contre la radicalisation a fait l'objet d'une consultation en juin par le ministère de l'Intérieur. À ce sujet on peut rappeler le travail de Tom Ling et al. pour développer un cadre de mesure des changements dans le domaine de la lutte contre l'extrémisme violent, qui avait été récompensé en 2018 par la Société européenne d'évaluation.
• Un rapport de Bruno Acar et Xavier Giguet sur L'évaluation des politiques partagées entre l'État et les collectivités territoriales rappelle la nécessité de construire une évaluation conjointe dans les territoires, sur le long terme, en recréant de l'expertise territoriale publique.

---

Ce numéro 0 a été préparé par Thomas Delahais. Pour vous abonner, cliquez ici (4 numéros par an).