livre 3 articles ‚Äst30 juillet 2020 ‚Ästn¬į0

√Ä l'honneur pour cette √©dition, la sagesse pratique des √©valuateurs et des √©valuatrices, soit ¬ę¬†la capacit√© de faire les bons choix, au bon moment, pour les bonnes raisons¬†¬Ľ ; ce que les mots et concepts de l'√©valuation perdent et gagnent √† leur traduction d'une langue √† l'autre et #oldiesbutgoodies, une piq√Ľre de rappel quant √† la vocation d√©mocratique de l'√©valuation en France... C'est le sommaire de ce num√©ro 0.

L'évaluation de programme axée sur la rencontre des acteurs, une sagesse pratique

Hurteau et al., L'évaluation axée sur la rencontre des acteurs

Ce livre repr√©sente un pas consid√©rable dans la compr√©hension et l'op√©rationnalisation du concept de ¬ę¬†sagesse pratique¬†¬Ľ, et en fran√ßais qui plus est !

La sagesse pratique peut √™tre d√©finie comme ¬ę¬†la capacit√© de faire les bons choix, au bon moment, pour les bonnes raisons¬†¬Ľ. Pour les jeunes professionnel¬∑les, l'entr√©e dans l'√©valuation se fait souvent par l'acquisition et la mise en Ňďuvre de m√©thodes, de comp√©tences ou de savoir-faire. √ätre √©valuateur ne se r√©sume pourtant pas √† suivre des protocoles ou √† mettre en Ňďuvre des techniques. On pourrait m√™me dire que ce n'est pas l'essentiel ! Or, il est souvent difficile d'exprimer le "je ne sais quoi" qui fait la diff√©rence entre un "bon √©valuateur" et un autre, qui r√©alisent pourtant les m√™mes t√Ęches.

Dans un de nos chapitres pr√©f√©r√©s, De la sagesse pratique √† une pratique empreinte de sagesse, Arnold Love explique pourquoi il consid√®re la sagesse pratique comme une ¬ę¬†vertu fondamentale¬†¬Ľ. Introduit par Ernest House et Thomas Schwandt dans le champ de l'√©valuation, ce concept (issu de la pens√©e d'Aristote et qui a renouvel√© r√©cemment la sociologie des professions) peut √™tre d√©finie comme "la capacit√© de faire les bons choix, au bon moment, pour les bonnes raisons". Autrement dit, si l'√©valuateur peut mobiliser dans son activit√© un ensemble de connaissances et de techniques, ce qui va vraiment faire la diff√©rence, c'est sa capacit√© √† les mobiliser √† bon escient dans le vrai monde, au service des finalit√©s de l'√©valuation, et en particulier de son utilit√©.

S'appuyant sur E. House, Love fait l'analogie entre la pratique que développent les évaluateurs chevronnés et l'expertise clinique:

[…] Ces évaluateurs reconnaissent les tendances (patterns), perçoivent et cernent les situations, s'appuient sur leur intuition, délibèrent sur les actions envisageables, font preuve d'empathie, contrebalancent des objectifs contradictoires, improvisent, portent des jugements et ajustent leur réaction afin qu'elle soit appropriée au moment et aux circonstances. En bref, la sagesse pratique est dépendante du contexte et elle opère dans une zone grise […]

√Čtant donn√©e sa dimension centrale dans l'√©valuation, A. Love appelle les √©valuateurs et les √©valuatrices √† mieux cultiver la sagesse pratique d√®s la formation initiale mais aussi tout du long de la vie. Il s'agit ainsi d'int√©grer des des questionnements (√©thiques, par exemple), introspectifs et collectifs, qui favorisent la r√©flexivit√© et le d√©veloppement professionnel.

François Dumaine, évaluateur canadien travaillant au niveau fédéral, propose un bel exemple d'une telle réflexivité dans son chapitre, La Traversée du Funambule, qui constitue une analyse éclairante sur la façon dont réflexion théorique et activité pratique interagissent dans l'évolution professionnelle de l'évaluateur :

Trop souvent et largement par la force des choses, les praticiens de l'évaluation, particulièrement au niveau fédéral, conceptualisent leur travail comme étant centré sur la collecte et l'analyse de données probantes. Le discours entourant les différents modèles d'évaluation force une réflexion élargie qui s'attarde à des questions beaucoup plus fondamentales sur ce que représente véritablement l'évaluation de programme dans un processus décisionnel.

F. Dumaine montre comment, dans le contexte canadien, l'√©valuation ¬ę¬†s'apparente d'abord et avant tout au d√©veloppement de politiques publiques, bien plus qu'√† une fonction de mesure d'impact¬†¬Ľ. Mais dans cette fonction, l'√©valuation n'est pas seule, elle intervient parmi de nombreuses autres pratiques et ¬ę¬†on ne s'attend pas √† ce que les gestionnaires et hauts fonctionnaires d'un minist√®re ou d'une agence soient en mesure de comprendre le processus et les nuances m√©thodologiques entre ces diff√©rents types de recherche¬†¬Ľ. Dans ce contexte, l'√©valuation doit ¬ę¬†√©tablir sa niche et s'assurer qu'elle est comprise et accept√©e parmi ceux pour qui l'√©valuation est pr√©par√©e¬†¬Ľ. Ce que d√©crit ainsi Dumaine, c'est la fa√ßon dont l'√©valuateur peut effectivement ¬ę¬†√©tablir sa niche¬†¬Ľ, en se positionnant comme ¬ę¬†conseiller cr√©dible¬†¬Ľ, c'est-√†-dire en qui on a confiance pour rendre compte de la mise en Ňďuvre et des cons√©quences des politiques, mais aussi pour amener les r√©sultats d'une fa√ßon qui prenne en compte la culture de l'organisation.

La travers√©e du funambule, c'est celle qui consiste justement √† cr√©er les conditions de sa cr√©dibilit√©, elle-m√™me n√©cessaire √† son utilit√© ‚Äď et au risque de la chute :

Comme l'exigent les règles d'éthique en recherche, un évaluateur devra toujours s'opposer à toutes actions qui auraient pour conséquence de biaiser les résultats de l'évaluation […] On doit cependant réaliser que si le processus en vient à soulever un tel dilemme, c'est que l'évaluation dans son ensemble est déjà un échec. […] Si les décideurs ont décidé qu'ils n'étaient pas prêts à entendre l'évaluateur au point de lui demander de modifier les constats de l'évaluation, il n'y a déjà plus d'évaluation en cours. On doit alors sauver la réputation de l'évaluateur, mais il sera, en toute probabilité, impossible de sauver l'évaluation elle-même.

L'article de Marthe Hurteau, enfin, Quand la rencontre entre les acteurs ne se produit pas, nous a touché personnellement puisqu'elle parle des situations dans lesquelles des rapports inadéquats entre les acteurs font avorter l'évaluation :

Au cours de ma carri√®re, j'ai √©t√© t√©moin des abus de pouvoir de personnes en autorit√© et j'ai moi-m√™me √©t√©, je l'avoue, coinc√©e par de tels agissements. C'est en parlant ouvertement de cette situation que plusieurs coll√®gues sont venus √† ma rencontre pour me dire qu'ils avaient v√©cu des situations similaires. Ainsi, si [‚Ķ] je garde un tr√®s bon souvenir de l'ensemble des mandats que j'ai r√©alis√©s, je reconnais avoir d√Ľ faire face √† des r√©actions difficiles et m√™me hostiles de la part de quelques clients et dans tous les cas, l'exp√©rience s'est av√©r√©e √©prouvante.

Pour Marthe Hurteau, l'√©valuation est une ¬ę¬†rencontre¬†¬Ľ entre des acteurs, qui apprennent √† se faire confiance. De la r√©p√©tition des √©changes et du climat de collaboration qui s'installent, va d√©pendre la cr√©dibilit√© de l'√©valuation, et in fine, son utilit√©.

Autrement dit, les √©changes interindividuels ou collectifs, les bonnes relations, la fa√ßon de travailler ensemble ne sont pas des √©l√©ments p√©riph√©riques √† l'√©valuation, mais essentiels. D√®s lors, nous autres √©valuateurs/rices apprennons tous ‚Ästcela fait partie de notre sagesse pratique ‚Äst√† cr√©er les conditions de cette rencontre.

Marthe Hurteau revient sur les nombreuses fa√ßons de susciter les bonnes conditions de l'√©valuation. Mais que se passe-t-il quand, malgr√© tous nos efforts, ces conditions de collaboration et de confiance r√©ciproque ne se mat√©rialisent pas ? Quand l'√©valuation devient une souffrance ? Il faut alors, d'abord et avant tout, reconna√ģtre le probl√®me, mais aussi sans doute apprendre √† mieux faire confiance √† notre intuition :

[Les √©valuateurs qui se sont retrouv√©s en situation hostile] m'ont tous confirm√© qu'ils auraient d√Ľ √©couter leur intuition. Ils savaient d√®s le point de d√©part que ‚Äú√ßa se ne serait pas facile‚ÄĚ, mais ils se sont litt√©ralement convaincus qu'ils seraient capables de g√©rer la situation gr√Ęce √† √† leur exp√©rience, leur expertise et en faisant des concessions. Cependant, la situation s'est vite d√©t√©rior√©e et il a √©t√© difficile, sinon impossible, de la redresser. Ainsi, pr√™tons oreille √† notre intuition dite ‚Äúexperte‚Äú et nous pourrons la valider par la suite.

Lire l'introduction et la 4e de couverture ici.

Hurteau, M., Bourgeois, I. et Houle, S., L'évaluation de programme axée sur la rencontre des acteurs, une sagesse pratique, Presses Universitaires du Québec, 2018

Evaluation, Language, and Untranslatables

Peter Dahler-Larsen

Cet article de P. Dahler-Larsen (en photo) et de 10 autres auteur·es explore la question de la traduction des termes et des concepts de l'évaluation dans un certain nombre de langues européennes. À travers de nombreux exemples, il montre que l'enjeu n'est pas seulement la perte de certaines subtilités. En réalité, par le jeu des résonances entre les langues, des choix de traduction ou des contextes d'utilisation, ce sont des sens nouveaux qui apparaissent.

Bien qu'il soit concentr√© sur les aspects de traduction, cet article am√®ne √† r√©fl√©chir au sens des mots, et √† la fa√ßon dont, √† leur tour, les termes choisis et le sens qui leur est affect√© influence la vision de ce qu'est l'√©valuation, de ce qu'elle peut, et de la fa√ßon dont elle est men√©e. Au final, ¬ę¬†certains termes qui semblent similaires avant et apr√®s traduction sont en fait de faux amis, parce que le sens du nouveau terme est plus √©troit, sp√©cifique [‚Ķ] que le terme non traduit ou d'autres termes qui auraient pu √™tre choisis.¬†¬Ľ

L'exemple en italien du terme ¬ę¬†impact¬†¬Ľ est √©clairant. En italien, impatto est utilis√© pour parler d'une collision ou, dans un sens m√©taphorique, une influence. C'est un terme qui renvoie √† l'id√©e de quelque chose de violent et de n√©gatif.

Dans le language évaluatif italien, ce terme a été introduit avec l'évaluation d'impact environnemental, qui porte sur des interventions ayant un impact important sont amenées à être modifiées ou à être mieux régulées. Ici, un impact important renvoie à quelque chose qui affecte négativement l'environnement (pollution, désertification, etc.).

Plus récemment cependant, ce terme a été utilisé dans un sens positif, cette fois, pour désigner l'impact au sens contrefactuel. Or, le passage du négatif au positif, et d'une vision très large des impacts à une vision très étroite (l'attribution d'un changement au regard d'un indicateur particulier à une intervention) semble être passés inaperçus, selon les auteur·es.

On fait forc√©ment le parall√®le avec le fran√ßais de France, dans lequel le terme ¬ę¬†impact¬†¬Ľ fait l'objet d'un travail de d√©finition dans les ann√©es 1990 (rappel√© ici), mais sans emp√™cher dans les ann√©es 2000 la confiscation du terme par les randomistas, comme l'a √©tabli notre coll√®gue A. Devaux-Spatarakis dans sa th√®se. Aujourd'hui, la notion d'"impact social" pr√©sente dans l'√©conomie sociale et solidaire, ou de "finance √† impact positif" brouillent encore les pistes, et invitent √† d√©battre plus avant de termes comme celui-ci, tr√®s pr√©sents dans le d√©bat public.

Au-delà des éléments théoriques, la vingtaine d'exemples donnés, dans de nombreuses langues (en finnois, en italien, en espagnol, etc.) est très éclairante et apporte une dimension concrète très appréciable à l'article.

Dahler-Larsen, P. et al. (2017). Evaluation, Language, and Untranslatables. American Journal of Evaluation. https://doi.org/10.1177/1098214016678682

Téléchargeable à cette adresse.

L'évaluation des politiques et des actions publiques

Rapport Viveret sur l'évaluation des politiques et des actions publiques

√Ä l'heure o√Ļ l'√©valuation des politiques publiques redevient un ¬ę¬†credo cher¬†¬Ľ √† nos dirigeants, il n'est pas inutile de se replonger dans le rapport de Patrick Viveret au premier ministre (1989), qui fonde l'ambition d√©mocratique de l'√©valuation en France, √† rebours de ce qui se joue alors dans d'autres pays (la redevabilit√© vis-√†-vis de l'argent du contribuable en Grande-Bretagne, par exemple).

Le cŇďur de l'√©valuation, P. Viveret le rappelle justement, c'est de ¬ę¬†[mettre] en Ňďuvre une capacit√© de jugement. Or le propre d'une soci√©t√© d√©mocratique est d'entourer tout jugement d'un maximum de garanties, afin d'en √©viter les abus.¬†¬Ľ Ces garanties, ce sont celles de la comp√©tence ("sur un sujet qui ne souffre pas la m√©diocrit√© ou l'√† peu-pr√®s"), de l'ind√©pendance, de la transparence et du pluralisme ("on ne peut juger d'un point de vue unique").

Le rapport de Patrick Viveret n'a, et c'est troublant, rien perdu de son acuit√© sur les enjeux de la soci√©t√© d√©mocratique et de l'action publique. Viveret voit dans l'√©valuation un acte politique plut√īt que scientifique ou scientiste. C'est un moyen de partage du pouvoir et du savoir dans la cit√©, au service tant de l'efficacit√© de l'action publique que de la logique d√©mocratique ¬ę¬†dont le but ultime est l'accroissement de la possibilit√© de d√©bat et d'intervention des citoyens dans le champ des politiques publiques¬†¬Ľ. C'est de la tension entre ces deux logiques que peut na√ģtre l'am√©lioration de l'action publique au service de l'int√©r√™t g√©n√©ral.

Le rapport ne fait pas mystère du fait qu'il s'agit d'un travail de longue haleine, avec des hauts et des bas. Le programme reste cependant stimulant:

Passer d'une culture exclusivement centr√©e sur le contr√īle √† une culture de l'√©valuation, ne plus consid√©rer les citoyens comme des ‚Äúassujettis‚ÄĚ mais comme des acteurs de plein droit de la r√©novation des services publics et jouer la carte d'une mobilisation de l'intelligence des agents publics plut√īt que celle de l'ob√©issance des fonctionnaires est une entreprise de longue haleine. Aussi est-il n√©cessaire de d√©finir une politique de l'√©valuation et de l'inscrire dans la dur√©e.

Un rapport à télécharger ici.

Et aussi...


Ce numéro 0 a été préparé par Thomas Delahais. Pour vous abonner, cliquez ici (4 numéros par an).

ūüí° 7 bonnes raisons de prendre en compte l'√©galit√© entre les femmes et les hommes dans ma pratique d'√©valuation

vendredi 09 juillet 2021

Oldies but goodies (Karine Sage)

ūüďö Trois articles d'√©valuation (n¬ļ3, 15 mai 2021)

samedi 15 mai 2021

Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !

ūüí° Les √©valuations participatives, plus facile √† dire qu'√† faire

jeudi 29 avril 2021

Nouvel article publié (Thomas Delahais)

Quatre jeux de cartes d'évaluation francophones

mardi 27 avril 2021

À l'occasion de la sortie de Strateval, nous revenons sur 3 autres jeux de cartes autour de l'évaluation

ūüí° Qu'est-ce que l'analyse militante apporte √† l'√©valuation des politiques publiques ?

jeudi 08 avril 2021

Nouvel article publié (Marc Tevini)

ūüďö Trois articles d'√©valuation (n¬ļ2, 15 f√©vrier 2021)

lundi 15 février 2021

Dans ce numéro, évaluation féministe quésaco, apprentissage et redevabilité même combat ? et oldiesbutgoodies, des éléments pour une sociologie de l'évaluation... C'est le sommaire de ce numéro 2.

ūüďĹ L'√©valuation des politiques sociales, de quoi parle-t-on ?

vendredi 15 janvier 2021

Introduction au séminaire de l'IRTS HDF du 26/01.

ūüďĹ L'analyse de contribution en pratique

mardi 15 décembre 2020

Introduction à la formation à l'analyse de contribution

ūüďö Trois articles d'√©valuation (n¬ļ1, 15 novembre 2020)

dimanche 15 novembre 2020

Dans ce numéro, plongée en pleine guerre froide avec la Realpolitik de l'évaluation, des idées pour professionnaliser l'évaluation, et oldiesbutgoodies, de quoi se demander ce que les évaluateurs et les évaluatrices défendent dans leur métier... C'est le sommaire de ce numéro 1.

ūüďĹ L'√©valuation participative, plus facile √† dire qu'√† faire

lundi 09 novembre 2020

Intervention de T Delahais au Congrès de la SEVAL organisé par le GREVAL à Fribourg, le 4 septembre 2020.

ūüí° En situation anormale, l'√©valuation doit devenir la norme

jeudi 29 octobre 2020

Contribution de T Delahais et M Tevini en réponse à l'appel de la SFE, "Ce que la crise sanitaire nous apprend sur l'utilité et les pratiques d'évaluation".

ūüí° Comment √©valuer la transition

vendredi 23 octobre 2020

Nouvel article publié (Thomas Delahais, Karine Sage, Vincent Honoré)

ūüí° Quels m√©canismes √† l'Ňďuvre dans les innovations ?

mardi 06 octobre 2020

Nouvel article publié (Agathe Devaux-Spatarakis)

ūüďö Trois articles d'√©valuation (v0, 30 juillet 2020)

jeudi 30 juillet 2020

√Ä l'honneur pour cette √©dition, la sagesse pratique des √©valuateurs et des √©valuatrices, soit ¬ę¬†la capacit√© de faire les bons choix, au bon moment, pour les bonnes raisons¬†¬Ľ ; ce que les mots et concepts de l'√©valuation perdent et gagnent √† leur traduction d'une langue √† l'autre et oldies but goodies, une piq√Ľre de rappel quant √† la vocation d√©mocratique de l'√©valuation en France... C'est le sommaire de ce num√©ro 0.