livre 3 articles – 15 mai 2021 – n°3

Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !

Evaluation Failures

Evaluation Failures

Dans son roman "Changement de dĂ©cor", David Lodge met en scĂšne un professeur d'anglais britannique dĂ©couvrant l'universitĂ© amĂ©ricaine des annĂ©es 1970. Il y excelle Ă  un jeu dans lequel celui qui gagne est celui qui n'a pas lu des livres que tous les autres ont lus. Les AmĂ©ricains sont partagĂ©s entre vanitĂ© (et le besoin de citer leurs lectures devant leur hĂŽte anglais) et volontĂ© atavique de gagner. Jusqu'Ă  ce qu’un jeune maĂźtre-assistant de littĂ©rature anglaise cite : "Hamlet!" et remporte haut la main la partie. Le lendemain, le poste de professeur qui lui semblait promis lui Ă©chappe...

Dans le livre “Evaluation Failures” de Kylie Hutchinson1, on ne retrouve pas de dĂ©nouement aussi dramatique : malgrĂ© son titre aguicheur, il y a peu d'Ă©checs retentissants dans les 22 tĂ©moignages des Ă©valuatrices et Ă©valuateurs qui dĂ©crivent essentiellement des situations incommodes, des moments embarrassants et autres anicroches. On imagine qu'il est difficile de mettre en avant ses Ă©checs lorsqu'on est un·e Ă©valuateur/rice Ă©tabli·e, avec une clientĂšle, une rĂ©putation ou des responsabilitĂ©s institutionnelles.

Il faut donc d'autant plus saluer ce livre. En le parcourant, les lecteurs/rices auront peut-ĂȘtre l'impression (pas dĂ©sagrĂ©able) de se retrouver Ă  une rĂ©union d'ancien·nes en marge de journĂ©es de l'Ă©valuation, sans les dĂ©sagrĂ©ments2 : les chapitres sont courts, bien racontĂ©s, se terminent par des leçons qui invitent Ă  la rĂ©flexion, sont racontĂ©s Ă  la premiĂšre personne et on peut arrĂȘter quand on veut. Et puis les anicroches racontĂ©es ne sont peut-ĂȘtre pas trĂšs graves, mais elles sont riches d'enseignements. Isaac Castillo montre de façon frappante la maniĂšre dont les diffĂ©rences culturelles peuvent se mettre en travers de l'Ă©valuation, en expliquant comment il pensait que ses origines mexicaines et sa maĂźtrise de l'espagnol seraient suffisantes pour Ă©changer avec des chefs de gang salvadoriens (ce chapitre avait le potentiel pour un vĂ©ritable roman Ă©valuatif, mais les Ă©valuateurs/trices sont hĂ©las des gens trop raisonnables). De nombreuses autres situations frapperont les lecteurs et les lectrices de ce livre : travailler avec un ami (ce n’est pas une bonne idĂ©e), fournir un modĂšle si complexe que personne ne le comprend plus, laisser les commanditaires avec des attentes dĂ©connectĂ©es des rĂ©alitĂ©s du terrain, devoir faire avec des donnĂ©es parcellaires, inexistantes (ou disparues dans un crash informatique)
 À chaque fois la situation est dĂ©cortiquĂ©e et donne lieu Ă  des rĂ©flexions intĂ©ressantes.

Lorsque les rĂ©cits sont rĂ©ellement des Ă©checs – c’est le cas pour 6 ou 7 des 22 histoires racontĂ©es ici –, les lecteurs/rices Ă©pouvanté·es font face Ă  leur pire cauchemar ou retrouveront des souvenirs gĂȘnants. Il est dans une certaine mesure rassurant que ces individus aient continuĂ© Ă  faire de l’évaluation, malgrĂ© leur expĂ©rience marquante et pĂ©nible. En voici quelques illustrations :

Au final, et malgrĂ© le titre un peu trompeur, Evaluation Failures est un ouvrage agrĂ©able Ă  lire et plein d'enseignements, peut-ĂȘtre plus pour des Ă©valuateurs et Ă©valuatrices s'Ă©tant dĂ©jĂ  trouvé·es dans des situations similaires que pour les plus jeunes qui n'ont pas encore eu cette chance ? À part celui de le traduire, une seule envie en le refermant : se prĂȘter Ă  l'exercice !

Hutchinson, K. (Éd.). (2019). Evaluation failures : 22 tales of mistakes made and lessons learned. SAGE.

La réception des politiques du handicap

photo autrice

Dans cet article, Anne Revillard3 propose une application pratique de sa sociologie de la rĂ©ception aux politiques du handicap en France. Ce faisant, elle fournit deux pistes inspirantes pour l’évaluation des politiques publiques : interroger le rĂŽle des individus dans la fabrique d’une politique publique ; et privilĂ©gier la notion de ressortissant·es plutĂŽt que celle – plus commune en Ă©valuation – de « bĂ©nĂ©ficiaire ».

La sociologie de la rĂ©ception s’attache, pour Ă©clairer la comprĂ©hension d’une politique publique, Ă  interroger les processus actifs par lesquels les individus lui attribuent un sens, et en font usage - Ă  partir d’un champ des possibles plus ou moins ouvert. Le sujet des politiques du handicap constitue Ă  cet effet un excellent terrain de mise Ă  l’épreuve. Celles-ci sont en effet traversĂ©es par un changement de paradigme, qui les ont progressivement dĂ©placĂ©es d’une logique de protection et de sĂ©grĂ©gation des personnes handicapĂ©es, vers la valorisation croissante d’objectifs d’inclusion et de non-discrimination. A. Revillard interroge donc la rĂ©ception de ces changements par les personnes handicapĂ©es.

À cet Ă©gard, le choix du terme de « ressortissant·e » est fondamental et introduit une mise Ă  distance immĂ©diate vis-Ă -vis de la notion de « bĂ©nĂ©ficiaire ». Les ressortissant·es ne sont pas dĂ©fini·es par le statut qui leur est assignĂ© dans la politique considĂ©rĂ©e, mais comme des sujets actifs et autonomes concernĂ©s – de prĂšs ou de loin – et participant (par leurs reprĂ©sentations, leurs choix d’en faire usage ou non) Ă  lui donner une rĂ©alitĂ© sociale. Pour Ă©clairer ces mĂ©canismes, l'autrice mĂšne ici 30 entretiens biographiques auprĂšs de personnes sĂ©lectionnĂ©es, non pas au regard de leur lien avec une intervention publique spĂ©cifique, mais tout simplement parce qu’elles sont concernĂ©es – et donc indĂ©pendamment de tout intermĂ©diaire institutionnel. Les rĂ©pondants ont tou·tes une expĂ©rience du handicap supĂ©rieure Ă  15 ans, ce qui en fait des tĂ©moins de l’évolution des politiques du handicap. A. Revillard s’intĂ©resse Ă  trois thĂ©matiques, celles-ci n’étant pas abordĂ©es frontalement au cours de l’entretien, mais au dĂ©tour du rĂ©cit de vie, pour faire ensuite l’objet d’analyses spĂ©cifiques (tableau ci-dessous).

« Trois dimensions de la réception des politiques du handicap »

tableau Revillard

Cette approche comporte plusieurs promesses analytiques. Tout d’abord, elle permet d’incarner les politiques publiques au travers de l’expĂ©rience sociale de ses ressortissant·es, et de dĂ©construire les reprĂ©sentations dont ils/elles font l’objet. Ensuite, l’entretien biographique laisse le champ ouvert Ă  l’expression spontanĂ©e des interviewé·es, et contribue Ă  Ă©clairer les « angles morts » qui persistent souvent dans la comprĂ©hension des effets (ou absence d’effets) d’une politique publique. A. Revillard dĂ©gage notamment de cette maniĂšre une explication au phĂ©nomĂšne de non-recours Ă  la Prestation de compensation du handicap (PCH). En effet, bien que celle-ci compense un ensemble plus large de surcoĂ»ts liĂ©s au handicap que sa version prĂ©cĂ©dente, des personnes handicapĂ©es ont prĂ©fĂ©rĂ© rester sous l’ancien rĂ©gime. Les entretiens biographiques rĂ©vĂšlent ainsi que la PCH est souvent associĂ©e Ă  une logique de contrĂŽle social, du fait de conditions d’attribution plus strictes, qui a motivĂ© un renoncement Ă  des droits plus Ă©tendus pour conserver une autonomie d’usage.

En Ă©valuation des politiques publiques, interroger de maniĂšre exploratoire la rĂ©ception d’une politique par ses ressortissant·es n’est pas une pratique courante. Le prĂ©sent article permet d’en identifier la portĂ©e, Ă  la fois Ă©thique, et heuristique, puisque cette approche contribue Ă  dĂ©voiler des facteurs dont l’incidence n’était pas envisagĂ©e, ou des logiques de causalitĂ© inattendues. Enfin, alors que l’évaluation se dĂ©ploie en gĂ©nĂ©ral dans un cadre dĂ©terminĂ© par une intervention publique (avec ses objectifs, cibles, sa temporalitĂ©, son contexte politique de mise en Ɠuvre), l’approche d’A. Revillard permet de « sortir du cadre », et d’interroger de maniĂšre longitudinale, auprĂšs de ses ressortissant·es, les consĂ©quences sur le temps long d’une politique publique.

Revillard, A. (2017). La rĂ©ception des politiques du handicap : Une approche par entretiens biographiques. Revue française de sociologie, 58(1), 71. doi.

The whole elephant: Defining Evaluation

Amy M. Gullickson

Qu’est-ce que l’évaluation ? À cette question Ă  laquelle tant d’articles ont Ă©tĂ© consacrĂ©s, Amy Gullickson4 rĂ©pond en insistant – et c’est l’une des forces de cet article – sur les vertus structurantes qu’une dĂ©finition claire de l’évaluation pourrait avoir sur la profession d’évaluateur/rice, en permettant notamment Ă  ses praticien·nes de clarifier la nature de leur intervention auprĂšs de leurs clients ou partenaires.

Pour l’autrice, le cƓur de l’activitĂ© Ă©valuative consiste Ă  garantir l’adĂ©quation entre des reprĂ©sentations particuliĂšres de ce qui est souhaitable, et un travail d’investigation mĂ©thodique ayant pour but de formuler un jugement pertinent au regard des valeurs en jeu.

Soucieuse de favoriser l’appropriation de cette dĂ©finition par le plus grand nombre, A. Gullickson rappelle dans cet article rĂ©cent l’intĂ©rĂȘt de mettre Ă  distance le vocabulaire professionnel et de privilĂ©gier l’usage de termes courants pour l’exprimer. En s’appuyant sur des Ă©lĂ©ments de dĂ©finition proposĂ©s par Robert Stake (1977), l’autrice reprend Ă  son compte la distinction entre l’activitĂ© de description et l’activitĂ© de jugement, toutes deux nĂ©cessaires Ă  la conduite d’une Ă©valuation. Selon cette dĂ©finition, l’évaluation serait la dĂ©marche consistant Ă  « pleinement dĂ©crire et pleinement juger ».

Cette distinction a pour corolaire de rappeler que l’évaluation ne saurait ĂȘtre rĂ©duite Ă  l’une ou l’autre de ces activitĂ©s. Par exemple, si les expĂ©rimentations par assignation alĂ©atoire peuvent s’avĂ©rer dĂ©terminantes pour la formulation d’un jugement Ă©valuatif, elles constituent avant tout une dĂ©marche de mesure et de quantification d’un impact dont la finalitĂ© est descriptive, et ne permettent pas Ă  elles seules de juger un programme.

Distinguer le « pleinement dĂ©crire », phase durant laquelle l’équipe d’évaluation accumule et traite des donnĂ©es sur l’objet qu’elle Ă©tudie, du « pleinement juger », durant laquelle elle interprĂšte ces donnĂ©es et formule des conclusions sur les rĂ©ussites ou les Ă©checs d’un programme, c’est aussi une façon de distinguer ce qui relĂšve du travail de l’équipe d’évaluation et de l’évaluation proprement dite. Ainsi, si l’étape du « pleinement juger » est indispensable Ă  toute Ă©valuation, ce n’est pas toujours Ă  l’équipe d’évaluation de la dĂ©ployer. Cette derniĂšre peut notamment se charger d’initier une dĂ©marche Ă©valuative en accompagnant les commanditaires dans la sĂ©lection et la collecte de donnĂ©es pertinentes, tout en leur lĂ©guant le travail d’interprĂ©tation des rĂ©sultats et de formulation des conclusions au regard de ce qu’ils/elles considĂšrent comme bon ou souhaitable. A l’inverse, l’équipe d’évaluation peut aussi se charger de formuler un jugement Ă  partir de donnĂ©es prĂ©existantes.

La dĂ©finition proposĂ©e par l’autrice a ainsi des rĂ©sonances trĂšs concrĂštes pour les Ă©valuateurs/trices et peut les aider Ă  rĂ©flĂ©chir sur toute l’étendue de leur mĂ©tier. Des propositions intĂ©ressantes sont faites en fin d’article pour accompagner cette rĂ©flexivitĂ©, relatives Ă  l’apprentissage de la pensĂ©e critique ou Ă  la capacitĂ© Ă  naviguer entre diffĂ©rentes reprĂ©sentations du monde comme compĂ©tences centrales Ă  l’évaluation. On les trouvera nĂ©anmoins un peu trop abstraites. Nous retiendrons plutĂŽt que pour changer efficacement l’action publique, la dĂ©marche du jugement et de l’explicitation des critĂšres qui sous-tendent la valeur d’une politique publique devrait selon l’autrice ĂȘtre intĂ©grĂ©e Ă  la phase de sa conception, et pas uniquement de son Ă©valuation, ce qui ouvrirait par ailleurs de nouveaux dĂ©bouchĂ©s aux savoir-faire des praticien·nes de l’évaluation.

Pour entendre l’autrice s’exprimer de vive voix sur le sujet, voir cette vidĂ©o.

Gullickson, A. M. (2020). The whole elephant : Defining evaluation. Evaluation and Program Planning, 79, 101787. doi

Et aussi...


Ce numĂ©ro 3 a Ă©tĂ© prĂ©parĂ© par Thomas Bouget, Pauline Joly, Alexandra Willams et Thomas Delahais avec le soutien d'HĂ©lĂšne Faure. Relire le nÂș1 et le nÂș2. Pour vous abonner, cliquez ici (4 numĂ©ros par an).


  1. Kylie Hutchinson est une Ă©valuatrice canadienne, consultante, avec un fort penchant pour le transfert de connaissances et le renforcement des capacitĂ©s. En savoir plus 

  2. Pas d'obligation de reprendre un verre, d'Ă©couter une nouvelle histoire ou quoi que ce soit d'autre. L'Ă©crit a ses vertus.  

  3. Anne Revillard est sociologue, directrice du LIEPP et de l'Observatoire sociologique du changement (OSC) de Sciences Po Paris. Elle travaille en particulier sur les questions de genre et de handicap. Pour en savoir plus, voir son site personnel

  4. Amy Gullickson est professeure associĂ©e au Center for Program Evaluation de l'UniversitĂ© de Melbourne, en Australie.  

Humans after all?

lundi 03 juillet 2023

The challenges of external validity, towards an interdisciplinary discussion?

Humans after all?

mardi 27 juin 2023

Les défis de la validité externe, un sujet d'échange interdisciplinaire ?

Index égalité professionnelle, index senior...

vendredi 16 juin 2023

Le name and shame est-il une politique publique efficace?

Évaluation RTBFoods

jeudi 02 mars 2023

Du outcome harvesting dans une Ă©valuation de projet

Des fiches pour distinguer l'Ă©valuation d'autres pratiques voisines

jeudi 19 janvier 2023

Quelles distinctions entre l'Ă©valuation et les pratiques voisines ?

🃏 Cartographie des usages de l'Ă©valuation d'impact

mardi 01 novembre 2022

Quelle démarche pour une cartographie des usages de l'évaluation d'impact ?

📚 Trois articles d'Ă©valuation (nÂș8, 15 octobre 2022)

samedi 15 octobre 2022

Un numĂ©ro trĂšs trĂšs lutte – pour l'Ă©quitĂ© raciale, entre objectivistes et subjectivistes, et oldies but goodies pour faire entendre l'Ă©valuation dans un contexte politisĂ©.

📚 Évaluer les politiques locales d'Ă©galitĂ© femmes-hommes

mardi 04 octobre 2022

Publication

🚂 EES 2022: It’s not (only) you, it’s me (too)

dimanche 17 juillet 2022

Feedback on the European Evaluation Society Conference in Copenhagen

🚂 EES 2022 - C’est pas (que) toi, c’est moi (aussi)

mardi 12 juillet 2022

Retour sur la conférence de la société européenne d'évaluation à Copenhague

📚 Trois articles d'Ă©valuation (nÂș7, 15 juin 2022)

mercredi 15 juin 2022

Dans ce numéro, cinéma à tous les étages : La Revanche des Sith, Octobre rouge et 120 battements par minute... ou presque

🎙 L'Ă©valuation des contrats de ville

mercredi 01 juin 2022

Publication

📚 L'Ă©valuation en contexte de dĂ©veloppement

mardi 31 mai 2022

Publication

đŸŽ„ Cinq choses Ă  savoir sur les initiatives de transition

lundi 02 mai 2022

Vidéo

💡 Recherche et action publique : il faut ĂȘtre deux pour danser le tango

vendredi 25 mars 2022

Publication

📚 Trois articles d'Ă©valuation (nÂș6, 15 mars 2022)

mardi 15 mars 2022

Dans ce numéro, la cartographie des controverses rencontre la science comportementale, et la recherche l'action publique.

💡 Qu'attendre de la recherche pour Ă©clairer l'action publique

jeudi 20 janvier 2022

Publication

📚 Trois articles d'Ă©valuation (nÂș5, 15 dĂ©cembre 2021)

mercredi 15 décembre 2021

Numéro spécial Anthologie

Citations relatives Ă  l'Ă©valuation des politiques publiques

lundi 20 septembre 2021

Des citations inspirantes pour qui Ă©value.

📚 Trois articles d'Ă©valuation (nÂș4, 15 septembre 2021)

mercredi 15 septembre 2021

Dans ce numĂ©ro, Ă©valuation et bureaucratie, l'ultime combat, enquĂȘter avec d'autres ĂȘtres, et oldiesbutgoodies, on sauve le monde avec Bob Stake !

💡 Glossaires de l'Ă©valuation

dimanche 12 septembre 2021

Liste de glossaires

💡 7 bonnes raisons de prendre en compte l'Ă©galitĂ© entre les femmes et les hommes dans ma pratique d'Ă©valuation

vendredi 09 juillet 2021

Oldies but goodies (Karine Sage)

📚 Trois articles d'Ă©valuation (nÂș3, 15 mai 2021)

samedi 15 mai 2021

Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !

💡 Les Ă©valuations participatives, plus facile Ă  dire qu'Ă  faire

jeudi 29 avril 2021

Nouvel article publié (Thomas Delahais)

Quatre jeux de cartes d'Ă©valuation francophones

mardi 27 avril 2021

À l'occasion de la sortie de Strateval, nous revenons sur 3 autres jeux de cartes autour de l'Ă©valuation

💡 Qu'est-ce que l'analyse militante apporte Ă  l'Ă©valuation des politiques publiques ?

jeudi 08 avril 2021

Nouvel article publié (Marc Tevini)

📚 Trois articles d'Ă©valuation (nÂș2, 15 fĂ©vrier 2021)

lundi 15 février 2021

Dans ce numĂ©ro, Ă©valuation fĂ©ministe quĂ©saco, apprentissage et redevabilitĂ© mĂȘme combat ? et oldiesbutgoodies, des Ă©lĂ©ments pour une sociologie de l'Ă©valuation... C'est le sommaire de ce numĂ©ro 2.

đŸ“œ L'Ă©valuation des politiques sociales, de quoi parle-t-on ?

vendredi 15 janvier 2021

Introduction au séminaire de l'IRTS HDF du 26/01.

đŸ“œ L'analyse de contribution en pratique

mardi 15 décembre 2020

Introduction Ă  la formation Ă  l'analyse de contribution

📚 Trois articles d'Ă©valuation (nÂș1, 15 novembre 2020)

dimanche 15 novembre 2020

Dans ce numéro, plongée en pleine guerre froide avec la Realpolitik de l'évaluation, des idées pour professionnaliser l'évaluation, et oldiesbutgoodies, de quoi se demander ce que les évaluateurs et les évaluatrices défendent dans leur métier... C'est le sommaire de ce numéro 1.

đŸ“œ L'Ă©valuation participative, plus facile Ă  dire qu'Ă  faire

lundi 09 novembre 2020

Intervention de T Delahais au CongrÚs de la SEVAL organisé par le GREVAL à Fribourg, le 4 septembre 2020.

💡 En situation anormale, l'Ă©valuation doit devenir la norme

jeudi 29 octobre 2020

Contribution de T Delahais et M Tevini en réponse à l'appel de la SFE, "Ce que la crise sanitaire nous apprend sur l'utilité et les pratiques d'évaluation".

💡 Comment Ă©valuer la transition

vendredi 23 octobre 2020

Nouvel article publié (Thomas Delahais, Karine Sage, Vincent Honoré)

💡 Quels mĂ©canismes Ă  l'Ɠuvre dans les innovations ?

mardi 06 octobre 2020

Nouvel article publié (Agathe Devaux-Spatarakis)

📚 Trois articles d'Ă©valuation (v0, 30 juillet 2020)

jeudi 30 juillet 2020

À l'honneur pour cette Ă©dition, la sagesse pratique des Ă©valuateurs et des Ă©valuatrices, soit « la capacitĂ© de faire les bons choix, au bon moment, pour les bonnes raisons » ; ce que les mots et concepts de l'Ă©valuation perdent et gagnent Ă  leur traduction d'une langue Ă  l'autre et oldies but goodies, une piqĂ»re de rappel quant Ă  la vocation dĂ©mocratique de l'Ă©valuation en France... C'est le sommaire de ce numĂ©ro 0.