Humans after all?
lundi 03 juillet 2023
The challenges of external validity, towards an interdisciplinary discussion?
Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !
Dans son roman "Changement de dĂ©cor", David Lodge met en scĂšne un professeur d'anglais britannique dĂ©couvrant l'universitĂ© amĂ©ricaine des annĂ©es 1970. Il y excelle Ă un jeu dans lequel celui qui gagne est celui qui n'a pas lu des livres que tous les autres ont lus. Les AmĂ©ricains sont partagĂ©s entre vanitĂ© (et le besoin de citer leurs lectures devant leur hĂŽte anglais) et volontĂ© atavique de gagner. Jusqu'Ă ce quâun jeune maĂźtre-assistant de littĂ©rature anglaise cite : "Hamlet!" et remporte haut la main la partie. Le lendemain, le poste de professeur qui lui semblait promis lui Ă©chappe...
Dans le livre âEvaluation Failuresâ de Kylie Hutchinson1, on ne retrouve pas de dĂ©nouement aussi dramatique : malgrĂ© son titre aguicheur, il y a peu d'Ă©checs retentissants dans les 22 tĂ©moignages des Ă©valuatrices et Ă©valuateurs qui dĂ©crivent essentiellement des situations incommodes, des moments embarrassants et autres anicroches. On imagine qu'il est difficile de mettre en avant ses Ă©checs lorsqu'on est un·e Ă©valuateur/rice Ă©tabli·e, avec une clientĂšle, une rĂ©putation ou des responsabilitĂ©s institutionnelles.
Il faut donc d'autant plus saluer ce livre. En le parcourant, les lecteurs/rices auront peut-ĂȘtre l'impression (pas dĂ©sagrĂ©able) de se retrouver Ă une rĂ©union d'ancien·nes en marge de journĂ©es de l'Ă©valuation, sans les dĂ©sagrĂ©ments2 : les chapitres sont courts, bien racontĂ©s, se terminent par des leçons qui invitent Ă la rĂ©flexion, sont racontĂ©s Ă la premiĂšre personne et on peut arrĂȘter quand on veut. Et puis les anicroches racontĂ©es ne sont peut-ĂȘtre pas trĂšs graves, mais elles sont riches d'enseignements. Isaac Castillo montre de façon frappante la maniĂšre dont les diffĂ©rences culturelles peuvent se mettre en travers de l'Ă©valuation, en expliquant comment il pensait que ses origines mexicaines et sa maĂźtrise de l'espagnol seraient suffisantes pour Ă©changer avec des chefs de gang salvadoriens (ce chapitre avait le potentiel pour un vĂ©ritable roman Ă©valuatif, mais les Ă©valuateurs/trices sont hĂ©las des gens trop raisonnables). De nombreuses autres situations frapperont les lecteurs et les lectrices de ce livre : travailler avec un ami (ce nâest pas une bonne idĂ©e), fournir un modĂšle si complexe que personne ne le comprend plus, laisser les commanditaires avec des attentes dĂ©connectĂ©es des rĂ©alitĂ©s du terrain, devoir faire avec des donnĂ©es parcellaires, inexistantes (ou disparues dans un crash informatique)⊠à chaque fois la situation est dĂ©cortiquĂ©e et donne lieu Ă des rĂ©flexions intĂ©ressantes.
Lorsque les rĂ©cits sont rĂ©ellement des Ă©checs â câest le cas pour 6 ou 7 des 22 histoires racontĂ©es ici â, les lecteurs/rices Ă©pouvanté·es font face Ă leur pire cauchemar ou retrouveront des souvenirs gĂȘnants. Il est dans une certaine mesure rassurant que ces individus aient continuĂ© Ă faire de lâĂ©valuation, malgrĂ© leur expĂ©rience marquante et pĂ©nible. En voici quelques illustrations :
Une Ă©valuatrice raconte comment son Ă©quipe dâĂ©valuation sâest fait Ă©jecter dâun processus dâĂ©valuation pluriannuelle : voulant sâadapter et ĂȘtre utile Ă son client, lâĂ©quipe a fait ce quâelle pouvait pour rĂ©pondre Ă ses nombreuses demandes â dĂ©passant la premiĂšre annĂ©e le budget de 50%. Souhaitant sortir du rouge, lâĂ©quipe dâĂ©valuation pivote dans lâautre sens la deuxiĂšme annĂ©e : elle devient moins flexible dans son approche et plus rĂ©ticente lorsque le client souhaite sans cesse des modifications des livrables et outils de collecte. Les attentes dĂ©calĂ©es entre le client et son Ă©quipe dâĂ©valuation sâaggravent progressivement, jusquâĂ ce que lâĂ©valuatrice reçoive lâappel fatidique lâinformant que le client ne souhaitait plus travailler avec elle.
Deux Ă©valuateurs diffĂ©rents racontent de nombreux problĂšmes rencontrĂ©s (et les erreurs commises) lors de l'Ă©laboration de systĂšmes de suivi et Ă©valuation construits en AmĂ©rique du Nord pour des projets se situant en Afrique. Que ce soit lâimplication insuffisante des parties prenantes (notamment le gouvernement du pays concernĂ©), ou encore le glissement de lâĂ©tude de base vers un projet de recherche, les situations dĂ©raillent dans les deux cas : dans un cas, lâĂ©valuateur devient le bouc Ă©missaire, et les tensions entre le gouvernement et lâorganisme sâaggravent jusquâĂ ce que cela devienne un problĂšme politique nĂ©cessitant lâaide de lâambassade du donateur⊠; dans lâautre, lâĂ©valuateur connaĂźt problĂšme sur problĂšme dans la mise en Ćuvre d'Ă©tudes de base dĂ©connectĂ©es. Le systĂšme de suivi mis en place a finalement gĂ©nĂ©rĂ© peu dâinformations utiles.
Une Ă©valuatrice sâest trouvĂ©e dans une situation oĂč elle devait rĂ©aliser une Ă©valuation qui Ă©tait en conflit avec ses valeurs et sa conception de la rigueur mĂ©thodologique : alors quâelle Ă©tait embauchĂ©e pour dĂ©velopper et rĂ©aliser lâĂ©valuation dâun programme qui venait de dĂ©marrer, les clients ont finalement dĂ©cidĂ© dâadapter un programme existant plutĂŽt que de crĂ©er un nouveau programme, qui avait par ailleurs Ă©tĂ© Ă©valuĂ© prĂ©cĂ©demment. Dans la mesure oĂč lâĂ©valuation prĂ©cĂ©dente a Ă©tĂ© trĂšs apprĂ©ciĂ©e, lâĂ©valuatrice « hĂ©rite » en quelque sorte de la mĂ©thode de cette Ă©valuation, alors quâelle la trouve biaisĂ©e et peu rigoureuse. Finalement, elle sâaccroche au lieu dâarrĂȘter une Ă©valuation qui ne peut que mal se terminer - et la stresser.
Au final, et malgrĂ© le titre un peu trompeur, Evaluation Failures est un ouvrage agrĂ©able Ă lire et plein d'enseignements, peut-ĂȘtre plus pour des Ă©valuateurs et Ă©valuatrices s'Ă©tant dĂ©jĂ trouvé·es dans des situations similaires que pour les plus jeunes qui n'ont pas encore eu cette chance ? Ă part celui de le traduire, une seule envie en le refermant : se prĂȘter Ă l'exercice !
Hutchinson, K. (Ăd.). (2019). Evaluation failuresâŻ: 22 tales of mistakes made and lessons learned. SAGE.
Dans cet article, Anne Revillard3 propose une application pratique de sa sociologie de la rĂ©ception aux politiques du handicap en France. Ce faisant, elle fournit deux pistes inspirantes pour lâĂ©valuation des politiques publiques : interroger le rĂŽle des individus dans la fabrique dâune politique publique ; et privilĂ©gier la notion de ressortissant·es plutĂŽt que celle â plus commune en Ă©valuation â de « bĂ©nĂ©ficiaire ».
La sociologie de la rĂ©ception sâattache, pour Ă©clairer la comprĂ©hension dâune politique publique, Ă interroger les processus actifs par lesquels les individus lui attribuent un sens, et en font usage - Ă partir dâun champ des possibles plus ou moins ouvert. Le sujet des politiques du handicap constitue Ă cet effet un excellent terrain de mise Ă lâĂ©preuve. Celles-ci sont en effet traversĂ©es par un changement de paradigme, qui les ont progressivement dĂ©placĂ©es dâune logique de protection et de sĂ©grĂ©gation des personnes handicapĂ©es, vers la valorisation croissante dâobjectifs dâinclusion et de non-discrimination. A. Revillard interroge donc la rĂ©ception de ces changements par les personnes handicapĂ©es.
Ă cet Ă©gard, le choix du terme de « ressortissant·e » est fondamental et introduit une mise Ă distance immĂ©diate vis-Ă -vis de la notion de « bĂ©nĂ©ficiaire ». Les ressortissant·es ne sont pas dĂ©fini·es par le statut qui leur est assignĂ© dans la politique considĂ©rĂ©e, mais comme des sujets actifs et autonomes concernĂ©s â de prĂšs ou de loin â et participant (par leurs reprĂ©sentations, leurs choix dâen faire usage ou non) Ă lui donner une rĂ©alitĂ© sociale. Pour Ă©clairer ces mĂ©canismes, l'autrice mĂšne ici 30 entretiens biographiques auprĂšs de personnes sĂ©lectionnĂ©es, non pas au regard de leur lien avec une intervention publique spĂ©cifique, mais tout simplement parce quâelles sont concernĂ©es â et donc indĂ©pendamment de tout intermĂ©diaire institutionnel. Les rĂ©pondants ont tou·tes une expĂ©rience du handicap supĂ©rieure Ă 15 ans, ce qui en fait des tĂ©moins de lâĂ©volution des politiques du handicap. A. Revillard sâintĂ©resse Ă trois thĂ©matiques, celles-ci nâĂ©tant pas abordĂ©es frontalement au cours de lâentretien, mais au dĂ©tour du rĂ©cit de vie, pour faire ensuite lâobjet dâanalyses spĂ©cifiques (tableau ci-dessous).
« Trois dimensions de la réception des politiques du handicap »
Cette approche comporte plusieurs promesses analytiques. Tout dâabord, elle permet dâincarner les politiques publiques au travers de lâexpĂ©rience sociale de ses ressortissant·es, et de dĂ©construire les reprĂ©sentations dont ils/elles font lâobjet. Ensuite, lâentretien biographique laisse le champ ouvert Ă lâexpression spontanĂ©e des interviewé·es, et contribue Ă Ă©clairer les « angles morts » qui persistent souvent dans la comprĂ©hension des effets (ou absence dâeffets) dâune politique publique. A. Revillard dĂ©gage notamment de cette maniĂšre une explication au phĂ©nomĂšne de non-recours Ă la Prestation de compensation du handicap (PCH). En effet, bien que celle-ci compense un ensemble plus large de surcoĂ»ts liĂ©s au handicap que sa version prĂ©cĂ©dente, des personnes handicapĂ©es ont prĂ©fĂ©rĂ© rester sous lâancien rĂ©gime. Les entretiens biographiques rĂ©vĂšlent ainsi que la PCH est souvent associĂ©e Ă une logique de contrĂŽle social, du fait de conditions dâattribution plus strictes, qui a motivĂ© un renoncement Ă des droits plus Ă©tendus pour conserver une autonomie dâusage.
En Ă©valuation des politiques publiques, interroger de maniĂšre exploratoire la rĂ©ception dâune politique par ses ressortissant·es nâest pas une pratique courante. Le prĂ©sent article permet dâen identifier la portĂ©e, Ă la fois Ă©thique, et heuristique, puisque cette approche contribue Ă dĂ©voiler des facteurs dont lâincidence nâĂ©tait pas envisagĂ©e, ou des logiques de causalitĂ© inattendues. Enfin, alors que lâĂ©valuation se dĂ©ploie en gĂ©nĂ©ral dans un cadre dĂ©terminĂ© par une intervention publique (avec ses objectifs, cibles, sa temporalitĂ©, son contexte politique de mise en Ćuvre), lâapproche dâA. Revillard permet de « sortir du cadre », et dâinterroger de maniĂšre longitudinale, auprĂšs de ses ressortissant·es, les consĂ©quences sur le temps long dâune politique publique.
Revillard, A. (2017). La rĂ©ception des politiques du handicapâŻ: Une approche par entretiens biographiques. Revue française de sociologie, 58(1), 71. doi.
Quâest-ce que lâĂ©valuation ? Ă cette question Ă laquelle tant dâarticles ont Ă©tĂ© consacrĂ©s, Amy Gullickson4 rĂ©pond en insistant â et câest lâune des forces de cet article â sur les vertus structurantes quâune dĂ©finition claire de lâĂ©valuation pourrait avoir sur la profession dâĂ©valuateur/rice, en permettant notamment Ă ses praticien·nes de clarifier la nature de leur intervention auprĂšs de leurs clients ou partenaires.
Pour lâautrice, le cĆur de lâactivitĂ© Ă©valuative consiste Ă garantir lâadĂ©quation entre des reprĂ©sentations particuliĂšres de ce qui est souhaitable, et un travail dâinvestigation mĂ©thodique ayant pour but de formuler un jugement pertinent au regard des valeurs en jeu.
Soucieuse de favoriser lâappropriation de cette dĂ©finition par le plus grand nombre, A. Gullickson rappelle dans cet article rĂ©cent lâintĂ©rĂȘt de mettre Ă distance le vocabulaire professionnel et de privilĂ©gier lâusage de termes courants pour lâexprimer. En sâappuyant sur des Ă©lĂ©ments de dĂ©finition proposĂ©s par Robert Stake (1977), lâautrice reprend Ă son compte la distinction entre lâactivitĂ© de description et lâactivitĂ© de jugement, toutes deux nĂ©cessaires Ă la conduite dâune Ă©valuation. Selon cette dĂ©finition, lâĂ©valuation serait la dĂ©marche consistant à « pleinement dĂ©crire et pleinement juger ».
Cette distinction a pour corolaire de rappeler que lâĂ©valuation ne saurait ĂȘtre rĂ©duite Ă lâune ou lâautre de ces activitĂ©s. Par exemple, si les expĂ©rimentations par assignation alĂ©atoire peuvent sâavĂ©rer dĂ©terminantes pour la formulation dâun jugement Ă©valuatif, elles constituent avant tout une dĂ©marche de mesure et de quantification dâun impact dont la finalitĂ© est descriptive, et ne permettent pas Ă elles seules de juger un programme.
Distinguer le « pleinement dĂ©crire », phase durant laquelle lâĂ©quipe dâĂ©valuation accumule et traite des donnĂ©es sur lâobjet quâelle Ă©tudie, du « pleinement juger », durant laquelle elle interprĂšte ces donnĂ©es et formule des conclusions sur les rĂ©ussites ou les Ă©checs dâun programme, câest aussi une façon de distinguer ce qui relĂšve du travail de lâĂ©quipe dâĂ©valuation et de lâĂ©valuation proprement dite. Ainsi, si lâĂ©tape du « pleinement juger » est indispensable Ă toute Ă©valuation, ce nâest pas toujours Ă lâĂ©quipe dâĂ©valuation de la dĂ©ployer. Cette derniĂšre peut notamment se charger dâinitier une dĂ©marche Ă©valuative en accompagnant les commanditaires dans la sĂ©lection et la collecte de donnĂ©es pertinentes, tout en leur lĂ©guant le travail dâinterprĂ©tation des rĂ©sultats et de formulation des conclusions au regard de ce quâils/elles considĂšrent comme bon ou souhaitable. A lâinverse, lâĂ©quipe dâĂ©valuation peut aussi se charger de formuler un jugement Ă partir de donnĂ©es prĂ©existantes.
La dĂ©finition proposĂ©e par lâautrice a ainsi des rĂ©sonances trĂšs concrĂštes pour les Ă©valuateurs/trices et peut les aider Ă rĂ©flĂ©chir sur toute lâĂ©tendue de leur mĂ©tier. Des propositions intĂ©ressantes sont faites en fin dâarticle pour accompagner cette rĂ©flexivitĂ©, relatives Ă lâapprentissage de la pensĂ©e critique ou Ă la capacitĂ© Ă naviguer entre diffĂ©rentes reprĂ©sentations du monde comme compĂ©tences centrales Ă lâĂ©valuation. On les trouvera nĂ©anmoins un peu trop abstraites. Nous retiendrons plutĂŽt que pour changer efficacement lâaction publique, la dĂ©marche du jugement et de lâexplicitation des critĂšres qui sous-tendent la valeur dâune politique publique devrait selon lâautrice ĂȘtre intĂ©grĂ©e Ă la phase de sa conception, et pas uniquement de son Ă©valuation, ce qui ouvrirait par ailleurs de nouveaux dĂ©bouchĂ©s aux savoir-faire des praticien·nes de lâĂ©valuation.
Pour entendre lâautrice sâexprimer de vive voix sur le sujet, voir cette vidĂ©o.
Gullickson, A. M. (2020). The whole elephantâŻ: Defining evaluation. Evaluation and Program Planning, 79, 101787. doi
Le numéro 177 de la Revue française d'administration publique (RFAP), consacré à l'évaluation des politiques publiques et publié en partenariat avec la SFE est désormais disponible sur Cairn. à lire notamment la partie "chantiers" avec plusieurs articles intéressants, celui de notre collÚgue Marc Tevini sur l'évaluation militante bien sûr, mais aussi celui d'Edine Gassert sur l'émergence d'un nouvel acteur collectif de l'évaluation dans la formation professionnelle, ou encore celui de Lamia Benjankhar et Paul Cotton sur les évaluations d'impact sur la santé.
Paru également, le numéro 32-1 de LeGes, la revue suisse d'évaluation, un numéro spécial faisant suite au congrÚs de la SEVAL et du GREVAL de septembre 2020, qui était consacré à la participation en évaluation. On y retrouvera l'article de notre collÚgue Thomas Delahais, "Les évaluations participatives, plus faciles à dire qu'à faire", ainsi que des compte-rendus d'atelier sur la participation des publics vulnérables, l'utilisation de la vidéo ou encore les façons de concilier indépendance et participation pour les instances de contrÎle comme la Cour des Comptes.
Nous avons mis Ă disposition en bĂȘta ouverte un nouveau jeu de cartes, Strateval, en accĂšs libre et gratuit. Trop souvent, la conception des Ă©valuations est ramenĂ©e Ă une suite d'outils des sciences sociales. Strateval vise Ă aider Ă reconsidĂ©rer les ingrĂ©dients d'une stratĂ©gie Ă©valuative complĂšte. Le jeu est tĂ©lĂ©chargeable ici. Introduction en vidĂ©o ici.
Ce numĂ©ro 3 a Ă©tĂ© prĂ©parĂ© par Thomas Bouget, Pauline Joly, Alexandra Willams et Thomas Delahais avec le soutien d'HĂ©lĂšne Faure. Relire le nÂș1 et le nÂș2. Pour vous abonner, cliquez ici (4 numĂ©ros par an).
Kylie Hutchinson est une Ă©valuatrice canadienne, consultante, avec un fort penchant pour le transfert de connaissances et le renforcement des capacitĂ©s. En savoir plus ↩
Pas d'obligation de reprendre un verre, d'Ă©couter une nouvelle histoire ou quoi que ce soit d'autre. L'Ă©crit a ses vertus. ↩
Anne Revillard est sociologue, directrice du LIEPP et de l'Observatoire sociologique du changement (OSC) de Sciences Po Paris. Elle travaille en particulier sur les questions de genre et de handicap. Pour en savoir plus, voir son site personnel. ↩
Amy Gullickson est professeure associĂ©e au Center for Program Evaluation de l'UniversitĂ© de Melbourne, en Australie. ↩
lundi 03 juillet 2023
The challenges of external validity, towards an interdisciplinary discussion?
mardi 27 juin 2023
Les défis de la validité externe, un sujet d'échange interdisciplinaire ?
vendredi 16 juin 2023
Le name and shame est-il une politique publique efficace?
jeudi 19 janvier 2023
Quelles distinctions entre l'évaluation et les pratiques voisines ?
mardi 01 novembre 2022
Quelle démarche pour une cartographie des usages de l'évaluation d'impact ?
samedi 15 octobre 2022
Un numĂ©ro trĂšs trĂšs lutte â pour l'Ă©quitĂ© raciale, entre objectivistes et subjectivistes, et oldies but goodies pour faire entendre l'Ă©valuation dans un contexte politisĂ©.
dimanche 17 juillet 2022
Feedback on the European Evaluation Society Conference in Copenhagen
mardi 12 juillet 2022
Retour sur la conférence de la société européenne d'évaluation à Copenhague
mercredi 15 juin 2022
Dans ce numéro, cinéma à tous les étages : La Revanche des Sith, Octobre rouge et 120 battements par minute... ou presque
vendredi 25 mars 2022
Publication
mardi 15 mars 2022
Dans ce numéro, la cartographie des controverses rencontre la science comportementale, et la recherche l'action publique.
mercredi 15 décembre 2021
Numéro spécial Anthologie
lundi 20 septembre 2021
Des citations inspirantes pour qui évalue.
mercredi 15 septembre 2021
Dans ce numĂ©ro, Ă©valuation et bureaucratie, l'ultime combat, enquĂȘter avec d'autres ĂȘtres, et oldiesbutgoodies, on sauve le monde avec Bob Stake !
vendredi 09 juillet 2021
Oldies but goodies (Karine Sage)
samedi 15 mai 2021
Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !
jeudi 29 avril 2021
Nouvel article publié (Thomas Delahais)
mardi 27 avril 2021
à l'occasion de la sortie de Strateval, nous revenons sur 3 autres jeux de cartes autour de l'évaluation
jeudi 08 avril 2021
Nouvel article publié (Marc Tevini)
lundi 15 février 2021
Dans ce numĂ©ro, Ă©valuation fĂ©ministe quĂ©saco, apprentissage et redevabilitĂ© mĂȘme combat ? et oldiesbutgoodies, des Ă©lĂ©ments pour une sociologie de l'Ă©valuation... C'est le sommaire de ce numĂ©ro 2.
vendredi 15 janvier 2021
Introduction au séminaire de l'IRTS HDF du 26/01.
mardi 15 décembre 2020
Introduction Ă la formation Ă l'analyse de contribution
dimanche 15 novembre 2020
Dans ce numéro, plongée en pleine guerre froide avec la Realpolitik de l'évaluation, des idées pour professionnaliser l'évaluation, et oldiesbutgoodies, de quoi se demander ce que les évaluateurs et les évaluatrices défendent dans leur métier... C'est le sommaire de ce numéro 1.
lundi 09 novembre 2020
Intervention de T Delahais au CongrÚs de la SEVAL organisé par le GREVAL à Fribourg, le 4 septembre 2020.
jeudi 29 octobre 2020
Contribution de T Delahais et M Tevini en réponse à l'appel de la SFE, "Ce que la crise sanitaire nous apprend sur l'utilité et les pratiques d'évaluation".
vendredi 23 octobre 2020
Nouvel article publié (Thomas Delahais, Karine Sage, Vincent Honoré)
mardi 06 octobre 2020
Nouvel article publié (Agathe Devaux-Spatarakis)
jeudi 30 juillet 2020
à l'honneur pour cette édition, la sagesse pratique des évaluateurs et des évaluatrices, soit « la capacité de faire les bons choix, au bon moment, pour les bonnes raisons » ; ce que les mots et concepts de l'évaluation perdent et gagnent à leur traduction d'une langue à l'autre et oldies but goodies, une piqûre de rappel quant à la vocation démocratique de l'évaluation en France... C'est le sommaire de ce numéro 0.