livre 3 articles – 15 mai 2021 – n°3

Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !

Evaluation Failures

Evaluation Failures

Dans son roman "Changement de décor", David Lodge met en scène un professeur d'anglais britannique découvrant l'université américaine des années 1970. Il y excelle à un jeu dans lequel celui qui gagne est celui qui n'a pas lu des livres que tous les autres ont lus. Les Américains sont partagés entre vanité (et le besoin de citer leurs lectures devant leur hôte anglais) et volonté atavique de gagner. Jusqu'à ce qu’un jeune maître-assistant de littérature anglaise cite : "Hamlet!" et remporte haut la main la partie. Le lendemain, le poste de professeur qui lui semblait promis lui échappe...

Dans le livre “Evaluation Failures” de Kylie Hutchinson1, on ne retrouve pas de dénouement aussi dramatique : malgré son titre aguicheur, il y a peu d'échecs retentissants dans les 22 témoignages des évaluatrices et évaluateurs qui décrivent essentiellement des situations incommodes, des moments embarrassants et autres anicroches. On imagine qu'il est difficile de mettre en avant ses échecs lorsqu'on est un·e évaluateur/rice établi·e, avec une clientèle, une réputation ou des responsabilités institutionnelles.

Il faut donc d'autant plus saluer ce livre. En le parcourant, les lecteurs/rices auront peut-être l'impression (pas désagréable) de se retrouver à une réunion d'ancien·nes en marge de journées de l'évaluation, sans les désagréments2 : les chapitres sont courts, bien racontés, se terminent par des leçons qui invitent à la réflexion, sont racontés à la première personne et on peut arrêter quand on veut. Et puis les anicroches racontées ne sont peut-être pas très graves, mais elles sont riches d'enseignements. Isaac Castillo montre de façon frappante la manière dont les différences culturelles peuvent se mettre en travers de l'évaluation, en expliquant comment il pensait que ses origines mexicaines et sa maîtrise de l'espagnol seraient suffisantes pour échanger avec des chefs de gang salvadoriens (ce chapitre avait le potentiel pour un véritable roman évaluatif, mais les évaluateurs/trices sont hélas des gens trop raisonnables). De nombreuses autres situations frapperont les lecteurs et les lectrices de ce livre : travailler avec un ami (ce n’est pas une bonne idée), fournir un modèle si complexe que personne ne le comprend plus, laisser les commanditaires avec des attentes déconnectées des réalités du terrain, devoir faire avec des données parcellaires, inexistantes (ou disparues dans un crash informatique)… À chaque fois la situation est décortiquée et donne lieu à des réflexions intéressantes.

Lorsque les récits sont réellement des échecs – c’est le cas pour 6 ou 7 des 22 histoires racontées ici –, les lecteurs/rices épouvanté·es font face à leur pire cauchemar ou retrouveront des souvenirs gênants. Il est dans une certaine mesure rassurant que ces individus aient continué à faire de l’évaluation, malgré leur expérience marquante et pénible. En voici quelques illustrations :

Au final, et malgré le titre un peu trompeur, Evaluation Failures est un ouvrage agréable à lire et plein d'enseignements, peut-être plus pour des évaluateurs et évaluatrices s'étant déjà trouvé·es dans des situations similaires que pour les plus jeunes qui n'ont pas encore eu cette chance ? À part celui de le traduire, une seule envie en le refermant : se prêter à l'exercice !

Hutchinson, K. (Éd.). (2019). Evaluation failures : 22 tales of mistakes made and lessons learned. SAGE.

La réception des politiques du handicap

photo autrice

Dans cet article, Anne Revillard3 propose une application pratique de sa sociologie de la réception aux politiques du handicap en France. Ce faisant, elle fournit deux pistes inspirantes pour l’évaluation des politiques publiques : interroger le rôle des individus dans la fabrique d’une politique publique ; et privilégier la notion de ressortissant·es plutôt que celle – plus commune en évaluation – de « bénéficiaire ».

La sociologie de la réception s’attache, pour éclairer la compréhension d’une politique publique, à interroger les processus actifs par lesquels les individus lui attribuent un sens, et en font usage - à partir d’un champ des possibles plus ou moins ouvert. Le sujet des politiques du handicap constitue à cet effet un excellent terrain de mise à l’épreuve. Celles-ci sont en effet traversées par un changement de paradigme, qui les ont progressivement déplacées d’une logique de protection et de ségrégation des personnes handicapées, vers la valorisation croissante d’objectifs d’inclusion et de non-discrimination. A. Revillard interroge donc la réception de ces changements par les personnes handicapées.

À cet égard, le choix du terme de « ressortissant·e » est fondamental et introduit une mise à distance immédiate vis-à-vis de la notion de « bénéficiaire ». Les ressortissant·es ne sont pas défini·es par le statut qui leur est assigné dans la politique considérée, mais comme des sujets actifs et autonomes concernés – de près ou de loin – et participant (par leurs représentations, leurs choix d’en faire usage ou non) à lui donner une réalité sociale. Pour éclairer ces mécanismes, l'autrice mène ici 30 entretiens biographiques auprès de personnes sélectionnées, non pas au regard de leur lien avec une intervention publique spécifique, mais tout simplement parce qu’elles sont concernées – et donc indépendamment de tout intermédiaire institutionnel. Les répondants ont tou·tes une expérience du handicap supérieure à 15 ans, ce qui en fait des témoins de l’évolution des politiques du handicap. A. Revillard s’intéresse à trois thématiques, celles-ci n’étant pas abordées frontalement au cours de l’entretien, mais au détour du récit de vie, pour faire ensuite l’objet d’analyses spécifiques (tableau ci-dessous).

« Trois dimensions de la réception des politiques du handicap »

tableau Revillard

Cette approche comporte plusieurs promesses analytiques. Tout d’abord, elle permet d’incarner les politiques publiques au travers de l’expérience sociale de ses ressortissant·es, et de déconstruire les représentations dont ils/elles font l’objet. Ensuite, l’entretien biographique laisse le champ ouvert à l’expression spontanée des interviewé·es, et contribue à éclairer les « angles morts » qui persistent souvent dans la compréhension des effets (ou absence d’effets) d’une politique publique. A. Revillard dégage notamment de cette manière une explication au phénomène de non-recours à la Prestation de compensation du handicap (PCH). En effet, bien que celle-ci compense un ensemble plus large de surcoûts liés au handicap que sa version précédente, des personnes handicapées ont préféré rester sous l’ancien régime. Les entretiens biographiques révèlent ainsi que la PCH est souvent associée à une logique de contrôle social, du fait de conditions d’attribution plus strictes, qui a motivé un renoncement à des droits plus étendus pour conserver une autonomie d’usage.

En évaluation des politiques publiques, interroger de manière exploratoire la réception d’une politique par ses ressortissant·es n’est pas une pratique courante. Le présent article permet d’en identifier la portée, à la fois éthique, et heuristique, puisque cette approche contribue à dévoiler des facteurs dont l’incidence n’était pas envisagée, ou des logiques de causalité inattendues. Enfin, alors que l’évaluation se déploie en général dans un cadre déterminé par une intervention publique (avec ses objectifs, cibles, sa temporalité, son contexte politique de mise en œuvre), l’approche d’A. Revillard permet de « sortir du cadre », et d’interroger de manière longitudinale, auprès de ses ressortissant·es, les conséquences sur le temps long d’une politique publique.

Revillard, A. (2017). La réception des politiques du handicap : Une approche par entretiens biographiques. Revue française de sociologie, 58(1), 71. doi.

The whole elephant: Defining Evaluation

Amy M. Gullickson

Qu’est-ce que l’évaluation ? À cette question à laquelle tant d’articles ont été consacrés, Amy Gullickson4 répond en insistant – et c’est l’une des forces de cet article – sur les vertus structurantes qu’une définition claire de l’évaluation pourrait avoir sur la profession d’évaluateur/rice, en permettant notamment à ses praticien·nes de clarifier la nature de leur intervention auprès de leurs clients ou partenaires.

Pour l’autrice, le cœur de l’activité évaluative consiste à garantir l’adéquation entre des représentations particulières de ce qui est souhaitable, et un travail d’investigation méthodique ayant pour but de formuler un jugement pertinent au regard des valeurs en jeu.

Soucieuse de favoriser l’appropriation de cette définition par le plus grand nombre, A. Gullickson rappelle dans cet article récent l’intérêt de mettre à distance le vocabulaire professionnel et de privilégier l’usage de termes courants pour l’exprimer. En s’appuyant sur des éléments de définition proposés par Robert Stake (1977), l’autrice reprend à son compte la distinction entre l’activité de description et l’activité de jugement, toutes deux nécessaires à la conduite d’une évaluation. Selon cette définition, l’évaluation serait la démarche consistant à « pleinement décrire et pleinement juger ».

Cette distinction a pour corolaire de rappeler que l’évaluation ne saurait être réduite à l’une ou l’autre de ces activités. Par exemple, si les expérimentations par assignation aléatoire peuvent s’avérer déterminantes pour la formulation d’un jugement évaluatif, elles constituent avant tout une démarche de mesure et de quantification d’un impact dont la finalité est descriptive, et ne permettent pas à elles seules de juger un programme.

Distinguer le « pleinement décrire », phase durant laquelle l’équipe d’évaluation accumule et traite des données sur l’objet qu’elle étudie, du « pleinement juger », durant laquelle elle interprète ces données et formule des conclusions sur les réussites ou les échecs d’un programme, c’est aussi une façon de distinguer ce qui relève du travail de l’équipe d’évaluation et de l’évaluation proprement dite. Ainsi, si l’étape du « pleinement juger » est indispensable à toute évaluation, ce n’est pas toujours à l’équipe d’évaluation de la déployer. Cette dernière peut notamment se charger d’initier une démarche évaluative en accompagnant les commanditaires dans la sélection et la collecte de données pertinentes, tout en leur léguant le travail d’interprétation des résultats et de formulation des conclusions au regard de ce qu’ils/elles considèrent comme bon ou souhaitable. A l’inverse, l’équipe d’évaluation peut aussi se charger de formuler un jugement à partir de données préexistantes.

La définition proposée par l’autrice a ainsi des résonances très concrètes pour les évaluateurs/trices et peut les aider à réfléchir sur toute l’étendue de leur métier. Des propositions intéressantes sont faites en fin d’article pour accompagner cette réflexivité, relatives à l’apprentissage de la pensée critique ou à la capacité à naviguer entre différentes représentations du monde comme compétences centrales à l’évaluation. On les trouvera néanmoins un peu trop abstraites. Nous retiendrons plutôt que pour changer efficacement l’action publique, la démarche du jugement et de l’explicitation des critères qui sous-tendent la valeur d’une politique publique devrait selon l’autrice être intégrée à la phase de sa conception, et pas uniquement de son évaluation, ce qui ouvrirait par ailleurs de nouveaux débouchés aux savoir-faire des praticien·nes de l’évaluation.

Pour entendre l’autrice s’exprimer de vive voix sur le sujet, voir cette vidéo.

Gullickson, A. M. (2020). The whole elephant : Defining evaluation. Evaluation and Program Planning, 79, 101787. doi

Et aussi...


Ce numéro 3 a été préparé par Thomas Bouget, Pauline Joly, Alexandra Willams et Thomas Delahais avec le soutien d'Hélène Faure. Relire le nº1 et le nº2. Pour vous abonner, cliquez ici (4 numéros par an).


  1. Kylie Hutchinson est une Ă©valuatrice canadienne, consultante, avec un fort penchant pour le transfert de connaissances et le renforcement des capacitĂ©s. En savoir plus 

  2. Pas d'obligation de reprendre un verre, d'Ă©couter une nouvelle histoire ou quoi que ce soit d'autre. L'Ă©crit a ses vertus.  

  3. Anne Revillard est sociologue, directrice du LIEPP et de l'Observatoire sociologique du changement (OSC) de Sciences Po Paris. Elle travaille en particulier sur les questions de genre et de handicap. Pour en savoir plus, voir son site personnel

  4. Amy Gullickson est professeure associĂ©e au Center for Program Evaluation de l'UniversitĂ© de Melbourne, en Australie.  

Citations relatives Ă  l'Ă©valuation des politiques publiques

lundi 20 septembre 2021

Des citations inspirantes pour qui Ă©value.

đź“š Trois articles d'Ă©valuation (nÂş4, 15 septembre 2021)

mercredi 15 septembre 2021

Dans ce numéro, évaluation et bureaucratie, l'ultime combat, enquêter avec d'autres êtres, et oldiesbutgoodies, on sauve le monde avec Bob Stake !

đź’ˇ Glossaires de l'Ă©valuation

dimanche 12 septembre 2021

Liste de glossaires

💡 7 bonnes raisons de prendre en compte l'égalité entre les femmes et les hommes dans ma pratique d'évaluation

vendredi 09 juillet 2021

Oldies but goodies (Karine Sage)

đź“š Trois articles d'Ă©valuation (nÂş3, 15 mai 2021)

samedi 15 mai 2021

Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !

đź’ˇ Les Ă©valuations participatives, plus facile Ă  dire qu'Ă  faire

jeudi 29 avril 2021

Nouvel article publié (Thomas Delahais)

Quatre jeux de cartes d'Ă©valuation francophones

mardi 27 avril 2021

Ă€ l'occasion de la sortie de Strateval, nous revenons sur 3 autres jeux de cartes autour de l'Ă©valuation

đź’ˇ Qu'est-ce que l'analyse militante apporte Ă  l'Ă©valuation des politiques publiques ?

jeudi 08 avril 2021

Nouvel article publié (Marc Tevini)

📚 Trois articles d'évaluation (nº2, 15 février 2021)

lundi 15 février 2021

Dans ce numéro, évaluation féministe quésaco, apprentissage et redevabilité même combat ? et oldiesbutgoodies, des éléments pour une sociologie de l'évaluation... C'est le sommaire de ce numéro 2.

đź“˝ L'Ă©valuation des politiques sociales, de quoi parle-t-on ?

vendredi 15 janvier 2021

Introduction au séminaire de l'IRTS HDF du 26/01.

đź“˝ L'analyse de contribution en pratique

mardi 15 décembre 2020

Introduction Ă  la formation Ă  l'analyse de contribution

đź“š Trois articles d'Ă©valuation (nÂş1, 15 novembre 2020)

dimanche 15 novembre 2020

Dans ce numéro, plongée en pleine guerre froide avec la Realpolitik de l'évaluation, des idées pour professionnaliser l'évaluation, et oldiesbutgoodies, de quoi se demander ce que les évaluateurs et les évaluatrices défendent dans leur métier... C'est le sommaire de ce numéro 1.

đź“˝ L'Ă©valuation participative, plus facile Ă  dire qu'Ă  faire

lundi 09 novembre 2020

Intervention de T Delahais au Congrès de la SEVAL organisé par le GREVAL à Fribourg, le 4 septembre 2020.

đź’ˇ En situation anormale, l'Ă©valuation doit devenir la norme

jeudi 29 octobre 2020

Contribution de T Delahais et M Tevini en réponse à l'appel de la SFE, "Ce que la crise sanitaire nous apprend sur l'utilité et les pratiques d'évaluation".

đź’ˇ Comment Ă©valuer la transition

vendredi 23 octobre 2020

Nouvel article publié (Thomas Delahais, Karine Sage, Vincent Honoré)

💡 Quels mécanismes à l'œuvre dans les innovations ?

mardi 06 octobre 2020

Nouvel article publié (Agathe Devaux-Spatarakis)

đź“š Trois articles d'Ă©valuation (v0, 30 juillet 2020)

jeudi 30 juillet 2020

À l'honneur pour cette édition, la sagesse pratique des évaluateurs et des évaluatrices, soit « la capacité de faire les bons choix, au bon moment, pour les bonnes raisons » ; ce que les mots et concepts de l'évaluation perdent et gagnent à leur traduction d'une langue à l'autre et oldies but goodies, une piqûre de rappel quant à la vocation démocratique de l'évaluation en France... C'est le sommaire de ce numéro 0.