3 articles – 15 mai 2021 – n°3

Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !

Evaluation Failures

Dans son roman "Changement de décor", David Lodge met en scène un professeur d'anglais britannique découvrant l'université américaine des années 1970. Il y excelle à un jeu dans lequel celui qui gagne est celui qui n'a pas lu des livres que tous les autres ont lus. Les Américains sont partagés entre vanité (et le besoin de citer leurs lectures devant leur hôte anglais) et volonté atavique de gagner. Jusqu'à ce qu’un jeune maître-assistant de littérature anglaise cite : "Hamlet!" et remporte haut la main la partie. Le lendemain, le poste de professeur qui lui semblait promis lui échappe...

Dans le livre “Evaluation Failures” de Kylie Hutchinson¹, on ne retrouve pas de dénouement aussi dramatique : malgré son titre aguicheur, il y a peu d'échecs retentissants dans les 22 témoignages des évaluatrices et évaluateurs qui décrivent essentiellement des situations incommodes, des moments embarrassants et autres anicroches. On imagine qu'il est difficile de mettre en avant ses échecs lorsqu'on est un·e évaluateur/rice établi·e, avec une clientèle, une réputation ou des responsabilités institutionnelles.

Il faut donc d'autant plus saluer ce livre. En le parcourant, les lecteurs/rices auront peut-être l'impression (pas désagréable) de se retrouver à une réunion d'ancien·nes en marge de journées de l'évaluation, sans les désagréments² : les chapitres sont courts, bien racontés, se terminent par des leçons qui invitent à la réflexion, sont racontés à la première personne et on peut arrêter quand on veut. Et puis les anicroches racontées ne sont peut-être pas très graves, mais elles sont riches d'enseignements. Isaac Castillo montre de façon frappante la manière dont les différences culturelles peuvent se mettre en travers de l'évaluation, en expliquant comment il pensait que ses origines mexicaines et sa maîtrise de l'espagnol seraient suffisantes pour échanger avec des chefs de gang salvadoriens (ce chapitre avait le potentiel pour un véritable roman évaluatif, mais les évaluateurs/trices sont hélas des gens trop raisonnables). De nombreuses autres situations frapperont les lecteurs et les lectrices de ce livre : travailler avec un ami (ce n’est pas une bonne idée), fournir un modèle si complexe que personne ne le comprend plus, laisser les commanditaires avec des attentes déconnectées des réalités du terrain, devoir faire avec des données parcellaires, inexistantes (ou disparues dans un crash informatique)… À chaque fois la situation est décortiquée et donne lieu à des réflexions intéressantes.

Lorsque les récits sont réellement des échecs – c’est le cas pour 6 ou 7 des 22 histoires racontées ici –, les lecteurs/rices épouvanté·es font face à leur pire cauchemar ou retrouveront des souvenirs gênants. Il est dans une certaine mesure rassurant que ces individus aient continué à faire de l’évaluation, malgré leur expérience marquante et pénible. En voici quelques illustrations :

• Une évaluatrice raconte comment son équipe d’évaluation s’est fait éjecter d’un processus d’évaluation pluriannuelle : voulant s’adapter et être utile à son client, l’équipe a fait ce qu’elle pouvait pour répondre à ses nombreuses demandes – dépassant la première année le budget de 50%. Souhaitant sortir du rouge, l’équipe d’évaluation pivote dans l’autre sens la deuxième année : elle devient moins flexible dans son approche et plus réticente lorsque le client souhaite sans cesse des modifications des livrables et outils de collecte. Les attentes décalées entre le client et son équipe d’évaluation s’aggravent progressivement, jusqu’à ce que l’évaluatrice reçoive l’appel fatidique l’informant que le client ne souhaitait plus travailler avec elle.

• Deux évaluateurs différents racontent de nombreux problèmes rencontrés (et les erreurs commises) lors de l'élaboration de systèmes de suivi et évaluation construits en Amérique du Nord pour des projets se situant en Afrique. Que ce soit l’implication insuffisante des parties prenantes (notamment le gouvernement du pays concerné), ou encore le glissement de l’étude de base vers un projet de recherche, les situations déraillent dans les deux cas : dans un cas, l’évaluateur devient le bouc émissaire, et les tensions entre le gouvernement et l’organisme s’aggravent jusqu’à ce que cela devienne un problème politique nécessitant l’aide de l’ambassade du donateur… ; dans l’autre, l’évaluateur connaît problème sur problème dans la mise en œuvre d'études de base déconnectées. Le système de suivi mis en place a finalement généré peu d’informations utiles.

• Une évaluatrice s’est trouvée dans une situation où elle devait réaliser une évaluation qui était en conflit avec ses valeurs et sa conception de la rigueur méthodologique : alors qu’elle était embauchée pour développer et réaliser l’évaluation d’un programme qui venait de démarrer, les clients ont finalement décidé d’adapter un programme existant plutôt que de créer un nouveau programme, qui avait par ailleurs été évalué précédemment. Dans la mesure où l’évaluation précédente a été très appréciée, l’évaluatrice « hérite » en quelque sorte de la méthode de cette évaluation, alors qu’elle la trouve biaisée et peu rigoureuse. Finalement, elle s’accroche au lieu d’arrêter une évaluation qui ne peut que mal se terminer - et la stresser.

Au final, et malgré le titre un peu trompeur, Evaluation Failures est un ouvrage agréable à lire et plein d'enseignements, peut-être plus pour des évaluateurs et évaluatrices s'étant déjà trouvé·es dans des situations similaires que pour les plus jeunes qui n'ont pas encore eu cette chance ? À part celui de le traduire, une seule envie en le refermant : se prêter à l'exercice !

Hutchinson, K. (Éd.). (2019). Evaluation failures : 22 tales of mistakes made and lessons learned. SAGE.

La réception des politiques du handicap

Dans cet article, Anne Revillard³ propose une application pratique de sa sociologie de la réception aux politiques du handicap en France. Ce faisant, elle fournit deux pistes inspirantes pour l’évaluation des politiques publiques : interroger le rôle des individus dans la fabrique d’une politique publique ; et privilégier la notion de ressortissant·es plutôt que celle – plus commune en évaluation – de « bénéficiaire ».

La sociologie de la réception s’attache, pour éclairer la compréhension d’une politique publique, à interroger les processus actifs par lesquels les individus lui attribuent un sens, et en font usage - à partir d’un champ des possibles plus ou moins ouvert. Le sujet des politiques du handicap constitue à cet effet un excellent terrain de mise à l’épreuve. Celles-ci sont en effet traversées par un changement de paradigme, qui les ont progressivement déplacées d’une logique de protection et de ségrégation des personnes handicapées, vers la valorisation croissante d’objectifs d’inclusion et de non-discrimination. A. Revillard interroge donc la réception de ces changements par les personnes handicapées.

À cet égard, le choix du terme de « ressortissant·e » est fondamental et introduit une mise à distance immédiate vis-à-vis de la notion de « bénéficiaire ». Les ressortissant·es ne sont pas défini·es par le statut qui leur est assigné dans la politique considérée, mais comme des sujets actifs et autonomes concernés – de près ou de loin – et participant (par leurs représentations, leurs choix d’en faire usage ou non) à lui donner une réalité sociale. Pour éclairer ces mécanismes, l'autrice mène ici 30 entretiens biographiques auprès de personnes sélectionnées, non pas au regard de leur lien avec une intervention publique spécifique, mais tout simplement parce qu’elles sont concernées – et donc indépendamment de tout intermédiaire institutionnel. Les répondants ont tou·tes une expérience du handicap supérieure à 15 ans, ce qui en fait des témoins de l’évolution des politiques du handicap. A. Revillard s’intéresse à trois thématiques, celles-ci n’étant pas abordées frontalement au cours de l’entretien, mais au détour du récit de vie, pour faire ensuite l’objet d’analyses spécifiques (tableau ci-dessous).

« Trois dimensions de la réception des politiques du handicap »

Cette approche comporte plusieurs promesses analytiques. Tout d’abord, elle permet d’incarner les politiques publiques au travers de l’expérience sociale de ses ressortissant·es, et de déconstruire les représentations dont ils/elles font l’objet. Ensuite, l’entretien biographique laisse le champ ouvert à l’expression spontanée des interviewé·es, et contribue à éclairer les « angles morts » qui persistent souvent dans la compréhension des effets (ou absence d’effets) d’une politique publique. A. Revillard dégage notamment de cette manière une explication au phénomène de non-recours à la Prestation de compensation du handicap (PCH). En effet, bien que celle-ci compense un ensemble plus large de surcoûts liés au handicap que sa version précédente, des personnes handicapées ont préféré rester sous l’ancien régime. Les entretiens biographiques révèlent ainsi que la PCH est souvent associée à une logique de contrôle social, du fait de conditions d’attribution plus strictes, qui a motivé un renoncement à des droits plus étendus pour conserver une autonomie d’usage.

En évaluation des politiques publiques, interroger de manière exploratoire la réception d’une politique par ses ressortissant·es n’est pas une pratique courante. Le présent article permet d’en identifier la portée, à la fois éthique, et heuristique, puisque cette approche contribue à dévoiler des facteurs dont l’incidence n’était pas envisagée, ou des logiques de causalité inattendues. Enfin, alors que l’évaluation se déploie en général dans un cadre déterminé par une intervention publique (avec ses objectifs, cibles, sa temporalité, son contexte politique de mise en œuvre), l’approche d’A. Revillard permet de « sortir du cadre », et d’interroger de manière longitudinale, auprès de ses ressortissant·es, les conséquences sur le temps long d’une politique publique.

Revillard, A. (2017). La réception des politiques du handicap : Une approche par entretiens biographiques. Revue française de sociologie, 58(1), 71. doi.

The whole elephant: Defining Evaluation

Qu’est-ce que l’évaluation ? À cette question à laquelle tant d’articles ont été consacrés, Amy Gullickson⁴ répond en insistant – et c’est l’une des forces de cet article – sur les vertus structurantes qu’une définition claire de l’évaluation pourrait avoir sur la profession d’évaluateur/rice, en permettant notamment à ses praticien·nes de clarifier la nature de leur intervention auprès de leurs clients ou partenaires.

Pour l’autrice, le cœur de l’activité évaluative consiste à garantir l’adéquation entre des représentations particulières de ce qui est souhaitable, et un travail d’investigation méthodique ayant pour but de formuler un jugement pertinent au regard des valeurs en jeu.

Soucieuse de favoriser l’appropriation de cette définition par le plus grand nombre, A. Gullickson rappelle dans cet article récent l’intérêt de mettre à distance le vocabulaire professionnel et de privilégier l’usage de termes courants pour l’exprimer. En s’appuyant sur des éléments de définition proposés par Robert Stake (1977), l’autrice reprend à son compte la distinction entre l’activité de description et l’activité de jugement, toutes deux nécessaires à la conduite d’une évaluation. Selon cette définition, l’évaluation serait la démarche consistant à « pleinement décrire et pleinement juger ».

Cette distinction a pour corolaire de rappeler que l’évaluation ne saurait être réduite à l’une ou l’autre de ces activités. Par exemple, si les expérimentations par assignation aléatoire peuvent s’avérer déterminantes pour la formulation d’un jugement évaluatif, elles constituent avant tout une démarche de mesure et de quantification d’un impact dont la finalité est descriptive, et ne permettent pas à elles seules de juger un programme.

Distinguer le « pleinement décrire », phase durant laquelle l’équipe d’évaluation accumule et traite des données sur l’objet qu’elle étudie, du « pleinement juger », durant laquelle elle interprète ces données et formule des conclusions sur les réussites ou les échecs d’un programme, c’est aussi une façon de distinguer ce qui relève du travail de l’équipe d’évaluation et de l’évaluation proprement dite. Ainsi, si l’étape du « pleinement juger » est indispensable à toute évaluation, ce n’est pas toujours à l’équipe d’évaluation de la déployer. Cette dernière peut notamment se charger d’initier une démarche évaluative en accompagnant les commanditaires dans la sélection et la collecte de données pertinentes, tout en leur léguant le travail d’interprétation des résultats et de formulation des conclusions au regard de ce qu’ils/elles considèrent comme bon ou souhaitable. A l’inverse, l’équipe d’évaluation peut aussi se charger de formuler un jugement à partir de données préexistantes.

La définition proposée par l’autrice a ainsi des résonances très concrètes pour les évaluateurs/trices et peut les aider à réfléchir sur toute l’étendue de leur métier. Des propositions intéressantes sont faites en fin d’article pour accompagner cette réflexivité, relatives à l’apprentissage de la pensée critique ou à la capacité à naviguer entre différentes représentations du monde comme compétences centrales à l’évaluation. On les trouvera néanmoins un peu trop abstraites. Nous retiendrons plutôt que pour changer efficacement l’action publique, la démarche du jugement et de l’explicitation des critères qui sous-tendent la valeur d’une politique publique devrait selon l’autrice être intégrée à la phase de sa conception, et pas uniquement de son évaluation, ce qui ouvrirait par ailleurs de nouveaux débouchés aux savoir-faire des praticien·nes de l’évaluation.

Pour entendre l’autrice s’exprimer de vive voix sur le sujet, voir cette vidéo.

Gullickson, A. M. (2020). The whole elephant : Defining evaluation. Evaluation and Program Planning, 79, 101787. doi

Et aussi...

• Le numéro 177 de la Revue française d'administration publique (RFAP), consacré à l'évaluation des politiques publiques et publié en partenariat avec la SFE est désormais disponible sur Cairn. À lire notamment la partie "chantiers" avec plusieurs articles intéressants, celui de notre collègue Marc Tevini sur l'évaluation militante bien sûr, mais aussi celui d'Edine Gassert sur l'émergence d'un nouvel acteur collectif de l'évaluation dans la formation professionnelle, ou encore celui de Lamia Benjankhar et Paul Cotton sur les évaluations d'impact sur la santé.

• Paru également, le numéro 32-1 de LeGes, la revue suisse d'évaluation, un numéro spécial faisant suite au congrès de la SEVAL et du GREVAL de septembre 2020, qui était consacré à la participation en évaluation. On y retrouvera l'article de notre collègue Thomas Delahais, "Les évaluations participatives, plus faciles à dire qu'à faire", ainsi que des compte-rendus d'atelier sur la participation des publics vulnérables, l'utilisation de la vidéo ou encore les façons de concilier indépendance et participation pour les instances de contrôle comme la Cour des Comptes.

• Nous avons mis à disposition en bêta ouverte un nouveau jeu de cartes, Strateval, en accès libre et gratuit. Trop souvent, la conception des évaluations est ramenée à une suite d'outils des sciences sociales. Strateval vise à aider à reconsidérer les ingrédients d'une stratégie évaluative complète. Le jeu est téléchargeable ici. Introduction en vidéo ici.

---

Ce numéro 3 a été préparé par Thomas Bouget, Pauline Joly, Alexandra Willams et Thomas Delahais avec le soutien d'Hélène Faure. Relire le nº1 et le nº2. Pour vous abonner, cliquez ici (4 numéros par an).