Ăvaluer les programmes d'innovation
mardi 09 juillet 2024
Les programmes d'innovation se multiplient, mais sans jamais ĂȘtre Ă©valuĂ©s
Dans ce numéro, la cartographie des controverses rencontre la "science comportementale", et la recherche l'action publique.
Depuis le succĂšs du livre SytĂšme 1/SystĂšme 2 : Les deux vitesses de la pensĂ©e de Daniel Kahneman (paru en 2002 et traduit 10 ans aprĂšs), lâĂ©conomie comportementale a connu un rĂ©el essor tant dans le champ acadĂ©mique que dans sa prise en compte dans les questionnements Ă©valuatifs et la conception de lâaction publique, notamment via lâintĂ©rĂȘt de ces derniĂšres annĂ©es pour le nudge1. L'auteur et l'autrice de cet ouvrage, Coralie Chevallier et Mathieu Perona, reviennent ici sur les principales avancĂ©es de cette discipline dans les 20 derniĂšres annĂ©es et notamment ses apports pour la conception et lâanalyse des politiques publiques.
Sur la forme, il faut dâabord saluer la clartĂ© et la fluiditĂ© du style des auteurs qui rend sa lecture agrĂ©able et accessible Ă tous, mĂȘme aux lecteurs et lectrices les moins familiers avec cette approche. Sur le fond, chaque chapitre prĂ©sente une thĂ©matique dâinvestigation de cette discipline et ses (potentielles) utilisations dans le cadre de lâaction publique. Sont traitĂ©s notamment, notre aspiration pour le moindre effort (chapitre 2), nos prĂ©dispositions Ă la coopĂ©ration (chapitre 3), lâimportance de la rĂ©putation dans nos relations (chapitre 4), notre aspiration pour lâĂ©quitĂ© (chapitre 5), sans oublier notre tendance Ă la procrastination (chapitre 6).
Les deux derniers chapitres apportent un Ă©clairage particuliĂšrement intĂ©ressant. Dâabord sur lâinfluence de la situation financiĂšre et sociale des personnes sur leur psychologie (psychologie de la prĂ©caritĂ© et de la prospĂ©ritĂ©), ainsi par exemple expliquer pourquoi les personnes en situation de pauvretĂ© nâont que peu recours aux dispositifs demandant un investissement Ă long terme ou de la prĂ©vention car lâurgence du prĂ©sent, leur situation de prĂ©caritĂ© les amĂšne Ă se concentrer sur la gestion immĂ©diate des contraintes quâils rencontrent. Puis lâauteur et lâautrice abordent le « cĂŽtĂ© obscur » de lâutilisation des sciences comportementales , ou le sludge2, en revenant sur les enjeux Ă©thiques nĂ©cessaires Ă prendre en compte, en dâautres termes sâassurer que les fins poursuivies par lâutilisation de ces connaissances sont bien le bien-ĂȘtre, lâautonomie des personnes et la prĂ©servation de la libertĂ© de choix .
La lecture de cet ouvrage est indispensable pour tout Ă©valuateur qui serait passĂ© Ă cĂŽtĂ© du dĂ©veloppement de ce champ dâinvestigation. Pour les autres, il apporte une clarification et une synthĂšse prĂ©cieuse des principaux travaux dans ce domaine. Ce d'autant que cette approche plaçant lâindividu bĂ©nĂ©ficiaire au cĆur de lâanalyse de lâaction publique en sâappuyant sur la psychologie, nâest pas sans rappeler la dĂ©marche de lâĂ©valuation rĂ©aliste thĂ©orisĂ©e par Ray Pawson et Nicholas Tilley Ă la fin des annĂ©es 903. En effet, lâĂ©valuation rĂ©aliste centre lâanalyse Ă©valuative sur lâidentification des mĂ©canismes psychosociaux que lâaction publique cherche à « activer » chez les publics ciblĂ©s, ainsi que leur succĂšs selon les contextes et les catĂ©gories dâindividus. Ainsi, les tendances psychologiques comportementales peuvent ĂȘtre mobilisĂ©es comme autant dâhypothĂšses Ă tester et affiner au grĂ© des donnĂ©es collectĂ©es dans le cadre dâĂ©valuations. Celles-ci proposent en effet des hypothĂšses valables pour expliquer pourquoi certains dispositifs sont utilisĂ©s ou non (le non-recours) ainsi que leurs effets variables selon les contextes de mise en Ćuvre. Ă terme, une telle approche apporte des outils pour mieux concevoir les dispositifs publics en formalisant les hypothĂšses de comportements psychologiques que lâon souhaite mobiliser chez les publics ciblĂ©s et en ajustant la mise en Ćuvre pour sâassurer quâelles seront bien effectives.
NĂ©anmoins, cette approche pĂątit des Ă©cueils de ses qualitĂ©s. En plaçant lâindividu au centre de lâanalyse, elle ne peut apprĂ©hender des politiques publiques plus complexes qui engagent une diversitĂ© dâacteurs et de niveaux de mise en Ćuvre et qui dĂ©ploient une diversitĂ© dâactions ayant vocation Ă faire systĂšme. En effet, cette Ă©tude Ă lâĂ©chelle de lâindividu nous apporte des Ă©lĂ©ments dâanalyse sur la partie de lâaction publique et les dispositifs concentrĂ©s sur une relation directe, simple entre administrateurs et administrĂ©s, basĂ©s sur une logique dâincitation/ rĂ©action. Cependant elle nĂ©cessite dâĂȘtre articulĂ©e avec dâautres approches Ă©valuatives et dâautres cadres conceptuels pour rendre compte de la cohĂ©rence de diffĂ©rentes actions et dispositifs entre eux, des diversitĂ©s de mise en Ćuvre par les acteurs de terrain ainsi que des compromis politiques essentiels Ă chaque dĂ©cision publique.
Au final, nous regrettons Ă ce jour encore le peu de dialogue et de coopĂ©ration entre cette approche, sa littĂ©rature et celle de la recherche en Ă©valuation (autre que lâĂ©valuation expĂ©rimentale en Ă©conomie). Ces deux champs auraient il nous semble Ă apprendre lâun de lâautre afin de proposer un Ă©clairage complet aux acteurs de lâaction publique.
Chevallier, C., Perona, M. (2022). Homo Sapiens dans la citĂ©, Comment adapter lâaction publique Ă la psychologie humaine. Odile Jacob, 2022. 286p.
Cet ouvrage, rĂ©digĂ© sous la direction de Camille Seurat et Thomas Tari, est issu dâun travail collectif rĂ©alisĂ© dans le cadre du programme Forccast (Formation par la cartographie des controverses Ă lâanalyse des sciences et des techniques). Il guide les lecteurs et les lectrices dans la comprĂ©hension des « controverses », naissant et Ă©voluant dans un contexte sociĂ©tal en perpĂ©tuel mouvement, prĂ©sentĂ©es sous un angle Ă la fois scientifique, technique, sociologique et politique.
Dans son introduction, Thomas Tari, sociologue au mĂ©dialab de Sciences Po, reprend la dĂ©finition opĂ©rationnelle de la controverse donnĂ©e par les sociologues Nicolas Benvegnu et Brice Laurent, comme la « situation dans laquelle un diffĂ©rend/dĂ©saccord entre plusieurs parties â chaque partie engageant des savoirs spĂ©cialisĂ©s et aucune ne parvenant Ă imposer des certitudes â est mis en scĂšne devant un tiers. Une controverse est caractĂ©risĂ©e par un enchevĂȘtrement dâenjeux variĂ©s, de faits et de valeurs ainsi que par le fait que sây jouent simultanĂ©ment une dĂ©finition de la technique et du social. ». Ă noter que, dans le champ acadĂ©mique, la notion de « controverse » elle-mĂȘme fait dĂ©bat : certainâes auteurs et autrices estiment que la qualification dâun dĂ©saccord comme controverse nâest pas toujours justifiĂ©e et concĂšde trop dâimportance Ă ce qui peut sâavĂ©rer un simple fantasme ou pure calomnie. La prĂ©face de Bruno Latour, quant Ă elle, Ă©claire la façon dont les controverses peuvent ĂȘtre utilement employĂ©es pour rendre compte de la façon dont se construit la science, en remettant en cause l'idĂ©e de "vĂ©ritĂ© scientifique". Cette prĂ©face stimulante appelle Ă faire le parallĂšle avec l'action publique, comme nous le faisons plus bas.
Lâexercice de cartographie des controverses est un travail de description qui sâappuie sur une approche inductive, partant du terrain dâenquĂȘte plutĂŽt que dâun cadre thĂ©orique pour son analyse. Dans une telle dĂ©marche, les arguments de chaque acteur et actrice qui sâexprime sur un sujet sont recensĂ©s, ainsi que les liens ou les points de divergence existants entre eux. Nous retenons notamment lâexemple de lâanalgĂ©sie pĂ©ridurale, dans lequel InĂšs Mosgalik prĂ©sente un acte Ă la fois condamnĂ©, par opposition aux Ă©crits bibliques â « Tu enfanteras dans la douleur » â considĂ©rant que la douleur fait partie de lâaccouchement ; et, Ă lâinverse, initialement encouragĂ© par les fĂ©ministes comme un moyen de rĂ©duction des risques et des douleurs pour les parturientes. Aujourd'hui, l'analgĂ©sie pĂ©ridurale est devenue davantage une norme (77% y ayant recours en France en 2010). Fin du dĂ©bat ? En rĂ©alitĂ©, il apparaĂźt que les pĂ©ridurales sont trop souvent rĂ©alisĂ©es sans consentement des patientes, notamment dans le but de rĂ©pondre Ă une volontĂ© de lâinstitution hospitaliĂšre dâoptimiser son fonctionnement en programmant les accouchements ou en prĂ©venant certains risques qui y sont liĂ©s. Un acte initialement « libĂ©rateur » et pour lequel les femmes sont censĂ©es « avoir le choix » est ainsi converti en un outil de commoditĂ© au profit de lâinstitution hospitaliĂšre.
L'analyse en termes de controverses permet ainsi de saisir les Ă©volutions du dĂ©bat autour de sujets de sociĂ©tĂ©, en faisant apparaĂźtre les accords et dĂ©saccords des parties prenantes au travers dâune multitude dâarguments, recoupĂ©s entre les domaines des sciences et techniques et de sociĂ©tĂ©. En cela, lâanalyse des controverses apparaĂźt comme un remarquable levier de comprĂ©hension des problĂ©matiques sociĂ©tales et dâaction Ă leur sujet. Et parce que les controverses sont partout autour de nous, les auteurs et autrices proposent en fin dâouvrage un guide complet pour accompagner les lecteurs et les lectrices dans leur propre rĂ©flexion sur le sujet et leur permettre de construire une cartographie des controverses.
Quâen retenir dans une perspective Ă©valuative ? La cartographie des controverses offre, dans le cadre d'une Ă©valuation participative, lâopportunitĂ© de mettre en lumiĂšre les conflits existants entre les parties prenantes, que ceux-ci portent sur leur vision des problĂšmes, lâopportunitĂ© dâune intervention publique ou les instruments Ă mobiliser. Un apport essentiel rĂ©side dans la logique de cette cartographie, qui nâest pas tant de rĂ©soudre ces controverses (et encore moins les problĂšmes sous-jacents), mais de permettre Ă chacunâe dâen ĂȘtre conscient·e. Elle apparaĂźt ainsi comme un outil dâanimation de la participation en situation conflictuelle4, mais aussi dâidentification des sujets qui feront lâobjet dâinvestigations approfondies dans lâĂ©valuation, dans une logique finalement proche de lâĂ©valuation constructiviste5. Les parties prenantes peuvent alors acter leurs accords et leurs dĂ©saccords, mais aussi poursuivre leur controverse sur la base des constats de lâĂ©valuation, ouvrant peut-ĂȘtre la voie Ă des dialogues plus ouverts dans les Ă©valuations participatives.
Seurat, C., Tari, T. (2021) Controverses mode d'emploi, Paris, Les Presses de Sciences Po, 320 p.
Note: Une fois n'est pas coutume, cette publication est une production de l'Ă©quipe de Quadrant Conseil, dans le cadre dâune mission dâaccompagnement Ă la mise en place dâun systĂšme de suivi-Ă©valuation pour des projets soutenus par lâAgence Française de DĂ©veloppement pour favoriser le dialogue de politique publique6.
Cette revue de littĂ©rature a une visĂ©e trĂšs pratique, celle de rendre accessibles de maniĂšre structurĂ©e et dans leur diversitĂ© des travaux multiples, issus de diffĂ©rents champs disciplinaires (dont l'Ă©valuation) et pouvant apporter un Ă©clairage sur la comprĂ©hension des processus dâinteraction entre la recherche et lâaction publique. Elle est organisĂ©e en deux grandes sections : la premiĂšre explore les diffĂ©rents types de liens entre sphĂšre de la recherche et la sphĂšre de lâaction publique : Recherche sur, pour, dans, ou contre lâaction publique, ces relations parfois sâopposent, se succĂšdent, mais trĂšs souvent se superposent. Ces relations sont ensuite replacĂ©es dans les diffĂ©rentes approches actuelles du lien entre recherche et action publique. La complexitĂ© des processus de dĂ©cision est rappelĂ©e, ainsi que les diffĂ©rentes façons dont la recherche, et l'information en gĂ©nĂ©ral, peuvent y avoir un rĂŽle. La dimension souvent marginale de ce rĂŽle y est rappelĂ©e, ce qui appelle les producteurs de connaissance (chercheurs/ses et Ă©valuateurs/rices y compris) Ă adopter des stratĂ©gies spĂ©cifiques pour s'y faire une place. Les principales stratĂ©gies actuelles sont ainsi abordĂ©es.
La seconde section (figure) est apprĂ©hendĂ©e comme une boĂźte Ă outils Ă destination des chercheurs/ses, des dĂ©cideurs/ses et des acteurs/rices de lâaction publique en gĂ©nĂ©ral, dĂšs lors quâils et elles souhaitent sâengager dans une dĂ©marche de rapprochement entre recherche et action publique. Les praticien·nes apprĂ©cieront ainsi d'y retrouver une liste, qui se veut exhaustive, des diffĂ©rents usages qui peuvent ĂȘtre faits de la recherche, des conditions associĂ©es et des consĂ©quences qui peuvent en ĂȘtre attendues. Des cadres pour penser ce rapprochement en pratique, tout au long du cycle des politiques publiques, sont Ă©galement proposĂ©s.
Avec cette revue de littĂ©rature, nous avons cherchĂ© Ă ouvrir les horizons de tous ceux qui, acteurs de la recherche, de lâaction publique ou de la sociĂ©tĂ© civile, en position de dĂ©cision, de nĂ©gociation ou de contestation, parfois tout simplement concernĂ©s, veulent en savoir plus sur le sujet. Difficile dans ces conditions dâapprofondir chacun des sujets Ă©voquĂ©s. Le texte cherche cependant Ă resituer les diffĂ©rentes approches Ă©voquĂ©es dans leur contexte historique et thĂ©orique, et Ă fournir des pistes Ă ceux qui voudraient aller plus loin. Ă la lecture, les professionnels se rendront peut-ĂȘtre compte quâil existe diffĂ©rentes façons, toutes lĂ©gitimes, pour aborder cette question. Les plus novices y trouveront sans doute des outils pour dĂ©velopper leur propre projet. Câest en tout cas lâintention.
Delahais, T., & Devaux-Spatarakis, A. (2022). Quâattendre de la recherche pour Ă©clairer lâaction publiqueâŻ? (Ná” 229; Papiers de recherche).
Ce numĂ©ro 6 a Ă©tĂ© prĂ©parĂ© par Thomas Delahais, Agathe Devaux-Spatarakis et Jade Javiado avec le soutien d'HĂ©lĂšne Faure. Relire le nÂș4 et le nÂș5. Pour vous abonner, cliquez ici (4 numĂ©ros par an).
Pour aller plus loin sur les nudges et notamment les enjeux de leur Ă©valuation, lire : Kosters, M., & Van der Heijden, J. (2015). From mechanism to virtueâŻ: Evaluating Nudge theory. Evaluation, 21(3), 276â291 (tĂ©lĂ©chargeable gratuitement ici). Pour un point sur leur utilisation rĂ©cente par lâĂtat en France consulter ce reportage de France Inter. ↩
Le sludge est une pratique ou procĂ©dure qui exploite les biais comportementaux au dĂ©triment des personnes Ă qui elles sâadressent. ↩
Pawson, R, Tilley, N (1997) Realistic Evaluation, SAGE Publications. Pour une prĂ©sentation en France de l'Ă©valuation rĂ©aliste, Robert, Ă., & Ridde, V. (2013). Lâapproche rĂ©aliste pour lâĂ©valuation de programmes et la revue systĂ©matiqueâŻ: De la thĂ©orie Ă la pratique. Mesure et Ă©valuation en Ă©ducation, 36(3), 79â108. ↩
Sur les enjeux de prise en compte des conflits dans l'Ă©valuation participative, voir notamment Delahais, T. (2021). Les Ă©valuations participativesâŻ: Plus facile Ă dire quâĂ faireâŻ?. LeGes, 1(32), 16. ↩
Sur l'Ă©valuation constructiviste, voir Guba, E., Lincoln, Y. (2011). Lignes directrices et repĂšres pour une Ă©valuation constructiviste. in Delahais, T., Devaux-Spatarakis, A., Revillard, A., & Ridde, V. (2021). Evaluation. Fondements, Controverses et Perspectives (Sciences du Bien Commun). ↩
Pour une explication dĂ©taillĂ©e des enjeux de ce terme, consulter : Robert E., Ridde ValĂ©ry. (2018). "Policy dialogue" (dialogue sur les politiques) : une synthĂšse exploratoire des Ă©crits scientifiques. MontrĂ©al : IRSPUM, 28 p. ↩
mardi 09 juillet 2024
Les programmes d'innovation se multiplient, mais sans jamais ĂȘtre Ă©valuĂ©s
mardi 11 juin 2024
Et si on partait des usages de la connaissance plutĂŽt que de la production d'Ă©valuations ?
mercredi 05 juin 2024
Un nouveau livre sur les théories du changement en évaluation
mardi 23 avril 2024
Une présentation réalisée dans le cadre de Design des politiques publiques nouvelle génération 2024
lundi 08 avril 2024
Texte rédigé dans le cadre du MOOC de l'Université Paris 1
lundi 23 octobre 2023
Evaluating EU Cohesion policy â European Court of Auditors
lundi 03 juillet 2023
The challenges of external validity, towards an interdisciplinary discussion?
mardi 27 juin 2023
Les défis de la validité externe, un sujet d'échange interdisciplinaire ?
vendredi 16 juin 2023
Le name and shame est-il une politique publique efficace?
jeudi 19 janvier 2023
Quelles distinctions entre l'Ă©valuation et les pratiques voisines ?
mardi 01 novembre 2022
Quelle démarche pour une cartographie des usages de l'évaluation d'impact ?
samedi 15 octobre 2022
Un numĂ©ro trĂšs trĂšs lutte â pour l'Ă©quitĂ© raciale, entre objectivistes et subjectivistes, et oldies but goodies pour faire entendre l'Ă©valuation dans un contexte politisĂ©.
dimanche 17 juillet 2022
Feedback on the European Evaluation Society Conference in Copenhagen
mardi 12 juillet 2022
Retour sur la conférence de la société européenne d'évaluation à Copenhague
mercredi 15 juin 2022
Dans ce numéro, cinéma à tous les étages : La Revanche des Sith, Octobre rouge et 120 battements par minute... ou presque
vendredi 25 mars 2022
Publication
mardi 15 mars 2022
Dans ce numéro, la cartographie des controverses rencontre la science comportementale, et la recherche l'action publique.
mercredi 15 décembre 2021
Numéro spécial Anthologie
lundi 20 septembre 2021
Des citations inspirantes pour qui Ă©value.
mercredi 15 septembre 2021
Dans ce numĂ©ro, Ă©valuation et bureaucratie, l'ultime combat, enquĂȘter avec d'autres ĂȘtres, et oldiesbutgoodies, on sauve le monde avec Bob Stake !
vendredi 09 juillet 2021
Oldies but goodies (Karine Sage)
samedi 15 mai 2021
Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !
jeudi 29 avril 2021
Nouvel article publié (Thomas Delahais)
mardi 27 avril 2021
Ă l'occasion de la sortie de Strateval, nous revenons sur 3 autres jeux de cartes autour de l'Ă©valuation
jeudi 08 avril 2021
Nouvel article publié (Marc Tevini)
lundi 15 février 2021
Dans ce numĂ©ro, Ă©valuation fĂ©ministe quĂ©saco, apprentissage et redevabilitĂ© mĂȘme combat ? et oldiesbutgoodies, des Ă©lĂ©ments pour une sociologie de l'Ă©valuation... C'est le sommaire de ce numĂ©ro 2.
vendredi 15 janvier 2021
Introduction au séminaire de l'IRTS HDF du 26/01.
mardi 15 décembre 2020
Introduction Ă la formation Ă l'analyse de contribution
dimanche 15 novembre 2020
Dans ce numéro, plongée en pleine guerre froide avec la Realpolitik de l'évaluation, des idées pour professionnaliser l'évaluation, et oldiesbutgoodies, de quoi se demander ce que les évaluateurs et les évaluatrices défendent dans leur métier... C'est le sommaire de ce numéro 1.
lundi 09 novembre 2020
Intervention de T Delahais au CongrÚs de la SEVAL organisé par le GREVAL à Fribourg, le 4 septembre 2020.
jeudi 29 octobre 2020
Contribution de T Delahais et M Tevini en réponse à l'appel de la SFE, "Ce que la crise sanitaire nous apprend sur l'utilité et les pratiques d'évaluation".
vendredi 23 octobre 2020
Nouvel article publié (Thomas Delahais, Karine Sage, Vincent Honoré)
mardi 06 octobre 2020
Nouvel article publié (Agathe Devaux-Spatarakis)
jeudi 30 juillet 2020
à l'honneur pour cette édition, la sagesse pratique des évaluateurs et des évaluatrices, soit « la capacité de faire les bons choix, au bon moment, pour les bonnes raisons » ; ce que les mots et concepts de l'évaluation perdent et gagnent à leur traduction d'une langue à l'autre et oldies but goodies, une piqûre de rappel quant à la vocation démocratique de l'évaluation en France... C'est le sommaire de ce numéro 0.