Humans after all?
lundi 03 juillet 2023
The challenges of external validity, towards an interdisciplinary discussion?
Dans ce numéro, cinéma à tous les étages : La Revanche des Sith, Octobre rouge et 120 battements par minute... ou presque ?
Ă travers son ouvrage « La revanche des contextes : des mĂ©saventures de lâingĂ©nierie sociale, en Afrique et au-delà  », sâappuyant sur de nombreuses annĂ©es de recherche et de terrain en Afrique, Jean-Pierre Olivier de Sardan pose une question cruciale : Pourquoi une intervention, tout aussi bien conçue quâelle soit, ne va-t-elle pas donner les rĂ©sultats escomptĂ©s une fois mise en Ćuvre ? Â
Cette question est traitĂ©e tout au long de cinq parties. La premiĂšre, portant sur les modĂšles voyageurs, est sans doute la plus pertinente pour les Ă©valuateurs et les Ă©valuatrices. Les autres parties portent sur les normes pratiques; les modes de gouvernance ; les logiques sociales et la connexion entre recherche et rĂ©formes. La conclusion enfin, appelle Ă une socio-anthropologie des dissonances, des Ă©carts, des contradictions et des diversitĂ©s. Mais câest Ă la premiĂšre partie du livre que nous nous intĂ©resserons ici en prioritĂ©.
Quelle rĂ©ponse, donc, donne JP Olivier de Sardan Ă la question posĂ©e ? Pour lui, lâĂ©cart entre ce qui est attendu et ce qui est constatĂ© sur le terrain provient du fait que les concepteurs des programmes, interventions, souvent dâexcellents professionnels, mĂ©sestiment, mĂ©connaissent les « contextes pragmatiques » de mise en Ćuvre de leurs actions. Ainsi, la mĂ©canique (« thĂ©orie opĂ©ratoire du modĂšle ») de rĂ©ussite du programme prĂ©vue lors de la fabrication du modĂšle se grippe Ă lâĂ©preuve du terrain. Câest ce quâil appelle la revanche des contextes.
La cause ? La prĂ©dominance de ce que lâauteur appelle des modĂšles voyageurs : « Toute intervention institutionnelle standardisĂ©e (une politique publique, un programme, une rĂ©forme, un projet, un protocole, selon les Ă©chelles ou les domaines), en vue de produire un quelconque changement social, et qui repose sur un âmĂ©canismeâ et des âdispositifsâ censĂ©s avoir des propriĂ©tĂ©s intrinsĂšques permettant dâinduire ce changement dans des contextes de mise en Ćuvre variĂ©s », nâimpliquant ni les agents chargĂ©s de la mise en Ćuvre ni les acteurs de terrain tant lors de la conception du programme quâau moment de sa mise en Ćuvre. Les concepteurs tentent p arfois de recontextualiser le modĂšle ; mais celui-ci considĂ©rant la rĂ©alitĂ© de façon abstraite, il peut ĂȘtre trĂšs difficile malgrĂ© tout dâarriver Ă des rĂ©sultats satisfaisants.
Tout lâenjeu de la mise en Ćuvre dâune intervention est donc son intĂ©gration dans le contexte. Lâauteur nâemploie dâailleurs pas par hasard le mot de revanche, personnifiant ainsi cette derniĂšre comme pour lui donner corps et mettre en garde contre le retour de flamme.
Ce qui est dĂ©crit est un enjeu pour la rĂ©ussite du programme bien sĂ»r, mais aussi pour Ă©viter dâalimenter un cycle pervers de nouveaux modĂšles. En effet, lâĂ©chec dâune intervention engendre sa critique qui produira un autre modĂšle : les programmes se superposent, sont dĂ©tournĂ©s, sans que personne ne sâen saisisse pleinement.
Si lâauteur sâappuie sur son expĂ©rience dans lâingĂ©nierie sociale en Afrique, les leçons quâil en tire apportent des perspectives utiles pour les politiques publiques en gĂ©nĂ©ral, comme pour leur Ă©valuation.
Lâauteur propose en effet une vision diffĂ©rente dâagir et de penser une politique publique. La conception, la mise en Ćuvre dâun programme sont-elles le lieu de la libertĂ©, de la connaissance, du dialogue, de la crĂ©ativitĂ©, de lâĂ©coute, de lâintime, du temps ? Ou celui, par le modĂšle, de la volontĂ©, de la maĂźtrise, de la possession, de lâhomogĂ©nĂ©isation, de la prĂ©dictibilitĂ©, du rĂ©sultat ? On pourrait parler de confrontation entre vĂ©ritĂ© (le dĂ©veloppeur pense avoir la solution) et rĂ©alitĂ© (ce dont devrait parler le dĂ©veloppeur, la politique publique et dĂ©tenue par les agents locaux, entre autres).
Lâauteur alerte aussi sur la gĂ©nĂ©ralisation des enseignements de projets pilotes. LâĂ©valuation de ces derniers, rĂ©alisĂ©s dans des conditions favorables (adhĂ©sion des parties prenantes, soutien financier, etc.), peut rassurer avant un dĂ©ploiement Ă plus grande Ă©chelle, mais leur Ă©valuation nâassure en aucun cas ce que sera la mise en Ćuvre dans un contexte rĂ©el.
De mĂȘme, la mise en rĂ©cit (« histoire Ă©difiante montrant que les objectifs ont Ă©tĂ© atteints, gage dâefficacitĂ© du modĂšle ») passe souvent sous silence les « complexitĂ©s des conditions secrĂštes » de la mise en Ćuvre du modĂšle (« ambiguĂŻtĂ©s, contradictions, hĂ©sitations, Ă©checs, incertitudes »).
Ainsi, pourrait-on davantage mobiliser les anthropologues au moment de la conception des programmes et de leur Ă©valuation. Ce sont eux qui Ă©tudient les humains et leurs rapports au monde (« connaĂźtre les routines, les logiques, les rumeurs, les incertitudes, les problĂšmes, les nĆuds critiques, les frictions et rivalitĂ©s, les compromis et les nĂ©gociations, le regard des proches, les relations de pouvoir, les dĂ©brouillardises, les trucs, les combines, les solidaritĂ©s »1), rĂ©vĂ©lant, valorisant ainsi la brique nĂ©cessaire Ă la rĂ©ussite du programme. Faut-il, enfin, des enquĂȘtes de terrain de long terme, au plus proche des personnes, pour dĂ©crire plus finement les consĂ©quences des programmes, attendues ou inattendues â au-delĂ du temps, donc des Ă©valuations classiques ?
Olivier de Sardan, J.-P. (2021). La revanche des contextesâŻ: Des mĂ©saventures de lâingĂ©nierie sociale, en Afrique et au-delĂ . Ăditions Karthala.
DerriĂšre un titre un brin provoquant, ce bref article propose une typification simple et claire des rapports que peuvent entretenir les acteurs publics et les Ă©valuateurs vis-Ă -vis de la dĂ©marche dâĂ©valuation. Universitaire britannique spĂ©cialiste du dĂ©veloppement local, Andrew Coulson constate lâintĂ©rĂȘt grandissant des autoritĂ©s locales de son pays pour lâĂ©valuation des politiques socio-Ă©conomiques dĂšs la fin des annĂ©es 1970.
Lâauteur constate que la multiplication des organismes infranationaux et des collectivitĂ©s territoriales sâaccompagne dâun important mouvement vers lâĂ©valuation, qui est pour lui de deux types. Le premier concerne des travaux dĂ©cidĂ©s par des bailleurs (comme lâĂtat) qui cherchent Ă contrĂŽler le destin de leurs subventions, une tendance nourrie par des Ă©tudes Value-for-Money et une quantification de la performance en termes financiers. Le second concernerait plutĂŽt des commandes internes passĂ©es par les gestionnaires de programmes, dans un objectif dâamĂ©lioration des services ou de la performance Ă©conomique ou sociale de leurs interventions. La variĂ©tĂ© des mĂ©thodes des sciences sociales se retrouve plutĂŽt dans cette seconde tradition, tandis que la premiĂšre implique bien plus de statisticiens, de comptables et de gestionnaires. Le second cadre serait aussi bien plus propice Ă lâĂ©mergence de questionnements et de recherches qui prennent en compte la variabilitĂ© naturelle des programmes et du contexte dans le temps, contrairement par exemple Ă un carcan dâindicateurs dĂ©finis en amont.
LâintĂ©rĂȘt de lâarticle de Coulson est de lier ces deux dimensions Ă une figure de lâĂ©valuateur tel quâil va ĂȘtre perçu durant lâĂ©valuation. Au service du contrĂŽleur, du gouvernement central ou dâun autre type de bailleur, lâĂ©valuateur sera plus vite cantonnĂ© dans lâimage de « lâinquisiteur », demandant des comptes avec des exigences de rĂ©sultats souvent dĂ©finies a priori dans les conventions ou contrats de partenariats passĂ©s entre acteurs publics. Au service de lâagence exĂ©cutive, lâĂ©valuateur sera bien plutĂŽt le « camarade » qui dit au pouvoir ce quâil souhaite entendre, et qui lâaide Ă dĂ©fendre ses choix politiques vis-Ă -vis de lâextĂ©rieur. Dans les deux cas, on se retrouve avec un travail Ă©valuatif finalement assez peu transparent ou publiĂ©, quâil serve uniquement un dialogue de gestion, ou que les travaux Ă tendance critique soient enterrĂ©s par leurs commanditaires. Dans les deux cas, le rapport Ă la vĂ©ritĂ© et Ă la validitĂ© des Ă©valuations souffre, sachant quâil est dĂ©jĂ mĂ©thodologiquement fragile tant les effets inattendus des programmes peuvent Ă©chapper aux protocoles trop Ă©troits ou mal ajustĂ©s des spĂ©cialistes.
Finalement, Coulson se demande si lâĂ©valuateur ne doit pas endosser un troisiĂšme rĂŽle, celui de « lâenquĂȘteur », voire de « lâespion ». DotĂ© virtuellement dâun grand pouvoir mais grevĂ© par une faible reconnaissance, lâĂ©valuateur devrait porter une forme de lutte pour la vĂ©ritĂ©, et se faire en quelque sorte le champion du dĂ©bat informĂ© dans les arĂšnes politiques et technocratiques. Pour cela, il faut du temps, des ressources et du dialogue, pour sâinformer et informer les acteurs de la politique. Comme le dit lâauteur : « la morale est de ne pas trop Ă©valuer, et de permettre Ă ceux qui sont Ă©valuĂ©s de rĂ©pondre, tout en considĂ©rant tant les forces des pratiques et modĂšles dâorganisations prĂ©sents que leurs faiblesses » (p.235). Si ces conclusions semblent largement partagĂ©es aujourd'hui, il est intĂ©ressant de constater que Coulson formule ces constats sans faire rĂ©fĂ©rence Ă des travaux devenus classiques tels que ceux de Michael Q. Patton. Un signe de lâubiquitĂ© de ces questionnements ?
Coulson, A. (1988). The Evaluator: Inquisitor, Comrade or Spy?, Local Economy: The Journal of the Local Economy Policy Unit, 2(4), pp. 229-236.
Ă travers cet article, Sarah Demart aborde la question du non-recours par les migrant·es africain·es Ă la PrEP (prophylaxie prĂ©-exposition). La PrEP est un traitement qui peut ĂȘtre pris avant un comportement Ă risque (un rapport sexuel typiquement) pour Ă©viter une contamination. Il est utile notamment lorsqu'il n'est pas possible de nĂ©gocier le recours Ă un prĂ©servatif et est, Ă ce titre, un outil dans la lutte contre le SIDA.
Alors que la PrEP « touche peu de monde y compris dans le Nord global », lâautrice constate de surcroĂźt de fortes disparitĂ©s dâaccĂšs. Ainsi, alors quâils font partie des groupes les plus touchĂ©s par lâĂ©pidĂ©mie, les migrant.es africain.es ne connaissent pas ou nâutilisent presque pas ce traitement, alors que 40% des infections des migrant·es ont lieu en Europe.
De fait, si la PrEP est vue comme quelque chose de positif par ces publics, ils ne sâen saisissent pas. Simple question de mise en Ćuvre ? En fait, lâautrice veut montrer ici que la non-utilisation de la PrEP ne provient pas tant de sa mĂ©connaissance par les migrant.es africain.es que dâ« un effet de lâignorance produite par lâindustrie du SIDA ».
Pour Sarah Demart, en effet, câest bien plus tĂŽt, dans la formulation des problĂšmes dâaccĂšs aux soins et dans la construction des tests cliniques, quâest organisĂ©e lâignorance. La PrEP, en effet, suppose une disponibilitĂ© dâesprit, des conditions stables, une autonomie dans ses choix pour pouvoir prendre un traitement prĂ©ventif avant un acte sexuel. Il faudrait alors non pas seulement se demander si la PrEP est capable dâĂ©viter une contamination ; mais aussi si les personnes ciblĂ©es sont susceptibles dây avoir recours. Or, cette question, essentielle par exemple pour des femmes victimes de violence ou des personnes prĂ©caires, a Ă©tĂ© traitĂ©e de façon mineure dans la structuration initiale du dĂ©bat sur la pertinence de ce traitement, et ignorĂ©e dans les tests menĂ©s. Lâautrice explique ainsi comment des essais sur les femmes ont Ă©tĂ© interrompus car ils Ă©clairaient sous un jour moins favorable les rĂ©sultats positifs sur les hommes ; et la place marginale des migrant·es dans les essais, bien que le lien entre VIH et migration soit connu depuis les annĂ©es 1990.
Au final, explique lâautrice, « les raisons qui conduisent Ă identifier un groupe comme Ă©tant plus susceptible de bĂ©nĂ©ficier des avantages de la PrEP peuvent ĂȘtre les mĂȘmes qui rendent son utilisation compliquĂ©e voire improbable ». En Ă©largissant ainsi sa focale Ă la fabrique de lâaction publique en gĂ©nĂ©ral, Sarah Demart remet fortement en cause une logique de santĂ© publique qui pense en termes dâefficacitĂ© in abstracto, puis de mise en Ćuvre, sans prise en compte des publics et des situations concrĂštes qu'ils vivent. En rĂ©alitĂ©, la faible capacitĂ© de la PrEP Ă changer la vie de celles et ceux qui en ont le plus besoin est intrinsĂšque. Cette production de lâignorance, bien sĂ»r, est Ă©galement Ă lâĆuvre dans de nombreuses politiques publiques : il y a sans doute un rĂŽle pour les Ă©valuateurs et les Ă©valuatrices Ă mieux la mettre en Ă©vidence ; ou Ă intervenir plus amont dans la fabrique de lâaction publique pour lâĂ©viter.
Demart, S. (2022). «âOn nâarrive pas Ă les toucherâ»âŻ: La PrEP, les migrant.e.s africain.e.s et la production de lâignorance. Global Health Promotion, 0(0), 4.
Ce numĂ©ro 7 a Ă©tĂ© prĂ©parĂ© par Thomas Delahais, HĂ©lĂšne Faure et Antonin Thyrard-Durocher. Relire le nÂș5 et le nÂș6. Pour vous abonner, cliquez ici (4 numĂ©ros par an).
De Barkhane au dĂ©veloppement : la revanche des contextes, AOC, 14 juin 2021. ↩
lundi 03 juillet 2023
The challenges of external validity, towards an interdisciplinary discussion?
mardi 27 juin 2023
Les défis de la validité externe, un sujet d'échange interdisciplinaire ?
vendredi 16 juin 2023
Le name and shame est-il une politique publique efficace?
jeudi 19 janvier 2023
Quelles distinctions entre l'évaluation et les pratiques voisines ?
mardi 01 novembre 2022
Quelle démarche pour une cartographie des usages de l'évaluation d'impact ?
samedi 15 octobre 2022
Un numĂ©ro trĂšs trĂšs lutte â pour l'Ă©quitĂ© raciale, entre objectivistes et subjectivistes, et oldies but goodies pour faire entendre l'Ă©valuation dans un contexte politisĂ©.
dimanche 17 juillet 2022
Feedback on the European Evaluation Society Conference in Copenhagen
mardi 12 juillet 2022
Retour sur la conférence de la société européenne d'évaluation à Copenhague
mercredi 15 juin 2022
Dans ce numéro, cinéma à tous les étages : La Revanche des Sith, Octobre rouge et 120 battements par minute... ou presque
vendredi 25 mars 2022
Publication
mardi 15 mars 2022
Dans ce numéro, la cartographie des controverses rencontre la science comportementale, et la recherche l'action publique.
mercredi 15 décembre 2021
Numéro spécial Anthologie
lundi 20 septembre 2021
Des citations inspirantes pour qui évalue.
mercredi 15 septembre 2021
Dans ce numĂ©ro, Ă©valuation et bureaucratie, l'ultime combat, enquĂȘter avec d'autres ĂȘtres, et oldiesbutgoodies, on sauve le monde avec Bob Stake !
vendredi 09 juillet 2021
Oldies but goodies (Karine Sage)
samedi 15 mai 2021
Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !
jeudi 29 avril 2021
Nouvel article publié (Thomas Delahais)
mardi 27 avril 2021
à l'occasion de la sortie de Strateval, nous revenons sur 3 autres jeux de cartes autour de l'évaluation
jeudi 08 avril 2021
Nouvel article publié (Marc Tevini)
lundi 15 février 2021
Dans ce numĂ©ro, Ă©valuation fĂ©ministe quĂ©saco, apprentissage et redevabilitĂ© mĂȘme combat ? et oldiesbutgoodies, des Ă©lĂ©ments pour une sociologie de l'Ă©valuation... C'est le sommaire de ce numĂ©ro 2.
vendredi 15 janvier 2021
Introduction au séminaire de l'IRTS HDF du 26/01.
mardi 15 décembre 2020
Introduction Ă la formation Ă l'analyse de contribution
dimanche 15 novembre 2020
Dans ce numéro, plongée en pleine guerre froide avec la Realpolitik de l'évaluation, des idées pour professionnaliser l'évaluation, et oldiesbutgoodies, de quoi se demander ce que les évaluateurs et les évaluatrices défendent dans leur métier... C'est le sommaire de ce numéro 1.
lundi 09 novembre 2020
Intervention de T Delahais au CongrÚs de la SEVAL organisé par le GREVAL à Fribourg, le 4 septembre 2020.
jeudi 29 octobre 2020
Contribution de T Delahais et M Tevini en réponse à l'appel de la SFE, "Ce que la crise sanitaire nous apprend sur l'utilité et les pratiques d'évaluation".
vendredi 23 octobre 2020
Nouvel article publié (Thomas Delahais, Karine Sage, Vincent Honoré)
mardi 06 octobre 2020
Nouvel article publié (Agathe Devaux-Spatarakis)
jeudi 30 juillet 2020
à l'honneur pour cette édition, la sagesse pratique des évaluateurs et des évaluatrices, soit « la capacité de faire les bons choix, au bon moment, pour les bonnes raisons » ; ce que les mots et concepts de l'évaluation perdent et gagnent à leur traduction d'une langue à l'autre et oldies but goodies, une piqûre de rappel quant à la vocation démocratique de l'évaluation en France... C'est le sommaire de ce numéro 0.