livre 3 articles – 15 juin 2022 – n°7

Dans ce numéro, cinéma à tous les étages : La Revanche des Sith, Octobre rouge et 120 battements par minute... ou presque ?

La revanche des contextes

Revanche des contextes

À travers son ouvrage « La revanche des contextes : des mĂ©saventures de l’ingĂ©nierie sociale, en Afrique et au-delà », s’appuyant sur de nombreuses annĂ©es de recherche et de terrain en Afrique, Jean-Pierre Olivier de Sardan pose une question cruciale : Pourquoi une intervention, tout aussi bien conçue qu’elle soit, ne va-t-elle pas donner les rĂ©sultats escomptĂ©s une fois mise en Ɠuvre ?  

Cette question est traitĂ©e tout au long de cinq parties. La premiĂšre, portant sur les modĂšles voyageurs, est sans doute la plus pertinente pour les Ă©valuateurs et les Ă©valuatrices. Les autres parties portent sur les normes pratiques; les modes de gouvernance ; les logiques sociales et la connexion entre recherche et rĂ©formes. La conclusion enfin, appelle Ă  une socio-anthropologie des dissonances, des Ă©carts, des contradictions et des diversitĂ©s. Mais c’est Ă  la premiĂšre partie du livre que nous nous intĂ©resserons ici en prioritĂ©.

Quelle rĂ©ponse, donc, donne JP Olivier de Sardan Ă  la question posĂ©e ? Pour lui, l’écart entre ce qui est attendu et ce qui est constatĂ© sur le terrain provient du fait que les concepteurs des programmes, interventions, souvent d’excellents professionnels, mĂ©sestiment, mĂ©connaissent les « contextes pragmatiques » de mise en Ɠuvre de leurs actions. Ainsi, la mĂ©canique (« thĂ©orie opĂ©ratoire du modĂšle ») de rĂ©ussite du programme prĂ©vue lors de la fabrication du modĂšle se grippe Ă  l’épreuve du terrain. C’est ce qu’il appelle la revanche des contextes.

La cause ? La prĂ©dominance de ce que l’auteur appelle des modĂšles voyageurs : « Toute intervention institutionnelle standardisĂ©e (une politique publique, un programme, une rĂ©forme, un projet, un protocole, selon les Ă©chelles ou les domaines), en vue de produire un quelconque changement social, et qui repose sur un “mĂ©canisme” et des “dispositifs” censĂ©s avoir des propriĂ©tĂ©s intrinsĂšques permettant d’induire ce changement dans des contextes de mise en Ɠuvre variĂ©s », n’impliquant ni les agents chargĂ©s de la mise en Ɠuvre ni les acteurs de terrain tant lors de la conception du programme qu’au moment de sa mise en Ɠuvre. Les concepteurs tentent p arfois de recontextualiser le modĂšle ; mais celui-ci considĂ©rant la rĂ©alitĂ© de façon abstraite, il peut ĂȘtre trĂšs difficile malgrĂ© tout d’arriver Ă  des rĂ©sultats satisfaisants.

Tout l’enjeu de la mise en Ɠuvre d’une intervention est donc son intĂ©gration dans le contexte. L’auteur n’emploie d’ailleurs pas par hasard le mot de revanche, personnifiant ainsi cette derniĂšre comme pour lui donner corps et mettre en garde contre le retour de flamme.

Ce qui est dĂ©crit est un enjeu pour la rĂ©ussite du programme bien sĂ»r, mais aussi pour Ă©viter d’alimenter un cycle pervers de nouveaux modĂšles. En effet, l’échec d’une intervention engendre sa critique qui produira un autre modĂšle : les programmes se superposent, sont dĂ©tournĂ©s, sans que personne ne s’en saisisse pleinement.

Si l’auteur s’appuie sur son expĂ©rience dans l’ingĂ©nierie sociale en Afrique, les leçons qu’il en tire apportent des perspectives utiles pour les politiques publiques en gĂ©nĂ©ral, comme pour leur Ă©valuation.

L’auteur propose en effet une vision diffĂ©rente d’agir et de penser une politique publique. La conception, la mise en Ɠuvre d’un programme sont-elles le lieu de la libertĂ©, de la connaissance, du dialogue, de la crĂ©ativitĂ©, de l’écoute, de l’intime, du temps ? Ou celui, par le modĂšle, de la volontĂ©, de la maĂźtrise, de la possession, de l’homogĂ©nĂ©isation, de la prĂ©dictibilitĂ©, du rĂ©sultat ? On pourrait parler de confrontation entre vĂ©ritĂ© (le dĂ©veloppeur pense avoir la solution) et rĂ©alitĂ© (ce dont devrait parler le dĂ©veloppeur, la politique publique et dĂ©tenue par les agents locaux, entre autres).

L’auteur alerte aussi sur la gĂ©nĂ©ralisation des enseignements de projets pilotes. L’évaluation de ces derniers, rĂ©alisĂ©s dans des conditions favorables (adhĂ©sion des parties prenantes, soutien financier, etc.), peut rassurer avant un dĂ©ploiement Ă  plus grande Ă©chelle, mais leur Ă©valuation n’assure en aucun cas ce que sera la mise en Ɠuvre dans un contexte rĂ©el.

De mĂȘme, la mise en rĂ©cit (« histoire Ă©difiante montrant que les objectifs ont Ă©tĂ© atteints, gage d’efficacitĂ© du modĂšle ») passe souvent sous silence les « complexitĂ©s des conditions secrĂštes » de la mise en Ɠuvre du modĂšle (« ambiguĂŻtĂ©s, contradictions, hĂ©sitations, Ă©checs, incertitudes »).

Ainsi, pourrait-on davantage mobiliser les anthropologues au moment de la conception des programmes et de leur Ă©valuation. Ce sont eux qui Ă©tudient les humains et leurs rapports au monde (« connaĂźtre les routines, les logiques, les rumeurs, les incertitudes, les problĂšmes, les nƓuds critiques, les frictions et rivalitĂ©s, les compromis et les nĂ©gociations, le regard des proches, les relations de pouvoir, les dĂ©brouillardises, les trucs, les combines, les solidaritĂ©s »1), rĂ©vĂ©lant, valorisant ainsi la brique nĂ©cessaire Ă  la rĂ©ussite du programme. Faut-il, enfin, des enquĂȘtes de terrain de long terme, au plus proche des personnes, pour dĂ©crire plus finement les consĂ©quences des programmes, attendues ou inattendues – au-delĂ  du temps, donc des Ă©valuations classiques ?

Olivier de Sardan, J.-P. (2021). La revanche des contextes : Des mĂ©saventures de l’ingĂ©nierie sociale, en Afrique et au-delĂ . Éditions Karthala.


The evaluator: Inquisitor, comrade or spy?

DerriĂšre un titre un brin provoquant, ce bref article propose une typification simple et claire des rapports que peuvent entretenir les acteurs publics et les Ă©valuateurs vis-Ă -vis de la dĂ©marche d’évaluation. Universitaire britannique spĂ©cialiste du dĂ©veloppement local, Andrew Coulson constate l’intĂ©rĂȘt grandissant des autoritĂ©s locales de son pays pour l’évaluation des politiques socio-Ă©conomiques dĂšs la fin des annĂ©es 1970.

L’auteur constate que la multiplication des organismes infranationaux et des collectivitĂ©s territoriales s’accompagne d’un important mouvement vers l’évaluation, qui est pour lui de deux types. Le premier concerne des travaux dĂ©cidĂ©s par des bailleurs (comme l’État) qui cherchent Ă  contrĂŽler le destin de leurs subventions, une tendance nourrie par des Ă©tudes Value-for-Money et une quantification de la performance en termes financiers. Le second concernerait plutĂŽt des commandes internes passĂ©es par les gestionnaires de programmes, dans un objectif d’amĂ©lioration des services ou de la performance Ă©conomique ou sociale de leurs interventions. La variĂ©tĂ© des mĂ©thodes des sciences sociales se retrouve plutĂŽt dans cette seconde tradition, tandis que la premiĂšre implique bien plus de statisticiens, de comptables et de gestionnaires. Le second cadre serait aussi bien plus propice Ă  l’émergence de questionnements et de recherches qui prennent en compte la variabilitĂ© naturelle des programmes et du contexte dans le temps, contrairement par exemple Ă  un carcan d’indicateurs dĂ©finis en amont.

L’intĂ©rĂȘt de l’article de Coulson est de lier ces deux dimensions Ă  une figure de l’évaluateur tel qu’il va ĂȘtre perçu durant l’évaluation. Au service du contrĂŽleur, du gouvernement central ou d’un autre type de bailleur, l’évaluateur sera plus vite cantonnĂ© dans l’image de « l’inquisiteur », demandant des comptes avec des exigences de rĂ©sultats souvent dĂ©finies a priori dans les conventions ou contrats de partenariats passĂ©s entre acteurs publics. Au service de l’agence exĂ©cutive, l’évaluateur sera bien plutĂŽt le « camarade » qui dit au pouvoir ce qu’il souhaite entendre, et qui l’aide Ă  dĂ©fendre ses choix politiques vis-Ă -vis de l’extĂ©rieur. Dans les deux cas, on se retrouve avec un travail Ă©valuatif finalement assez peu transparent ou publiĂ©, qu’il serve uniquement un dialogue de gestion, ou que les travaux Ă  tendance critique soient enterrĂ©s par leurs commanditaires. Dans les deux cas, le rapport Ă  la vĂ©ritĂ© et Ă  la validitĂ© des Ă©valuations souffre, sachant qu’il est dĂ©jĂ  mĂ©thodologiquement fragile tant les effets inattendus des programmes peuvent Ă©chapper aux protocoles trop Ă©troits ou mal ajustĂ©s des spĂ©cialistes.

Finalement, Coulson se demande si l’évaluateur ne doit pas endosser un troisiĂšme rĂŽle, celui de « l’enquĂȘteur », voire de « l’espion ». DotĂ© virtuellement d’un grand pouvoir mais grevĂ© par une faible reconnaissance, l’évaluateur devrait porter une forme de lutte pour la vĂ©ritĂ©, et se faire en quelque sorte le champion du dĂ©bat informĂ© dans les arĂšnes politiques et technocratiques. Pour cela, il faut du temps, des ressources et du dialogue, pour s’informer et informer les acteurs de la politique. Comme le dit l’auteur : « la morale est de ne pas trop Ă©valuer, et de permettre Ă  ceux qui sont Ă©valuĂ©s de rĂ©pondre, tout en considĂ©rant tant les forces des pratiques et modĂšles d’organisations prĂ©sents que leurs faiblesses » (p.235). Si ces conclusions semblent largement partagĂ©es aujourd'hui, il est intĂ©ressant de constater que Coulson formule ces constats sans faire rĂ©fĂ©rence Ă  des travaux devenus classiques tels que ceux de Michael Q. Patton. Un signe de l’ubiquitĂ© de ces questionnements ?

Coulson, A. (1988). The Evaluator: Inquisitor, Comrade or Spy?, Local Economy: The Journal of the Local Economy Policy Unit, 2(4), pp. 229-236.

On n'arrive pas Ă  les toucher...

Saraj Demart

À travers cet article, Sarah Demart aborde la question du non-recours par les migrant·es africain·es Ă  la PrEP (prophylaxie prĂ©-exposition). La PrEP est un traitement qui peut ĂȘtre pris avant un comportement Ă  risque (un rapport sexuel typiquement) pour Ă©viter une contamination. Il est utile notamment lorsqu'il n'est pas possible de nĂ©gocier le recours Ă  un prĂ©servatif et est, Ă  ce titre, un outil dans la lutte contre le SIDA.

Alors que la PrEP « touche peu de monde y compris dans le Nord global », l’autrice constate de surcroĂźt de fortes disparitĂ©s d’accĂšs. Ainsi, alors qu’ils font partie des groupes les plus touchĂ©s par l’épidĂ©mie, les migrant.es africain.es ne connaissent pas ou n’utilisent presque pas ce traitement, alors que 40% des infections des migrant·es ont lieu en Europe.

De fait, si la PrEP est vue comme quelque chose de positif par ces publics, ils ne s’en saisissent pas. Simple question de mise en Ɠuvre ? En fait, l’autrice veut montrer ici que la non-utilisation de la PrEP ne provient pas tant de sa mĂ©connaissance par les migrant.es africain.es que d’« un effet de l’ignorance produite par l’industrie du SIDA ».

Pour Sarah Demart, en effet, c’est bien plus tĂŽt, dans la formulation des problĂšmes d’accĂšs aux soins et dans la construction des tests cliniques, qu’est organisĂ©e l’ignorance. La PrEP, en effet, suppose une disponibilitĂ© d’esprit, des conditions stables, une autonomie dans ses choix pour pouvoir prendre un traitement prĂ©ventif avant un acte sexuel. Il faudrait alors non pas seulement se demander si la PrEP est capable d’éviter une contamination ; mais aussi si les personnes ciblĂ©es sont susceptibles d’y avoir recours. Or, cette question, essentielle par exemple pour des femmes victimes de violence ou des personnes prĂ©caires, a Ă©tĂ© traitĂ©e de façon mineure dans la structuration initiale du dĂ©bat sur la pertinence de ce traitement, et ignorĂ©e dans les tests menĂ©s. L’autrice explique ainsi comment des essais sur les femmes ont Ă©tĂ© interrompus car ils Ă©clairaient sous un jour moins favorable les rĂ©sultats positifs sur les hommes ; et la place marginale des migrant·es dans les essais, bien que le lien entre VIH et migration soit connu depuis les annĂ©es 1990.

Au final, explique l’autrice, « les raisons qui conduisent Ă  identifier un groupe comme Ă©tant plus susceptible de bĂ©nĂ©ficier des avantages de la PrEP peuvent ĂȘtre les mĂȘmes qui rendent son utilisation compliquĂ©e voire improbable ». En Ă©largissant ainsi sa focale Ă  la fabrique de l’action publique en gĂ©nĂ©ral, Sarah Demart remet fortement en cause une logique de santĂ© publique qui pense en termes d’efficacitĂ© in abstracto, puis de mise en Ɠuvre, sans prise en compte des publics et des situations concrĂštes qu'ils vivent. En rĂ©alitĂ©, la faible capacitĂ© de la PrEP Ă  changer la vie de celles et ceux qui en ont le plus besoin est intrinsĂšque. Cette production de l’ignorance, bien sĂ»r, est Ă©galement Ă  l’Ɠuvre dans de nombreuses politiques publiques : il y a sans doute un rĂŽle pour les Ă©valuateurs et les Ă©valuatrices Ă  mieux la mettre en Ă©vidence ; ou Ă  intervenir plus amont dans la fabrique de l’action publique pour l’éviter.

Demart, S. (2022). « On n’arrive pas Ă  les toucher » : La PrEP, les migrant.e.s africain.e.s et la production de l’ignorance. Global Health Promotion, 0(0), 4.

Et aussi...


Ce numĂ©ro 7 a Ă©tĂ© prĂ©parĂ© par Thomas Delahais, HĂ©lĂšne Faure et Antonin Thyrard-Durocher. Relire le nÂș5 et le nÂș6. Pour vous abonner, cliquez ici (4 numĂ©ros par an).


  1. De Barkhane au dĂ©veloppement : la revanche des contextes, AOC, 14 juin 2021. 

Évaluation RTBFoods

jeudi 02 mars 2023

Du outcome harvesting dans une Ă©valuation de projet

Des fiches pour distinguer l'Ă©valuation d'autres pratiques voisines

jeudi 19 janvier 2023

Quelles distinctions entre l'Ă©valuation et les pratiques voisines ?

🃏 Cartographie des usages de l'Ă©valuation d'impact

mardi 01 novembre 2022

Quelle démarche pour une cartographie des usages de l'évaluation d'impact ?

📚 Trois articles d'Ă©valuation (nÂș8, 15 octobre 2022)

samedi 15 octobre 2022

Un numĂ©ro trĂšs trĂšs lutte – pour l'Ă©quitĂ© raciale, entre objectivistes et subjectivistes, et oldies but goodies pour faire entendre l'Ă©valuation dans un contexte politisĂ©.

📚 Évaluer les politiques locales d'Ă©galitĂ© femmes-hommes

mardi 04 octobre 2022

Publication

🚂 EES 2022: It’s not (only) you, it’s me (too)

dimanche 17 juillet 2022

Feedback on the European Evaluation Society Conference in Copenhagen

🚂 EES 2022 - C’est pas (que) toi, c’est moi (aussi)

mardi 12 juillet 2022

Retour sur la conférence de la société européenne d'évaluation à Copenhague

📚 Trois articles d'Ă©valuation (nÂș7, 15 juin 2022)

mercredi 15 juin 2022

Dans ce numéro, cinéma à tous les étages : La Revanche des Sith, Octobre rouge et 120 battements par minute... ou presque

🎙 L'Ă©valuation des contrats de ville

mercredi 01 juin 2022

Publication

📚 L'Ă©valuation en contexte de dĂ©veloppement

mardi 31 mai 2022

Publication

đŸŽ„ Cinq choses Ă  savoir sur les initiatives de transition

lundi 02 mai 2022

Vidéo

💡 Recherche et action publique : il faut ĂȘtre deux pour danser le tango

vendredi 25 mars 2022

Publication

📚 Trois articles d'Ă©valuation (nÂș6, 15 mars 2022)

mardi 15 mars 2022

Dans ce numéro, la cartographie des controverses rencontre la science comportementale, et la recherche l'action publique.

💡 Qu'attendre de la recherche pour Ă©clairer l'action publique

jeudi 20 janvier 2022

Publication

📚 Trois articles d'Ă©valuation (nÂș5, 15 dĂ©cembre 2021)

mercredi 15 décembre 2021

Numéro spécial Anthologie

Citations relatives Ă  l'Ă©valuation des politiques publiques

lundi 20 septembre 2021

Des citations inspirantes pour qui Ă©value.

📚 Trois articles d'Ă©valuation (nÂș4, 15 septembre 2021)

mercredi 15 septembre 2021

Dans ce numĂ©ro, Ă©valuation et bureaucratie, l'ultime combat, enquĂȘter avec d'autres ĂȘtres, et oldiesbutgoodies, on sauve le monde avec Bob Stake !

💡 Glossaires de l'Ă©valuation

dimanche 12 septembre 2021

Liste de glossaires

💡 7 bonnes raisons de prendre en compte l'Ă©galitĂ© entre les femmes et les hommes dans ma pratique d'Ă©valuation

vendredi 09 juillet 2021

Oldies but goodies (Karine Sage)

📚 Trois articles d'Ă©valuation (nÂș3, 15 mai 2021)

samedi 15 mai 2021

Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !

💡 Les Ă©valuations participatives, plus facile Ă  dire qu'Ă  faire

jeudi 29 avril 2021

Nouvel article publié (Thomas Delahais)

Quatre jeux de cartes d'Ă©valuation francophones

mardi 27 avril 2021

À l'occasion de la sortie de Strateval, nous revenons sur 3 autres jeux de cartes autour de l'Ă©valuation

💡 Qu'est-ce que l'analyse militante apporte Ă  l'Ă©valuation des politiques publiques ?

jeudi 08 avril 2021

Nouvel article publié (Marc Tevini)

📚 Trois articles d'Ă©valuation (nÂș2, 15 fĂ©vrier 2021)

lundi 15 février 2021

Dans ce numĂ©ro, Ă©valuation fĂ©ministe quĂ©saco, apprentissage et redevabilitĂ© mĂȘme combat ? et oldiesbutgoodies, des Ă©lĂ©ments pour une sociologie de l'Ă©valuation... C'est le sommaire de ce numĂ©ro 2.

đŸ“œ L'Ă©valuation des politiques sociales, de quoi parle-t-on ?

vendredi 15 janvier 2021

Introduction au séminaire de l'IRTS HDF du 26/01.

đŸ“œ L'analyse de contribution en pratique

mardi 15 décembre 2020

Introduction Ă  la formation Ă  l'analyse de contribution

📚 Trois articles d'Ă©valuation (nÂș1, 15 novembre 2020)

dimanche 15 novembre 2020

Dans ce numéro, plongée en pleine guerre froide avec la Realpolitik de l'évaluation, des idées pour professionnaliser l'évaluation, et oldiesbutgoodies, de quoi se demander ce que les évaluateurs et les évaluatrices défendent dans leur métier... C'est le sommaire de ce numéro 1.

đŸ“œ L'Ă©valuation participative, plus facile Ă  dire qu'Ă  faire

lundi 09 novembre 2020

Intervention de T Delahais au CongrÚs de la SEVAL organisé par le GREVAL à Fribourg, le 4 septembre 2020.

💡 En situation anormale, l'Ă©valuation doit devenir la norme

jeudi 29 octobre 2020

Contribution de T Delahais et M Tevini en réponse à l'appel de la SFE, "Ce que la crise sanitaire nous apprend sur l'utilité et les pratiques d'évaluation".

💡 Comment Ă©valuer la transition

vendredi 23 octobre 2020

Nouvel article publié (Thomas Delahais, Karine Sage, Vincent Honoré)

💡 Quels mĂ©canismes Ă  l'Ɠuvre dans les innovations ?

mardi 06 octobre 2020

Nouvel article publié (Agathe Devaux-Spatarakis)

📚 Trois articles d'Ă©valuation (v0, 30 juillet 2020)

jeudi 30 juillet 2020

À l'honneur pour cette Ă©dition, la sagesse pratique des Ă©valuateurs et des Ă©valuatrices, soit « la capacitĂ© de faire les bons choix, au bon moment, pour les bonnes raisons » ; ce que les mots et concepts de l'Ă©valuation perdent et gagnent Ă  leur traduction d'une langue Ă  l'autre et oldies but goodies, une piqĂ»re de rappel quant Ă  la vocation dĂ©mocratique de l'Ă©valuation en France... C'est le sommaire de ce numĂ©ro 0.