3 articles – 15 juin 2022 – n°7

Dans ce numéro, cinéma à tous les étages : La Revanche des Sith, Octobre rouge et 120 battements par minute... ou presque ?

La revanche des contextes

À travers son ouvrage « La revanche des contextes : des mésaventures de l’ingénierie sociale, en Afrique et au-delà », s’appuyant sur de nombreuses années de recherche et de terrain en Afrique, Jean-Pierre Olivier de Sardan pose une question cruciale : Pourquoi une intervention, tout aussi bien conçue qu’elle soit, ne va-t-elle pas donner les résultats escomptés une fois mise en œuvre ?  

Cette question est traitée tout au long de cinq parties. La première, portant sur les modèles voyageurs, est sans doute la plus pertinente pour les évaluateurs et les évaluatrices. Les autres parties portent sur les normes pratiques; les modes de gouvernance ; les logiques sociales et la connexion entre recherche et réformes. La conclusion enfin, appelle à une socio-anthropologie des dissonances, des écarts, des contradictions et des diversités. Mais c’est à la première partie du livre que nous nous intéresserons ici en priorité.

Quelle réponse, donc, donne JP Olivier de Sardan à la question posée ? Pour lui, l’écart entre ce qui est attendu et ce qui est constaté sur le terrain provient du fait que les concepteurs des programmes, interventions, souvent d’excellents professionnels, mésestiment, méconnaissent les « contextes pragmatiques » de mise en œuvre de leurs actions. Ainsi, la mécanique (« théorie opératoire du modèle ») de réussite du programme prévue lors de la fabrication du modèle se grippe à l’épreuve du terrain. C’est ce qu’il appelle la revanche des contextes.

La cause ? La prédominance de ce que l’auteur appelle des modèles voyageurs : « Toute intervention institutionnelle standardisée (une politique publique, un programme, une réforme, un projet, un protocole, selon les échelles ou les domaines), en vue de produire un quelconque changement social, et qui repose sur un “mécanisme” et des “dispositifs” censés avoir des propriétés intrinsèques permettant d’induire ce changement dans des contextes de mise en œuvre variés », n’impliquant ni les agents chargés de la mise en œuvre ni les acteurs de terrain tant lors de la conception du programme qu’au moment de sa mise en œuvre. Les concepteurs tentent p arfois de recontextualiser le modèle ; mais celui-ci considérant la réalité de façon abstraite, il peut être très difficile malgré tout d’arriver à des résultats satisfaisants.

Tout l’enjeu de la mise en œuvre d’une intervention est donc son intégration dans le contexte. L’auteur n’emploie d’ailleurs pas par hasard le mot de revanche, personnifiant ainsi cette dernière comme pour lui donner corps et mettre en garde contre le retour de flamme.

Ce qui est décrit est un enjeu pour la réussite du programme bien sûr, mais aussi pour éviter d’alimenter un cycle pervers de nouveaux modèles. En effet, l’échec d’une intervention engendre sa critique qui produira un autre modèle : les programmes se superposent, sont détournés, sans que personne ne s’en saisisse pleinement.

Si l’auteur s’appuie sur son expérience dans l’ingénierie sociale en Afrique, les leçons qu’il en tire apportent des perspectives utiles pour les politiques publiques en général, comme pour leur évaluation.

L’auteur propose en effet une vision différente d’agir et de penser une politique publique. La conception, la mise en œuvre d’un programme sont-elles le lieu de la liberté, de la connaissance, du dialogue, de la créativité, de l’écoute, de l’intime, du temps ? Ou celui, par le modèle, de la volonté, de la maîtrise, de la possession, de l’homogénéisation, de la prédictibilité, du résultat ? On pourrait parler de confrontation entre vérité (le développeur pense avoir la solution) et réalité (ce dont devrait parler le développeur, la politique publique et détenue par les agents locaux, entre autres).

L’auteur alerte aussi sur la généralisation des enseignements de projets pilotes. L’évaluation de ces derniers, réalisés dans des conditions favorables (adhésion des parties prenantes, soutien financier, etc.), peut rassurer avant un déploiement à plus grande échelle, mais leur évaluation n’assure en aucun cas ce que sera la mise en œuvre dans un contexte réel.

De même, la mise en récit (« histoire édifiante montrant que les objectifs ont été atteints, gage d’efficacité du modèle ») passe souvent sous silence les « complexités des conditions secrètes » de la mise en œuvre du modèle (« ambiguïtés, contradictions, hésitations, échecs, incertitudes »).

Ainsi, pourrait-on davantage mobiliser les anthropologues au moment de la conception des programmes et de leur évaluation. Ce sont eux qui étudient les humains et leurs rapports au monde (« connaître les routines, les logiques, les rumeurs, les incertitudes, les problèmes, les nœuds critiques, les frictions et rivalités, les compromis et les négociations, le regard des proches, les relations de pouvoir, les débrouillardises, les trucs, les combines, les solidarités »¹), révélant, valorisant ainsi la brique nécessaire à la réussite du programme. Faut-il, enfin, des enquêtes de terrain de long terme, au plus proche des personnes, pour décrire plus finement les conséquences des programmes, attendues ou inattendues – au-delà du temps, donc des évaluations classiques ?

Olivier de Sardan, J.-P. (2021). La revanche des contextes : Des mésaventures de l’ingénierie sociale, en Afrique et au-delà. Éditions Karthala.

---

The evaluator: Inquisitor, comrade or spy?

Derrière un titre un brin provoquant, ce bref article propose une typification simple et claire des rapports que peuvent entretenir les acteurs publics et les évaluateurs vis-à-vis de la démarche d’évaluation. Universitaire britannique spécialiste du développement local, Andrew Coulson constate l’intérêt grandissant des autorités locales de son pays pour l’évaluation des politiques socio-économiques dès la fin des années 1970.

L’auteur constate que la multiplication des organismes infranationaux et des collectivités territoriales s’accompagne d’un important mouvement vers l’évaluation, qui est pour lui de deux types. Le premier concerne des travaux décidés par des bailleurs (comme l’État) qui cherchent à contrôler le destin de leurs subventions, une tendance nourrie par des études Value-for-Money et une quantification de la performance en termes financiers. Le second concernerait plutôt des commandes internes passées par les gestionnaires de programmes, dans un objectif d’amélioration des services ou de la performance économique ou sociale de leurs interventions. La variété des méthodes des sciences sociales se retrouve plutôt dans cette seconde tradition, tandis que la première implique bien plus de statisticiens, de comptables et de gestionnaires. Le second cadre serait aussi bien plus propice à l’émergence de questionnements et de recherches qui prennent en compte la variabilité naturelle des programmes et du contexte dans le temps, contrairement par exemple à un carcan d’indicateurs définis en amont.

L’intérêt de l’article de Coulson est de lier ces deux dimensions à une figure de l’évaluateur tel qu’il va être perçu durant l’évaluation. Au service du contrôleur, du gouvernement central ou d’un autre type de bailleur, l’évaluateur sera plus vite cantonné dans l’image de « l’inquisiteur », demandant des comptes avec des exigences de résultats souvent définies a priori dans les conventions ou contrats de partenariats passés entre acteurs publics. Au service de l’agence exécutive, l’évaluateur sera bien plutôt le « camarade » qui dit au pouvoir ce qu’il souhaite entendre, et qui l’aide à défendre ses choix politiques vis-à-vis de l’extérieur. Dans les deux cas, on se retrouve avec un travail évaluatif finalement assez peu transparent ou publié, qu’il serve uniquement un dialogue de gestion, ou que les travaux à tendance critique soient enterrés par leurs commanditaires. Dans les deux cas, le rapport à la vérité et à la validité des évaluations souffre, sachant qu’il est déjà méthodologiquement fragile tant les effets inattendus des programmes peuvent échapper aux protocoles trop étroits ou mal ajustés des spécialistes.

Finalement, Coulson se demande si l’évaluateur ne doit pas endosser un troisième rôle, celui de « l’enquêteur », voire de « l’espion ». Doté virtuellement d’un grand pouvoir mais grevé par une faible reconnaissance, l’évaluateur devrait porter une forme de lutte pour la vérité, et se faire en quelque sorte le champion du débat informé dans les arènes politiques et technocratiques. Pour cela, il faut du temps, des ressources et du dialogue, pour s’informer et informer les acteurs de la politique. Comme le dit l’auteur : « la morale est de ne pas trop évaluer, et de permettre à ceux qui sont évalués de répondre, tout en considérant tant les forces des pratiques et modèles d’organisations présents que leurs faiblesses » (p.235). Si ces conclusions semblent largement partagées aujourd'hui, il est intéressant de constater que Coulson formule ces constats sans faire référence à des travaux devenus classiques tels que ceux de Michael Q. Patton. Un signe de l’ubiquité de ces questionnements ?

Coulson, A. (1988). The Evaluator: Inquisitor, Comrade or Spy?, Local Economy: The Journal of the Local Economy Policy Unit, 2(4), pp. 229-236.

On n'arrive pas à les toucher...

À travers cet article, Sarah Demart aborde la question du non-recours par les migrant·es africain·es à la PrEP (prophylaxie pré-exposition). La PrEP est un traitement qui peut être pris avant un comportement à risque (un rapport sexuel typiquement) pour éviter une contamination. Il est utile notamment lorsqu'il n'est pas possible de négocier le recours à un préservatif et est, à ce titre, un outil dans la lutte contre le SIDA.

Alors que la PrEP « touche peu de monde y compris dans le Nord global », l’autrice constate de surcroît de fortes disparités d’accès. Ainsi, alors qu’ils font partie des groupes les plus touchés par l’épidémie, les migrant.es africain.es ne connaissent pas ou n’utilisent presque pas ce traitement, alors que 40% des infections des migrant·es ont lieu en Europe.

De fait, si la PrEP est vue comme quelque chose de positif par ces publics, ils ne s’en saisissent pas. Simple question de mise en œuvre ? En fait, l’autrice veut montrer ici que la non-utilisation de la PrEP ne provient pas tant de sa méconnaissance par les migrant.es africain.es que d’« un effet de l’ignorance produite par l’industrie du SIDA ».

Pour Sarah Demart, en effet, c’est bien plus tôt, dans la formulation des problèmes d’accès aux soins et dans la construction des tests cliniques, qu’est organisée l’ignorance. La PrEP, en effet, suppose une disponibilité d’esprit, des conditions stables, une autonomie dans ses choix pour pouvoir prendre un traitement préventif avant un acte sexuel. Il faudrait alors non pas seulement se demander si la PrEP est capable d’éviter une contamination ; mais aussi si les personnes ciblées sont susceptibles d’y avoir recours. Or, cette question, essentielle par exemple pour des femmes victimes de violence ou des personnes précaires, a été traitée de façon mineure dans la structuration initiale du débat sur la pertinence de ce traitement, et ignorée dans les tests menés. L’autrice explique ainsi comment des essais sur les femmes ont été interrompus car ils éclairaient sous un jour moins favorable les résultats positifs sur les hommes ; et la place marginale des migrant·es dans les essais, bien que le lien entre VIH et migration soit connu depuis les années 1990.

Au final, explique l’autrice, « les raisons qui conduisent à identifier un groupe comme étant plus susceptible de bénéficier des avantages de la PrEP peuvent être les mêmes qui rendent son utilisation compliquée voire improbable ». En élargissant ainsi sa focale à la fabrique de l’action publique en général, Sarah Demart remet fortement en cause une logique de santé publique qui pense en termes d’efficacité in abstracto, puis de mise en œuvre, sans prise en compte des publics et des situations concrètes qu'ils vivent. En réalité, la faible capacité de la PrEP à changer la vie de celles et ceux qui en ont le plus besoin est intrinsèque. Cette production de l’ignorance, bien sûr, est également à l’œuvre dans de nombreuses politiques publiques : il y a sans doute un rôle pour les évaluateurs et les évaluatrices à mieux la mettre en évidence ; ou à intervenir plus amont dans la fabrique de l’action publique pour l’éviter.

Demart, S. (2022). « On n’arrive pas à les toucher » : La PrEP, les migrant.e.s africain.e.s et la production de l’ignorance. Global Health Promotion, 0(0), 4.

Et aussi...

• L'évaluation en contexte de développement est le premier guide complet d'évaluation en français et en accès libre et gratuit. Lancé à l'initiative de l'ENAP canadienne, il a réuni sous la houlette de Lynda Rey, Jean-Serge Quesnel et Vénétia Sauvain plus de 40 auteurs et autrices venant du monde entier, et en particulier des pays du Sud. Il réunit tant des éléments pratiques liés aux différentes étapes de l'évaluation que des réflexions plus spécifiques, notamment autour de l'éthique. On saluera notamment le chapitre sur la terminologie de l'évaluation et celui sur la diffusion des résultats. Notre collègue Thomas Delahais y signe un chapitre sur les approches évaluatives et leur diversité. À mettre entre toutes les mains !
• Les journées européennes de l'évaluation de Copenhague ont fermé leurs portes le 10 juin. Quelle évolution par rapport à il y a 4 ans ! De nombreuses contributions appelaient les évaluateurs et les évaluatrices à se remettre en question et à faire plus pour faire aboutir les transformations extrêmement rapides dont nous avons besoin aujourd'hui. Parmi nos contributions à ces journées, les premiers résultats de l'enquête sur les paradigmes des évaluateurs et des évaluatrices, des principes pour l'analyse de contribution, la budgétisation sensible au genre comme outil d'évaluation, et bien sûr STRATEVAL testé pour la première fois en anglais !

---

Ce numéro 7 a été préparé par Thomas Delahais, Hélène Faure et Antonin Thyrard-Durocher. Relire le nº5 et le nº6. Pour vous abonner, cliquez ici (4 numéros par an).