livre 3 articles – 15 juin 2022 – n°7

Dans ce numéro, cinéma à tous les étages : La Revanche des Sith, Octobre rouge et 120 battements par minute... ou presque ?

La revanche des contextes

Revanche des contextes

À travers son ouvrage « La revanche des contextes : des mésaventures de l’ingénierie sociale, en Afrique et au-delà », s’appuyant sur de nombreuses années de recherche et de terrain en Afrique, Jean-Pierre Olivier de Sardan pose une question cruciale : Pourquoi une intervention, tout aussi bien conçue qu’elle soit, ne va-t-elle pas donner les résultats escomptés une fois mise en œuvre ?  

Cette question est traitée tout au long de cinq parties. La première, portant sur les modèles voyageurs, est sans doute la plus pertinente pour les évaluateurs et les évaluatrices. Les autres parties portent sur les normes pratiques; les modes de gouvernance ; les logiques sociales et la connexion entre recherche et réformes. La conclusion enfin, appelle à une socio-anthropologie des dissonances, des écarts, des contradictions et des diversités. Mais c’est à la première partie du livre que nous nous intéresserons ici en priorité.

Quelle réponse, donc, donne JP Olivier de Sardan à la question posée ? Pour lui, l’écart entre ce qui est attendu et ce qui est constaté sur le terrain provient du fait que les concepteurs des programmes, interventions, souvent d’excellents professionnels, mésestiment, méconnaissent les « contextes pragmatiques » de mise en œuvre de leurs actions. Ainsi, la mécanique (« théorie opératoire du modèle ») de réussite du programme prévue lors de la fabrication du modèle se grippe à l’épreuve du terrain. C’est ce qu’il appelle la revanche des contextes.

La cause ? La prédominance de ce que l’auteur appelle des modèles voyageurs : « Toute intervention institutionnelle standardisée (une politique publique, un programme, une réforme, un projet, un protocole, selon les échelles ou les domaines), en vue de produire un quelconque changement social, et qui repose sur un “mécanisme” et des “dispositifs” censés avoir des propriétés intrinsèques permettant d’induire ce changement dans des contextes de mise en œuvre variés », n’impliquant ni les agents chargés de la mise en œuvre ni les acteurs de terrain tant lors de la conception du programme qu’au moment de sa mise en œuvre. Les concepteurs tentent p arfois de recontextualiser le modèle ; mais celui-ci considérant la réalité de façon abstraite, il peut être très difficile malgré tout d’arriver à des résultats satisfaisants.

Tout l’enjeu de la mise en œuvre d’une intervention est donc son intégration dans le contexte. L’auteur n’emploie d’ailleurs pas par hasard le mot de revanche, personnifiant ainsi cette dernière comme pour lui donner corps et mettre en garde contre le retour de flamme.

Ce qui est décrit est un enjeu pour la réussite du programme bien sûr, mais aussi pour éviter d’alimenter un cycle pervers de nouveaux modèles. En effet, l’échec d’une intervention engendre sa critique qui produira un autre modèle : les programmes se superposent, sont détournés, sans que personne ne s’en saisisse pleinement.

Si l’auteur s’appuie sur son expérience dans l’ingénierie sociale en Afrique, les leçons qu’il en tire apportent des perspectives utiles pour les politiques publiques en général, comme pour leur évaluation.

L’auteur propose en effet une vision différente d’agir et de penser une politique publique. La conception, la mise en œuvre d’un programme sont-elles le lieu de la liberté, de la connaissance, du dialogue, de la créativité, de l’écoute, de l’intime, du temps ? Ou celui, par le modèle, de la volonté, de la maîtrise, de la possession, de l’homogénéisation, de la prédictibilité, du résultat ? On pourrait parler de confrontation entre vérité (le développeur pense avoir la solution) et réalité (ce dont devrait parler le développeur, la politique publique et détenue par les agents locaux, entre autres).

L’auteur alerte aussi sur la généralisation des enseignements de projets pilotes. L’évaluation de ces derniers, réalisés dans des conditions favorables (adhésion des parties prenantes, soutien financier, etc.), peut rassurer avant un déploiement à plus grande échelle, mais leur évaluation n’assure en aucun cas ce que sera la mise en œuvre dans un contexte réel.

De même, la mise en récit (« histoire édifiante montrant que les objectifs ont été atteints, gage d’efficacité du modèle ») passe souvent sous silence les « complexités des conditions secrètes » de la mise en œuvre du modèle (« ambiguïtés, contradictions, hésitations, échecs, incertitudes »).

Ainsi, pourrait-on davantage mobiliser les anthropologues au moment de la conception des programmes et de leur évaluation. Ce sont eux qui étudient les humains et leurs rapports au monde (« connaître les routines, les logiques, les rumeurs, les incertitudes, les problèmes, les nœuds critiques, les frictions et rivalités, les compromis et les négociations, le regard des proches, les relations de pouvoir, les débrouillardises, les trucs, les combines, les solidarités »1), révélant, valorisant ainsi la brique nécessaire à la réussite du programme. Faut-il, enfin, des enquêtes de terrain de long terme, au plus proche des personnes, pour décrire plus finement les conséquences des programmes, attendues ou inattendues – au-delà du temps, donc des évaluations classiques ?

Olivier de Sardan, J.-P. (2021). La revanche des contextes : Des mésaventures de l’ingénierie sociale, en Afrique et au-delà. Éditions Karthala.


The evaluator: Inquisitor, comrade or spy?

Derrière un titre un brin provoquant, ce bref article propose une typification simple et claire des rapports que peuvent entretenir les acteurs publics et les évaluateurs vis-à-vis de la démarche d’évaluation. Universitaire britannique spécialiste du développement local, Andrew Coulson constate l’intérêt grandissant des autorités locales de son pays pour l’évaluation des politiques socio-économiques dès la fin des années 1970.

L’auteur constate que la multiplication des organismes infranationaux et des collectivités territoriales s’accompagne d’un important mouvement vers l’évaluation, qui est pour lui de deux types. Le premier concerne des travaux décidés par des bailleurs (comme l’État) qui cherchent à contrôler le destin de leurs subventions, une tendance nourrie par des études Value-for-Money et une quantification de la performance en termes financiers. Le second concernerait plutôt des commandes internes passées par les gestionnaires de programmes, dans un objectif d’amélioration des services ou de la performance économique ou sociale de leurs interventions. La variété des méthodes des sciences sociales se retrouve plutôt dans cette seconde tradition, tandis que la première implique bien plus de statisticiens, de comptables et de gestionnaires. Le second cadre serait aussi bien plus propice à l’émergence de questionnements et de recherches qui prennent en compte la variabilité naturelle des programmes et du contexte dans le temps, contrairement par exemple à un carcan d’indicateurs définis en amont.

L’intérêt de l’article de Coulson est de lier ces deux dimensions à une figure de l’évaluateur tel qu’il va être perçu durant l’évaluation. Au service du contrôleur, du gouvernement central ou d’un autre type de bailleur, l’évaluateur sera plus vite cantonné dans l’image de « l’inquisiteur », demandant des comptes avec des exigences de résultats souvent définies a priori dans les conventions ou contrats de partenariats passés entre acteurs publics. Au service de l’agence exécutive, l’évaluateur sera bien plutôt le « camarade » qui dit au pouvoir ce qu’il souhaite entendre, et qui l’aide à défendre ses choix politiques vis-à-vis de l’extérieur. Dans les deux cas, on se retrouve avec un travail évaluatif finalement assez peu transparent ou publié, qu’il serve uniquement un dialogue de gestion, ou que les travaux à tendance critique soient enterrés par leurs commanditaires. Dans les deux cas, le rapport à la vérité et à la validité des évaluations souffre, sachant qu’il est déjà méthodologiquement fragile tant les effets inattendus des programmes peuvent échapper aux protocoles trop étroits ou mal ajustés des spécialistes.

Finalement, Coulson se demande si l’évaluateur ne doit pas endosser un troisième rôle, celui de « l’enquêteur », voire de « l’espion ». Doté virtuellement d’un grand pouvoir mais grevé par une faible reconnaissance, l’évaluateur devrait porter une forme de lutte pour la vérité, et se faire en quelque sorte le champion du débat informé dans les arènes politiques et technocratiques. Pour cela, il faut du temps, des ressources et du dialogue, pour s’informer et informer les acteurs de la politique. Comme le dit l’auteur : « la morale est de ne pas trop évaluer, et de permettre à ceux qui sont évalués de répondre, tout en considérant tant les forces des pratiques et modèles d’organisations présents que leurs faiblesses » (p.235). Si ces conclusions semblent largement partagées aujourd'hui, il est intéressant de constater que Coulson formule ces constats sans faire référence à des travaux devenus classiques tels que ceux de Michael Q. Patton. Un signe de l’ubiquité de ces questionnements ?

Coulson, A. (1988). The Evaluator: Inquisitor, Comrade or Spy?, Local Economy: The Journal of the Local Economy Policy Unit, 2(4), pp. 229-236.

On n'arrive pas Ă  les toucher...

Saraj Demart

À travers cet article, Sarah Demart aborde la question du non-recours par les migrant·es africain·es à la PrEP (prophylaxie pré-exposition). La PrEP est un traitement qui peut être pris avant un comportement à risque (un rapport sexuel typiquement) pour éviter une contamination. Il est utile notamment lorsqu'il n'est pas possible de négocier le recours à un préservatif et est, à ce titre, un outil dans la lutte contre le SIDA.

Alors que la PrEP « touche peu de monde y compris dans le Nord global », l’autrice constate de surcroît de fortes disparités d’accès. Ainsi, alors qu’ils font partie des groupes les plus touchés par l’épidémie, les migrant.es africain.es ne connaissent pas ou n’utilisent presque pas ce traitement, alors que 40% des infections des migrant·es ont lieu en Europe.

De fait, si la PrEP est vue comme quelque chose de positif par ces publics, ils ne s’en saisissent pas. Simple question de mise en œuvre ? En fait, l’autrice veut montrer ici que la non-utilisation de la PrEP ne provient pas tant de sa méconnaissance par les migrant.es africain.es que d’« un effet de l’ignorance produite par l’industrie du SIDA ».

Pour Sarah Demart, en effet, c’est bien plus tôt, dans la formulation des problèmes d’accès aux soins et dans la construction des tests cliniques, qu’est organisée l’ignorance. La PrEP, en effet, suppose une disponibilité d’esprit, des conditions stables, une autonomie dans ses choix pour pouvoir prendre un traitement préventif avant un acte sexuel. Il faudrait alors non pas seulement se demander si la PrEP est capable d’éviter une contamination ; mais aussi si les personnes ciblées sont susceptibles d’y avoir recours. Or, cette question, essentielle par exemple pour des femmes victimes de violence ou des personnes précaires, a été traitée de façon mineure dans la structuration initiale du débat sur la pertinence de ce traitement, et ignorée dans les tests menés. L’autrice explique ainsi comment des essais sur les femmes ont été interrompus car ils éclairaient sous un jour moins favorable les résultats positifs sur les hommes ; et la place marginale des migrant·es dans les essais, bien que le lien entre VIH et migration soit connu depuis les années 1990.

Au final, explique l’autrice, « les raisons qui conduisent à identifier un groupe comme étant plus susceptible de bénéficier des avantages de la PrEP peuvent être les mêmes qui rendent son utilisation compliquée voire improbable ». En élargissant ainsi sa focale à la fabrique de l’action publique en général, Sarah Demart remet fortement en cause une logique de santé publique qui pense en termes d’efficacité in abstracto, puis de mise en œuvre, sans prise en compte des publics et des situations concrètes qu'ils vivent. En réalité, la faible capacité de la PrEP à changer la vie de celles et ceux qui en ont le plus besoin est intrinsèque. Cette production de l’ignorance, bien sûr, est également à l’œuvre dans de nombreuses politiques publiques : il y a sans doute un rôle pour les évaluateurs et les évaluatrices à mieux la mettre en évidence ; ou à intervenir plus amont dans la fabrique de l’action publique pour l’éviter.

Demart, S. (2022). « On n’arrive pas à les toucher » : La PrEP, les migrant.e.s africain.e.s et la production de l’ignorance. Global Health Promotion, 0(0), 4.

Et aussi...


Ce numéro 7 a été préparé par Thomas Delahais, Hélène Faure et Antonin Thyrard-Durocher. Relire le nº5 et le nº6. Pour vous abonner, cliquez ici (4 numéros par an).


  1. De Barkhane au dĂ©veloppement : la revanche des contextes, AOC, 14 juin 2021. 

EES 2022 — It’s not (only) you, it’s me (too)

dimanche 17 juillet 2022

Feedback on the European Evaluation Society Conference in Copenhagen

🚂 EES 2022 - C’est pas (que) toi, c’est moi (aussi)

mardi 12 juillet 2022

Retour sur la conférence de la société européenne d'évaluation à Copenhague

đź“š Trois articles d'Ă©valuation (nÂş7, 15 juin 2022)

mercredi 15 juin 2022

Dans ce numéro, cinéma à tous les étages : La Revanche des Sith, Octobre rouge et 120 battements par minute... ou presque

🎙 L'évaluation des contrats de ville

mercredi 01 juin 2022

Publication

📚 L'évaluation en contexte de développement

mardi 31 mai 2022

Publication

đź’ˇ Recherche et action publique : il faut ĂŞtre deux pour danser le tango

vendredi 25 mars 2022

Publication

đź“š Trois articles d'Ă©valuation (nÂş6, 15 mars 2022)

mardi 15 mars 2022

Dans ce numéro, la cartographie des controverses rencontre la science comportementale, et la recherche l'action publique.

đź’ˇ Qu'attendre de la recherche pour Ă©clairer l'action publique

jeudi 20 janvier 2022

Publication

📚 Trois articles d'évaluation (nº5, 15 décembre 2021)

mercredi 15 décembre 2021

Numéro spécial Anthologie

Citations relatives Ă  l'Ă©valuation des politiques publiques

lundi 20 septembre 2021

Des citations inspirantes pour qui Ă©value.

đź“š Trois articles d'Ă©valuation (nÂş4, 15 septembre 2021)

mercredi 15 septembre 2021

Dans ce numéro, évaluation et bureaucratie, l'ultime combat, enquêter avec d'autres êtres, et oldiesbutgoodies, on sauve le monde avec Bob Stake !

đź’ˇ Glossaires de l'Ă©valuation

dimanche 12 septembre 2021

Liste de glossaires

💡 7 bonnes raisons de prendre en compte l'égalité entre les femmes et les hommes dans ma pratique d'évaluation

vendredi 09 juillet 2021

Oldies but goodies (Karine Sage)

đź“š Trois articles d'Ă©valuation (nÂş3, 15 mai 2021)

samedi 15 mai 2021

Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !

đź’ˇ Les Ă©valuations participatives, plus facile Ă  dire qu'Ă  faire

jeudi 29 avril 2021

Nouvel article publié (Thomas Delahais)

Quatre jeux de cartes d'Ă©valuation francophones

mardi 27 avril 2021

Ă€ l'occasion de la sortie de Strateval, nous revenons sur 3 autres jeux de cartes autour de l'Ă©valuation

đź’ˇ Qu'est-ce que l'analyse militante apporte Ă  l'Ă©valuation des politiques publiques ?

jeudi 08 avril 2021

Nouvel article publié (Marc Tevini)

📚 Trois articles d'évaluation (nº2, 15 février 2021)

lundi 15 février 2021

Dans ce numéro, évaluation féministe quésaco, apprentissage et redevabilité même combat ? et oldiesbutgoodies, des éléments pour une sociologie de l'évaluation... C'est le sommaire de ce numéro 2.

đź“˝ L'Ă©valuation des politiques sociales, de quoi parle-t-on ?

vendredi 15 janvier 2021

Introduction au séminaire de l'IRTS HDF du 26/01.

đź“˝ L'analyse de contribution en pratique

mardi 15 décembre 2020

Introduction Ă  la formation Ă  l'analyse de contribution

đź“š Trois articles d'Ă©valuation (nÂş1, 15 novembre 2020)

dimanche 15 novembre 2020

Dans ce numéro, plongée en pleine guerre froide avec la Realpolitik de l'évaluation, des idées pour professionnaliser l'évaluation, et oldiesbutgoodies, de quoi se demander ce que les évaluateurs et les évaluatrices défendent dans leur métier... C'est le sommaire de ce numéro 1.

đź“˝ L'Ă©valuation participative, plus facile Ă  dire qu'Ă  faire

lundi 09 novembre 2020

Intervention de T Delahais au Congrès de la SEVAL organisé par le GREVAL à Fribourg, le 4 septembre 2020.

đź’ˇ En situation anormale, l'Ă©valuation doit devenir la norme

jeudi 29 octobre 2020

Contribution de T Delahais et M Tevini en réponse à l'appel de la SFE, "Ce que la crise sanitaire nous apprend sur l'utilité et les pratiques d'évaluation".

đź’ˇ Comment Ă©valuer la transition

vendredi 23 octobre 2020

Nouvel article publié (Thomas Delahais, Karine Sage, Vincent Honoré)

💡 Quels mécanismes à l'œuvre dans les innovations ?

mardi 06 octobre 2020

Nouvel article publié (Agathe Devaux-Spatarakis)

đź“š Trois articles d'Ă©valuation (v0, 30 juillet 2020)

jeudi 30 juillet 2020

À l'honneur pour cette édition, la sagesse pratique des évaluateurs et des évaluatrices, soit « la capacité de faire les bons choix, au bon moment, pour les bonnes raisons » ; ce que les mots et concepts de l'évaluation perdent et gagnent à leur traduction d'une langue à l'autre et oldies but goodies, une piqûre de rappel quant à la vocation démocratique de l'évaluation en France... C'est le sommaire de ce numéro 0.