3 articles – 15 février 2021 – n°2

Dans ce numéro, évaluation féministe quésaco, apprentissage et redevabilité même combat ? et oldiesbutgoodies, des éléments pour une sociologie de l'évaluation... C'est le sommaire de ce numéro 2.

Feminist Evaluation and Research – Theory and Practice

Ouvrage collectif rédigé sous la direction de Sharon Brisolara¹, Denise Seigart² et Saumitra SenGupta ³, ce livre explore pourquoi et comment intégrer la pensée féministe dans la recherche appliquée et la pratique évaluative.

S‘il semble difficile, de prime abord, de concilier féminisme et évaluation, la première étant une posture militante et la seconde étant parfois présentée comme un exercice se voulant objectif de détermination de la valeur d‘une intervention, le paradoxe n‘est qu‘apparent. En effet, il existe depuis plus de 20 ans un courant de l‘évaluation dite transformationnelle, dont le féminisme est une des inspirations, et qui vise à contribuer à la justice sociale. Deux des figures de cette approche, Donna Mertens et Jennifer Greene, contribuent d‘ailleurs à l‘ouvrage.

Il ne faut pas chercher dans cet ouvrage un manuel pas-à-pas d‘évaluation. Plutôt, l‘évaluation féministe vise à constituer un champ de connaissances théoriques et pratiques et à marquer sa différence avec une évaluation qui se contenterait d‘indicateurs sexo-différenciés pour se proclamer sensible au genre (Donna Podems, chapitre 5). À travers les différents articles constituant cet ouvrage, se dessine donc une posture de l‘évaluateur/trice féministe. Comment qualifier cette posture ?

D‘abord, l‘évaluation féministe vise à améliorer l‘action publique dans une perspective de plus grande justice sociale. Pour cela, elle prend pour point de départ les inégalités de genre, mais reconnaît l‘importance de la prise en compte des autres inégalités dans l‘atteinte de ce but. Les autrices se positionnent en effet dans une perspective intersectionnelle qui considère que d‘autres rapports sociaux inégalitaires (racisme, classisme, homophobie, transphobie, validisme, etc.) traversent les situations et expériences diverses des femmes. Au-delà d‘une attention particulière portée aux rapports sociaux de genre, l‘évaluation féministe est ainsi sensible aux voix de tou·tes les opprimé·es.

L‘évaluation féministe s‘inscrit dans un écosystème foisonnant d‘approches évaluatives, non mutuellement exclusives, venant nourrir l‘arsenal paradigmatique d‘évaluateurs/trices composant des approches ad hoc pertinentes pour chacune de leurs évaluations.

Il est fort probable qu‘une évaluation qui s‘inspire ou est guidée par une approche féministe intègre également d‘autres approches, qui sont décrites dans la méthodologie d‘une évaluation, et n‘aboutissent pas toujours à un label pour l‘évaluation explicitement lié à une approche spécifique. (Donna Podems)

Les autrices ne s‘accrochent d‘ailleurs pas au choix de l‘appellation « évaluation féministe », dont elles reconnaissent qu‘elle peut être difficile à assumer selon la situation de l‘évaluateur/trice (un·e prestataire rédigeant un devis à destination d‘un·e commanditaire dont il/elle ne connait pas la réception à cette notion, par exemple).

Katherine Hay (chapitre 8) propose six principes permettant de guider les choix méthodologiques et pratiques des évaluateurs/trices souhaitant s‘inscrire dans une démarche d‘évaluation féministe. En pratique, réaliser une évaluation féministe implique de prendre en compte ces principes à toutes les étapes de réalisation d‘une évaluation (notre traduction).

On pourra regretter que les études de cas présentées dans l‘ouvrage ne permettent pas toujours de bien saisir comment, en pratique, une évaluation féministe peut apporter une analyse plus complète et avoir une portée politique plus forte qu‘une évaluation plus « classique ». Mais celle proposée par Kathryn Sielbeck-Mathes et Rebecca Selove (Chapitre 6), portant sur l‘évaluation d‘un programme s‘adressant à des personnes présentant une co-occurrence de troubles de la santé mentale et de toxicomanie dans les zones rurales des Appalaches, se révèle tout de même intéressante.

Ce programme proposait un module optionnel visant à prendre en compte le rôle des traumatismes vécus (abus physiques, sexuels, émotionnels, grande pauvreté, racisme persistant) dans la situation des participant·es. Les évaluatrices ont repéré que les femmes étaient très peu nombreuses à s‘inscrire à ce module. Cela les a encouragé à intégrer un cadre féministe à leur évaluation pour remédier à cette situation, et alors que cela ne figurait pas dans le questionnement évaluatif initial. Pour mieux prendre en compte la diversité des expériences des femmes bénéficiaires du programme, elles ont complété les outils quantitatifs initialement prévus par une collecte qualitative. C‘est ce qui leur a permis de remettre en cause le statu quo à ce sujet. En effet, les thérapeutes du programme expliquaient initialement le faible taux d‘inscription constaté par le caractère optionnel du module et ses exigences en matière de temps, de réflexion et de travail personnel. Cependant, l‘évaluation a permis de révéler que les femmes étaient peu nombreuses à s‘inscrire car elles déclaraient moins que les hommes les traumatismes qu‘elles avaient vécus, et ce pour plusieurs raisons : 1) les femmes ne font pas toujours le lien entre leur santé mentale et leur histoire traumatique, 2) la culture rurale des Appalaches rend plus difficile pour les femmes de reconnaître le fait qu‘elles puissent avoir besoin d‘aide, 3) les thérapeutes ont tendance à ne considérer traumatiques que les abus physiques et sexuels. C‘est la réflexivité sur la manière dont les valeurs personnelles des évaluateurs/trices « s‘alignent, s‘entremêlent et/ou entrent en conflit avec les valeurs des principales parties prenantes lorsqu‘elles définissent les problèmes, identifient les populations cibles, conçoivent les programmes, mesurent les résultats et rendent compte des conclusions » qui permet de produire des connaissances capables de générer du changement.

Finalement, comme le précise Jennifer Greene en conclusion, la réalisation d‘évaluations implique de la part des praticien·nes deux responsabilités majeures :

Tout d‘abord, les enquêteurs/trices sont chargé·es d‘énoncer et de transmettre clairement les hypothèses, les positions et les valeurs avancées dans une recherche ou une évaluation donnée. Deuxièmement, les enquêteurs/trices sont responsables de l‘objectif, de la direction et des utilisations prévues de la recherche ou de l‘évaluation menée.

Ainsi, à la question : « Est-il possible de bien prendre en compte le genre dans une évaluation sans se situer dans une approche transformationnelle ? » il semblerait que l‘ouvrage réponde par la négative. On laissera les lecteurs/rices se faire leur opinion à ce sujet. En attendant, cet ouvrage propose aux évaluateurs/trices désireux·ses de contribuer à une plus grande justice sociale de considérer l‘évaluation féministe comme une approche viable et pertinente, notamment lorsque le genre semble ou se révèle être un enjeu prégnant. Il reste sans doute à apporter aux praticien·nes de quoi mieux prendre en compte, concrètement, les principes de l‘évaluation féministe dans leurs pratiques.

Brisolara, S., Seigart, D., & SenGupta, S. (Eds.). (2014). Feminist evaluation and research: Theory and practice. Guilford Publications.

The power and dysfunctions of evaluation systems in international organizations

Comment comprendre l'influence incertaine des évaluations, faiblement utilisées ou vectrices de changements au sein même d'organisations y investissant pourtant des ressources substantielles ? Dans la lignée d'une thèse consacrée aux enjeux de l'utilisation de l'évaluation à la Banque mondiale, l'article d'Estelle Raimondo (aujourd'hui évaluatrice dans cette même Banque) interroge les frustrations des évaluateurs quant à l'utilisation de leurs travaux, en croisant la description des « systèmes d'évaluation » contemporains avec une sociologie des institutions internationales.

Ces organes ont historiquement systématisé, si ce n'est inventé, l'évaluation mainstream contemporaine, nourrissant une tradition de « gestion axée sur les résultats» (Results-based management, RBM) censée permettre à la fois une reddition de comptes auprès des parties prenantes et un apprentissage continu pour leurs équipes. En tant que pratique gestionnaire intéressée au suivi systématique de la mise en œuvre effective et efficiente d'une stratégie, le RBM s'est progressivement imposé dans certaines agences internationales (dont celles de l'ONU ou de la Commission européenne), visant à imbriquer évaluation et pilotage. Face à ce récit idyllique, une abondante littérature a pointé les effets négatifs et les limites d'une recherche de résultats ainsi systématisée : renforcement des « lois » de Goodhart ou Campbell, privilège donné aux résultats quantifiés à court terme et oubli d'interrogation sur les valeurs et les principes qui sous-tendent l'action de ces organisations aux objectifs souvent flous (une question que l'évaluateur diligent pourrait pourtant examiner).

Pour Estelle Raimondo, ces controverses autour de l'évaluation dans le RBM présentent elles-mêmes des limites :

• Il s'agirait la plupart du temps de critiques « évaluo-centriques », ne dépassant pas le cadre intellectuel du processus évaluatif pour creuser des facteurs sociopolitiques plus larges, pourtant essentiels pour comprendre des institutions investies par différents enjeux de pouvoir ;
• Les travaux consacrés à l'utilisation de l'évaluation tendent à manquer de rigueur, de diversité méthodologique tout en étant souvent sponsorisés par les institutions elles-mêmes ;
• Par conséquent, ces travaux éludent la question des raisons d'être politiques des organisations internationales, au profit d'une description idéalisée d'organismes qui chercheraient avant tout à être « rationnels ». Cette perspective rationaliste amène à percevoir, à tort, l'absence manifeste d'utilisation comme un « échec » au lieu de l'analyser comme un fait politique rationnel en soi.

Pour remédier à ces écueils d'analyse, l'autrice s'appuie notamment sur l'idée de « couplages faibles ». Dans les institutions internationales, on tend à penser qu'il y devrait y avoir un « couplage fort » entre des instruments conçus par le top-management et leur usage opérationnel. La notion de « couplages faibles » fait le postulat inverse : les organisations humaines sont « cacophoniques » : de nombreuses voix s'expriment en permanence pour faire avancer différents agendas, soutenir ou préserver certaines pratiques, etc. Cela mène à des incohérences nombreuses entre les objectifs formulés au plus haut niveau et les routines ou traditions de mise en œuvre des agents. L'évaluation et le RBM sont alors autant de promesses de resserrer la force du couplage entre volonté et action, et c'est pour cela qu'ils séduisent les commanditaires : ils sont une promesse de contrôle.

L'article propose une typologie des facteurs permettant d'expliquer le succès ou l'échec du RBM à juguler de tels couplages faibles, en fonction de leur nature ou leur origine.

Tableau 1 - Les facteurs influençant la réussite de l'évaluation et du RBM dans les organisations internationales (adapté de l'article d'E. Raimondo)

Facteurs internes – culturels (normes internes)	Facteurs externes – culturels (systèmes politiques internationaux)
Niveau de maturité de la culture du résultat et de l'apprentissage dans l'organisation Normes bureaucratiques et routines (potentiellement conflictuelles) Idées, biais, prénotions	Conflit de normes et valeurs entre parties prenantes à l'organisation, définitions divergentes du « succès » Pouvoir symbolique et politique du RBM
Facteurs internes – matériels (rationalisation interne)	Facteurs externes – matériels (économie politique des organisations internationales)
Ressources, temps, personnel dédié à l'évaluation, capacité d'évaluation Techniques et systèmes disponibles	Capacités d'évaluation croisées des commanditaires et parties prenantes État des « marchés de l'évaluation » Incitations financières et politiques au suivi du RBM

Dans le schéma d'Estelle Raimondo, la trajectoire des institutions internationales a été (i) de répondre à une forte demande des parties prenantes (internes et externes) pour un plus grand couplage entre discours, valeurs et pratiques, contrôlé par l'évaluation, (ii) ayant entraîné une formalisation importante de la production du savoir par l'évaluation mais (iii) sans que celle-ci s'ancre suffisamment dans les routines et les valeurs des organisations, notamment par incompatibilité entre démarche évaluative (introspection critique…) et besoin pressant de démonstration de résultats. La peur du découplage nourrit le découplage, les agents se mettant à remplir les évaluations comme autant de formalités exemptes d'(auto)critique évaluative.

Cette démonstration semble pouvoir s'appliquer à de nombreuses autres organisations publiques ou privées, quand la formalisation de systèmes d'évaluations n'entraîne pas nécessairement un apprentissage organisationnel ou de nouvelles lignes de fuite réflexives. Il pourrait même exister une incompatibilité radicale entre les fonctions évaluatives de redevabilité et d'apprentissage.

Bien que centré sur des organisations occidentales, et quelque peu oublieux de la littérature francophone sur le sujet (intéressée depuis les années 1980 aux écueils de l'institutionnalisation de l'évaluation), l'article propose une analyse critique rafraîchissante et pose deux questions fondamentales quant à son application à d'autres organisations et configurations :

1. Assiste-t-on à une colonisation plus générale des organisations et politiques publiques par le discours et les pratiques associées à un RBM « international » ?
2. Celui-ci peut-il coexister avec une culture de l'évaluation pluraliste, politisée et attentive aux valeurs inhérentes à toute action publique ?

Raimondo E. The power and dysfunctions of evaluation systems in international organizations. Evaluation. 2018 ; 24(1):26-41 doi.

Éléments pour une sociologie de l'évaluation des politiques publiques en France

En 2010, le sociologue Jean-Claude Barbier propose dans cet article une mise en perspective historique et sociologique de la place de l'évaluation en France au niveau de l'État. Une analyse qui reste toujours aussi précieuse pour comprendre les évolutions récentes ou en cours au niveau national.

Jean-Claude Barbier décrit l'évaluation comme un enjeu relativement récent en France, qui s'incarne notamment dans des institutions formelles de l'État au cours des années 90. À la suite du rapport Viveret, le Conseil scientifique de l'évaluation (CSE) est créé en 1990. Le CSE promeut une démarche d'évaluation pluridisciplinaire et pluraliste, impliquant largement la société civile. Après une vingtaine d'évaluations conduites sur la période 1990-1996, et malgré la poursuite d'efforts ultérieurs, cette approche tombe progressivement en désuétude. En 2002, l'État ne dispose plus d'instance centrale d'évaluation. Une autre dynamique de fonds prend le relais, qui se traduira par la loi organique relative aux lois de finances (LOLF) en 2001, puis la Révision générale des politiques publiques (RGPP) en 2007. Des démarches qui puisent dans le vocabulaire, ou se disent inspirées, de l'évaluation, mais en restent cependant très éloignées.

Une des premières raisons avancées par l'auteur pour expliquer ces évolutions tient aux traits de l'organisation et de l'histoire de l'administration française, qui cherche à préserver son monopole sur les activités d'études et d'expertise, et plus largement, sur la définition de l'intérêt général : pas question donc pour les grands corps, de permettre l'ouverture, avec l'évaluation pluraliste, d'une « zone d'autonomie à l'écart […] du système “politico-administratif” ». De leur côté, les tenants de l'évaluation ne sont qu'un réseau d'acteurs parmi d'autres visant à influencer la réforme de l'État, et ils ne sont pas assez puissants pour maintenir la dynamique lancée au début des années 1990.

Au début des années 2010, on assiste au contraire à une « double “banalisation” » de l'évaluation sous l'influence du new public management – et ses pratiques de conseil en management, contrôle de gestion, comptabilité et audit proposées par les grands cabinets internationaux – et du conseil économique – basé sur « l'économie dominante » et mis en œuvre par des acteurs privilégiés (économistes d'État et universitaires) – venant appuyer les politiques et réformes menées dans des domaines toujours plus larges, notamment sur le plan social.

Qu'en est-il depuis ? Le succès observé des méthodes d'évaluation contrefactuelle à partir de la fin des années 2000 ne s'est pas démenti, et s'est doté de quelques place-fortes dans la machine étatique, en particulier France Stratégie, devenue pièce centrale de l'évaluation des dispositifs nouveaux de l'État en matière économique et sociale (CICE, loi PACTE, ordonnances travail, fiscalité du capital…). Mais cette approche de l'évaluation ne s'est néanmoins pas institutionnalisée à la hauteur des espérances de ses promoteurs, les acteurs de l'action publique n'y trouvant pas leur compte en matière d'apprentissages (voir la thèse de A. Devaux-Spatarakis sur ce point).

Par ailleurs, les années 2010 ont vu un retournement d'alliance des grands corps, qui ont fait cause commune avec l'évaluation contre la logique managériale de la RGPP. De 2012 à 2017, 80 évaluations menées par les inspections générales auront été engagées. Cet effort n'a cependant pas survécu à la création de la DITP, celle-ci lui préférant l'angle de la performance du service public. Ces évolutions valident a posteriori le constat de Jean-Claude Barbier : aucun réseau d'influence en faveur de l'évaluation n'est à ce jour assez puissant pour changer durablement les pratiques au niveau de l'État.

Enfin, dans un contexte d'incertitude et de pression sociale certainement plus accrue qu'il y a 10 ans sur le renouvellement des formes de démocratie, certaines initiatives portant de nouveaux cadres de délibération (ex. la convention citoyenne pour le climat) ou le retour du portage d'une évaluation pluraliste par des acteurs comme le Conseil d'État seraient-ils des signaux faibles augurant de nouvelles fenêtres d'opportunité pour une évaluation à forte ambition démocratique ?

Barbier, Jean-Claude. 2010. « Éléments pour une sociologie de l'évaluation des politiques publiques en France ». Revue française des affaires sociales (1): 25‑49. lien

On peut aussi aller consulter le numéro dédié « Évaluation des politiques publiques sanitaires et sociales » lien (accès libre).

Et aussi...

• John Mayne, évaluateur notamment connu pour avoir formalisé « l'analyse de contribution », est décédé fin décembre 2020. La Revue canadienne d'évaluation de programme lui a rendu hommage. On retrouvera ici une introduction en français à l'analyse de contribution, une approche basée sur la théorie qui vise d'abord à être utile à l'action publique en réduisant l'incertitude sur ses conséquences.
• Les Journées françaises de l'évaluation auront lieu cette année à Lille les 18 et 19 novembre 2021. On espère qu'on pourra trinquer à la fin de l'épidémie...

---

Ce numéro 2 a été préparé par Vincent Honoré, Noémie Lequet, Antonin Thyrard-Durocher et Thomas Delahais avec le soutien d'Hélène Faure. Relire le nº0 et le nº1. Pour vous abonner, cliquez ici (4 numéros par an).