3 articles – 15 septembre 2021 – n°4

Dans ce numéro, évaluation et bureaucratie, l'ultime combat, enquêter avec d'autres êtres, et oldiesbutgoodies, on sauve le monde avec Bob Stake !

Changing bureaucracies: adapting to uncertainty, and how evaluation can help

Changing Bureaucracies. Adapting to uncertainty and how evaluation can help.

La collection de référence Comparative Policy Evaluation s’est enrichie cette année d’un nouvel ouvrage, consacré aux liens complexes (et parfois conflictuels) entre évaluation d’une part et administration(s) bureaucratique(s) de l’autre. Les relations difficiles entre les deux sont dans notre domaine une rengaine, des missions de tous les jours aux textes des théoriciens. En témoigne la dédicace de Michael Patton qui fait des termes « évaluation » et « bureaucratie » un oxymore. Face à l’image de rigueur et d’irrationalité qu’incarne souvent l’idée de bureaucratie, que peuvent l’évaluation et les évaluateur/trices ?

Tony Tyrrell et Burt Perrin¹ s’attèlent à cet enjeu au fil d’une douzaine de contributions de praticien·nes et expert·es internationaux/ales dont Jacques Toulemonde, Frans Leeuw ou encore Veronica Gaffey. L’objectif est clair : établir un panorama des liens évaluation-bureaucratie et en tirer des enseignements théoriques et pratiques à même d’aider le développement d’une « bureaucratie du complexe » (p.9), mieux réceptive à l’évaluation. La situation actuelle est à réformer, tel que l’introduction le pose d’emblée : si la mesure de la performance est omniprésente, l’apprentissage que permettrait l’évaluation est souvent éclipsé par sa procéduralisation, décidée pour satisfaire à la régularité administrative plus qu’à la clarté et la pertinence de l’analyse.

Dans une première partie, on retrouve des contributions centrées sur les contraintes que la bureaucratie peut faire peser sur l’évaluation. Par exemple, le texte de Karol Olejniczak et Jakub Rok s’intéresse à la diversité des retours d’informations (dont les évaluations) dans l’administration polonaise. Ils constatent à partir de leur enquête qu’une majorité de retours d’expériences (d’un.e fonctionnaire vers l’échelon supérieur) prennent plus la forme d’une justification de régularité a posteriori, que d’un travail continu d’apprentissage mutuel entre fonctionnaires, expert·es et citoyen·nes. Selon l’observation des auteurs, l’apprentissage externe se fraye cependant un passage quand expertise interne et externe s’allient dans ce qu’on pourrait nommer des coalitions d’apprentissage.

Jacques Toulemonde et Samer Hachem mettent le doigt sur certaines des hypothèses inhérentes aux bureaucraties : le futur est prévisible, le contexte est stable. Comment expliquer autrement que l’on continue à évaluer des programmes au regard d’objectifs fixées plusieurs années auparavant ? Ce sont ces hypothèses sous-jacentes, rarement discutées, qui permettent d’assurer une justification superficielle des budgets engagés, qui satisfait les bailleurs comme les organisations financées. L’originalité du texte est de montrer, à partir d’un cas pratique, une autre voie possible, dans laquelle une évaluation orientée vers les apprentissages contribuerait à un management adaptatif.

La deuxième partie donne quant à elle quelques exemples où l’évaluation peut soutenir et améliorer la bureaucratie. Retenons l’intéressant témoignage de Veronica Gaffey sur l’évaluation à la Commission européenne, liant son parcours personnel avec le rôle de l’évaluation dans l’institution (portée par quelques entrepreneurs internes), ou encore celui de Kevin Williams sur le développement (étonnamment tardif) d’une fonction d’évaluation interne à l’OCDE. En filigrane de ces témoignages, on comprend que l’évaluation a pu apporter idées et pistes de réformes aux bureaucraties, sans qu’on ait néanmoins atteint un stade où elle serait devenue le pilier de la fabrique de l'action publique.

Enfin, la dernière partie revient sur les défis que l’évaluation doit encore relever pour remplir un rôle véritablement significatif. Comme l’expliquent Estelle Raimondo et Frans Leeuw, l’intérêt pour l’évaluation dans le domaine politique, ou plus largement dans la société, a pu entrainer une forme d’asservissement de l’évaluation, sa « capture » par des intérêts bureaucratiques antagonistes au changement, avides de contrôle, de justifications et formant une menace perpétuelle pour l’utilité sociale de l’évaluation. Parmi les remèdes envisagés, on suggère le scepticisme des évaluateurs/trices sur leur pratique et ses conséquences, ainsi que la confiance qu’ils/elles doivent avoir dans leur capacité de juger des politiques, et pas seulement de compiler et lire des indicateurs. Le texte de Francesco Rinaldi, enfin, souligne que le développement d’un important système de suivi n’est pas nécessairement gage d’une meilleure évaluation, comme observé dans le cas italien de l’évaluation des fonds structurels. En construisant un appareil statistique de pilotage et de reddition bureaucratique de comptes, on peut à la limite réformer les erreurs de gestion à la marge, mais on s’enferme aussi dans un carcan de données qui empêche de penser hors des sentiers battus.

En conclusion, l’ouvrage propose des directions pour une évaluation intégrée dans l’administration, afin d’éviter toute “capture” ou désintérêt bureaucratique en la matière. Il propose ainsi des conseils aux évaluateurs/trices, mais également aux strates dirigeantes de l’administration. Si la bureaucratie est dite nécessaire à l’organisation de démocraties effectives, l’évaluation peut l’aider à devenir plus adaptative, moins rigide.

Implications pour les évaluateurs/trices	Implications pour les dirigeant·es publics
- Savoir poser les questions qui fâchent ;	- « Think and dream big »
- Clarifier et expliciter les différences entre évaluation et suivi ;	_ penser large et loin en matière de résultats et ne pas se limiter au mesurable a priori, , faire confiance à l’évaluation pour clarifier l’impact et les résultats d’une politique ambitieuse
- Se méfier en permanence des risques de capture bureaucratique des évaluations ;	- Accepter qu’une « orientation par les résultats » signifie mettre en question, voire critiquer ou abolir des règles établies
- Être proactif en tout temps, force de proposition méthodologique et pratique vis-à-vis des commanditaires.	- Laisser l’évaluation tout questionner, sans limite, sans zones d’ombres ;
	- Soutenir la diversification des méthodes, rejeter les approches mono-méthodologiques ;
	- Être ouvert aux « stratégies émergentes », c’est-à-dire se préparer à s’adapter aux contextes et enjeux changeants et auto-génératifs des problèmes publics ;
	- Être proactif dans la recherche d’effets inattendus de ses propres politiques.

L’ouvrage n’est pas le premier sur ce sujet, mais on appréciera la richesse et la dimension pratique des témoignages réunis ici. Certains chapitres, et notamment la conclusion de Burt Perrin, savent être empathiques avec la bureaucratie – tous n’évitent pas l’écueil de conforter les certitudes du lecteur quant aux affres de la bureaucratie. On se demandera également comment appliquer « en vrai » des conseils de bon sens, mais plus faciles à dire qu’à faire : conseiller aux évaluateurs/trices la proactivité semble aisé, mais la faire vivre dans des structures bureaucratiques fondées sur la régularité (et la sanction en son absence) l’est certainement moins.

Perrin, B., & Tyrrell, T. (2021). Changing bureaucracies : Adapting to uncertainty, and how evaluation can help. Routledge.

Enquêter avec d'autres êtres

Photo: Sylvère Petit

Les imaginaires des futurs possibles est un cycle de rencontres et d’expérimentation collective dans un espace de réflexion participatif.

Pour la deuxième édition de ce cycle, Vinciane Despret² nous invite à imaginer des futurs possibles autour de la notion « d’enquête avec d’autres êtres ».

Nous nous focalisons ici sur la notion d’assignation d’identité. Vinciane Despret revient sur sa réflexion qui l’a amenée à poser le postulat suivant : pour elle, la manière dont le ou la chercheur·e s’adresse à une personne peut modifier le comportement de cette dernière, car cela modifie sa propre perception d’elle-même. Il y a donc une interaction dynamique entre l’enquêteur/trice et l’enquêté·e, selon l’identité qui lui est assignée (plus ou moins consciemment). La philosophe invite donc les enquêteur/trices à assumer de modifier ce que l’enquête se donne comme objet à étudier.

Partant de ce constat, Vinciane Despret suggère aux enquêteur/trices de prendre leurs responsabilités : Comment dés-assigner un être à qui une identité qui l’affaiblit a été assignée ? Il s’agit donc de permettre aux personnes de se réapproprier le pouvoir de se définir elles-mêmes. La philosophe illustre ses propos par son expérience très touchante d’une enquête dans un camp de réfugié·es de l’ex-Yougoslavie et se sert de ce cas pour alerter sur les travers possibles de l’anonymisation :

Je répète des gestes de violence à l’égard des réfugiés qui consiste à les anonymiser d’office. Certains me disaient « être réfugié c’est être rien […]je ne suis pas « un réfugié », je suis monsieur untel […] ».

Dès lors, la philosophe décrit l’anonymisation comme un processus qui conduit à un effet de « déresponsabilisation par rapport à l’obligation que nous avons tous qui est celle de penser ». Il s’agit alors de s’extirper de positions asymétriques où l’enquêteur/trice enquêterait sur des personnes « vulnérables » pour les mettre plutôt en position de collaborateur/trice : nous réfléchissons et pensons le problème avec celles et ceux que cela concerne. Vinciane Despret donne l’exemple d’un homme « réfugié » dont les mots, qu’elle trouve d’une grande intelligence, la bouleversent. Elle lui explique alors qu’elle ne peut pas citer tant d’auteur/trices et anonymiser ses propos à lui. En réponse, l’homme prend son carnet et signe.

Ça voulait dire que c’était par là qu’il fallait apprendre à passer : […] continuer à chercher des occasions de pouvoir penser ensemble.

Pour la philosophe, cela passe souvent par expliquer préférer que l’entretien ne soit pas anonyme :

Car si on laisse la possibilité aux gens de signer ce qu’ils disent c’est donc qu’on les interroge sur des choses dont ils peuvent être fiers, fiers de penser.

Toute cette réflexion fait écho aux enjeux auxquels les évaluateur/trices peuvent être confronté·es dans leur métier en allant à la rencontre de bénéficiaires de certaines politiques publiques que l’on qualifierait alors de « public sensible ». Cette expérimentation doit nous rappeler la nécessité de rompre avec des routines mais de constamment s’interroger sur notre manière de réaliser nos enquêtes. Plus globalement, il s’agit ici de reconsidérer notre rapport à « l’autre », et de prendre conscience que la manière d’effectuer nos enquêtes aura nécessairement des effets sur les personnes interrogées ; charge à nous de faire en sorte que ces effets soient le plus souhaitables possibles.

Tout le cycle de rencontres est passionnant, et les très beaux récits de la philosophe à ce sujet commencent ici :

Despret, Vinciane (2020). Enquêter avec d'autres êtres. 1re enquête : désassigner. Imaginaires des futurs possibles saison 2. UNIL / Théâtre Vidy Lausanne.

How Far Dare an Evaluator Go Toward Saving the World?

Dans cet article de 2004, Robert Stake³ s’interroge sur les aspirations idéologiques et politiques des évaluateurs/trices, leur influence sur leur travail, et les raisons de réguler ou au contraire de mobiliser ces inclinations dans la conduite d’une évaluation.

L’auteur part d’un constat simple : si certaines méthodes sont communes à la plupart des évaluateurs/trices, chaque praticien·ne de l’évaluation est en revanche unique de par ses convictions et son expérience propre. Cette singularité influence nécessairement la manière dont chacun·e les mobilise et colore l’interprétation ou la sélection des résultats à mettre en avant auprès d’une audience plus large. Bob Stake relève que les professionnel·les de l’évaluation revendiquent plus volontiers l’objectivité et le jugement dépassionné que le plaidoyer et le militantisme. Il identifie pourtant six formes d’engagement personnel qu’il juge communes à la plupart des évaluateurs/trices :

1. Se soucier de l’intervention qui fait l’objet de l’évaluation.

2. Croire dans la démarche évaluative et souhaiter que cet intérêt se diffuse.

3. Revendiquer l’usage de la rationalité.

4. Vouloir être entendu·es. Ils/elles sont troublé·es par le non-usage des résultats d’une évaluation.

5. Être bouleversé·es par les inégalités.

6. Être des promoteurs/trices d’une société démocratique à laquelle peut contribuer la diffusion d’informations de qualité.

S’il est impossible pour les praticiens/ciennes de faire la recension complète de leurs représentations et des causes susceptibles de les faire réagir, identifier les affiliations et engagements idéologiques pouvant influencer leurs interprétations relève, selon l’auteur, d’une responsabilité éthique de l’évaluateur/trice.

En effet, pour lui, l’articulation entre convictions et travail évaluatif présente certains écueils. Par exemple, vouloir à tout prix améliorer l’objet évalué peut conduire l’évaluateur/trice à se concentrer sur ce qui est « réparable », c’est-à-dire ce sur quoi il/elle peut agir, et ainsi à laisser de côté des aspects importants du champ de l’évaluation.

De même, opter pour une démarche participative n’est pas neutre. Cela peut affecter la robustesse ou la profondeur conceptuelle de l’évaluation, mais aussi se révéler plus propice à son appropriation par les parties prenantes et bénéficier davantage à l’organisation commanditaire qu’une évaluation menée uniquement par des acteurs externes.

Se pose alors la question du juste milieu et des limites à instaurer. L’auteur expose ses recherches sur le sujet et conclut à l’absence de standards éthiques ayant spécifiquement vocation à encadrer l’engagement idéologique des professionnel·les de l’évaluation. Il revient alors à l’évaluateur/trice de mener, dans une démarche personnelle, ce travail de réflexivité, de façon non pas à neutraliser ses propres valeurs, mais plutôt à les expliciter pour mieux comprendre la façon dont elles influencent ses pratiques professionnelles.

L’auteur conclut d’ailleurs son article en considérant que les évaluateurs/trices devraient être encouragés à « avoir une vie » et à « avoir un rêve » afin que leurs interprétations soient enrichies par leur expérience personnelle, ce qui contribuerait selon lui in fine à l’utilité sociale de l’évaluation.

Stake, B. (2004). How Far Dare an Evaluator Go Toward Saving the World? American Journal of Evaluation, 25(1). doi

Et aussi...

• Vous avez envie de participer à cette revue, contactez Thomas Delahais.

• La semaine dernière c'était la conférence de la [Société européenne d'évaluation][EES]. Plus de 400 inscrits et de nombreux temps forts, cela malgré la tenue à distance. À partir de cette semaine, les vidéos sont disponibles en ligne pour tous les inscrits. Nos collègues ont notamment participé à la table ronde Evaluators as champions of evaluation practice, ainsi qu'à deux présentations, l'une sur l'évaluation des transitions socioécologiques et l'autre sur une évaluation orientée apprentissage de la stratégie de genre de l'AFD. La prochaine aura lieu en présence les uns des autres (🤞) à Copenhague en juin 2022.

---

Ce numéro 4 a été préparé par Thomas Bouget, Cherifa Oudghiri, Antonin Thyrard-Durocher et Thomas Delahais avec le soutien d'Hélène Faure. Relire le nº2 et le nº3. Pour vous abonner, cliquez ici (4 numéros par an).