livre 3 articles – 15 septembre 2021 – n°4

Dans ce numéro, évaluation et bureaucratie, l'ultime combat, enquêter avec d'autres êtres, et oldiesbutgoodies, on sauve le monde avec Bob Stake !

Changing bureaucracies: adapting to uncertainty, and how evaluation can help

Changing bureaucracies

Changing Bureaucracies. Adapting to uncertainty and how evaluation can help.

La collection de référence Comparative Policy Evaluation s’est enrichie cette année d’un nouvel ouvrage, consacré aux liens complexes (et parfois conflictuels) entre évaluation d’une part et administration(s) bureaucratique(s) de l’autre. Les relations difficiles entre les deux sont dans notre domaine une rengaine, des missions de tous les jours aux textes des théoriciens. En témoigne la dédicace de Michael Patton qui fait des termes « évaluation » et « bureaucratie » un oxymore. Face à l’image de rigueur et d’irrationalité qu’incarne souvent l’idée de bureaucratie, que peuvent l’évaluation et les évaluateur/trices ?

Tony Tyrrell et Burt Perrin1 s’attèlent à cet enjeu au fil d’une douzaine de contributions de praticien·nes et expert·es internationaux/ales dont Jacques Toulemonde, Frans Leeuw ou encore Veronica Gaffey. L’objectif est clair : établir un panorama des liens évaluation-bureaucratie et en tirer des enseignements théoriques et pratiques à même d’aider le développement d’une « bureaucratie du complexe » (p.9), mieux réceptive à l’évaluation. La situation actuelle est à réformer, tel que l’introduction le pose d’emblée : si la mesure de la performance est omniprésente, l’apprentissage que permettrait l’évaluation est souvent éclipsé par sa procéduralisation, décidée pour satisfaire à la régularité administrative plus qu’à la clarté et la pertinence de l’analyse.

Dans une première partie, on retrouve des contributions centrées sur les contraintes que la bureaucratie peut faire peser sur l’évaluation. Par exemple, le texte de Karol Olejniczak et Jakub Rok s’intéresse à la diversité des retours d’informations (dont les évaluations) dans l’administration polonaise. Ils constatent à partir de leur enquête qu’une majorité de retours d’expériences (d’un.e fonctionnaire vers l’échelon supérieur) prennent plus la forme d’une justification de régularité a posteriori, que d’un travail continu d’apprentissage mutuel entre fonctionnaires, expert·es et citoyen·nes. Selon l’observation des auteurs, l’apprentissage externe se fraye cependant un passage quand expertise interne et externe s’allient dans ce qu’on pourrait nommer des coalitions d’apprentissage.

Jacques Toulemonde et Samer Hachem mettent le doigt sur certaines des hypothèses inhérentes aux bureaucraties : le futur est prévisible, le contexte est stable. Comment expliquer autrement que l’on continue à évaluer des programmes au regard d’objectifs fixées plusieurs années auparavant ? Ce sont ces hypothèses sous-jacentes, rarement discutées, qui permettent d’assurer une justification superficielle des budgets engagés, qui satisfait les bailleurs comme les organisations financées. L’originalité du texte est de montrer, à partir d’un cas pratique, une autre voie possible, dans laquelle une évaluation orientée vers les apprentissages contribuerait à un management adaptatif.

La deuxième partie donne quant à elle quelques exemples où l’évaluation peut soutenir et améliorer la bureaucratie. Retenons l’intéressant témoignage de Veronica Gaffey sur l’évaluation à la Commission européenne, liant son parcours personnel avec le rôle de l’évaluation dans l’institution (portée par quelques entrepreneurs internes), ou encore celui de Kevin Williams sur le développement (étonnamment tardif) d’une fonction d’évaluation interne à l’OCDE. En filigrane de ces témoignages, on comprend que l’évaluation a pu apporter idées et pistes de réformes aux bureaucraties, sans qu’on ait néanmoins atteint un stade où elle serait devenue le pilier de la fabrique de l'action publique.

Enfin, la dernière partie revient sur les défis que l’évaluation doit encore relever pour remplir un rôle véritablement significatif. Comme l’expliquent Estelle Raimondo et Frans Leeuw, l’intérêt pour l’évaluation dans le domaine politique, ou plus largement dans la société, a pu entrainer une forme d’asservissement de l’évaluation, sa « capture » par des intérêts bureaucratiques antagonistes au changement, avides de contrôle, de justifications et formant une menace perpétuelle pour l’utilité sociale de l’évaluation. Parmi les remèdes envisagés, on suggère le scepticisme des évaluateurs/trices sur leur pratique et ses conséquences, ainsi que la confiance qu’ils/elles doivent avoir dans leur capacité de juger des politiques, et pas seulement de compiler et lire des indicateurs. Le texte de Francesco Rinaldi, enfin, souligne que le développement d’un important système de suivi n’est pas nécessairement gage d’une meilleure évaluation, comme observé dans le cas italien de l’évaluation des fonds structurels. En construisant un appareil statistique de pilotage et de reddition bureaucratique de comptes, on peut à la limite réformer les erreurs de gestion à la marge, mais on s’enferme aussi dans un carcan de données qui empêche de penser hors des sentiers battus.

En conclusion, l’ouvrage propose des directions pour une évaluation intégrée dans l’administration, afin d’éviter toute “capture” ou désintérêt bureaucratique en la matière. Il propose ainsi des conseils aux évaluateurs/trices, mais également aux strates dirigeantes de l’administration. Si la bureaucratie est dite nécessaire à l’organisation de démocraties effectives, l’évaluation peut l’aider à devenir plus adaptative, moins rigide.

Implications pour les évaluateurs/trices Implications pour les dirigeant·es publics
- Savoir poser les questions qui fâchent ; - « Think and dream big »
- Clarifier et expliciter les différences entre évaluation et suivi ; _ penser large et loin en matière de résultats et ne pas se limiter au mesurable a priori, , faire confiance à l’évaluation pour clarifier l’impact et les résultats d’une politique ambitieuse
- Se méfier en permanence des risques de capture bureaucratique des évaluations ; - Accepter qu’une « orientation par les résultats » signifie mettre en question, voire critiquer ou abolir des règles établies
- Être proactif en tout temps, force de proposition méthodologique et pratique vis-à-vis des commanditaires. - Laisser l’évaluation tout questionner, sans limite, sans zones d’ombres ;
- Soutenir la diversification des méthodes, rejeter les approches mono-méthodologiques ;
- Être ouvert aux « stratégies émergentes », c’est-à-dire se préparer à s’adapter aux contextes et enjeux changeants et auto-génératifs des problèmes publics ;
- Être proactif dans la recherche d’effets inattendus de ses propres politiques.

L’ouvrage n’est pas le premier sur ce sujet, mais on appréciera la richesse et la dimension pratique des témoignages réunis ici. Certains chapitres, et notamment la conclusion de Burt Perrin, savent être empathiques avec la bureaucratie – tous n’évitent pas l’écueil de conforter les certitudes du lecteur quant aux affres de la bureaucratie. On se demandera également comment appliquer « en vrai » des conseils de bon sens, mais plus faciles à dire qu’à faire : conseiller aux évaluateurs/trices la proactivité semble aisé, mais la faire vivre dans des structures bureaucratiques fondées sur la régularité (et la sanction en son absence) l’est certainement moins.

Perrin, B., & Tyrrell, T. (2021). Changing bureaucracies : Adapting to uncertainty, and how evaluation can help. Routledge.

EnquĂŞter avec d'autres ĂŞtres

photo autrice

Photo: Sylvère Petit

Les imaginaires des futurs possibles est un cycle de rencontres et d’expérimentation collective dans un espace de réflexion participatif.

Pour la deuxième édition de ce cycle, Vinciane Despret2 nous invite à imaginer des futurs possibles autour de la notion « d’enquête avec d’autres êtres ».

Nous nous focalisons ici sur la notion d’assignation d’identité. Vinciane Despret revient sur sa réflexion qui l’a amenée à poser le postulat suivant : pour elle, la manière dont le ou la chercheur·e s’adresse à une personne peut modifier le comportement de cette dernière, car cela modifie sa propre perception d’elle-même. Il y a donc une interaction dynamique entre l’enquêteur/trice et l’enquêté·e, selon l’identité qui lui est assignée (plus ou moins consciemment). La philosophe invite donc les enquêteur/trices à assumer de modifier ce que l’enquête se donne comme objet à étudier.

Partant de ce constat, Vinciane Despret suggère aux enquêteur/trices de prendre leurs responsabilités : Comment dés-assigner un être à qui une identité qui l’affaiblit a été assignée ? Il s’agit donc de permettre aux personnes de se réapproprier le pouvoir de se définir elles-mêmes. La philosophe illustre ses propos par son expérience très touchante d’une enquête dans un camp de réfugié·es de l’ex-Yougoslavie et se sert de ce cas pour alerter sur les travers possibles de l’anonymisation :

Je répète des gestes de violence à l’égard des réfugiés qui consiste à les anonymiser d’office. Certains me disaient « être réfugié c’est être rien […]je ne suis pas « un réfugié », je suis monsieur untel […] ».

Dès lors, la philosophe décrit l’anonymisation comme un processus qui conduit à un effet de « déresponsabilisation par rapport à l’obligation que nous avons tous qui est celle de penser ». Il s’agit alors de s’extirper de positions asymétriques où l’enquêteur/trice enquêterait sur des personnes « vulnérables » pour les mettre plutôt en position de collaborateur/trice : nous réfléchissons et pensons le problème avec celles et ceux que cela concerne. Vinciane Despret donne l’exemple d’un homme « réfugié » dont les mots, qu’elle trouve d’une grande intelligence, la bouleversent. Elle lui explique alors qu’elle ne peut pas citer tant d’auteur/trices et anonymiser ses propos à lui. En réponse, l’homme prend son carnet et signe.

Ça voulait dire que c’était par là qu’il fallait apprendre à passer : […] continuer à chercher des occasions de pouvoir penser ensemble.

Pour la philosophe, cela passe souvent par expliquer préférer que l’entretien ne soit pas anonyme :

Car si on laisse la possibilité aux gens de signer ce qu’ils disent c’est donc qu’on les interroge sur des choses dont ils peuvent être fiers, fiers de penser.

Toute cette réflexion fait écho aux enjeux auxquels les évaluateur/trices peuvent être confronté·es dans leur métier en allant à la rencontre de bénéficiaires de certaines politiques publiques que l’on qualifierait alors de « public sensible ». Cette expérimentation doit nous rappeler la nécessité de rompre avec des routines mais de constamment s’interroger sur notre manière de réaliser nos enquêtes. Plus globalement, il s’agit ici de reconsidérer notre rapport à « l’autre », et de prendre conscience que la manière d’effectuer nos enquêtes aura nécessairement des effets sur les personnes interrogées ; charge à nous de faire en sorte que ces effets soient le plus souhaitables possibles.

Tout le cycle de rencontres est passionnant, et les très beaux récits de la philosophe à ce sujet commencent ici :

Despret, Vinciane (2020). Enquêter avec d'autres êtres. 1re enquête : désassigner. Imaginaires des futurs possibles saison 2. UNIL / Théâtre Vidy Lausanne.

How Far Dare an Evaluator Go Toward Saving the World?

Bob Stake

Dans cet article de 2004, Robert Stake3 s’interroge sur les aspirations idéologiques et politiques des évaluateurs/trices, leur influence sur leur travail, et les raisons de réguler ou au contraire de mobiliser ces inclinations dans la conduite d’une évaluation.

L’auteur part d’un constat simple : si certaines méthodes sont communes à la plupart des évaluateurs/trices, chaque praticien·ne de l’évaluation est en revanche unique de par ses convictions et son expérience propre. Cette singularité influence nécessairement la manière dont chacun·e les mobilise et colore l’interprétation ou la sélection des résultats à mettre en avant auprès d’une audience plus large. Bob Stake relève que les professionnel·les de l’évaluation revendiquent plus volontiers l’objectivité et le jugement dépassionné que le plaidoyer et le militantisme. Il identifie pourtant six formes d’engagement personnel qu’il juge communes à la plupart des évaluateurs/trices :

  1. Se soucier de l’intervention qui fait l’objet de l’évaluation.

  2. Croire dans la démarche évaluative et souhaiter que cet intérêt se diffuse.

  3. Revendiquer l’usage de la rationalité.

  4. Vouloir être entendu·es. Ils/elles sont troublé·es par le non-usage des résultats d’une évaluation.

  5. Être bouleversé·es par les inégalités.

  6. Être des promoteurs/trices d’une société démocratique à laquelle peut contribuer la diffusion d’informations de qualité.

S’il est impossible pour les praticiens/ciennes de faire la recension complète de leurs représentations et des causes susceptibles de les faire réagir, identifier les affiliations et engagements idéologiques pouvant influencer leurs interprétations relève, selon l’auteur, d’une responsabilité éthique de l’évaluateur/trice.

En effet, pour lui, l’articulation entre convictions et travail évaluatif présente certains écueils. Par exemple, vouloir à tout prix améliorer l’objet évalué peut conduire l’évaluateur/trice à se concentrer sur ce qui est « réparable », c’est-à-dire ce sur quoi il/elle peut agir, et ainsi à laisser de côté des aspects importants du champ de l’évaluation.

De même, opter pour une démarche participative n’est pas neutre. Cela peut affecter la robustesse ou la profondeur conceptuelle de l’évaluation, mais aussi se révéler plus propice à son appropriation par les parties prenantes et bénéficier davantage à l’organisation commanditaire qu’une évaluation menée uniquement par des acteurs externes.

Se pose alors la question du juste milieu et des limites à instaurer. L’auteur expose ses recherches sur le sujet et conclut à l’absence de standards éthiques ayant spécifiquement vocation à encadrer l’engagement idéologique des professionnel·les de l’évaluation. Il revient alors à l’évaluateur/trice de mener, dans une démarche personnelle, ce travail de réflexivité, de façon non pas à neutraliser ses propres valeurs, mais plutôt à les expliciter pour mieux comprendre la façon dont elles influencent ses pratiques professionnelles.

L’auteur conclut d’ailleurs son article en considérant que les évaluateurs/trices devraient être encouragés à « avoir une vie » et à « avoir un rêve » afin que leurs interprétations soient enrichies par leur expérience personnelle, ce qui contribuerait selon lui in fine à l’utilité sociale de l’évaluation.

Stake, B. (2004). How Far Dare an Evaluator Go Toward Saving the World? American Journal of Evaluation, 25(1). doi

Et aussi...


Ce numéro 4 a été préparé par Thomas Bouget, Cherifa Oudghiri, Antonin Thyrard-Durocher et Thomas Delahais avec le soutien d'Hélène Faure. Relire le nº2 et le nº3. Pour vous abonner, cliquez ici (4 numéros par an).


  1. Burt Perrin est un consultant indĂ©pendant. Au cours de ses plus de 40 ans de carrière, il a abordĂ© de nombreux sujets, et en particulier les questions de performance et d'utilisation de l'Ă©valuation. Après une carrière dans l'administration irlandaise puis de consultant, Tony Tyrrell a travaillĂ© plusieurs annĂ©es pour le groupe d'Ă©valuation indĂ©pendant de la Banque mondiale. Il est dĂ©sormais consultant indĂ©pendant.  

  2. Vinciane Despret est philosophe des sciences et psychologue. 

  3. Robert Stake est l'un des pionniers de l'évaluation aux États-Unis. Venu du monde de l'éducation, il insiste notamment sur les valeurs et les points de vue différents des parties prenantes et la nécessité de les prendre en compte dans l'évaluation. Il est le père de l'évaluation répondante (responsive evaluation

Citations relatives Ă  l'Ă©valuation des politiques publiques

lundi 20 septembre 2021

Des citations inspirantes pour qui Ă©value.

đź“š Trois articles d'Ă©valuation (nÂş4, 15 septembre 2021)

mercredi 15 septembre 2021

Dans ce numéro, évaluation et bureaucratie, l'ultime combat, enquêter avec d'autres êtres, et oldiesbutgoodies, on sauve le monde avec Bob Stake !

đź’ˇ Glossaires de l'Ă©valuation

dimanche 12 septembre 2021

Liste de glossaires

💡 7 bonnes raisons de prendre en compte l'égalité entre les femmes et les hommes dans ma pratique d'évaluation

vendredi 09 juillet 2021

Oldies but goodies (Karine Sage)

đź“š Trois articles d'Ă©valuation (nÂş3, 15 mai 2021)

samedi 15 mai 2021

Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !

đź’ˇ Les Ă©valuations participatives, plus facile Ă  dire qu'Ă  faire

jeudi 29 avril 2021

Nouvel article publié (Thomas Delahais)

Quatre jeux de cartes d'Ă©valuation francophones

mardi 27 avril 2021

Ă€ l'occasion de la sortie de Strateval, nous revenons sur 3 autres jeux de cartes autour de l'Ă©valuation

đź’ˇ Qu'est-ce que l'analyse militante apporte Ă  l'Ă©valuation des politiques publiques ?

jeudi 08 avril 2021

Nouvel article publié (Marc Tevini)

📚 Trois articles d'évaluation (nº2, 15 février 2021)

lundi 15 février 2021

Dans ce numéro, évaluation féministe quésaco, apprentissage et redevabilité même combat ? et oldiesbutgoodies, des éléments pour une sociologie de l'évaluation... C'est le sommaire de ce numéro 2.

đź“˝ L'Ă©valuation des politiques sociales, de quoi parle-t-on ?

vendredi 15 janvier 2021

Introduction au séminaire de l'IRTS HDF du 26/01.

đź“˝ L'analyse de contribution en pratique

mardi 15 décembre 2020

Introduction Ă  la formation Ă  l'analyse de contribution

đź“š Trois articles d'Ă©valuation (nÂş1, 15 novembre 2020)

dimanche 15 novembre 2020

Dans ce numéro, plongée en pleine guerre froide avec la Realpolitik de l'évaluation, des idées pour professionnaliser l'évaluation, et oldiesbutgoodies, de quoi se demander ce que les évaluateurs et les évaluatrices défendent dans leur métier... C'est le sommaire de ce numéro 1.

đź“˝ L'Ă©valuation participative, plus facile Ă  dire qu'Ă  faire

lundi 09 novembre 2020

Intervention de T Delahais au Congrès de la SEVAL organisé par le GREVAL à Fribourg, le 4 septembre 2020.

đź’ˇ En situation anormale, l'Ă©valuation doit devenir la norme

jeudi 29 octobre 2020

Contribution de T Delahais et M Tevini en réponse à l'appel de la SFE, "Ce que la crise sanitaire nous apprend sur l'utilité et les pratiques d'évaluation".

đź’ˇ Comment Ă©valuer la transition

vendredi 23 octobre 2020

Nouvel article publié (Thomas Delahais, Karine Sage, Vincent Honoré)

💡 Quels mécanismes à l'œuvre dans les innovations ?

mardi 06 octobre 2020

Nouvel article publié (Agathe Devaux-Spatarakis)

đź“š Trois articles d'Ă©valuation (v0, 30 juillet 2020)

jeudi 30 juillet 2020

À l'honneur pour cette édition, la sagesse pratique des évaluateurs et des évaluatrices, soit « la capacité de faire les bons choix, au bon moment, pour les bonnes raisons » ; ce que les mots et concepts de l'évaluation perdent et gagnent à leur traduction d'une langue à l'autre et oldies but goodies, une piqûre de rappel quant à la vocation démocratique de l'évaluation en France... C'est le sommaire de ce numéro 0.