livre 3 articles – 15 novembre 2020 – n°1

Plongée en pleine guerre froide avec la Realpolitik de l'évaluation, des idées pour professionnaliser l'évaluation, et oldiesbutgoodies, de quoi se demander ce que les évaluateurs et les évaluatrices défendent dans leur métier... C'est le sommaire de ce numéro 1.

The Realpolitik of Evaluation

Realpolitik

Ouvrage collectif rĂ©digĂ© sous la direction de Markus Palenberg et Arne Paulson1, ce livre vise Ă  rĂ©pondre Ă  deux questions qui animent depuis longtemps la communautĂ© des Ă©valuateurs/trices : qu’est-ce qui explique le dĂ©calage frĂ©quemment observĂ© entre demande et offre d’évaluation et quelles solutions peuvent ĂȘtre mises en Ɠuvre pour rĂ©duire cet Ă©cart ?

Le premier mĂ©rite de l’ouvrage est de fournir une description fine des principaux facteurs expliquant les relations souvent dĂ©cevantes entre offre et demande d’évaluation. Si les explications sont souvent connues (dĂ©calage temporel entre la rĂ©alisation des Ă©valuations et la prise de dĂ©cision, place centrale des compĂ©tences des commanditaires et des Ă©quipes d’évaluation, manque de ressources
), elles sont mises en lumiĂšre dans des contextes nationaux variĂ©s (France, Irlande, Italie, NorvĂšge
).

Au risque d’ĂȘtre accusĂ© de chauvinisme, ce qui serait presque entendable pour un livre sur la Realpolitik, on recommande la lecture du chapitre de notre collĂšgue Agathe Devaux-Spatarakis sur l’essor de la mĂ©thode expĂ©rimentale par assignation alĂ©atoire en France, qui permet d’illustrer un cas de double « piratage » des Ă©valuations, par l’offre et la demande.

Plusieurs pistes sont mises en avant pour faciliter le dialogue entre offre et demande d’évaluation. Nous dĂ©crivons briĂšvement deux des solutions qui nous ont le plus intĂ©ressĂ©es.

La premiĂšre consiste Ă  investir spĂ©cifiquement dans l’organisation de l’évaluation, en confiant l’animation du dialogue entre offre et demande d’évaluation Ă  un acteur intermĂ©diaire. C’est le rĂŽle qui a Ă©tĂ© confiĂ© Ă  l’agence nationale de la recherche en NorvĂšge, dans le cadre de l’évaluation de la rĂ©forme des soins de santĂ© initiĂ©e en 2012 et qui a permis une meilleure comprĂ©hension des attentes des diffĂ©rentes parties (le ministĂšre de la SantĂ© et les centres de recherche en charge de l’évaluation) (voir le chapitre 6 d’Olaf Rieper2).

La deuxiĂšme piste nous invite Ă  rĂ©flĂ©chir Ă  la faible place accordĂ©e aux sciences sociales en Ă©valuation (voir le chapitre 10 de Sebastian Lemire, Christina Christie et Steffen Bohni Nielsen3). Ces auteurs/rices militent ainsi pour renforcer l’intĂ©gration des thĂ©ories des sciences sociales dans les thĂ©ories des programmes et ainsi promouvoir une approche d’imbrication thĂ©orique (theory knitting):

La position que nous dĂ©fendons est que nous devons nous diriger plus fermement vers une imbrication des thĂ©ories – en ayant recours de façon transparente et systĂ©matique aux thĂ©ories des sciences sociales dans la pratique de l'Ă©valuation. En agissant ainsi, nous rendons nos thĂ©ories de programmes plus spĂ©cifiques et renforçons leur capacitĂ© Ă  ĂȘtre testĂ©es et gĂ©nĂ©ralisĂ©es. In fine, nous favorisons le recueil de preuves crĂ©dibles et exploitables.

Comme le souligne en conclusion R. Pablo Guerrero4, cet ouvrage rĂ©vĂšle les failles observĂ©es au sein de la communautĂ© de l'Ă©valuation entre offre et demande et donne Ă  voir deux mondes qui se connaissent et s’ignorent Ă  la fois :

Que ce soit du cĂŽtĂ© de la demande ou de l’offre, on observe des intĂ©rĂȘts spĂ©cifiques. En l’absence d’une comprĂ©hension claire des objectifs sous-jacents de chaque groupe, la demande et l'offre ne pourront se recouper que dans un espace abstrait.

Ce constat soulùve deux questions pour l’avenir :

Lire la table des matiĂšres et la 4e de couverture ici.

Palenberg, M. Paulson, A. (ed.) (2020). The Realpolitik of Evaluation. Why Demand and Supply Rarely Intersect. Routledge.

Une analyse engagĂ©e de la professionnalisation des pratiques d’évaluation

photo auteur ou livre

Les « compĂ©tences » et la « professionnalisation » font l’objet de conversations et de recherche dans les sphĂšres d’évaluation dĂ©jĂ  depuis un certain moment. Vous avez peut-ĂȘtre par ailleurs remarquĂ© la crĂ©ation du nouveau groupe de « reconnaissance professionnelle des compĂ©tences » Ă  la SFE, qui s’est rĂ©uni pour la premiĂšre fois le 14 octobre 2020.

Cela semble ainsi un moment propice pour discuter de l’article publiĂ© par BenoĂźt Gauthier, Une analyse engagĂ©e de la professionnalisation des pratiques d’évaluation. « EngagĂ©e », en effet, car M. Gauthier considĂšre que la professionnalisation permet de contribuer Ă  une meilleure performance de l’évaluation et de protĂ©ger le public, qui autrement « n’est pas en mesure de juger de la qualitĂ© de cette performance » (p.130).

Il prĂ©cise que la professionnalisation d’un mĂ©tier comporte de nombreux « ingrĂ©dients », dont, selon lui, cinq mĂ©canismes clĂ©s, qui peuvent fournir un bon moyen de rendre compte de la professionnalisation dans diffĂ©rents pays. La Figure ci-dessous rĂ©sume notre interprĂ©tation de l’état actuel des mĂ©canismes de la professionnalisation en France : s’il existe dĂ©jĂ  des lignes directrices Ă©thiques, des normes et des formations universitaires (et ce depuis prĂšs plus d’une quinzaine d’annĂ©es), les rĂ©fĂ©rentiels de compĂ©tences ne sont pas encore formalisĂ©s, ni un moyen de reconnaĂźtre une conduite professionnelle.

État des mĂ©canismes de la professionnalisation en France (novembre 2020)

À quoi ces deux derniers mĂ©canismes peuvent-il servir ?

De toute façon, il n’est pas question de simplement « acter » ces mĂ©canismes : chaque mĂ©canisme peut ĂȘtre trĂšs conflictuel, dans la mesure oĂč il entraĂźne nĂ©cessairement un travail de normalisation au profit ou dĂ©triment de certain·es - comment qualifierons-nous une « bonne » ou « mauvaise » Ă©valuation, par exemple ? C’est pour cette raison que M. Gauthier conclut son article avec un exposĂ© des nombreux bĂ©nĂ©fices et risques de la professionnalisation : l’amĂ©lioration de la formation en Ă©valuation et des connaissances, permettant aux professionnels Ă©mergents de trouver plus facilement une place dans la profession ; et Ă  l’inverse, l’exclusion de praticiens talentueux si des barriĂšres Ă  l’entrĂ©e deviennent excessives.

En somme, les discussions sur la professionnalisation sont aussi riches qu’elles sont sources de tension. Nous restons toutefois optimistes et espĂ©rons ces dĂ©marches permettront de tirer tout le monde vers le haut.

Voir aussi l’entretien de Colette Lanson avec BenoĂźt Gauthier concernant les pratiques d’évaluation au Canada.

Gauthier, B. (2020). Une analyse engagĂ©e de la professionnalisation des pratiques d’évaluation. 11. doi (librement tĂ©lĂ©chargeable)

Evaluation as advocacy

Jennifer Greene

Pensez-vous qu'une Ă©valuation doit apporter une vision objective et factuelle des situations analysĂ©es, ou au contraire qu'elle doit dĂ©fendre certains intĂ©rĂȘts, et par consĂ©quent assumer une dimension de plaidoyer ? Il y a 20 ans dĂ©jĂ , Jennifer Greene nous invitait Ă  ne pas se mentir et Ă  se rendre compte que toute Ă©valuation dĂ©fendait une cause, qu’elle soit explicite ou implicite. C'est en ce sens que Greene Ă©crit que la dimension de plaidoyer (advocacy) est inĂ©vitable dans une Ă©valuation. Bien consciente que cette assertion dĂ©routante puisse ĂȘtre considĂ©rĂ©e comme une hĂ©rĂ©sie par bon nombre d’évaluateur/rices, son raisonnement peut aider un certain nombre de lecteurs Ă  se forger une opinion sur la question.

En effet, pour elle, l’ensemble des choix que nous faisons au cours du processus Ă©valuatif sont imprĂ©gnĂ©s de valeurs : le choix des questions, les choix des critĂšres, le choix des points de vue Ă  collecter, le choix des mĂ©thodes, le choix des personnes qui participent au processus, et ainsi de suite. Greene souhaite ainsi dĂ©samorcer la confusion qui peut naĂźtre du mot plaidoyer, qui n’est pas selon l’autrice le fait d’ĂȘtre ami ou ennemi d’une politique publique, ni de biaiser son analyse en consĂ©quence.

ReconnaĂźtre la dimension de plaidoyer de nos Ă©valuations, c’est accepter d’ĂȘtre les « dĂ©fenseurs d’une cause », que Greene nous enjoint de prĂ©ciser en rĂ©pondant aux questions suivantes : quels intĂ©rĂȘts et valeurs l’évaluation met-elle en avant ? Et plus concrĂštement : Ă  quelles questions et Ă  quels critĂšres jugeront nous la politique, et lorsque nous y rĂ©pondront, que dĂ©fendons-nous, et pour qui ? L’autrice souligne que la rĂ©ponse Ă  ces questions devrait ĂȘtre explicite dans les Ă©valuations.

Parmi ses exemples, Greene Ă©voque dans l’article une Ă©valuation rĂ©alisĂ©e dans un contexte marquĂ© par des conflits de valeurs importants. Le principal sujet de discorde est le changement d’un programme qui passe de deux niveaux prĂ©paratoires Ă  l'universitĂ© (un niveau Ă©levĂ© et un niveau moyen) Ă  un seul, dans lequel sont regroupĂ©s des Ă©tudiants ayant des niveaux de rĂ©ussite variĂ©s. Les opposants Ă  ce changement sont convaincus que les Ă©tudiants ayant un niveau Ă©levĂ© n'apprendront pas assez pour rĂ©ussir Ă  entrer dans des universitĂ©s sĂ©lectives. À l’inverse, les partisans de ce changement soulignent les avantages Ă©ducatifs et sociaux que retireront les Ă©tudiants en travaillant avec davantage de diversitĂ© raciale, ethnique et de genre dans leur rĂ©ussite.

Positionner l'Ă©valuateur comme Ă©tant dĂ©sengagĂ© et Ă©loignĂ© des conflits de valeurs dans ce contexte, comme prĂ©tendre que l’unique valeur qui guide l’évaluation est l'objectivitĂ©, reviendrait Ă  rater le coche : « nous manquerions de sincĂ©ritĂ©, voire tromperions nos lecteurs et destinataires de l’évaluation ». Greene explique avoir souhaitĂ© au contraire dans cette Ă©valuation dĂ©fendre publiquement « le pluralisme dĂ©mocratique » et veiller Ă  ce que le dĂ©bat soit permanent en incluant des voix et perspectives multiples. C’est ici que rĂ©side pour Greene sa posture d’évaluatrice « engagĂ©e ». Greene plaide ici pour que l’évaluation offre des possibilitĂ©s de dialoguer entre les diverses parties prenantes sur les significations et les implications des rĂ©sultats et des affirmations de l’évaluation. Tout en reconnaissant que la conduite de cette Ă©valuation a Ă©tĂ© trĂšs compliquĂ©e, le fait d’avoir Ă©tĂ© explicite sur l’engagement « pluraliste et dĂ©mocratique » de l’équipe d’évaluation a permis de produire des jugements justes et impartiaux non pas parce qu’ils Ă©taient objectifs, mais parce qu'ils reflĂ©taient des intĂ©rĂȘts multiples et notamment celui des Ă©tudiant·es.

Ajoutons ici que pour Greene, la dĂ©fense du pluralisme dans les Ă©valuations peut et doit se faire avant tout au service de ce que l’on entend le moins, et qui sont souvent les bĂ©nĂ©ficiaires, in fine, des politiques publiques :

Les Ă©valuateurs doivent aujourd'hui faire des efforts particuliers pour rechercher et inclure les voix et les points de vue qui sont souvent nĂ©gligĂ©s ou exclus de la conversation Ă©valuative - parce qu'ils ne sont pas invitĂ©s, parce que leurs opinions sont impopulaires, ou parce qu'ils n'ont pas la langue ou la fluiditĂ© verbale nĂ©cessaires pour ĂȘtre entendus.

Cette position est depuis devenue largement partagée dans la communauté évaluative en Amérique du Nord, notamment à travers les travaux de Donna Mertens à qui nous donnions la parole dans une interview récente lors de son passage en France.

Greene, J. (1997) Evaluation as advocacy. Evaluation Practice, Volume: 18 issue: 1, page(s): 25-35 doi

Et aussi...


Ce numĂ©ro 1 a Ă©tĂ© prĂ©parĂ© par Adrien Flichy, Marc Tevini, Alexandra Williams et Thomas Delahais avec le soutien d'HĂ©lĂšne Faure. Relire le nÂș0. Pour vous abonner, cliquez ici (4 numĂ©ros par an).


  1. Markus Palenberg est un Ă©valuateur, il travaille principalement dans le champ des programmes mondiaux de dĂ©veloppement international. Arne Paulson est un Ă©conomiste du dĂ©veloppement. Il a fait l'essentiel de sa carriĂšre dans des institutions internationales, dont la Banque mondiale.  

  2. Olaf Rieper est un Ă©valuateur danois. 

  3. Sebastian Lemire est un Ă©valuateur et chercheur danois, il travaille notamment sur les Ă©valuations basĂ©es sur la thĂ©orie. Christina Christie est une chercheuse amĂ©ricaine, elle travaille notamment sur la thĂ©orie Ă©valuative. Steffen Bohni Nielsen a longtemps Ă©tĂ© consultant en secteur public au Danemark, il officie maintenant en collectivitĂ©. 

  4. R. Pablo Guerrero est le Directeur RĂ©seau de la Global Initiative for Fiscal Transparency

Humans after all?

lundi 03 juillet 2023

The challenges of external validity, towards an interdisciplinary discussion?

Humans after all?

mardi 27 juin 2023

Les défis de la validité externe, un sujet d'échange interdisciplinaire ?

Index égalité professionnelle, index senior...

vendredi 16 juin 2023

Le name and shame est-il une politique publique efficace?

Évaluation RTBFoods

jeudi 02 mars 2023

Du outcome harvesting dans une Ă©valuation de projet

Des fiches pour distinguer l'Ă©valuation d'autres pratiques voisines

jeudi 19 janvier 2023

Quelles distinctions entre l'Ă©valuation et les pratiques voisines ?

🃏 Cartographie des usages de l'Ă©valuation d'impact

mardi 01 novembre 2022

Quelle démarche pour une cartographie des usages de l'évaluation d'impact ?

📚 Trois articles d'Ă©valuation (nÂș8, 15 octobre 2022)

samedi 15 octobre 2022

Un numĂ©ro trĂšs trĂšs lutte – pour l'Ă©quitĂ© raciale, entre objectivistes et subjectivistes, et oldies but goodies pour faire entendre l'Ă©valuation dans un contexte politisĂ©.

📚 Évaluer les politiques locales d'Ă©galitĂ© femmes-hommes

mardi 04 octobre 2022

Publication

🚂 EES 2022: It’s not (only) you, it’s me (too)

dimanche 17 juillet 2022

Feedback on the European Evaluation Society Conference in Copenhagen

🚂 EES 2022 - C’est pas (que) toi, c’est moi (aussi)

mardi 12 juillet 2022

Retour sur la conférence de la société européenne d'évaluation à Copenhague

📚 Trois articles d'Ă©valuation (nÂș7, 15 juin 2022)

mercredi 15 juin 2022

Dans ce numéro, cinéma à tous les étages : La Revanche des Sith, Octobre rouge et 120 battements par minute... ou presque

🎙 L'Ă©valuation des contrats de ville

mercredi 01 juin 2022

Publication

📚 L'Ă©valuation en contexte de dĂ©veloppement

mardi 31 mai 2022

Publication

đŸŽ„ Cinq choses Ă  savoir sur les initiatives de transition

lundi 02 mai 2022

Vidéo

💡 Recherche et action publique : il faut ĂȘtre deux pour danser le tango

vendredi 25 mars 2022

Publication

📚 Trois articles d'Ă©valuation (nÂș6, 15 mars 2022)

mardi 15 mars 2022

Dans ce numéro, la cartographie des controverses rencontre la science comportementale, et la recherche l'action publique.

💡 Qu'attendre de la recherche pour Ă©clairer l'action publique

jeudi 20 janvier 2022

Publication

📚 Trois articles d'Ă©valuation (nÂș5, 15 dĂ©cembre 2021)

mercredi 15 décembre 2021

Numéro spécial Anthologie

Citations relatives Ă  l'Ă©valuation des politiques publiques

lundi 20 septembre 2021

Des citations inspirantes pour qui Ă©value.

📚 Trois articles d'Ă©valuation (nÂș4, 15 septembre 2021)

mercredi 15 septembre 2021

Dans ce numĂ©ro, Ă©valuation et bureaucratie, l'ultime combat, enquĂȘter avec d'autres ĂȘtres, et oldiesbutgoodies, on sauve le monde avec Bob Stake !

💡 Glossaires de l'Ă©valuation

dimanche 12 septembre 2021

Liste de glossaires

💡 7 bonnes raisons de prendre en compte l'Ă©galitĂ© entre les femmes et les hommes dans ma pratique d'Ă©valuation

vendredi 09 juillet 2021

Oldies but goodies (Karine Sage)

📚 Trois articles d'Ă©valuation (nÂș3, 15 mai 2021)

samedi 15 mai 2021

Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !

💡 Les Ă©valuations participatives, plus facile Ă  dire qu'Ă  faire

jeudi 29 avril 2021

Nouvel article publié (Thomas Delahais)

Quatre jeux de cartes d'Ă©valuation francophones

mardi 27 avril 2021

À l'occasion de la sortie de Strateval, nous revenons sur 3 autres jeux de cartes autour de l'Ă©valuation

💡 Qu'est-ce que l'analyse militante apporte Ă  l'Ă©valuation des politiques publiques ?

jeudi 08 avril 2021

Nouvel article publié (Marc Tevini)

📚 Trois articles d'Ă©valuation (nÂș2, 15 fĂ©vrier 2021)

lundi 15 février 2021

Dans ce numĂ©ro, Ă©valuation fĂ©ministe quĂ©saco, apprentissage et redevabilitĂ© mĂȘme combat ? et oldiesbutgoodies, des Ă©lĂ©ments pour une sociologie de l'Ă©valuation... C'est le sommaire de ce numĂ©ro 2.

đŸ“œ L'Ă©valuation des politiques sociales, de quoi parle-t-on ?

vendredi 15 janvier 2021

Introduction au séminaire de l'IRTS HDF du 26/01.

đŸ“œ L'analyse de contribution en pratique

mardi 15 décembre 2020

Introduction Ă  la formation Ă  l'analyse de contribution

📚 Trois articles d'Ă©valuation (nÂș1, 15 novembre 2020)

dimanche 15 novembre 2020

Dans ce numéro, plongée en pleine guerre froide avec la Realpolitik de l'évaluation, des idées pour professionnaliser l'évaluation, et oldiesbutgoodies, de quoi se demander ce que les évaluateurs et les évaluatrices défendent dans leur métier... C'est le sommaire de ce numéro 1.

đŸ“œ L'Ă©valuation participative, plus facile Ă  dire qu'Ă  faire

lundi 09 novembre 2020

Intervention de T Delahais au CongrÚs de la SEVAL organisé par le GREVAL à Fribourg, le 4 septembre 2020.

💡 En situation anormale, l'Ă©valuation doit devenir la norme

jeudi 29 octobre 2020

Contribution de T Delahais et M Tevini en réponse à l'appel de la SFE, "Ce que la crise sanitaire nous apprend sur l'utilité et les pratiques d'évaluation".

💡 Comment Ă©valuer la transition

vendredi 23 octobre 2020

Nouvel article publié (Thomas Delahais, Karine Sage, Vincent Honoré)

💡 Quels mĂ©canismes Ă  l'Ɠuvre dans les innovations ?

mardi 06 octobre 2020

Nouvel article publié (Agathe Devaux-Spatarakis)

📚 Trois articles d'Ă©valuation (v0, 30 juillet 2020)

jeudi 30 juillet 2020

À l'honneur pour cette Ă©dition, la sagesse pratique des Ă©valuateurs et des Ă©valuatrices, soit « la capacitĂ© de faire les bons choix, au bon moment, pour les bonnes raisons » ; ce que les mots et concepts de l'Ă©valuation perdent et gagnent Ă  leur traduction d'une langue Ă  l'autre et oldies but goodies, une piqĂ»re de rappel quant Ă  la vocation dĂ©mocratique de l'Ă©valuation en France... C'est le sommaire de ce numĂ©ro 0.