Humans after all?
lundi 03 juillet 2023
The challenges of external validity, towards an interdisciplinary discussion?
Un numéro 8 trÚs politique encore : l'évaluation au service de la lutte pour l'équité raciale avec une série de guides de la Fondation Kellogg; une synthÚse trÚs ambitieuse des barriÚres et des facilitateurs à l'usage de la recherche dans la fabrique de l'action publique par Giliberto Capano et Anna Malandrino; et oldies but goodies, le texte toujours d'actualité d'Eleanor Chelimsky sur l'évaluation dans un contexte politisé.
Fin dĂ©cembre 2021, la Fondation Kellogg a publiĂ© une sĂ©rie de 3 guides concernant la pratique de lâĂ©valuation en faveur de lâĂ©quitĂ© raciale.
Pourquoi lâĂ©quitĂ© raciale ? Dâune part, lâorganisation promeut lâĂ©valuation en faveur de lâĂ©quitĂ© raciale et sâest engagĂ©e explicitement depuis 2007 Ă ĂȘtre une organisation antiraciste. Dâautre part, le contexte rĂ©cent aux Ătats-Unis (marquĂ© par le meurtre de George Floyd et l'impact disproportionnĂ© du COVID-19 sur les AmĂ©rindiens, les Noirs et les Latinos, pour ne nommer que deux phĂ©nomĂšnes rĂ©centsâŠ) lâa incitĂ©e Ă produire ces guides pratiques.
Lâensemble prend la forme de trois guides. Le premier se concentre sur les mythes qui peuvent nous empĂȘcher de faire de lâĂ©valuation en faveur de lâĂ©quitĂ© (raciale). Câest celui que nous aborderons ici plus en dĂ©tail. Les suivants sont tournĂ©s vers lâaction pour changer les pratiques Ă©valuatives, et portent sur le diagnostic des biais et systĂšmes racistes et sur lâengagement associatif en faveur de lâĂ©quitĂ© raciale. Ces guides sont simples, clairs, motivants, abondamment illustrĂ©s (cliquez ici pour un exemple de BD en français tirĂ© du guide). Sâils se concentrent sur lâĂ©valuation en faveur de lâĂ©quitĂ© raciale, lâensemble des Ă©lĂ©ments abordĂ©s sont extrĂȘmement pertinents et sâappliquent Ă lâensemble des rĂ©flexions autour de lâĂ©quitĂ© (territoriale, sociale, des sexes, etc.).
Pour la Fondation, une Ă©valuation au service de lâĂ©quitĂ© raciale passe par une prise de conscience de nos « modĂšles mentaux » : ce sont des cadres de fonctionnement qui guident nos perceptions, nos comportements et notre façon d'aborder et d'Ă©tablir des relations avec les autres et notre environnement. Ces modĂšles sont particuliĂšrement impactant lors dâune Ă©valuation, car ils influencent notre façon de poser des questions Ă©valuatives, dâĂ©crire un rĂ©fĂ©rentiel, collecter de lâinformation et communiquer les rĂ©sultats.
De plus, ces modÚles nourrissent et perpétuent des mythes qui affectent là encore notre pratique évaluative, individuellement et collectivement. 5 mythes sont présentés dans le guide, succinctement résumés ici.
Tous nos choix (Ă qui on va parler, les questions quâon va poser, lâanalyse de nos donnĂ©esâŠ) sont influencĂ©s par notre expertise et nos opinions Ă©clairĂ©es sur ce qui est le mieux dans un contexte donnĂ©. En effet, une recherche « totalement objective » ⊠nâexiste pas. Il vaut mieux pratiquer et exiger l'honnĂȘtetĂ©, la transparence et l'intĂ©gritĂ©.
Nous ne referons pas ici le dĂ©bat entre mĂ©thodes qualitatives et quantitatives. NĂ©anmoins, la Fondation rappelle que certains dĂ©fenseurs de la lutte contre le racisme dĂ©noncent les donnĂ©es quantitatives, estimant quâelles sont un produit de la culture dominante. Ces acteurs prĂ©fĂšrent recourir Ă des rĂ©cits mettant en lumiĂšre les expĂ©riences vĂ©cues des personnes, telles que les Ă©volutions des conditions communautaires, la qualitĂ© des interactions des personnes avec les institutions et d'autres signes de progrĂšs vers l'Ă©quitĂ© sociale. Pour la Fondation, cependant, ça ne devrait pas ĂȘtre lâun ou lâautre : elle plaide pour des approches mixtes, lorsque les donnĂ©es quantitatives permettent de donner Ă voir les disparitĂ©s Ă lâĆuvre : par exemple, nous savons qu'il existe une crise de la justice pĂ©nale pour les jeunes hommes et femmes noirs, latinos et amĂ©rindiens, car nous pouvons Ă©numĂ©rer aux Ătats-Unis la proportion de dĂ©tenus, les fusillades impliquant la police et les pratiques de condamnation selon la race et l'ethnie. Câest un bon point de dĂ©part pour des analyses plus approfondies.
En France, de telles statistiques nâexistent pas, car les statistiques ethniques sont illĂ©gales.
Pour rĂ©ellement identifier et rĂ©duire les disparitĂ©s de pouvoir, le guide nous incite Ă faire des membres des groupes sociaux concernĂ©s les vĂ©ritables usagers de lâĂ©valuation, en Ă©laborant des questions dâĂ©valuation leur donnant des rĂ©ponses et ressources utiles ; en incluant leur voix et leur prĂ©sence ; et en travaillant avec eux pour comprendre les systĂšmes qui maintiennent le statu quo et identifier les leviers du changement (et ceux et celles qui les contrĂŽlent).
Certaines suggestions montrent en creux comment lâĂ©valuation peut soutenir des systĂšmes dominants. Il est ainsi prĂ©cisĂ© que les Ă©valuateurs et Ă©valuatrices ne devraient pas attĂ©nuer les rĂ©actions nĂ©gatives des personnes interrogĂ©es ; mais aussi que lâĂ©valuation devrait travailler avec les membres de ces groupes Ă dĂ©finir des critĂšres et des indices de succĂšs pertinents ainsi quâĂ prĂ©senter les rĂ©sultats dâune maniĂšre qui ne porte pas prĂ©judice Ă la communautĂ©.
Tout cela sachant quâil y a souvent plusieurs communautĂ©s et que chacune d'elle a des intĂ©rĂȘts diffĂ©rents dans les politiques publiques et leur Ă©valuation. Par ailleurs, quâentend-on par « travailler avec » ou « impliquer » ses membres ?  Le 3e guide de cette sĂ©rie sâintĂ©resse Ă ces questions.
Aucune origine ethnique (ni sexe, ni handicapâŠ) n'est monolithique. Lâorigine ethnique d'une personne ne fait pas d'elle une experte de l'expĂ©rience raciale d'une autre personne, mĂȘme si elle peut contribuer Ă une meilleure comprĂ©hension de cette expĂ©rience. (cliquez ici pour voir l'exemple)
Pour prolonger les réflexions autour des mythes 1 et 2, les données et les évaluations ne sont pas neutres.
Lâutilisation prĂ©judiciable des donnĂ©es a permis de justifier des mouvements aux Ătats-Unis tels que la guerre contre le crime et la drogue, ainsi que des rĂ©cits nĂ©gatifs tels que la « reine de l'aide sociale » ou lâ« immigrant paresseux ». Les Ă©valuations peuvent de leur cĂŽtĂ© ĂȘtre ressenties comme un outil punitif.
Mais il ne faut pas non plus renoncer Ă Ă©valuer⊠ DâaprĂšs le guide, lâĂ©valuation doit surtout ĂȘtre utilisĂ©e pour comprendre, expliciter et contester les symptĂŽmes dâinĂ©galitĂ©s structurelles - et pour demander des comptes Ă ceux qui les perpĂ©tuent.
Une Ă©valuation « en faveur de » ou qui « demande des comptes » nâest peut-ĂȘtre pas une approche dâĂ©valuation dans laquelle vous vous sentez Ă lâaise. Et alors que des discriminations existent en France, la notion de « race » y reste taboue.
Il nâen reste pas moins que, en tant quâĂ©valuateur/rice, nous avons la responsabilitĂ© de ne pas creuser les inĂ©galitĂ©s Ă travers notre pratique â et câest lĂ oĂč ces guides ouvrent des pistes de rĂ©flexion pertinentes sur comment sây prendre.
W.K. Kellogs Foundation (2021). Doing Evaluation in service of racial equity. Une série de trois guides : Debunk Myths; Diagnose Biases & Systems; Deepen Community Engagement. https://everychildthrives.com/doing-evaluation-in-service-of-racial-equity/
Voici un excellent article qui replace de façon trĂšs accessible les dĂ©bats parfois trĂšs acĂ©rĂ©s sur l'intersection entre recherche et action publique. Dans un coin du ring, les tenants d'une recherche dont le rĂŽle essentiel est de produire de la connaissance; charge aux acteurs et actrices de l'action publique d'en tirer parti et de se servir de la connaissance pour leurs besoins. Dans l'autre, celles et ceux qui voient la fabrique de l'action publique comme un systĂšme complexe dans lequel la connaissance et celles et ceux qui la produisent ne sont qu'un Ă©lĂ©ment parmi d'autres. Pour les premiers, la connaissance est objective et les efforts Ă©ventuels doivent consister Ă l'amener aux dĂ©cideurs ; pour les seconds, l'enjeu est d'adapter la connaissance aux contextes de son utilisation potentielle â la connaissance Ă©tant de toute façon toujours interprĂ©tĂ©e de façon subjective. Dans les deux cas, on retrouve la volontĂ© d'identifier les conditions, obstacles et opportunitĂ©s Ă l'utilisation de la connaissance.
Jusque-lĂ rien de trĂšs nouveau. L'auteur et l'autrice, tou·tes deux issu·es de l'UniversitĂ© de Bologne en Italie, constatent en effet qu'il existe un trĂšs large corpus acadĂ©mique sur ce sujet ; pourtant, celui-ci est essentiellement disciplinaire et sectoriel, empĂȘchant d'avoir une vue d'ensemble de la question. C'est cette perspective intersectorielle et interdisciplinaire, appliquĂ©e Ă la vision "subjectiviste" de l'utilisation de la recherche, qui est proposĂ©e ici.
L'article identifie six « catĂ©gories gĂ©nĂ©rales, qui peuvent ĂȘtre considĂ©rĂ©es comme Ă©tant les Ă©lĂ©ments constitutifs des dynamiques politiques : les capacitĂ©s politiques [c'est-Ă -dire Ă Ă©laborer des politiques publiques s'appuyant sur les rĂ©sultats de la recherche], les valeurs/idĂ©ologies/croyances, les relations entre les acteurs, les intĂ©rĂȘts, les arrangements institutionnels et processuels, et les types de preuve ». Chacune de ces catĂ©gories peut ĂȘtre, selon la situation, une barriĂšre, mais aussi un facilitateur. Leur rĂŽle dans l'utilisation de la recherche est ensuite Ă©tudiĂ© systĂ©matiquement. L'analyse effectuĂ©e fait ressortir que les valeurs/idĂ©ologies/croyances, et dans une moindre mesure, les relations entre les acteurs, sont les principales barriĂšres identifiĂ©es ; tandis que parmi les facilitateurs, les relations entre les acteurs sont largement en tĂȘte, les capacitĂ©s politiques Ă©tant un distant second. Il est Ă©videmment intĂ©ressant de constater que le type de preuve, qui intĂ©resse tant les producteurs de connaissance dans des dĂ©bats picrocholins, n'est pas totalement hors sujet, mais ne fait clairement pas partie des principaux enjeux de l'utilisation.
Au-delĂ de l'ampleur de la tĂąche (5 045 articles identifiĂ©s, 604 analysĂ©s, 224 en profondeur), qui mĂ©rite d'ĂȘtre saluĂ©e, que retenir de tout cela ? L'essentiel est peut-ĂȘtre que ces catĂ©gories fournissent des ingrĂ©dients essentiels pour qui souhaite faciliter l'utilisation des connaissances, et en particulier ici de travaux Ă©valuatifs. Pour que ces derniers soient utiles, il faut considĂ©rer chaque catĂ©gorie lors du processus de l'Ă©valuation, voir comment des barriĂšres peuvent ĂȘtre transformĂ©es en facilitateurs des usages. La hiĂ©rarchie des barriĂšres et des facilitateurs pousse Ă©galement Ă prendre Ă bras le corps, comme les Ă©valuateurs et les Ă©valuatrices savent le faire, les questions de valeurs â plutĂŽt que de les mettre sous le tapis. On redira enfin l'importance de ces perspectives interdisciplinaires et intersectorielles pour produire une connaissance utile : Ă chacun dĂ©sormais d'en faire usage !
Capano, G., & Malandrino, A. (2022). Mapping the use of knowledge in policymakingâŻ: Barriers and facilitators from a subjectivist perspective (1990â2020). Policy Sciences. https://doi.org/10.1007/s11077-022-09468-0
Cet article est la retranscription de lâintervention dâEleanor Chelimsky Ă lâoccasion de la confĂ©rence « Evaluation for a new century, a global perspective » organisĂ©e aux Ătats-Unis en 1995. Lors de cette intervention, elle rĂ©flĂ©chit Ă lâĂ©valuation, Ă la façon de la faire et dont elle peut ĂȘtre utile dans un contexte « idĂ©ologique », dans lequel (en application de la dĂ©finition proposĂ©e par Everett Ladd), des groupes politiques sâefforcent d'appliquer des croyances et opinions Ă la vie publique Ă travers une sĂ©rie de changements radicaux â en opposition avec des approches incrĂ©mentales, dans lesquelles lâaction publique est modifiĂ©e par petits pas.
Pour Chelimsky, dans un contexte de changements idĂ©ologiques radicaux (quâils soient progressistes ou conservateurs dâailleurs), les Ă©quipes dâĂ©valuation ne sont pas sollicitĂ©es. Cela ne devrait pourtant pas les arrĂȘter dans la rĂ©alisation de leur travail. Au contraire, elles ont le devoir dâopposer des donnĂ©es et des preuves aux croyances et aux mythes, de produire de lâinformation objective, et de la faire connaĂźtre, y compris dans des environnements politiques qui y sont peu propices.
Ainsi, Ă©valuer dans un environnement fortement politisĂ© a des consĂ©quences directes pour les Ă©quipes dâĂ©valuation :
Pour rĂ©pondre Ă ces dĂ©fis, Chelimsky appelle Ă des Ă©volutions plus globales dans la pratique Ă©valuative. Ainsi, il est nĂ©cessaire pour elle de crĂ©er plus de liens entre les diffĂ©rentes disciplines de lâĂ©valuation, mais aussi avec la recherche. La crĂ©ation de rĂ©seaux dâĂ©valuateur·rices interdisciplinaires permettrait un meilleur partage de connaissance, dâinformations et de donnĂ©es. Le manque de lien avec la recherche est Ă©galement regrettable, car les Ă©valuateurs et chercheurs enrichissent mutuellement leurs travaux.
Les Ă©tudiants et Ă©tudiantes en Ă©valuation devraient Ă©galement apprendre Ă mener des Ă©valuations crĂ©dibles dans un environnement politique, Ă©largir les thĂ©matiques sur lesquelles ils et elles sont amenĂ©es Ă travailler, ainsi que les outils quâils manipulent (par exemple, ĂȘtre capable de comparer les coĂ»ts car câest une demande Ă laquelle ils et elles feront face), afin de savoir Ă©valuer dans des situations rĂ©elles, et pas seulement thĂ©oriques. Il est aussi important dâĂȘtre rĂ©aliste quant aux impacts potentiels de leurs travaux.
En conclusion, Eleanor Chelimsky souligne que malgrĂ© les alternances politiques lâĂ©valuation reste importante et utile, et que les Ă©valuateurs ont un rĂŽle Ă jouer dans une sociĂ©tĂ© dĂ©mocratique. « Le dĂ©fi est de comprendre les forces et faiblesses/vulnĂ©rabilitĂ©s de la politique et de lâĂ©valuation, et dâutiliser les deux afin de nous aider Ă contribuer aux politiques publiques de façon significative et durable ».
PrĂšs de 30 ans aprĂšs cette intervention, la rĂ©flexion dâEleanor Chelimsky sur lâĂ©valuation dans un environnement politique « idĂ©ologique » est toujours dâactualitĂ©. En effet, dans un contexte politique de plus en plus guidĂ© par des croyances et opinions, il est nĂ©cessaire dâopposer donnĂ©es et preuves. Dans lâeuphorie dâune alternance politique, lâĂ©valuation permet la production dâinformations factuelles.
Chelimsky, E. (1998). The Political Environment of Evaluation and What it Means for the Development of the Field. American Journal of Evaluation, 11. https://doi.org/10.1177/109821409501600301
Ce numĂ©ro 8 a Ă©tĂ© prĂ©parĂ© par Thomas Delahais, Alexandra Williams et DaphnĂ© Burger-Bodin avec l'aide d'HĂ©lĂšne Faure. Relire le nÂș6 et le nÂș7. Pour vous abonner, cliquez ici (4 numĂ©ros par an).
lundi 03 juillet 2023
The challenges of external validity, towards an interdisciplinary discussion?
mardi 27 juin 2023
Les défis de la validité externe, un sujet d'échange interdisciplinaire ?
vendredi 16 juin 2023
Le name and shame est-il une politique publique efficace?
jeudi 19 janvier 2023
Quelles distinctions entre l'évaluation et les pratiques voisines ?
mardi 01 novembre 2022
Quelle démarche pour une cartographie des usages de l'évaluation d'impact ?
samedi 15 octobre 2022
Un numĂ©ro trĂšs trĂšs lutte â pour l'Ă©quitĂ© raciale, entre objectivistes et subjectivistes, et oldies but goodies pour faire entendre l'Ă©valuation dans un contexte politisĂ©.
dimanche 17 juillet 2022
Feedback on the European Evaluation Society Conference in Copenhagen
mardi 12 juillet 2022
Retour sur la conférence de la société européenne d'évaluation à Copenhague
mercredi 15 juin 2022
Dans ce numéro, cinéma à tous les étages : La Revanche des Sith, Octobre rouge et 120 battements par minute... ou presque
vendredi 25 mars 2022
Publication
mardi 15 mars 2022
Dans ce numéro, la cartographie des controverses rencontre la science comportementale, et la recherche l'action publique.
mercredi 15 décembre 2021
Numéro spécial Anthologie
lundi 20 septembre 2021
Des citations inspirantes pour qui évalue.
mercredi 15 septembre 2021
Dans ce numĂ©ro, Ă©valuation et bureaucratie, l'ultime combat, enquĂȘter avec d'autres ĂȘtres, et oldiesbutgoodies, on sauve le monde avec Bob Stake !
vendredi 09 juillet 2021
Oldies but goodies (Karine Sage)
samedi 15 mai 2021
Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !
jeudi 29 avril 2021
Nouvel article publié (Thomas Delahais)
mardi 27 avril 2021
à l'occasion de la sortie de Strateval, nous revenons sur 3 autres jeux de cartes autour de l'évaluation
jeudi 08 avril 2021
Nouvel article publié (Marc Tevini)
lundi 15 février 2021
Dans ce numĂ©ro, Ă©valuation fĂ©ministe quĂ©saco, apprentissage et redevabilitĂ© mĂȘme combat ? et oldiesbutgoodies, des Ă©lĂ©ments pour une sociologie de l'Ă©valuation... C'est le sommaire de ce numĂ©ro 2.
vendredi 15 janvier 2021
Introduction au séminaire de l'IRTS HDF du 26/01.
mardi 15 décembre 2020
Introduction Ă la formation Ă l'analyse de contribution
dimanche 15 novembre 2020
Dans ce numéro, plongée en pleine guerre froide avec la Realpolitik de l'évaluation, des idées pour professionnaliser l'évaluation, et oldiesbutgoodies, de quoi se demander ce que les évaluateurs et les évaluatrices défendent dans leur métier... C'est le sommaire de ce numéro 1.
lundi 09 novembre 2020
Intervention de T Delahais au CongrÚs de la SEVAL organisé par le GREVAL à Fribourg, le 4 septembre 2020.
jeudi 29 octobre 2020
Contribution de T Delahais et M Tevini en réponse à l'appel de la SFE, "Ce que la crise sanitaire nous apprend sur l'utilité et les pratiques d'évaluation".
vendredi 23 octobre 2020
Nouvel article publié (Thomas Delahais, Karine Sage, Vincent Honoré)
mardi 06 octobre 2020
Nouvel article publié (Agathe Devaux-Spatarakis)
jeudi 30 juillet 2020
à l'honneur pour cette édition, la sagesse pratique des évaluateurs et des évaluatrices, soit « la capacité de faire les bons choix, au bon moment, pour les bonnes raisons » ; ce que les mots et concepts de l'évaluation perdent et gagnent à leur traduction d'une langue à l'autre et oldies but goodies, une piqûre de rappel quant à la vocation démocratique de l'évaluation en France... C'est le sommaire de ce numéro 0.