3 articles – 15 octobre 2022 – n°8

Un numéro 8 très politique encore : l'évaluation au service de la lutte pour l'équité raciale avec une série de guides de la Fondation Kellogg; une synthèse très ambitieuse des barrières et des facilitateurs à l'usage de la recherche dans la fabrique de l'action publique par Giliberto Capano et Anna Malandrino; et oldies but goodies, le texte toujours d'actualité d'Eleanor Chelimsky sur l'évaluation dans un contexte politisé.

Faire de l'évaluation au service de l'équité raciale

Fin décembre 2021, la Fondation Kellogg a publié une série de 3 guides concernant la pratique de l’évaluation en faveur de l’équité raciale.

Pourquoi l’équité raciale ? D’une part, l’organisation promeut l’évaluation en faveur de l’équité raciale et s’est engagée explicitement depuis 2007 à être une organisation antiraciste. D’autre part, le contexte récent aux États-Unis (marqué par le meurtre de George Floyd et l'impact disproportionné du COVID-19 sur les Amérindiens, les Noirs et les Latinos, pour ne nommer que deux phénomènes récents…) l’a incitée à produire ces guides pratiques.

L’ensemble prend la forme de trois guides. Le premier se concentre sur les mythes qui peuvent nous empêcher de faire de l’évaluation en faveur de l’équité (raciale). C’est celui que nous aborderons ici plus en détail. Les suivants sont tournés vers l’action pour changer les pratiques évaluatives, et portent sur le diagnostic des biais et systèmes racistes et sur l’engagement associatif en faveur de l’équité raciale. Ces guides sont simples, clairs, motivants, abondamment illustrés (cliquez ici pour un exemple de BD en français tiré du guide). S’ils se concentrent sur l’évaluation en faveur de l’équité raciale, l’ensemble des éléments abordés sont extrêmement pertinents et s’appliquent à l’ensemble des réflexions autour de l’équité (territoriale, sociale, des sexes, etc.).

Pour la Fondation, une évaluation au service de l’équité raciale passe par une prise de conscience de nos « modèles mentaux » : ce sont des cadres de fonctionnement qui guident nos perceptions, nos comportements et notre façon d'aborder et d'établir des relations avec les autres et notre environnement. Ces modèles sont particulièrement impactant lors d’une évaluation, car ils influencent notre façon de poser des questions évaluatives, d’écrire un référentiel, collecter de l’information et communiquer les résultats.

De plus, ces modèles nourrissent et perpétuent des mythes qui affectent là encore notre pratique évaluative, individuellement et collectivement. 5 mythes sont présentés dans le guide, succinctement résumés ici.

Mythe 1 : Une science « rigoureuse » est objective et exempte de valeurs

Tous nos choix (à qui on va parler, les questions qu’on va poser, l’analyse de nos données…) sont influencés par notre expertise et nos opinions éclairées sur ce qui est le mieux dans un contexte donné. En effet, une recherche « totalement objective » … n’existe pas. Il vaut mieux pratiquer et exiger l'honnêteté, la transparence et l'intégrité.

Mythe 2 : Certaines méthodes sont meilleures que d’autres, car elles sont plus rigoureuses et/ou promeuvent l’authenticité

Nous ne referons pas ici le débat entre méthodes qualitatives et quantitatives. Néanmoins, la Fondation rappelle que certains défenseurs de la lutte contre le racisme dénoncent les données quantitatives, estimant qu’elles sont un produit de la culture dominante. Ces acteurs préfèrent recourir à des récits mettant en lumière les expériences vécues des personnes, telles que les évolutions des conditions communautaires, la qualité des interactions des personnes avec les institutions et d'autres signes de progrès vers l'équité sociale. Pour la Fondation, cependant, ça ne devrait pas être l’un ou l’autre : elle plaide pour des approches mixtes, lorsque les données quantitatives permettent de donner à voir les disparités à l’œuvre : par exemple, nous savons qu'il existe une crise de la justice pénale pour les jeunes hommes et femmes noirs, latinos et amérindiens, car nous pouvons énumérer aux États-Unis la proportion de détenus, les fusillades impliquant la police et les pratiques de condamnation selon la race et l'ethnie. C’est un bon point de départ pour des analyses plus approfondies.

En France, de telles statistiques n’existent pas, car les statistiques ethniques sont illégales.

Mythe 3 : Simplement consulter l’opinion des membres de la communauté concernant l’évaluation leur donne du pouvoir et permet d’égaliser les dynamiques de pouvoir entre eux et l’évaluation

Pour réellement identifier et réduire les disparités de pouvoir, le guide nous incite à faire des membres des groupes sociaux concernés les véritables usagers de l’évaluation, en élaborant des questions d’évaluation leur donnant des réponses et ressources utiles ; en incluant leur voix et leur présence ; et en travaillant avec eux pour comprendre les systèmes qui maintiennent le statu quo et identifier les leviers du changement (et ceux et celles qui les contrôlent).

Certaines suggestions montrent en creux comment l’évaluation peut soutenir des systèmes dominants. Il est ainsi précisé que les évaluateurs et évaluatrices ne devraient pas atténuer les réactions négatives des personnes interrogées ; mais aussi que l’évaluation devrait travailler avec les membres de ces groupes à définir des critères et des indices de succès pertinents ainsi qu’à présenter les résultats d’une manière qui ne porte pas préjudice à la communauté.

Tout cela sachant qu’il y a souvent plusieurs communautés et que chacune d'elle a des intérêts différents dans les politiques publiques et leur évaluation. Par ailleurs, qu’entend-on par « travailler avec » ou « impliquer » ses membres ?  Le 3e guide de cette série s’intéresse à ces questions.

Mythe 4 : Il faut que l’évaluateur soit de la même origine ethnique que la majorité des bénéficiaires de l’intervention. Si ce n’est pas possible, il est préférable d’avoir quelqu’un d’une autre communauté minoritaire. Dans le cas d’une évaluation avec une dimension ethnique ou raciale, les blancs représentent forcément l’oppresseur.

Aucune origine ethnique (ni sexe, ni handicap…) n'est monolithique. L’origine ethnique d'une personne ne fait pas d'elle une experte de l'expérience raciale d'une autre personne, même si elle peut contribuer à une meilleure compréhension de cette expérience. (cliquez ici pour voir l'exemple)

Mythe 5 : L’évaluation et les données sont neutres

Pour prolonger les réflexions autour des mythes 1 et 2, les données et les évaluations ne sont pas neutres.

L’utilisation préjudiciable des données a permis de justifier des mouvements aux États-Unis tels que la guerre contre le crime et la drogue, ainsi que des récits négatifs tels que la « reine de l'aide sociale » ou l’« immigrant paresseux ». Les évaluations peuvent de leur côté être ressenties comme un outil punitif.

Mais il ne faut pas non plus renoncer à évaluer…  D’après le guide, l’évaluation doit surtout être utilisée pour comprendre, expliciter et contester les symptômes d’inégalités structurelles - et pour demander des comptes à ceux qui les perpétuent.

---

Une évaluation « en faveur de » ou qui « demande des comptes » n’est peut-être pas une approche d’évaluation dans laquelle vous vous sentez à l’aise. Et alors que des discriminations existent en France, la notion de « race » y reste taboue.

Il n’en reste pas moins que, en tant qu’évaluateur/rice, nous avons la responsabilité de ne pas creuser les inégalités à travers notre pratique – et c’est là où ces guides ouvrent des pistes de réflexion pertinentes sur comment s’y prendre.

W.K. Kellogs Foundation (2021). Doing Evaluation in service of racial equity. Une série de trois guides : Debunk Myths; Diagnose Biases & Systems; Deepen Community Engagement. https://everychildthrives.com/doing-evaluation-in-service-of-racial-equity/

Identifier les usages de la connaissance dans la fabrique de l'action publique 

Voici un excellent article qui replace de façon très accessible les débats parfois très acérés sur l'intersection entre recherche et action publique. Dans un coin du ring, les tenants d'une recherche dont le rôle essentiel est de produire de la connaissance; charge aux acteurs et actrices de l'action publique d'en tirer parti et de se servir de la connaissance pour leurs besoins. Dans l'autre, celles et ceux qui voient la fabrique de l'action publique comme un système complexe dans lequel la connaissance et celles et ceux qui la produisent ne sont qu'un élément parmi d'autres. Pour les premiers, la connaissance est objective et les efforts éventuels doivent consister à l'amener aux décideurs ; pour les seconds, l'enjeu est d'adapter la connaissance aux contextes de son utilisation potentielle – la connaissance étant de toute façon toujours interprétée de façon subjective. Dans les deux cas, on retrouve la volonté d'identifier les conditions, obstacles et opportunités à l'utilisation de la connaissance.

Jusque-là rien de très nouveau. L'auteur et l'autrice, tou·tes deux issu·es de l'Université de Bologne en Italie, constatent en effet qu'il existe un très large corpus académique sur ce sujet ; pourtant, celui-ci est essentiellement disciplinaire et sectoriel, empêchant d'avoir une vue d'ensemble de la question. C'est cette perspective intersectorielle et interdisciplinaire, appliquée à la vision "subjectiviste" de l'utilisation de la recherche, qui est proposée ici.

L'article identifie six « catégories générales, qui peuvent être considérées comme étant les éléments constitutifs des dynamiques politiques : les capacités politiques [c'est-à-dire à élaborer des politiques publiques s'appuyant sur les résultats de la recherche], les valeurs/idéologies/croyances, les relations entre les acteurs, les intérêts, les arrangements institutionnels et processuels, et les types de preuve ». Chacune de ces catégories peut être, selon la situation, une barrière, mais aussi un facilitateur. Leur rôle dans l'utilisation de la recherche est ensuite étudié systématiquement. L'analyse effectuée fait ressortir que les valeurs/idéologies/croyances, et dans une moindre mesure, les relations entre les acteurs, sont les principales barrières identifiées ; tandis que parmi les facilitateurs, les relations entre les acteurs sont largement en tête, les capacités politiques étant un distant second. Il est évidemment intéressant de constater que le type de preuve, qui intéresse tant les producteurs de connaissance dans des débats picrocholins, n'est pas totalement hors sujet, mais ne fait clairement pas partie des principaux enjeux de l'utilisation.

Au-delà de l'ampleur de la tâche (5 045 articles identifiés, 604 analysés, 224 en profondeur), qui mérite d'être saluée, que retenir de tout cela ? L'essentiel est peut-être que ces catégories fournissent des ingrédients essentiels pour qui souhaite faciliter l'utilisation des connaissances, et en particulier ici de travaux évaluatifs. Pour que ces derniers soient utiles, il faut considérer chaque catégorie lors du processus de l'évaluation, voir comment des barrières peuvent être transformées en facilitateurs des usages. La hiérarchie des barrières et des facilitateurs pousse également à prendre à bras le corps, comme les évaluateurs et les évaluatrices savent le faire, les questions de valeurs – plutôt que de les mettre sous le tapis. On redira enfin l'importance de ces perspectives interdisciplinaires et intersectorielles pour produire une connaissance utile : à chacun désormais d'en faire usage !

Capano, G., & Malandrino, A. (2022). Mapping the use of knowledge in policymaking : Barriers and facilitators from a subjectivist perspective (1990–2020). Policy Sciences. https://doi.org/10.1007/s11077-022-09468-0

L'environnement politique de l'évaluation et ce qu'il signifie pour le développement de ce champ

Cet article est la retranscription de l’intervention d’Eleanor Chelimsky à l’occasion de la conférence « Evaluation for a new century, a global perspective » organisée aux États-Unis en 1995. Lors de cette intervention, elle réfléchit à l’évaluation, à la façon de la faire et dont elle peut être utile dans un contexte « idéologique », dans lequel (en application de la définition proposée par Everett Ladd), des groupes politiques s’efforcent d'appliquer des croyances et opinions à la vie publique à travers une série de changements radicaux – en opposition avec des approches incrémentales, dans lesquelles l’action publique est modifiée par petits pas.

Pour Chelimsky, dans un contexte de changements idéologiques radicaux (qu’ils soient progressistes ou conservateurs d’ailleurs), les équipes d’évaluation ne sont pas sollicitées. Cela ne devrait pourtant pas les arrêter dans la réalisation de leur travail. Au contraire, elles ont le devoir d’opposer des données et des preuves aux croyances et aux mythes, de produire de l’information objective, et de la faire connaître, y compris dans des environnements politiques qui y sont peu propices.

Ainsi, évaluer dans un environnement fortement politisé a des conséquences directes pour les équipes d’évaluation :

• Elles doivent être capables, notamment en cas d’attaque politique, de défendre leur travail et de démontrer qu’elles ont employé une méthodologie adaptée pour produire des résultats crédibles. Cela peut être rendu compliqué par la disponibilité des données, parfois restreinte, pour ne donner accès qu’aux informations « favorables ». La classification et/ou dissimulation de tout ou partie des données peut rendre certaines évaluations incomplètes voire erronées.
• Elles doivent avoir le courage de présenter leur travail dans un environnement politique qui n’est généralement pas accueillant ; mais aussi de rester indépendantes, ne pas se laisser influencer, ni intimider.
• Elles doivent être déterminées à faire connaitre les résultats de leurs travaux aux décideurs politiques. C’est encore plus le cas lorsque ces résultats sont d’une importance majeure, ils doivent être diffusés de façon plus large, atteindre le débat public, même s’ils vont contre les intérêts de certains lobbys ou rencontrent des oppositions politiques.

Pour répondre à ces défis, Chelimsky appelle à des évolutions plus globales dans la pratique évaluative. Ainsi, il est nécessaire pour elle de créer plus de liens entre les différentes disciplines de l’évaluation, mais aussi avec la recherche. La création de réseaux d’évaluateur·rices interdisciplinaires permettrait un meilleur partage de connaissance, d’informations et de données. Le manque de lien avec la recherche est également regrettable, car les évaluateurs et chercheurs enrichissent mutuellement leurs travaux.

Les étudiants et étudiantes en évaluation devraient également apprendre à mener des évaluations crédibles dans un environnement politique, élargir les thématiques sur lesquelles ils et elles sont amenées à travailler, ainsi que les outils qu’ils manipulent (par exemple, être capable de comparer les coûts car c’est une demande à laquelle ils et elles feront face), afin de savoir évaluer dans des situations réelles, et pas seulement théoriques. Il est aussi important d’être réaliste quant aux impacts potentiels de leurs travaux.

En conclusion, Eleanor Chelimsky souligne que malgré les alternances politiques l’évaluation reste importante et utile, et que les évaluateurs ont un rôle à jouer dans une société démocratique. « Le défi est de comprendre les forces et faiblesses/vulnérabilités de la politique et de l’évaluation, et d’utiliser les deux afin de nous aider à contribuer aux politiques publiques de façon significative et durable ».

Près de 30 ans après cette intervention, la réflexion d’Eleanor Chelimsky sur l’évaluation dans un environnement politique « idéologique » est toujours d’actualité. En effet, dans un contexte politique de plus en plus guidé par des croyances et opinions, il est nécessaire d’opposer données et preuves. Dans l’euphorie d’une alternance politique, l’évaluation permet la production d’informations factuelles.

Chelimsky, E. (1998). The Political Environment of Evaluation and What it Means for the Development of the Field. American Journal of Evaluation, 11. https://doi.org/10.1177/109821409501600301

Et aussi...

• Le Centre Hubertine Auclert publie un guide gratuit et en accès libre, "évaluer les politiques locales d'égalité femmes-hommes", co-rédigé par Karine Sage de Quadrant Conseil, et I. Gueguen et E. Huboux de Perfegal. C'est un ouvrage bourré d'exemples, d'astuces, de cas pratiques, et qui s'inscrit vraiment dans les enjeux et les pratiques des collectivités. À mettre entre toutes les mains
• Découvrez notre nouveau jeu de cartes, « que faire si... », centré sur les questions de qualité des évaluations : plus de 30 situations affectant potentiellement la qualité des évaluations : à vous de trouver les solutions. Une version imprimable est également disponible. En accès libre et gratuit. Version anglaise / imprimable
• Nouvelle fiche sur notre site : Mieux rédiger les questions évaluatives, côté commanditaires... et côté équipe d'évaluation. En accès libre et gratuit.

---

Ce numéro 8 a été préparé par Thomas Delahais, Alexandra Williams et Daphné Burger-Bodin avec l'aide d'Hélène Faure. Relire le nº6 et le nº7. Pour vous abonner, cliquez ici (4 numéros par an).