Index égalité professionnelle, index senior... Le name-and-shame est-il une politique publique efficace?

Un éclairage par la théorie évaluative

(Cette note est née d'un entretien réalisé avec la journaliste Lætitia Dumont, du magazine Pour L'Éco. Elle complète son article, accessible ici)

Index de l'égalité professionnelle, 'testing' des discriminations au recrutement, possible index senior... Ces dernières années, l'État a commencé d'envisager des dispositifs cherchant explicitement à pointer du doigt des entreprises ayant des pratiques répréhensibles, de façon à les pousser à changer ces pratiques – ce que l'on appelle en bon franglais « name and shame», et qu'on pourrait traduire par « mise au pilori » ou « mise à l'index ».

shame

Le recours à ce mécanisme n'est pas récent, mais on a plus l'habitude de le voir utilisé par le monde associatif – par exemple sur les questions environnementales – ou dans le champ des relations internationales. À l'heure où le gouvernement veut élargir l'index à l'égalité aux administrations – sans bien sûr l'avoir évalué – il n'est pas inutile de se demander ce que nous savons déjà sur ce type d'intervention. L'occasion de se demander "qu'est-ce qui marche", à travers un détour par la théorie et la pratique évaluative – qui a beaucoup à dire sur ce point.

Un très court détour par l'évaluation réaliste

Ray Pawson est célèbre dans le monde de l'évaluation pour l'approche dite d'évaluation réaliste, qu'il a contribué à développer et faire connaître avec son compère Nick Tilley. Dans le cadre de l'évaluation réaliste, on ne se pose pas tant la question de "ce qui marche", mais plutôt "ce qui marche, pour qui, dans quelles circonstances, en quoi et comment ?".

Ray Pawson s'élève en fait contre celles et ceux qui pensent qu'il y aurait des « baguettes magiques », c'est-à-dire des interventions qui pourraient marcher dans n'importe quelles circonstances – charge à la science de les repérer et d'en faire la promotion à grands coups d'essais contrôlés randomisés et de revues sytématiques. Pour lui, « les programmes ne sont pas transférables, mais les idées le sont ». Pour opérer cette transplantation, il faut donc comprendre les mécanismes sous-jacents d'une intervention, et il faut pouvoir identifier les éléments de contexte, les conditions qui vont faire qu'on peut le réutiliser ou non dans un autre cadre.

Dans un article de 2002, Ray Pawson veut démontrer comment l'approche réaliste peut être utilisée pour synthétiser les connaissances sur un type d'intervention. Le name-and-shame est l'exemple qu'il prend pour illustrer la démarche. Ce n'est donc pas une synthèse définitive du sujet, mais cela permet néanmoins de définir un état des connaissances sur ce point.

Que sait-on sur le name-and-shame ?

Dans l'article, Pawson décrit le mécanisme de la « mise au pilori » sous la forme d'étapes : l'identification du problème parmi les organisations ou les personnes ciblées, le fait de les nommer, la sanction de l'opinion (le fait de réprimander, couvrir de honte, etc.) et enfin la réaction de la cible, qui fait amende honorable et change de comportement. Il décrit également les différentes sortes d'échec possible1.

C'est un mécanisme complexe

La première chose que met en avant Pawson, c'est que la mise au pilori est un mécanisme plus complexe qu'il n'y paraît. Il met en effet en branle au moins 4 acteurs : l'autorité publique qui pointe du doigt, l'entreprise au comportement honteux, mais aussi le public, et enfin les médias ou les acteurs associatifs qui servent de caisse de résonance. C'est comme dans un engrenage : il suffit qu'un seul de ces acteurs ne joue pas le jeu pour que le mécanisme ne marche plus.

Il y a différentes façons de faire

Le name-and-shame n'est pas une intervention homogène. La façon dont l'autorité va l'engager, l'outil technique (une notation, une liste de noms...), le portage politique ou administratif, la communication engagée... Tout cela va avoir des conséquences sur l'effet potentiel de ce mécanisme.

Et il n'y a pas une seule meilleure façon. On peut imaginer que, pour des exilés fiscaux, une liste de noms puisse être directement envoyée aux médias et commentée par le ministre au 20 heures ; mais pour l'égalité femme-homme par exemple, sujet lui-même complexe, la même approche pourrait se retourner contre l'État.

Les acteurs ne sont pas obligés de s'en saisir

Même si l'outil est là, il n'est pas sûr qu'il aura un effet ; il faut que les différents acteurs évoqués – les entreprises, les médias, le public – s'en saisissent, et s'en saisissent ensemble pour que cela marche.

Au cœur du name and shame, il y a la réaction du public. Le sujet doit pouvoir provoquer l'indignation, et donc refléter l'état d'esprit de l'opinion. Celle-ci étant sursollicitée, il faut une communication importante, une mise en lumière de l'information, et une éditorialisation qui met en scène des entreprises récalcitrantes à faire la bonne chose. Mais il faut aussi que le public ait confiance dans l'émetteur de l'information, sur le sujet traité en particulier.

Ce sont ces initiatives qui peuvent amener à ce que la mise à disposition d'une information constituent pour l'entreprise un risque réputationnel : c'est-à-dire que 1) elles anticipent une réaction négative du public, 2) leur réputation pourrait être écornée, mais elle est importante pour elle (pour leur image de marque, leurs ventes...), 3) il est plus sensé de se mettre en conformité que d'engager des manœuvres dilatoires.

Le résultat de la mise au pilori dépend ainsi d'un certain nombre d'action concrète, mais aussi d'un calcul des récalcitrants qui choisissent de réagir. On peut imaginer à ce stade que ce calcul a plus de chance d'aboutir à un résultat positif si on offre une porte de sortie honorable à l'entreprise, qui pourra communiquer sur l'amélioration de ses pratiques. Tout le monde a à y gagner : l'entreprise, mais aussi les médias ou ONG qui auront sonné l'hallali, et l'État évidemment dont l'autorité est respectée.

Bien sûr, tout cela s'effondre si l'entreprise ne perçoit pas un risque sur sa réputation, voire si elle a bâti cette dernière sur son refus de respecter la loi : elle n'aurait tout simplement pas intérêt à changer de pratiques. Elle peut également contester la mise à l'index, voire attaquer le thermomètre, en espérant s'attacher le soutien d'une partie du public peu convaincue ou méfiante envers les autorités publiques.

Enfin, même en étant très attentif à tous ces éléments, il n'est pas impossible que l'intervention fasse pschitt. Pour peu, par exemple, qu'un sujet plus important fasse l'actualité à ce moment-là et détourne l'attention du public.

schema

Il est rare qu'un mécanisme marche seul

Même si on parle de name-and-shame, en réalité il est rare qu'une intervention ne s'appuie que sur un seul mécanisme. D'abord, cette mise au pilori appartient plus généralement à la famille des mécanismes s'appuyant sur la divulgation d'informations, qui peuvent s'imposer aux entreprises comme être des instruments à leur service : le lancement d'alerte, la transparence, la redevabilité au public font partie de ces mécanismes. On peut ainsi imaginer qu'une entreprise se rende compte à cette occasion qu'elle fait mal et veuille, sincèrement, s'améliorer.

Et puis bien sûr, au-delà du risque réputationnel, les mises au pilori comptent généralement sur une sanction réelle dans un second temps, qui peut être lourde. Dès lors, et pour peu que la menace soit crédible (risque réel de sanction, surveillance maintenue...), ce qui pousse aussi et peut-être avant un récalcitrant à agir, c'est la bonne vieille peur du bâton. La mise en conformité peut aussi être assortie d'avantages, tels que l'accès à certains marchés publics, ou bien être accompagnée financièrement. On retrouve finalement la bonne vieille typologie des instruments d'Evert Vedung, soit les carottes, les bâtons et les sermons.

Enfin, on peut viser le recours à un mécanisme, mais se rendre compte que c'est un autre qui fonctionne. C'est ce que nous avions observé dans les années 2000 lors de l'évaluation d'un dispositif européen, conçu pour pointer des pays peu avancés en termes de réforme du marché de travail, mais fonctionnant en réalité comme groupe de pairs pour hauts fonctionnaires.

Le résultat n'est pas forcément celui que l'on croit

Le name-and-shame appelle une réaction rapide de mise en conformité. Cependant, cette mise en conformité ne signifie pas forcément que le problème initialement pointé est réglé. Ainsi, un exilé fiscal peut négocier une porte de sortie à l'amiable (potentiellement plus avantageuse que d'avoir initialement respecté la loi), tout en maintenant des pratiques moralement répréhensibles, mais légales. De façon générale, des entreprises peuvent par exemple juger plus intéressant de se mettre en conformité en apparence seulement, plutôt que d'engager des changements majeurs. C'est en particulier possible quand la mise au pilori dépend d'indicateurs, qui par nature peuvent être manipulés.

Enfin, et en lien avec le point précédent, ce qui constitue le résultat du name-and-shame dans une intervention plus complexe doit être remis à sa juste place. Éviter de devoir en arriver à une sanction administrative ou à un contentieux incertain peut ainsi constituer une contribution honorable de la mise à l'index, loin du mécanisme tout puissant parfois annoncé.

Et l'index à l'égalité professionnelle dans tout ça ?

Cela étant dit, qu'est-ce que cette connaissance accumulée peut dire de l'index à l'égalité professionnelle ?

L'index pour montrer du doigt

L'index prend la forme d'une notation, à travers une échelle allant de 0 à 100. Ce choix se comprend sur un sujet complexe comme l'égalité femme-homme, mais il n'est pas neutre :

L'index combine plusieurs mécanismes

L'index de l'égalité professionnelle ne se limite pas au name-and-shame, loin de là. D'une part, il est assorti d'une menace de sanction ; ainsi, la non-atteinte d'un certain seuil de l'index de l'égalité femme-homme est punissable d'une amende pouvant atteindre 1% de la masse salariale de l'entreprise. D'autre part et surtout, comme tout mécanisme reposant sur la mesure et la divulgation d'information, il peut déclencher toute une série de comportements différents. Par exemple :

Seule une évaluation permettrait d'identifier et de tester ces différents chemins causaux, pour savoir si l'index marche en réalité grâce au name and shame, ou bien de façon accessoire.

Les résultats de l'index restent incertains

Même si plusieurs mécanismes sont en jeu, on pourrait pragmatiquement considérer que l'important est surtout que ça marche. Or, ce n'est pas évident, et ce même si le score augmente régulièrement. L'IPP a ainsi récemment publié une étude à ce sujet pour essayer de rendre compte des résultats de l'index, en comparant des entreprises de plus de 50 salarié·es (assujetties) et des entreprises de moins de 50 salarié·es (non concernées) au regard des inégalités femme-homme (mesurées à partir de données administratives). La comparaison effectuée ne fait pas apparaître de différence marquée.

Comment interpréter ce résultat ? D'abord, si notre hypothèse est que le name-and-shame est un prélude à la sanction, alors il semble que, en moyenne, il n'ait pas provoqué de changement, ou du moins de rupture dans les trajectoires déjà engagées. Mais ce constat, à l'échelle d'ensemble, n'est pas vraiment étonnant, la mise au pilori visant des effets non pas à large rayon d'action, mais sur un petit groupe de récalcitrants. Dans son étude de 2022, le Céreq faisait ainsi apparaître deux profils particuliers correspondant aux chemins causaux évoqués plus haut. Un profil de « néo-converties », s'appuyant sur l'index pour mesurer les écarts dans l'entreprise et évaluer les résultats des actions menées, et un profil d'entreprises résistantes et uniquement motivées par la nécessité de se mettre en conformité. Or, ces entreprises remettent en cause la légitimité des autorités à faire évoluer leurs pratiques en ce domaine. Étant petites, on peut aussi estimer qu'elles risquent moins d'attirer l'attention des acteurs associatifs qui gagneraient à mettre en lumière leurs mauvaises pratiques : en d'autres termes, les conséquences ne sont pas réellement réunies pour que la mise au pilori fasse son effet – là encore, seule une évaluation se concentrant sur les différentes typologies d'entreprises concernées pourrait permettre de comprendre quels mécanismes fonctionnent, ou non, dans ce cas.

Mais surtout, ce résultat amène à se demander dans quelle mesure et jusqu'à quel point les inégalités femme-homme dépendent des entreprises plutôt que de la société dans laquelle nous vivons. En d'autres termes, et avant de pouvoir rendre compte de l'impact de la politique menée, il faudrait se demander de quelles marges de manœuvre les entreprises disposent pour aboutir à des changements de fond dans ce domaine – et si des données administratives suffiraient à refléter lesdits changements.

En conclusion : le name-and-shame, une solution simple... et donc erronée ?

simplewrong

Nous avons voulu montrer ici qu'une synthèse réaliste portant sur un mécanisme permettait de structurer une analyse évaluative d'une politique publique. De fait, les éléments à notre disposition permettent, en regardant les caractéristiques de l'intervention et le contexte dans lequel il est mis en place, de prédire avec un certain degré de plausibilité ce qui peut en être attendu.

Le name-and-shame fait partie de ces solutions présentées comme des outils efficaces de gouvernement. Déjà, c'est plus compliqué que ça. En réalité, ce à quoi nous assistons, c'est à une communication sur les instruments de l'action publique qui met en scène l'action gouvernementale. Autrement dit, il est plus important de montrer que l'on s'appuie sur un mécanisme, celui-ci suggérant par ailleurs que l'État ne saurait être accusé de complaisance envers les entreprises, que d'en vérifier les effets. Alors, à quand une évaluation réaliste de l'index d'égalité femme-homme ?


  1. tels que le fait de pointer à tort, la mauvaise gestion de l'exposition publique des cibles, une mauvaise sanction publique ou un refus de se conformer à la demande. 

Évaluer les programmes d'innovation

mardi 09 juillet 2024

Les programmes d'innovation se multiplient, mais sans jamais être évalués

Quels systèmes d'évaluation pour quels usages ?

mardi 11 juin 2024

Et si on partait des usages de la connaissance plutôt que de la production d'évaluations ?

Theories of change in reality

mercredi 05 juin 2024

Un nouveau livre sur les théories du changement en évaluation

Design et évaluation — je t'aime, moi non plus

mardi 23 avril 2024

Une présentation réalisée dans le cadre de Design des politiques publiques nouvelle génération 2024

Les défis de l'évaluation des méga-évènments - Le cas des Jeux Olympiques et Paralympiques

lundi 08 avril 2024

Texte rédigé dans le cadre du MOOC de l'Université Paris 1

Evaluating EU Cohesion policy

lundi 23 octobre 2023

Evaluating EU Cohesion policy — European Court of Auditors

Humans after all?

lundi 03 juillet 2023

The challenges of external validity, towards an interdisciplinary discussion?

Humans after all?

mardi 27 juin 2023

Les défis de la validité externe, un sujet d'échange interdisciplinaire ?

Index égalité professionnelle, index senior...

vendredi 16 juin 2023

Le name and shame est-il une politique publique efficace?

Évaluation RTBFoods

jeudi 02 mars 2023

Du outcome harvesting dans une évaluation de projet

Des fiches pour distinguer l'évaluation d'autres pratiques voisines

jeudi 19 janvier 2023

Quelles distinctions entre l'évaluation et les pratiques voisines ?

🃏 Cartographie des usages de l'évaluation d'impact

mardi 01 novembre 2022

Quelle démarche pour une cartographie des usages de l'évaluation d'impact ?

📚 Trois articles d'évaluation (nº8, 15 octobre 2022)

samedi 15 octobre 2022

Un numéro très très lutte – pour l'équité raciale, entre objectivistes et subjectivistes, et oldies but goodies pour faire entendre l'évaluation dans un contexte politisé.

📚 Évaluer les politiques locales d'égalité femmes-hommes

mardi 04 octobre 2022

Publication

🚂 EES 2022: It’s not (only) you, it’s me (too)

dimanche 17 juillet 2022

Feedback on the European Evaluation Society Conference in Copenhagen

🚂 EES 2022 - C’est pas (que) toi, c’est moi (aussi)

mardi 12 juillet 2022

Retour sur la conférence de la société européenne d'évaluation à Copenhague

📚 Trois articles d'évaluation (nº7, 15 juin 2022)

mercredi 15 juin 2022

Dans ce numéro, cinéma à tous les étages : La Revanche des Sith, Octobre rouge et 120 battements par minute... ou presque

🎙 L'évaluation des contrats de ville

mercredi 01 juin 2022

Publication

📚 L'évaluation en contexte de développement

mardi 31 mai 2022

Publication

🎥 Cinq choses à savoir sur les initiatives de transition

lundi 02 mai 2022

Vidéo

💡 Recherche et action publique : il faut être deux pour danser le tango

vendredi 25 mars 2022

Publication

📚 Trois articles d'évaluation (nº6, 15 mars 2022)

mardi 15 mars 2022

Dans ce numéro, la cartographie des controverses rencontre la science comportementale, et la recherche l'action publique.

💡 Qu'attendre de la recherche pour éclairer l'action publique

jeudi 20 janvier 2022

Publication

📚 Trois articles d'évaluation (nº5, 15 décembre 2021)

mercredi 15 décembre 2021

Numéro spécial Anthologie

Citations relatives à l'évaluation des politiques publiques

lundi 20 septembre 2021

Des citations inspirantes pour qui évalue.

📚 Trois articles d'évaluation (nº4, 15 septembre 2021)

mercredi 15 septembre 2021

Dans ce numéro, évaluation et bureaucratie, l'ultime combat, enquêter avec d'autres êtres, et oldiesbutgoodies, on sauve le monde avec Bob Stake !

💡 Glossaires de l'évaluation

dimanche 12 septembre 2021

Liste de glossaires

💡 7 bonnes raisons de prendre en compte l'égalité entre les femmes et les hommes dans ma pratique d'évaluation

vendredi 09 juillet 2021

Oldies but goodies (Karine Sage)

📚 Trois articles d'évaluation (nº3, 15 mai 2021)

samedi 15 mai 2021

Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !

💡 Les évaluations participatives, plus facile à dire qu'à faire

jeudi 29 avril 2021

Nouvel article publié (Thomas Delahais)

Quatre jeux de cartes d'évaluation francophones

mardi 27 avril 2021

À l'occasion de la sortie de Strateval, nous revenons sur 3 autres jeux de cartes autour de l'évaluation

💡 Qu'est-ce que l'analyse militante apporte à l'évaluation des politiques publiques ?

jeudi 08 avril 2021

Nouvel article publié (Marc Tevini)

📚 Trois articles d'évaluation (nº2, 15 février 2021)

lundi 15 février 2021

Dans ce numéro, évaluation féministe quésaco, apprentissage et redevabilité même combat ? et oldiesbutgoodies, des éléments pour une sociologie de l'évaluation... C'est le sommaire de ce numéro 2.

📽 L'évaluation des politiques sociales, de quoi parle-t-on ?

vendredi 15 janvier 2021

Introduction au séminaire de l'IRTS HDF du 26/01.

📽 L'analyse de contribution en pratique

mardi 15 décembre 2020

Introduction à la formation à l'analyse de contribution

📚 Trois articles d'évaluation (nº1, 15 novembre 2020)

dimanche 15 novembre 2020

Dans ce numéro, plongée en pleine guerre froide avec la Realpolitik de l'évaluation, des idées pour professionnaliser l'évaluation, et oldiesbutgoodies, de quoi se demander ce que les évaluateurs et les évaluatrices défendent dans leur métier... C'est le sommaire de ce numéro 1.

📽 L'évaluation participative, plus facile à dire qu'à faire

lundi 09 novembre 2020

Intervention de T Delahais au Congrès de la SEVAL organisé par le GREVAL à Fribourg, le 4 septembre 2020.

💡 En situation anormale, l'évaluation doit devenir la norme

jeudi 29 octobre 2020

Contribution de T Delahais et M Tevini en réponse à l'appel de la SFE, "Ce que la crise sanitaire nous apprend sur l'utilité et les pratiques d'évaluation".

💡 Comment évaluer la transition

vendredi 23 octobre 2020

Nouvel article publié (Thomas Delahais, Karine Sage, Vincent Honoré)

💡 Quels mécanismes à l'œuvre dans les innovations ?

mardi 06 octobre 2020

Nouvel article publié (Agathe Devaux-Spatarakis)

📚 Trois articles d'évaluation (v0, 30 juillet 2020)

jeudi 30 juillet 2020

À l'honneur pour cette édition, la sagesse pratique des évaluateurs et des évaluatrices, soit « la capacité de faire les bons choix, au bon moment, pour les bonnes raisons » ; ce que les mots et concepts de l'évaluation perdent et gagnent à leur traduction d'une langue à l'autre et oldies but goodies, une piqûre de rappel quant à la vocation démocratique de l'évaluation en France... C'est le sommaire de ce numéro 0.