Les défis de l’évaluation des méga-évènements – Le cas des Jeux Olympiques et Paralympiques

Thomas Delahais – Quadrant Conseil (décembre 2023)

Texte rédigé pour communication orale dans le cadre du MOOC « Comment évaluer l'impact des Jeux Olympiques et Paralympiques ? », disponible sur la plateforme FUN. Le texte dit peut être différent de ce texte rédigé.

De quoi parle-t-on quand on parle de méga-événements ? On parle d’évènements culturels, sportifs, récréatifs, de courte durée, qui attirent une audience très large, internationale, voire mondiale. Les Jeux olympiques et paralympiques sont des méga-événements. De nombreux autres évènements sportifs également. Certaines capitales européennes de la culture en font aussi partie. Et on pourrait sans doute qualifier la dernière tournée de Taylor Swift ainsi.

L’évaluation des politiques publiques appliquée aux méga-évènements

Dans l’idée d’une « évaluation des méga-évènements », ce que je vais aborder ici plus en détail, c’est le terme « évaluation ». C’est un mot qui est utilisé dans un très grand nombre de contextes. Je vais en parler du point de vue de l’évaluation des politiques publiques, et dans ce contexte précis, ce terme a un sens particulier. Évaluer une action publique c’est juger de sa valeur du point de vue de ses résultats, et le mot important là-dedans c’est juger. On entend parfois qu’une évaluation doit être factuelle. C’est vrai qu’une évaluation doit s’appuyer sur des faits, mais aussi des opinions, en tout cas des éléments qui sont vérifiables et qui ont été recoupés. On dit aussi qu’une évaluation doit être objective. Mais quand on dit ça, on ne doit pas sous-entendre que l’évaluation apporterait la vérité sur un sujet, mais plutôt qu’elle a réussi à prendre en compte tous les points de vue, toutes les opinions, toutes les façons d’envisager un problème et sa résolution.

Dans une évaluation on va donc collecter des informations pour établir un jugement, avec de nombreux outils, des analyses statistiques, des entretiens, des enquêtes, des observations, des études de cas, etc. Mais sur quoi porte-t-on ce jugement ? En fait si on dit que l’évaluation est un jugement, alors le nerf de la guerre, ce sont les critères de jugement.

Une des spécificités de l’évaluation c’est qu’elle va juger l’intervention du point de vue de ses conséquences dans le monde réel, sur les gens, sur les structures, les parties prenantes de l’action, que ces conséquences soient voulues ou non, désirables ou non. Ça veut dire que dans une évaluation, une évaluation de politique publique, on ne va jamais juger un programme en théorie. On ne dit pas à l’avance ce qui est bien ou pas bien, quelle est la bonne façon de faire. Ça c’est le rôle de l’audit, ou des procédures qualité. L’évaluation va plutôt dire : « je regarde d’abord les conséquences effectives de mon action sur les gens, sur les destinataires de l’action, sur des gens qui ne sont pas destinataires, mais qui sont touchés quand même et au regard de ça, au regard de ces conséquences, je vais réinterroger l’action qui a été menée. Je vais me demander non seulement si on a eu les conséquences attendues, mais aussi pourquoi, comment, dans quel cas, et aussi pourquoi, comment, dans quels cas je n’ai pas eu les conséquences attendues ou les cas où on a constaté des conséquences indésirables ».

Donc, dans l’évaluation, on va juger du point de vue des conséquences, dans la vraie vie, et pas du point de vue de ce qu’il faudrait faire.

L’autre point important dans cette histoire de jugement c’est qu’on n’a pas tous la même vision de ce que c’est qu’une conséquence positive ou pas. Qu’est-ce qui est bon pour les individus ? Qu’est-ce qui est bon pour la société ? Évidemment, à cette question, tout le monde a des réponses différentes. Mais en plus, il n’est pas toujours évident d’y répondre. Cela demande une réflexion, de s’appliquer à des cas particuliers. Et donc si évaluer c’est juger de la valeur d’une action publique, il faut s’accorder sur ce que c’est que cette valeur. Et c’est un grand enjeu de ces évaluations que de définir cette valeur, que ce ne soit pas toujours les mêmes qui définissent ce qui est bien ou bon.

Donc, pour se permettre de faire un jugement sur une action publique, il ne suffit pas de rassembler des faits, même si c’est absolument nécessaire – une évaluation est toujours basé sur des faits empiriques – il faut aussi être au clair sur les critères de jugement, et ce qui va permettre de dire qu’ils sont atteints ou non, et ça c’est une activité très politique, au sens noble, que l’évaluation permet d’organiser.

Enfin, il y a un enjeu essentiel, c’est de savoir à quoi va servir cette évaluation. On dit souvent que l’évaluation sert à rendre compte. C’est dans la Déclaration des droits de l’homme, « tout citoyen a le droit de demander des comptes à son administration ». Et c’est vrai que c’est important, et encore plus important pour des actions qui ont des conséquences très importantes sur les gens, sur les territoires, comme les méga-événements, peut-être d’autant plus que les structures qui organisent ces méga-événements sont au moins en partie extra-territoriales, elles échappent au contrôle politique ou démocratique pour certaines d’entre elles.

Mais une évaluation c’est aussi et avant tout, en tout cas c’est mon point de vue, un outil d’apprentissage. Parce qu’on va voir les conséquences réelles d’une intervention, réfléchir à ce qui est bien ou bon dans la réalité, sortir des postures, l’évaluation est un excellent outil pour améliorer l’action publique. Sauf qu’il est difficile à une évaluation de concilier une exigence de redevabilité, donc de « rendre compte », généralement au regard d’objectifs impartis, et une ambition d’apprentissage, qui demande à être ouvert sur ce qui se passe « dans la vraie vie ». Or, cette ambition d’apprentissage est importante pour les méga-évènements, en particulier lorsqu’ils sont nomades, parce que ce ne sont pas les mêmes structures, les mêmes territoires qui vont être concernés à chaque fois, et donc il faut être capable d’anticiper les conséquences qu’elles peuvent avoir, et puis aussi parce, du point de vue des organisateurs, il y a des enjeux de réputation : il faut « savoir bien faire » pour rassurer les territoires qui pourraient accueillir ces méga-événements.

L’évaluation des Jeux Olympiques : une politique publique comme les autres ?

Il est intéressant de prendre cette approche d’évaluation des politiques publiques pour évaluer les JOP pour deux raisons. D’abord parce qu’une des façons que l’on a de définir ce qu’est un méga-événement, c’est par ses attentes en termes d’investissement public, c’est-à-dire des infrastructures, du bâti, mais aussi des choses immatérielles comme la bonne organisation, la communication et le maintien de l’ordre. Il y a donc bien une dimension publique dans ces méga-événements. Et puis l’autre façon, c’est par ses conséquences escomptées, sur les publics, sur les territoires, sur les acteurs économiques et sociaux, qui sont susceptibles d’être importantes. Or, si un évènement qui est financé et organisé par des autorités publiques est susceptible d’avoir des conséquences importantes, il y a un enjeu à les évaluer du point de vue de l’intérêt général, ou du bien commun.

L’autre raison, c’est que pour les Jeux Olympiques, il y a une situation très particulière, qui est que le CIO cherche à définir lui-même quels sont les critères légitimes sur lesquels évaluer les JOP. Ces critères, ce sont l’impact, qui regroupe les conséquences négatives, les retombées économiques générées (dont on espère qu’elles seront plus importantes que les coûts) et l’héritage (qui renvoie aux apports durables et positifs des investissements matériels et immatériels effectués). Ce qui est intéressant ici, c’est que ces critères racontent une histoire n’éludant pas les aspects négatifs liés à la préparation ou à la tenue des jeux, mais insistant sur des conséquences de long terme qui seraient, elles, forcément positives.

Ce sont des critères qui sont importants pour le CIO, parce qu’ils s’inscrivent dans la volonté de survie des Jeux, qui dépendent de candidatures de territoires prêts à des investissements majeurs et à de nombreux désagréments pour les accueillir. Et ils font partie, en quelque sorte, des arguments de vente des JOP.

Cependant, en établissant ses propres critères d’évaluation, et en mettant en place un système de suivi et d’évaluation, comme c’est le cas pour Paris en 2024, l’organisation des JOP se donne l’occasion d’effectuer un travail critique, qui est utile pour rendre compte des apports des JOP, mais aussi pour s’améliorer en continu, changer de cap si nécessaire, etc. Mais elle s’offre également les moyens de se protéger de la critique externe, en fournissant un argumentaire rationnel, factuel, « objectif » de la tenue des JO (cette fois-ci dans une définition d’objectivité qui renverrait à la « vérité » des Jeux).

Il est donc intéressant d’avoir à la fois ces éléments de suivi et évaluation institutionnel, dont il n’y a pas de raison de douter de la sincérité, mais aussi d’élargir la focale à d’autres critères, d’autres enjeux, d’autres perspectives, permettant potentiellement d’aboutir à une autre évaluation des JOP que celle proposée par le CIO.

Enjeux de l’évaluation des méga-évènements : l’exemple de Marseille Provence 2013, Capitale européenne de la culture

Dans cette deuxième partie, je voudrais discuter de certains des enjeux qui sont propres à l’évaluation des méga-évènements, et qui amènent donc des interrogations spécifiques. Il s’agit en particulier du périmètre de l’intervention évaluée ; de la valorisation des effets économiques ; des critères de jugement ; des questions de causalité ; de l’horizon temporel pour un jugement global ; et enfin de l’accès aux données. Je m’appuierai notamment sur l’évaluation de Marseille-Provence 2013, capitale européenne de la culture, une évaluation que j’ai co-dirigée avec ma collègue Virginie Besrest, et qui a été publiée en 2014.

La première question, c’est celle du périmètre. Les méga-évènements peuvent être regardés du point de vue de l’évènement lui-même : des jeux, des spectacles, etc. mais ils impliquent également des investissements publics et privés, dans des infrastructures tangibles et intangibles. Par ailleurs, lors de la définition de résultats attendus au regard desquels évaluer, on peut de la même façon les imaginer à différentes échelles. Ainsi, la capitale européenne de la culture donne lieu à une subvention de 1,5 M€. Le budget de l’évènement, cependant, était supérieur à 100 M€, dont plus de 16 M€ venant du privé. Enfin, ce sont à cette occasion 50 projets urbains et architecturaux qui ont été financés, pour plus de 660 M€. L’ambition, au total, était de faire de la capitale européenne un chantier de transformation de Marseille, bien au-delà des seules activités européennes engagées. Question, donc : quel est le bon périmètre, pour quelles conséquences possibles de l’évènement ?

Deuxième question, celle de la valorisation économique. De façon simplifiée, la promesse qui est faite lors d’évènements de ce type est que les coûts seront « amplement » remboursés par des gains en termes de recettes, d’activité économique, notamment la restauration, l’hébergement, les transports, d’emploi et in fine, donneront lieu à des retombées fiscales pour les autorités publiques. C’est une promesse à double tranchant, car elle n’engage pas que les organisateurs, mais aussi les autorités qui justifient ainsi auprès de leurs électeurs et électrices le recours à l’argent public. Des modèles entrée-sortie sont généralement utilisés pour réaliser ce genre de calcul. Par exemple, à Marseille, l’impact économique a été estimé autour de 500 M€ à début 2014, soit 5 fois plus que le budget, mais moins que l’ensemble des dépenses – toujours une question de périmètre. De même, les modèles utilisés pour ce genre de calcul sont critiqués, car les résultats sont très soumis aux hypothèses employées, notamment sur la situation « sans l’évènement », et sur l’intégration de conséquences négatives : par exemple les résidents qui quittent la ville pendant l’évènement et n’y font donc pas leurs dépenses habituelles. De même, certains monétisent les retombées presse ou sur les réseaux sociaux, aboutissant à des chiffres parfois totalement invérifiables. Ce phénomène de « boîte noire » est préjudiciable, ce d’autant plus que cette mesure est sous pression des commanditaires de ce type d’évaluation, qui ne veulent pas voir de mauvais chiffres publiés dans la presse.

Troisième question, quels critères de jugement ? Les critères très globaux proposés par le CIO n’épuisent pas la question de savoir « ce qui compte » dans le cadre d’un méga-événement. Les conséquences économiques sont souvent mises en avant : retombées, mais aussi effets sur l’image, sur l’attractivité, sur le tourisme, sur le tissu économique, etc. Dans la mesure où des investissements sont effectués sur le bâti, des conséquences sur le cadre de vie peuvent également être escomptées et faire l’objet d’une évaluation. Ces enjeux étaient majeurs pour Marseille-Provence. Mais ce n’était pas les seuls : ainsi, des questions spécifiques portaient sur l’attraction durable des talents créatifs et artistiques, ainsi que sur la professionnalisation et la montée en puissance des structures culturelles du territoire. Il est aussi possible de prendre une perspective radicalement différente, et d’imaginer par exemple les effets sociaux d’un méga-événement, sa capacité à réduire des injustices ou au contraire à les renforcer : par exemple, qui est affecté par les conséquences négatives des travaux, et qui bénéficie de l’héritage ? Ce ne sont pas forcément les mêmes personnes. À Marseille, des questions portant sur l’impact social de la capitale de la culture ont été préparées de façon participative, lors d’une série d’ateliers avec des acteurs du territoire. Mais finalement, les collectivités n’ont pas jugé nécessaire d’y répondre – d’autant plus que mi-2013, la Capitale était unanimement considérée comme un succès : pourquoi apporter une ombre au tableau ?

Quatrième question, celle de l’horizon de jugement. Les méga-événements produisent des effets immédiats lors de leur préparation – les travaux, par exemple – et lors de leur tenue : la fréquentation, les retombées économiques, dans la presse, etc. Généralement, c’est le bilan de ces différentes conséquences qui fait l’objet d’une évaluation, qui est attendue très peu de temps après l’évènement lui-même. Trop tard, et la question n’intéressera plus personne. Or, une grande partie de l’argumentaire en faveur des méga-événements porte sur des effets durables, à travers de nouvelles infrastructures, ou l’attraction de populations nouvelles, ou d’autres chemins causaux encore. De fait, il y a un enjeu à pouvoir évaluer à horizon plus éloigné. 10 ans après, que reste-t-il ? À Marseille, malheureusement, cette évaluation n’a pas été engagée. Mais elle aurait peut-être mis en valeur que si certains projets culturels sont des succès pérennes – on pense au MuCEM – d’autres ont bien vite fermé ou se sont longtemps cherché. De même, l’investissement culturel des collectivités du territoire s’est parfois vite tari, mettant en danger certaines associations qui avaient pris leur essor pendant la capitale européenne. Que le tourisme et l’attractivité en général sont restés à des niveaux élevés, mais que les problèmes sociaux sous-jacents, eux, sont restés les mêmes. De quoi nuancer peut-être les communiqués de lendemain d’évènements.

Enfin, cinquième et dernier point, celui des données. Essentiel, bien sûr, mais dépendant largement à la fois du périmètre de l’évaluation, des critères fixés pour juger l’évènement, et de l’horizon de jugement… ainsi que de la capacité à collecter de l’information de façon structurée en amont de l’évènement lui-même. La mise en place de systèmes de suivi et d’évaluation, comme à Paris, permet de collecter une information essentiellement relative aux effets voulus et attendus – qui dépassent d’ailleurs les préconisations du CIO pour intégrer des préoccupations propres aux organisateurs locaux. Mais cette organisation, quoique louable, présente là aussi ses angles morts : comment prendre sérieusement en compte la contestation locale et nationale des JOP ? et comment s’assurer que des données sont également collectées à moyen ou long terme pour repérer des effets désirables ou indésirables ? Le point commun à ces deux questions, c’est qu’elle renvoie à des impacts – et des approches et données nécessaires pour les mettre en valeur– qui ne sont pas nécessairement dans le périmètre intéressant les organisateurs des JOP de Paris – sans parler de l’après, lorsque les cadres institutionnels assurant la collecte n’existent plus. Il serait alors nécessaire que s’organise un passage de relais, vers les collectivités, les collectifs associatifs ou citoyens, ou la recherche. Ce n’est pas le moindre des défis de l’évaluation des méga-évènements…

Design et évaluation — je t'aime, moi non plus

mardi 23 avril 2024

Une présentation réalisée dans le cadre de Design des politiques publiques nouvelle génération 2024

Les défis de l'évaluation des méga-évènments - Le cas des Jeux Olympiques et Paralympiques

lundi 08 avril 2024

Texte rédigé dans le cadre du MOOC de l'Université Paris 1

Evaluating EU Cohesion policy

lundi 23 octobre 2023

Evaluating EU Cohesion policy — European Court of Auditors

Humans after all?

lundi 03 juillet 2023

The challenges of external validity, towards an interdisciplinary discussion?

Humans after all?

mardi 27 juin 2023

Les défis de la validité externe, un sujet d'échange interdisciplinaire ?

Index égalité professionnelle, index senior...

vendredi 16 juin 2023

Le name and shame est-il une politique publique efficace?

Évaluation RTBFoods

jeudi 02 mars 2023

Du outcome harvesting dans une évaluation de projet

Des fiches pour distinguer l'évaluation d'autres pratiques voisines

jeudi 19 janvier 2023

Quelles distinctions entre l'évaluation et les pratiques voisines ?

🃏 Cartographie des usages de l'évaluation d'impact

mardi 01 novembre 2022

Quelle démarche pour une cartographie des usages de l'évaluation d'impact ?

📚 Trois articles d'évaluation (nº8, 15 octobre 2022)

samedi 15 octobre 2022

Un numéro très très lutte – pour l'équité raciale, entre objectivistes et subjectivistes, et oldies but goodies pour faire entendre l'évaluation dans un contexte politisé.

📚 Évaluer les politiques locales d'égalité femmes-hommes

mardi 04 octobre 2022

Publication

🚂 EES 2022: It’s not (only) you, it’s me (too)

dimanche 17 juillet 2022

Feedback on the European Evaluation Society Conference in Copenhagen

🚂 EES 2022 - C’est pas (que) toi, c’est moi (aussi)

mardi 12 juillet 2022

Retour sur la conférence de la société européenne d'évaluation à Copenhague

📚 Trois articles d'évaluation (nº7, 15 juin 2022)

mercredi 15 juin 2022

Dans ce numéro, cinéma à tous les étages : La Revanche des Sith, Octobre rouge et 120 battements par minute... ou presque

🎙 L'évaluation des contrats de ville

mercredi 01 juin 2022

Publication

📚 L'évaluation en contexte de développement

mardi 31 mai 2022

Publication

🎥 Cinq choses à savoir sur les initiatives de transition

lundi 02 mai 2022

Vidéo

💡 Recherche et action publique : il faut être deux pour danser le tango

vendredi 25 mars 2022

Publication

📚 Trois articles d'évaluation (nº6, 15 mars 2022)

mardi 15 mars 2022

Dans ce numéro, la cartographie des controverses rencontre la science comportementale, et la recherche l'action publique.

💡 Qu'attendre de la recherche pour éclairer l'action publique

jeudi 20 janvier 2022

Publication

📚 Trois articles d'évaluation (nº5, 15 décembre 2021)

mercredi 15 décembre 2021

Numéro spécial Anthologie

Citations relatives à l'évaluation des politiques publiques

lundi 20 septembre 2021

Des citations inspirantes pour qui évalue.

📚 Trois articles d'évaluation (nº4, 15 septembre 2021)

mercredi 15 septembre 2021

Dans ce numéro, évaluation et bureaucratie, l'ultime combat, enquêter avec d'autres êtres, et oldiesbutgoodies, on sauve le monde avec Bob Stake !

💡 Glossaires de l'évaluation

dimanche 12 septembre 2021

Liste de glossaires

💡 7 bonnes raisons de prendre en compte l'égalité entre les femmes et les hommes dans ma pratique d'évaluation

vendredi 09 juillet 2021

Oldies but goodies (Karine Sage)

📚 Trois articles d'évaluation (nº3, 15 mai 2021)

samedi 15 mai 2021

Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !

💡 Les évaluations participatives, plus facile à dire qu'à faire

jeudi 29 avril 2021

Nouvel article publié (Thomas Delahais)

Quatre jeux de cartes d'évaluation francophones

mardi 27 avril 2021

À l'occasion de la sortie de Strateval, nous revenons sur 3 autres jeux de cartes autour de l'évaluation

💡 Qu'est-ce que l'analyse militante apporte à l'évaluation des politiques publiques ?

jeudi 08 avril 2021

Nouvel article publié (Marc Tevini)

📚 Trois articles d'évaluation (nº2, 15 février 2021)

lundi 15 février 2021

Dans ce numéro, évaluation féministe quésaco, apprentissage et redevabilité même combat ? et oldiesbutgoodies, des éléments pour une sociologie de l'évaluation... C'est le sommaire de ce numéro 2.

📽 L'évaluation des politiques sociales, de quoi parle-t-on ?

vendredi 15 janvier 2021

Introduction au séminaire de l'IRTS HDF du 26/01.

📽 L'analyse de contribution en pratique

mardi 15 décembre 2020

Introduction à la formation à l'analyse de contribution

📚 Trois articles d'évaluation (nº1, 15 novembre 2020)

dimanche 15 novembre 2020

Dans ce numéro, plongée en pleine guerre froide avec la Realpolitik de l'évaluation, des idées pour professionnaliser l'évaluation, et oldiesbutgoodies, de quoi se demander ce que les évaluateurs et les évaluatrices défendent dans leur métier... C'est le sommaire de ce numéro 1.

📽 L'évaluation participative, plus facile à dire qu'à faire

lundi 09 novembre 2020

Intervention de T Delahais au Congrès de la SEVAL organisé par le GREVAL à Fribourg, le 4 septembre 2020.

💡 En situation anormale, l'évaluation doit devenir la norme

jeudi 29 octobre 2020

Contribution de T Delahais et M Tevini en réponse à l'appel de la SFE, "Ce que la crise sanitaire nous apprend sur l'utilité et les pratiques d'évaluation".

💡 Comment évaluer la transition

vendredi 23 octobre 2020

Nouvel article publié (Thomas Delahais, Karine Sage, Vincent Honoré)

💡 Quels mécanismes à l'œuvre dans les innovations ?

mardi 06 octobre 2020

Nouvel article publié (Agathe Devaux-Spatarakis)

📚 Trois articles d'évaluation (v0, 30 juillet 2020)

jeudi 30 juillet 2020

À l'honneur pour cette édition, la sagesse pratique des évaluateurs et des évaluatrices, soit « la capacité de faire les bons choix, au bon moment, pour les bonnes raisons » ; ce que les mots et concepts de l'évaluation perdent et gagnent à leur traduction d'une langue à l'autre et oldies but goodies, une piqûre de rappel quant à la vocation démocratique de l'évaluation en France... C'est le sommaire de ce numéro 0.