Les défis de l’évaluation des méga-évènements – Le cas des Jeux Olympiques et Paralympiques

Thomas Delahais – Quadrant Conseil (décembre 2023)

Texte rédigé pour communication orale dans le cadre du MOOC « Comment évaluer l'impact des Jeux Olympiques et Paralympiques ? », disponible sur la plateforme FUN. Le texte dit peut être différent de ce texte rédigé.

De quoi parle-t-on quand on parle de méga-événements ? On parle d’évènements culturels, sportifs, récréatifs, de courte durée, qui attirent une audience très large, internationale, voire mondiale. Les Jeux olympiques et paralympiques sont des méga-événements. De nombreux autres évènements sportifs également. Certaines capitales européennes de la culture en font aussi partie. Et on pourrait sans doute qualifier la dernière tournée de Taylor Swift ainsi.

L’évaluation des politiques publiques appliquée aux méga-évènements

Dans l’idée d’une « évaluation des méga-évènements », ce que je vais aborder ici plus en détail, c’est le terme « évaluation ». C’est un mot qui est utilisé dans un très grand nombre de contextes. Je vais en parler du point de vue de l’évaluation des politiques publiques, et dans ce contexte précis, ce terme a un sens particulier. Évaluer une action publique c’est juger de sa valeur du point de vue de ses résultats, et le mot important là-dedans c’est juger. On entend parfois qu’une évaluation doit être factuelle. C’est vrai qu’une évaluation doit s’appuyer sur des faits, mais aussi des opinions, en tout cas des éléments qui sont vérifiables et qui ont été recoupés. On dit aussi qu’une évaluation doit être objective. Mais quand on dit ça, on ne doit pas sous-entendre que l’évaluation apporterait la vérité sur un sujet, mais plutôt qu’elle a réussi à prendre en compte tous les points de vue, toutes les opinions, toutes les façons d’envisager un problème et sa résolution.

Dans une évaluation on va donc collecter des informations pour établir un jugement, avec de nombreux outils, des analyses statistiques, des entretiens, des enquêtes, des observations, des études de cas, etc. Mais sur quoi porte-t-on ce jugement ? En fait si on dit que l’évaluation est un jugement, alors le nerf de la guerre, ce sont les critères de jugement.

Une des spécificités de l’évaluation c’est qu’elle va juger l’intervention du point de vue de ses conséquences dans le monde réel, sur les gens, sur les structures, les parties prenantes de l’action, que ces conséquences soient voulues ou non, désirables ou non. Ça veut dire que dans une évaluation, une évaluation de politique publique, on ne va jamais juger un programme en théorie. On ne dit pas à l’avance ce qui est bien ou pas bien, quelle est la bonne façon de faire. Ça c’est le rôle de l’audit, ou des procédures qualité. L’évaluation va plutôt dire : « je regarde d’abord les conséquences effectives de mon action sur les gens, sur les destinataires de l’action, sur des gens qui ne sont pas destinataires, mais qui sont touchés quand même et au regard de ça, au regard de ces conséquences, je vais réinterroger l’action qui a été menée. Je vais me demander non seulement si on a eu les conséquences attendues, mais aussi pourquoi, comment, dans quel cas, et aussi pourquoi, comment, dans quels cas je n’ai pas eu les conséquences attendues ou les cas où on a constaté des conséquences indésirables ».

Donc, dans l’évaluation, on va juger du point de vue des conséquences, dans la vraie vie, et pas du point de vue de ce qu’il faudrait faire.

L’autre point important dans cette histoire de jugement c’est qu’on n’a pas tous la même vision de ce que c’est qu’une conséquence positive ou pas. Qu’est-ce qui est bon pour les individus ? Qu’est-ce qui est bon pour la société ? Évidemment, à cette question, tout le monde a des réponses différentes. Mais en plus, il n’est pas toujours évident d’y répondre. Cela demande une réflexion, de s’appliquer à des cas particuliers. Et donc si évaluer c’est juger de la valeur d’une action publique, il faut s’accorder sur ce que c’est que cette valeur. Et c’est un grand enjeu de ces évaluations que de définir cette valeur, que ce ne soit pas toujours les mêmes qui définissent ce qui est bien ou bon.

Donc, pour se permettre de faire un jugement sur une action publique, il ne suffit pas de rassembler des faits, même si c’est absolument nécessaire – une évaluation est toujours basé sur des faits empiriques – il faut aussi être au clair sur les critères de jugement, et ce qui va permettre de dire qu’ils sont atteints ou non, et ça c’est une activité très politique, au sens noble, que l’évaluation permet d’organiser.

Enfin, il y a un enjeu essentiel, c’est de savoir à quoi va servir cette évaluation. On dit souvent que l’évaluation sert à rendre compte. C’est dans la Déclaration des droits de l’homme, « tout citoyen a le droit de demander des comptes à son administration ». Et c’est vrai que c’est important, et encore plus important pour des actions qui ont des conséquences très importantes sur les gens, sur les territoires, comme les méga-événements, peut-être d’autant plus que les structures qui organisent ces méga-événements sont au moins en partie extra-territoriales, elles échappent au contrôle politique ou démocratique pour certaines d’entre elles.

Mais une évaluation c’est aussi et avant tout, en tout cas c’est mon point de vue, un outil d’apprentissage. Parce qu’on va voir les conséquences réelles d’une intervention, réfléchir à ce qui est bien ou bon dans la réalité, sortir des postures, l’évaluation est un excellent outil pour améliorer l’action publique. Sauf qu’il est difficile à une évaluation de concilier une exigence de redevabilité, donc de « rendre compte », généralement au regard d’objectifs impartis, et une ambition d’apprentissage, qui demande à être ouvert sur ce qui se passe « dans la vraie vie ». Or, cette ambition d’apprentissage est importante pour les méga-évènements, en particulier lorsqu’ils sont nomades, parce que ce ne sont pas les mêmes structures, les mêmes territoires qui vont être concernés à chaque fois, et donc il faut être capable d’anticiper les conséquences qu’elles peuvent avoir, et puis aussi parce, du point de vue des organisateurs, il y a des enjeux de réputation : il faut « savoir bien faire » pour rassurer les territoires qui pourraient accueillir ces méga-événements.

L’évaluation des Jeux Olympiques : une politique publique comme les autres ?

Il est intéressant de prendre cette approche d’évaluation des politiques publiques pour évaluer les JOP pour deux raisons. D’abord parce qu’une des façons que l’on a de définir ce qu’est un méga-événement, c’est par ses attentes en termes d’investissement public, c’est-à-dire des infrastructures, du bâti, mais aussi des choses immatérielles comme la bonne organisation, la communication et le maintien de l’ordre. Il y a donc bien une dimension publique dans ces méga-événements. Et puis l’autre façon, c’est par ses conséquences escomptées, sur les publics, sur les territoires, sur les acteurs économiques et sociaux, qui sont susceptibles d’être importantes. Or, si un évènement qui est financé et organisé par des autorités publiques est susceptible d’avoir des conséquences importantes, il y a un enjeu à les évaluer du point de vue de l’intérêt général, ou du bien commun.

L’autre raison, c’est que pour les Jeux Olympiques, il y a une situation très particulière, qui est que le CIO cherche à définir lui-même quels sont les critères légitimes sur lesquels évaluer les JOP. Ces critères, ce sont l’impact, qui regroupe les conséquences négatives, les retombées économiques générées (dont on espère qu’elles seront plus importantes que les coûts) et l’héritage (qui renvoie aux apports durables et positifs des investissements matériels et immatériels effectués). Ce qui est intéressant ici, c’est que ces critères racontent une histoire n’éludant pas les aspects négatifs liés à la préparation ou à la tenue des jeux, mais insistant sur des conséquences de long terme qui seraient, elles, forcément positives.

Ce sont des critères qui sont importants pour le CIO, parce qu’ils s’inscrivent dans la volonté de survie des Jeux, qui dépendent de candidatures de territoires prêts à des investissements majeurs et à de nombreux désagréments pour les accueillir. Et ils font partie, en quelque sorte, des arguments de vente des JOP.

Cependant, en établissant ses propres critères d’évaluation, et en mettant en place un système de suivi et d’évaluation, comme c’est le cas pour Paris en 2024, l’organisation des JOP se donne l’occasion d’effectuer un travail critique, qui est utile pour rendre compte des apports des JOP, mais aussi pour s’améliorer en continu, changer de cap si nécessaire, etc. Mais elle s’offre également les moyens de se protéger de la critique externe, en fournissant un argumentaire rationnel, factuel, « objectif » de la tenue des JO (cette fois-ci dans une définition d’objectivité qui renverrait à la « vérité » des Jeux).

Il est donc intéressant d’avoir à la fois ces éléments de suivi et évaluation institutionnel, dont il n’y a pas de raison de douter de la sincérité, mais aussi d’élargir la focale à d’autres critères, d’autres enjeux, d’autres perspectives, permettant potentiellement d’aboutir à une autre évaluation des JOP que celle proposée par le CIO.

Enjeux de l’évaluation des méga-évènements : l’exemple de Marseille Provence 2013, Capitale européenne de la culture

Dans cette deuxième partie, je voudrais discuter de certains des enjeux qui sont propres à l’évaluation des méga-évènements, et qui amènent donc des interrogations spécifiques. Il s’agit en particulier du périmètre de l’intervention évaluée ; de la valorisation des effets économiques ; des critères de jugement ; des questions de causalité ; de l’horizon temporel pour un jugement global ; et enfin de l’accès aux données. Je m’appuierai notamment sur l’évaluation de Marseille-Provence 2013, capitale européenne de la culture, une évaluation que j’ai co-dirigée avec ma collègue Virginie Besrest, et qui a été publiée en 2014.

La première question, c’est celle du périmètre. Les méga-évènements peuvent être regardés du point de vue de l’évènement lui-même : des jeux, des spectacles, etc. mais ils impliquent également des investissements publics et privés, dans des infrastructures tangibles et intangibles. Par ailleurs, lors de la définition de résultats attendus au regard desquels évaluer, on peut de la même façon les imaginer à différentes échelles. Ainsi, la capitale européenne de la culture donne lieu à une subvention de 1,5 M€. Le budget de l’évènement, cependant, était supérieur à 100 M€, dont plus de 16 M€ venant du privé. Enfin, ce sont à cette occasion 50 projets urbains et architecturaux qui ont été financés, pour plus de 660 M€. L’ambition, au total, était de faire de la capitale européenne un chantier de transformation de Marseille, bien au-delà des seules activités européennes engagées. Question, donc : quel est le bon périmètre, pour quelles conséquences possibles de l’évènement ?

Deuxième question, celle de la valorisation économique. De façon simplifiée, la promesse qui est faite lors d’évènements de ce type est que les coûts seront « amplement » remboursés par des gains en termes de recettes, d’activité économique, notamment la restauration, l’hébergement, les transports, d’emploi et in fine, donneront lieu à des retombées fiscales pour les autorités publiques. C’est une promesse à double tranchant, car elle n’engage pas que les organisateurs, mais aussi les autorités qui justifient ainsi auprès de leurs électeurs et électrices le recours à l’argent public. Des modèles entrée-sortie sont généralement utilisés pour réaliser ce genre de calcul. Par exemple, à Marseille, l’impact économique a été estimé autour de 500 M€ à début 2014, soit 5 fois plus que le budget, mais moins que l’ensemble des dépenses – toujours une question de périmètre. De même, les modèles utilisés pour ce genre de calcul sont critiqués, car les résultats sont très soumis aux hypothèses employées, notamment sur la situation « sans l’évènement », et sur l’intégration de conséquences négatives : par exemple les résidents qui quittent la ville pendant l’évènement et n’y font donc pas leurs dépenses habituelles. De même, certains monétisent les retombées presse ou sur les réseaux sociaux, aboutissant à des chiffres parfois totalement invérifiables. Ce phénomène de « boîte noire » est préjudiciable, ce d’autant plus que cette mesure est sous pression des commanditaires de ce type d’évaluation, qui ne veulent pas voir de mauvais chiffres publiés dans la presse.

Troisième question, quels critères de jugement ? Les critères très globaux proposés par le CIO n’épuisent pas la question de savoir « ce qui compte » dans le cadre d’un méga-événement. Les conséquences économiques sont souvent mises en avant : retombées, mais aussi effets sur l’image, sur l’attractivité, sur le tourisme, sur le tissu économique, etc. Dans la mesure où des investissements sont effectués sur le bâti, des conséquences sur le cadre de vie peuvent également être escomptées et faire l’objet d’une évaluation. Ces enjeux étaient majeurs pour Marseille-Provence. Mais ce n’était pas les seuls : ainsi, des questions spécifiques portaient sur l’attraction durable des talents créatifs et artistiques, ainsi que sur la professionnalisation et la montée en puissance des structures culturelles du territoire. Il est aussi possible de prendre une perspective radicalement différente, et d’imaginer par exemple les effets sociaux d’un méga-événement, sa capacité à réduire des injustices ou au contraire à les renforcer : par exemple, qui est affecté par les conséquences négatives des travaux, et qui bénéficie de l’héritage ? Ce ne sont pas forcément les mêmes personnes. À Marseille, des questions portant sur l’impact social de la capitale de la culture ont été préparées de façon participative, lors d’une série d’ateliers avec des acteurs du territoire. Mais finalement, les collectivités n’ont pas jugé nécessaire d’y répondre – d’autant plus que mi-2013, la Capitale était unanimement considérée comme un succès : pourquoi apporter une ombre au tableau ?

Quatrième question, celle de l’horizon de jugement. Les méga-événements produisent des effets immédiats lors de leur préparation – les travaux, par exemple – et lors de leur tenue : la fréquentation, les retombées économiques, dans la presse, etc. Généralement, c’est le bilan de ces différentes conséquences qui fait l’objet d’une évaluation, qui est attendue très peu de temps après l’évènement lui-même. Trop tard, et la question n’intéressera plus personne. Or, une grande partie de l’argumentaire en faveur des méga-événements porte sur des effets durables, à travers de nouvelles infrastructures, ou l’attraction de populations nouvelles, ou d’autres chemins causaux encore. De fait, il y a un enjeu à pouvoir évaluer à horizon plus éloigné. 10 ans après, que reste-t-il ? À Marseille, malheureusement, cette évaluation n’a pas été engagée. Mais elle aurait peut-être mis en valeur que si certains projets culturels sont des succès pérennes – on pense au MuCEM – d’autres ont bien vite fermé ou se sont longtemps cherché. De même, l’investissement culturel des collectivités du territoire s’est parfois vite tari, mettant en danger certaines associations qui avaient pris leur essor pendant la capitale européenne. Que le tourisme et l’attractivité en général sont restés à des niveaux élevés, mais que les problèmes sociaux sous-jacents, eux, sont restés les mêmes. De quoi nuancer peut-être les communiqués de lendemain d’évènements.

Enfin, cinquième et dernier point, celui des données. Essentiel, bien sûr, mais dépendant largement à la fois du périmètre de l’évaluation, des critères fixés pour juger l’évènement, et de l’horizon de jugement… ainsi que de la capacité à collecter de l’information de façon structurée en amont de l’évènement lui-même. La mise en place de systèmes de suivi et d’évaluation, comme à Paris, permet de collecter une information essentiellement relative aux effets voulus et attendus – qui dépassent d’ailleurs les préconisations du CIO pour intégrer des préoccupations propres aux organisateurs locaux. Mais cette organisation, quoique louable, présente là aussi ses angles morts : comment prendre sérieusement en compte la contestation locale et nationale des JOP ? et comment s’assurer que des données sont également collectées à moyen ou long terme pour repérer des effets désirables ou indésirables ? Le point commun à ces deux questions, c’est qu’elle renvoie à des impacts – et des approches et données nécessaires pour les mettre en valeur– qui ne sont pas nécessairement dans le périmètre intéressant les organisateurs des JOP de Paris – sans parler de l’après, lorsque les cadres institutionnels assurant la collecte n’existent plus. Il serait alors nécessaire que s’organise un passage de relais, vers les collectivités, les collectifs associatifs ou citoyens, ou la recherche. Ce n’est pas le moindre des défis de l’évaluation des méga-évènements…