Humans after all?
lundi 03 juillet 2023
The challenges of external validity, towards an interdisciplinary discussion?
Des évaluations d'impact : pour quoi faire ? Retrouvez ici la cartographie des usages de l'évaluation d'impact - sous licence libre.
Cette carte est le fruit dâune collaboration de recherche menĂ©e en 2021-2022 entre lâAgence Française de DĂ©veloppement, Quadrant Conseil et Strategic Design Scenarios. Elle part de la question suivante : Comment se redonner du choix dans les approches dâĂ©valuation dâimpact, au-delĂ des seules approches contrefactuelles et alors quâune diversitĂ© de mĂ©thodes existe aujourd'hui ?
Lâapproche engagĂ©e ici, incluant dĂ©marche Ă©valuative et dĂ©marche de design des politiques publiques, visait Ă travailler sur un moment clĂ© de la commande dâĂ©valuation dâimpact, celui lors duquel sâĂ©tablit un « champ des possibles » en matiĂšre dâapproches dâĂ©valuation dans lâinteraction entre chargé·e dâĂ©valuation et commanditaire potentiel·le.
Il sâagit dâun moment lors duquel le projet dâĂ©valuation est encore trĂšs incertain. Les commanditaires ont une vue encore limitĂ©e de ce quâils ou elles veulent, de leurs besoins, des approches qui pourraient y rĂ©pondre. Les chargé·es dâĂ©valuation doivent alors tĂątonner pour identifier une approche qui peut convenir, Ă partir dâun rĂ©pertoire dâapproches souvent limitĂ© (en raison de leur connaissance des dites approches, de lâexpĂ©rience quâils et elles en ont, de ce qui se fait ou non Ă lâAFD, etc.).
Une façon de dĂ©passer cette situation consistait Ă ne pas entrer dans ce dialogue par le prisme des approches, mais dâabord par les usages concrets que les agents de lâAFD et les autres parties prenantes font des Ă©valuations. Câest ce Ă quoi sâest attachĂ© cette recherche-action, qui a permis dâexplorer, Ă travers des cold cases et une cartographie conceptuelle ces usages concrets.
La cartographie conceptuelle est un outil permettant de grouper et de hiĂ©rarchiser collectivement des Ă©noncĂ©s au moyen de mĂ©thodes statistiques. De cette façon, nous avons recueilli une liste d'une cinquantaine d'usages concrets, rĂ©duits Ă une trentaine collectivement ; deux groupes, l'un composĂ© des Ă©valuateurs/rices du dĂ©partement Ăvaluation, et l'autre des diffĂ©rents services de l'AFD (potentiellement commanditaires), ont regroupĂ© librement ces usages dans des groupes qu'ils ont nommĂ©s. Ces regroupements ont ensuite Ă©tĂ© traitĂ©s statistiquement pour faire apparaĂźtre des grappes d'usage, discutĂ©es ensuite pour faire apparaĂźtre des groupes d'usages cohĂ©rents. Cette approche, inductive, permet d'Ă©viter d'imposer des catĂ©gories d'usage d'ordre administratif ou bien issu du champ disciplinaire de l'Ă©valuation pour faire ressortir des catĂ©gories "indigĂšnes" au groupe impliquĂ©.
Loin des mots dâordre de « redevabilitĂ© » et dâ« apprentissage », les usages qui se dessinent pour lâAFD relĂšvent ainsi du stratĂ©gique, du pilotage, de lâamĂ©lioration continue et du dialogue. Les approches dâĂ©valuation dâimpact ont ensuite Ă©tĂ© raccrochĂ©es Ă ces usages potentiels, pour offrir un « champ des possibles » pertinent en matiĂšre dâĂ©valuation dâimpact. Au final, la carte est conçue comme un outil pĂ©dagogique : elle permet, au sein des dĂ©partements dâĂ©valuation, de rĂ©flĂ©chir aux usages effectifs que les services font des Ă©valuations, et notamment dâimpact, et de monter collectivement en capacitĂ© Ă proposer des rĂ©ponses pertinentes Ă ces besoins.
L'approche est reproductible, avec l'idée que les types d'usage apparus à l'AFD renvoient à des catégories propres à cette agence : quelle typologie apparaßtrait dans d'autres agences ?
lundi 03 juillet 2023
The challenges of external validity, towards an interdisciplinary discussion?
mardi 27 juin 2023
Les défis de la validité externe, un sujet d'échange interdisciplinaire ?
vendredi 16 juin 2023
Le name and shame est-il une politique publique efficace?
jeudi 19 janvier 2023
Quelles distinctions entre l'évaluation et les pratiques voisines ?
mardi 01 novembre 2022
Quelle démarche pour une cartographie des usages de l'évaluation d'impact ?
samedi 15 octobre 2022
Un numĂ©ro trĂšs trĂšs lutte â pour l'Ă©quitĂ© raciale, entre objectivistes et subjectivistes, et oldies but goodies pour faire entendre l'Ă©valuation dans un contexte politisĂ©.
dimanche 17 juillet 2022
Feedback on the European Evaluation Society Conference in Copenhagen
mardi 12 juillet 2022
Retour sur la conférence de la société européenne d'évaluation à Copenhague
mercredi 15 juin 2022
Dans ce numéro, cinéma à tous les étages : La Revanche des Sith, Octobre rouge et 120 battements par minute... ou presque
vendredi 25 mars 2022
Publication
mardi 15 mars 2022
Dans ce numéro, la cartographie des controverses rencontre la science comportementale, et la recherche l'action publique.
mercredi 15 décembre 2021
Numéro spécial Anthologie
lundi 20 septembre 2021
Des citations inspirantes pour qui évalue.
mercredi 15 septembre 2021
Dans ce numĂ©ro, Ă©valuation et bureaucratie, l'ultime combat, enquĂȘter avec d'autres ĂȘtres, et oldiesbutgoodies, on sauve le monde avec Bob Stake !
vendredi 09 juillet 2021
Oldies but goodies (Karine Sage)
samedi 15 mai 2021
Dans ce numéro, des échecs, des échecs, des échecs, l'évaluation pleinement décrite et pleinement jugée et la réception des politiques du handicap. Pas de oldiesbutgoodies, mais ça reviendra pour le numéro 4 !
jeudi 29 avril 2021
Nouvel article publié (Thomas Delahais)
mardi 27 avril 2021
à l'occasion de la sortie de Strateval, nous revenons sur 3 autres jeux de cartes autour de l'évaluation
jeudi 08 avril 2021
Nouvel article publié (Marc Tevini)
lundi 15 février 2021
Dans ce numĂ©ro, Ă©valuation fĂ©ministe quĂ©saco, apprentissage et redevabilitĂ© mĂȘme combat ? et oldiesbutgoodies, des Ă©lĂ©ments pour une sociologie de l'Ă©valuation... C'est le sommaire de ce numĂ©ro 2.
vendredi 15 janvier 2021
Introduction au séminaire de l'IRTS HDF du 26/01.
mardi 15 décembre 2020
Introduction Ă la formation Ă l'analyse de contribution
dimanche 15 novembre 2020
Dans ce numéro, plongée en pleine guerre froide avec la Realpolitik de l'évaluation, des idées pour professionnaliser l'évaluation, et oldiesbutgoodies, de quoi se demander ce que les évaluateurs et les évaluatrices défendent dans leur métier... C'est le sommaire de ce numéro 1.
lundi 09 novembre 2020
Intervention de T Delahais au CongrÚs de la SEVAL organisé par le GREVAL à Fribourg, le 4 septembre 2020.
jeudi 29 octobre 2020
Contribution de T Delahais et M Tevini en réponse à l'appel de la SFE, "Ce que la crise sanitaire nous apprend sur l'utilité et les pratiques d'évaluation".
vendredi 23 octobre 2020
Nouvel article publié (Thomas Delahais, Karine Sage, Vincent Honoré)
mardi 06 octobre 2020
Nouvel article publié (Agathe Devaux-Spatarakis)
jeudi 30 juillet 2020
à l'honneur pour cette édition, la sagesse pratique des évaluateurs et des évaluatrices, soit « la capacité de faire les bons choix, au bon moment, pour les bonnes raisons » ; ce que les mots et concepts de l'évaluation perdent et gagnent à leur traduction d'une langue à l'autre et oldies but goodies, une piqûre de rappel quant à la vocation démocratique de l'évaluation en France... C'est le sommaire de ce numéro 0.