Revision sheet: Gestion de la performance publique

📋 Plan du Cours

1. Politiques publiques et performance
2. Principes de l’évaluation
3. Finalités de l’évaluation
4. Étapes du processus décisionnel
5. Performance publique et management
6. Approches internationales de la performance
7. Institutionnalisation de l’évaluation en France
8. Méthodes d’évaluation des politiques
9. Évaluation d’impact et économétrie
10. Analyses économiques des politiques

📖 1. Politiques publiques et performance

🔑 Notions clés & Définitions

• Culture de moyens : La culture de moyens désigne un pilotage qui se focalise sur l’utilisation des ressources plutôt que sur ce que produit réellement l’action publique.
• Culture de résultats : La culture de résultats repose sur l’évaluation de ce que l’action publique atteint, en jugeant la performance au regard des objectifs.
• Outputs publics : Les outputs sont les réalisations d’une politique, c’est-à-dire les prestations ou produits fournis, appréciés notamment pour leur efficience et leur qualité.
• Outcomes publics : Les outcomes, ou résultats/impacts, correspondent aux effets sociaux des politiques publiques, plus difficiles à mesurer car ils se manifestent souvent dans le temps et se combinent à d’autres facteurs.

📝 Points essentiels

• La gestion de la performance dans le secteur public correspond au passage d’une logique de moyens à une logique de résultats.
• Plus des deux tiers des pays membres de l’OCDE ont adopté des systèmes d’évaluation de l’action publique et des programmes annuels de performance.
• En France, la LOLF consacre en 2001 la démarche de performance, portée par le New Public Management axé sur l’efficience, l’efficacité et l’accountability.
• Les indicateurs liés à la LOLF mesurent la qualité des services publics et permettent des comparaisons dans l’espace et dans le temps.
• La performance des politiques publiques combine deux registres : outputs (réalisations) et outcomes/impacts (effets), ces derniers étant plus difficiles à évaluer car ils sont à long terme et aux effets croisés.

💡 Astuce mémo

MOINS de “moyens” → plus de “résultats” : outputs = ce qui est produit, outcomes = ce qui change réellement.

📖 2. Principes de l’évaluation

🔑 Notions clés & Définitions

• Évaluation : L’évaluation est une démarche qui mesure et met en perspective les effets d’une action publique avec un jugement sur sa valeur et sa performance.
• Outputs et outcomes : Les outputs sont les réalisations produites par la politique, tandis que les outcomes correspondent à ses effets et impacts observables dans le temps.
• Valeur ajoutée sociétale : La valeur ajoutée sociétale correspond aux services nets réellement créés par la politique grâce aux moyens engagés, en tenant compte de leurs effets au-delà du coût.
• Utilisation symbolique : L’utilisation symbolique consiste à mobiliser les résultats d’une évaluation pour justifier une position déjà établie sans modifier la décision.

📝 Points essentiels

• L’évaluation produit à la fois de l’information et un jugement, pour apprécier l’efficacité, l’efficience et l’impact d’une politique au regard des objectifs et des moyens mobilisés.
• L’évaluation ne se réduit pas au suivi d’indicateurs : elle se distingue du contrôle, du pilotage par performance et de l’audit.
• L’évaluation examine outputs et outcomes en intégrant le contexte et le rôle des acteurs pour mieux comprendre les liens de causalité entre action publique et résultats.
• Les catégories d’utilisation incluent l’usage symbolique, conceptuel et instrumental, ce dernier menant à une modification effective de la politique.
• Le jugement évaluatif s’appuie sur un système de valeurs explicité ou supposé, et les objectifs peuvent être flous tandis que les effets sont complexes, multiples et décalés.

💡 Astuce mémo

Mesure + jugement : Mieux comprendre (effets, causalité) avant de décider (usage instrumental).

📖 3. Finalités de l’évaluation

🔑 Notions clés & Définitions

• Utilisation conceptuelle : L’utilisation conceptuelle renvoie au fait que l’évaluation change ou affine la manière de comprendre le problème, par exemple via l’identification d’effets collatéraux ou d’une causalité inverse.
• Utilisation instrumentale : L’utilisation instrumentale correspond au moment où les recommandations de l’évaluation conduisent à des ajustements réels de la politique, comme une réaffectation de fonds après une mauvaise performance.
• Accountability : L’accountability est la logique de rendre des comptes pour la mise en œuvre des politiques publiques, appuyée par l’examen des résultats et de leurs effets.

📝 Points essentiels

• Dans les démocraties, l’évaluation sert à demander des comptes à l’administration et à accroître la transparence de l’action publique envers les citoyens.
• L’évaluation peut être mobilisée pour légitimer une décision (usage symbolique), pour améliorer la compréhension du problème (usage conceptuel) ou pour modifier la politique (usage instrumental).
• Sans évaluation, des programmes coûteux peuvent se maintenir malgré l’absence d’effets attendus et l’action perd sa rationalité fondée sur des preuves.
• Évaluer ne se limite pas à comparer des résultats à des objectifs supposés connus : il faut aussi expliciter les valeurs et juger des effets complexes et parfois éloignés dans le temps.
• Les finalités de l’évaluation se situent à l’intersection de plusieurs rationalités (économique, sociale et démocratique) qui s’influencent mutuellement.

💡 Astuce mémo

S-C-I : Symbolique pour légitimer, Conceptuel pour comprendre, Instrumental pour agir.

📖 4. Étapes du processus décisionnel

🔑 Notions clés & Définitions

• Évaluation ex ante : Une évaluation ex ante vise à juger à l’avance les effets et la valeur d’une politique avant son lancement pour guider la décision.
• Évaluation in itinere : Une évaluation in itinere accompagne une politique pendant sa mise en œuvre afin d’ajuster la trajectoire en temps réel.
• Évaluation ex post : Une évaluation ex post analyse après coup les résultats pour vérifier l’atteinte des objectifs et tirer des enseignements.
• Cycle de vie des politiques publiques : Le cycle de vie désigne l’enchaînement des phases d’une politique, dans lequel l’évaluation devient une étape mobilisée pour décider et piloter.

📝 Points essentiels

• Dans les évaluations expérimentales, les bénéficiaires sont suivis sur le long terme, ce qui conduit à des conclusions seulement après plusieurs mois ou années, en décalage avec le calendrier politique.
• À partir des années 1970-1980, l’évaluation sort du cadre strictement scientifique pour devenir un outil d’aide à la décision des gouvernements et s’insérer dans le cycle de vie des politiques publiques.
• Dans la démarche MAP, une évaluation part des diagnostics pour proposer des scénarios de réforme destinés à améliorer l’action publique.
• Dans la MAP, la maîtrise d’ouvrage (ministères) encadre la commande et préside le comité d’évaluation, tandis que la maîtrise d’œuvre réalise les travaux et rédige les rapports d’évaluation.
• Dans la MAP, le SGMAP coordonne et anime les évaluations, fournit un appui méthodologique et peut soutenir la consultation des parties prenantes et la mise en œuvre des scénarios.
• Le processus de jugement sur la valeur d’une politique peut être prospectif, concomitant ou rétrospectif, selon qu’il s’exerce respectivement ex ante, in itinere ou ex post.

💡 Astuce mémo

Ex ante = avant (prévoir), In itinere = pendant (ajuster), Ex post = après (vérifier).

📖 5. Performance publique et management

🔑 Notions clés & Définitions

• Loi organique relative aux lois de finances LOLF : La LOLF est le cadre budgétaire français qui organise la gestion de l’État autour de la performance avec des objectifs et des indicateurs, plutôt que seulement des moyens.
• Révision générale des politiques publiques RGPP : La RGPP est une démarche lancée en 2007 qui remet à plat les politiques publiques pour améliorer l’efficacité des services et la maîtrise des dépenses, avec une logique managériale inspirée du privé.
• Modernisation de l’action publique MAP : La MAP est le dispositif lancé en 2012 qui modernise l’action de l’État en s’appuyant sur des évaluations orientées décision, avec participation, transparence et analyse multicritère.
• Conseil national de l’évaluation CNE : Le CNE est une instance créée en 1998 pour programmer des évaluations et émettre des avis sur la qualité des travaux, avec une composition intégrant plusieurs catégories d’acteurs.

📝 Points essentiels

• Le décret du 22 janvier 1990 définit l’évaluation par la mesure des effets et instaure trois instances CIME, CSE et FNDE, en remplaçant l’idée du CNE portée par le Rapport Viveret.
• La LOLF (mise en place à partir de 2006) structure le budget en missions, programmes et actions, et associe à chaque programme des objectifs mesurés par des indicateurs via le PAP puis le RAP.
• Dans la LOLF, l’article 51-5 impose d’ajouter au projet de loi de finances un projet annuel de performance, et le RAP permet au Parlement d’apprécier écarts, résultats et indicateurs par programme.
• La RGPP lancée en 2007 comporte 336 mesures et vise notamment à responsabiliser par la culture du résultat, avec une méthode rapide pilotée centralement et fondée sur des audits mixtes.
• Le CNE (14 membres nommés pour 3 ans) établit chaque année un programme d’évaluations soumis au Premier ministre et rend des avis sur la qualité des travaux des différentes instances d’évaluation.

💡 Astuce mémo

LOLF = PAP puis RAP : d’abord les objectifs mesurés, ensuite le compte rendu des résultats par programme.

📖 6. Approches internationales de la performance

🔑 Notions clés & Définitions

• New Public Management : approche de modernisation inspirée du secteur privé, qui cherche à améliorer l’action publique via des pratiques comme le benchmarking et une logique de résultats.
• LOLF : loi organique qui restructure la gestion budgétaire et renforce une logique de pilotage par les objectifs et la performance des programmes.
• RGPP : révision générale des politiques publiques lancée en 2007, fondée sur une remise à plat des politiques et des dispositifs visant des gains rapides.
• Modernisation de l’action publique : démarche lancée en 2012 pour évaluer et transformer les politiques publiques avec une méthode structurée et une gouvernance interministérielle.
• Action publique 2022 : programme lancé en 2017 visant à repenser l’action publique au regard de la transformation numérique, avec un cadrage interministériel et des chantiers de réforme.

📝 Points essentiels

• La LOLF (bilan 2011) s’accompagne de 894 indicateurs de performance, dont seulement 18% mesurent la qualité de service, ce qui limite l’usage pour juger l’efficacité.
• La LOLF a connu en longue période un manque de quatre éléments de réussite (stratégie affichée, plan d’action, pilote identifié, conduite du changement adapté).
• La RGPP (2007) propose 336 mesures et poursuit notamment la responsabilisation par la culture du résultat, avec un pilotage rapide autour d’instances centrales.
• En MAP (démarrage 2012-2013), l’évaluation repose sur 4 principes directeurs : aide à la décision, participation et transparence, analyse multicritère, méthode structurée avec gouvernance et protocole précis.
• Le CIMAP est créé par le décret n° 2012-1199 du 30 octobre 2012 et décide/arbitre les programmes de réformes en vérifiant l’efficience et le respect des engagements budgétaires.
• Action publique 2022 (2017) mobilise un fonds dédié de 700 M€ sur 5 ans (200 M€ dès 2018) et vise notamment 100% de services publics dématérialisés d’ici 2022 et une baisse des dépenses publiques de –3 points de PIB d’ici 2022.

💡 Astuce mémo

LOLF = 894 indicateurs mais seulement 18% sur la qualité (pensée “chiffres” plutôt que “qualité”).

📖 7. Institutionnalisation de l’évaluation en France

🔑 Notions clés & Définitions

• Observatoire des finances locales : L’observatoire est une structure d’expertise instituée pour mieux connaître les politiques menées par les collectivités et produire des analyses et évaluations à partir de données consolidées.
• Observatoire des finances et de la gestion publique locales : L’observatoire est la version réformée issue de la loi NOTRe, dotée d’une gouvernance élargie et chargée de collecte de données, d’études pluriannuelles et d’évaluations de politiques locales.
• Direction interministérielle de la transformation publique : La DITP est une direction créée pour piloter la transformation publique au niveau interministériel sous l’autorité du ministre de la réforme de l’État.
• Chambres régionales des comptes (CRC) : Les CRC sont des juridictions financières qui se voient confier l’évaluation de politiques publiques territoriales à la suite de la loi 3DS et de ses décrets d’application.

📝 Points essentiels

• La loi du 7 août 2015 (loi NOTRe) a créé l’Observatoire des finances et de la gestion publique locales, installé le 18 octobre 2016 pour renforcer le dialogue État-collectivités via des données et évaluations.
• Action Publique 2022 a été lancé le 13 octobre 2017 pour 21 politiques publiques, avec un objectif de baisse des dépenses publiques de –3 points de PIB d’ici 2022 et un fonds de 700 M€ sur 5 ans dont 200 M€ dès 2018.
• Les décrets du 20 novembre 2017 ont transformé l’architecture de pilotage de la modernisation en créant notamment la DITP et la DINSIC et en instituant un comité interministériel de la transformation publique.
• La loi n°2022-217 dite loi 3DS a confié aux chambres régionales des comptes l’évaluation des politiques publiques territoriales, précisée par le décret n°2022-1549 du 8 décembre 2022.
• Les CRC peuvent être saisies soit à l’initiative de la chambre, soit par le président du conseil régional, du conseil départemental ou du conseil métropolitain, avec des pièces jointes détaillant publics, effets attendus et données disponibles.
• En 2020, le Conseil d’État indiquait que l’institutionnalisation de l’évaluation a progressé mais reste incomplète dans ses pratiques et son appropriation par décideurs publics et citoyens.

💡 Astuce mémo

NOTRe → Observatoire (installation 18/10/2016) ; 2017 → Action Publique 2022 (lancement 13/10/2017, –3 pts PIB d’ici 2022).

📖 8. Méthodes d’évaluation des politiques

🔑 Notions clés & Définitions

• Évaluation externe : Une évaluation externe est menée par des experts extérieurs à l’organisme évalué, choisis pour leurs compétences et recrutés via des instances habilitées.
• Évaluation interne : Une évaluation interne est réalisée par les services de l’organisme, en assurant conduite ou suivi administratif et financier, avec transmission aux autorités compétentes.
• Autoévaluation : Une autoévaluation est une évaluation conduite par les responsables directement impliqués dans la conception et la mise en œuvre de l’action évaluée.
• Évaluation participative : Une évaluation participative est coproduite avec des parties prenantes, selon leur diversité et leur degré d’implication dans les phases du processus d’évaluation.
• Maître d’œuvre d’évaluation : Le maître d’œuvre est le chargé d’évaluation (opérateur) recruté par mandat, qui collecte et analyse les données puis présente les résultats au comité de pilotage.

📝 Points essentiels

• Une évaluation externe privilégie l’indépendance et un regard plus impartial, tandis qu’une évaluation interne facilite l’appropriation de la culture d’évaluation au sein des agents.
• Une évaluation participative peut être co-produite, pluraliste ou émancipatrice selon le nombre d’acteurs impliqués et le nombre d’étapes de l’évaluation auxquelles ils participent.
• Dans le processus, le commanditaire lance et organise l’évaluation, le comité de pilotage construit le référentiel, le maître d’œuvre réalise l’enquête puis présente un jugement et des recommandations au comité.
• Le mandat d’évaluation confie officiellement la responsabilité de l’évaluation à l’opérateur, le cahier des charges encadre les livrables et engagements, et le rapport formalise les conclusions de l’évaluation.
• Les méthodes quantitatives s’appuient surtout sur des indicateurs et des données chiffrées pour décrire, tester des relations et parfois estimer des causalités, tandis que les méthodes qualitatives reposent davantage sur des investigations de terrain (entretiens et analyse d’acteurs).
• Parmi les approches économiques et gestionnaires, le SIG sert à collecter et exploiter des données avec mise à jour, tandis que d’autres modèles (input-output, macroéconomiques) visent à analyser les impacts via des modélisations des relations économiques.

📖 9. Évaluation d’impact et économétrie

🔑 Notions clés & Définitions

• Contrefactuel : L’évaluation d’impact compare ce qui se passe avec la politique à ce qui se serait produit sans la politique pour identifier ses effets.
• Régression par discontinuité : La régression par discontinuité estime l’effet en comparant des individus proches d’un seuil de participation, supposés comparables hors traitement.
• Différences de différences : Les différences de différences mesurent l’effet causal en soustrayant l’évolution des non-traités à l’évolution des traités après la mise en place.
• Variables instrumentales : Les variables instrumentales corrigent les biais d’auto-sélection en utilisant une variable liée au traitement mais supposée non corrélée aux facteurs brouillant l’effet.
• Régression par quantiles : La régression par quantiles estime un impact pour différents morceaux de la distribution, afin d’éviter de ne conclure qu’à partir d’un effet moyen.

📝 Points essentiels

• En expérimentation aléatoire, des individus sont répartis au hasard entre groupe de traitement et groupe de contrôle, ce qui réduit les biais de sélection mais peut créer des effets Hawthorne et soulève des questions éthiques temporaires.
• La régression par discontinuité suppose que des individus juste au-dessus et juste au-dessous du seuil seraient comparables en l’absence du programme, et que l’évaluation ne modifie pas les comportements autour du seuil.
• Les différences de différences éliminent deux biais en calculant (évolution des traités après-après) moins (évolution des non-traités après-avant), car les groupes ne sont pas choisis aléatoirement.
• Les variables instrumentales cherchent un « instrument » mesurable, non corrélé aux facteurs de brouillage, pour identifier l’effet malgré l’auto-sélection des participants.
• La régression par quantiles permet d’estimer l’impact selon les catégories de la population (par exemple hauts vs bas revenus) plutôt que sur une seule moyenne.

💡 Astuce mémo

DD = (traités après − traités avant) − (contrôles après − contrôles avant).

📖 10. Analyses économiques des politiques

🔑 Notions clés & Définitions

• Chaîne inputs-outputs-résultats-impact : La chaîne relie les ressources mobilisées (inputs) aux productions (outputs), puis aux effets attendus (résultats) et enfin aux impacts globaux observables dans l’économie.
• Système d’information stratégique SIG : Le SIG désigne un système de collecte et de mise à jour de données utilisé pour analyser et présenter l’information pour guider l’action publique sur un espace ou un territoire.
• Shift-share : Le shift-share est une approche plutôt top-down qui estime ce qui se serait produit sans l’action publique à partir d’une comparaison territoriale.
• Analyse coût-bénéfice ACB : L’ACB est une méthode qui compare, sur plusieurs horizons, l’ensemble des coûts et des bénéfices d’une action en calculant un bénéfice net et parfois un TRI.

📝 Points essentiels

• La littérature converge vers une logique d’évaluation qui vise simultanément la pertinence, l’efficacité et l’efficience, et qui cherche aussi la cohérence d’ensemble quand plusieurs actions visent les mêmes impacts.
• Les deux premiers critères s’inscrivent plutôt dans une logique d’évaluation ex ante, tandis que les quatre suivants relèvent davantage d’une démarche ex post.
• Une analyse coût-bénéfice calcule un bénéfice net égal à la différence entre bénéfices et coûts, en tenant compte d’un scénario de référence et d’une actualisation lorsque la période est longue (5 ou 10 ans).
• Dans un ACB, les bénéfices couvrent des effets directs et indirects, y compris des externalités, et les coûts incluent l’investissement initial ainsi que les dépenses de fonctionnement et d’entretien.
• Le modèle input-output formalise les liaisons entre ressources et emplois dans une matrice pour estimer des impacts sectoriels des politiques publiques.
• Le caractère « toutes choses égales par ailleurs » renvoie à l’idée de mesurer des effets causaux en contrôlant autant que possible les autres facteurs influençant la variable d’intérêt.

💡 Astuce mémo

ACB : on compare $B$−$C$ (bénéfices/coûts), on actualise sur 5-10 ans, et le TRI est le taux qui rend $B=C$.

📅 Repères chronologiques

Date	Événement
1974	Après les crises pétrolières, nécessité de mieux gérer les finances publiques et de remettre en cause le modèle bureaucratique
1er aout 2001	Promulgation de la loi organique relative aux lois de finances (LOLF) consacrant une démarche de performance
18 octobre 2016	Installation de l’Observatoire des finances et de la gestion publique locales (loi NOTRe)
30 octobre 2012	Création du CIMAP par le décret n° 2012-1199 du 30 octobre 2012
13 octobre 2017	Lancement d’Action Publique 2022
8 décembre 2022	Précision par le décret n° 2022-1549 du 8 décembre 2022 du rôle des chambres régionales des comptes dans l’évaluation (loi 3DS)

📊 Tableaux de synthèse

Contrôle, audit et évaluation

Objet	Normes de référence	Conséquences
Contrôle	Vérifier la conformité à la réglementation	Sanctionner un écart (poursuites, sanctions)
Audit	Réduire les risques	Alerter (recommandations, rappels à l’ordre)
Évaluation	Optimiser les effets-besoins / expliquer les écarts entre effets attendus et atteints	Aider à la décision (stratégique ou opérationnelle)

Temporalité de l’évaluation

Moment	Caractérisation	Objectif
ex ante	Avant la mise en œuvre d’une intervention publique	Étude prospective de la faisabilité et de l’impact attendu
in itinere	Pendant la mise en œuvre (chemin faisant)	Vérifier que les objectifs restent atteints et recadrer si nécessaire
ex post	Après l’achèvement de l’action publique	Mesurer les résultats et apprécier les effets/impacts par rapport aux objectifs

⚠️ Pièges & confusions fréquents

1. Confondre outputs et outcomes : outputs = réalisations à évaluer surtout sur l’offre fournie, outcomes = effets/impacts plus longs et plus difficiles à isoler.
2. Croire que l’évaluation se réduit à “comparer des résultats à des objectifs” : le cours insiste sur la nécessité de juger la valeur, dans un cadre de valeurs et un contexte complexe.
3. Mélanger contrôle/audit/évaluation : le contrôle vérifie la conformité à une norme, l’audit vise la qualité des processus selon un référentiel, l’évaluation vise la valeur/effets et l’aide à la décision.
4. Assimiler ex ante à “juste des indicateurs” : l’ex ante est une étude prospective de faisabilité et d’impact attendu, pas un simple suivi quantitatif.
5. Déduire l’efficacité directement de la quantité d’indicateurs LOLF : le cours souligne “course aux chiffres” et un usage limité quand seuls une minorité mesure la qualité de service.
6. Inverser les usages de l’évaluation : une utilisation instrumentale modifie réellement la politique, l’utilisation symbolique sert à justifier une position préexistante sans changer la décision.
7. Croire que DD suffit à prouver une causalité sans hypothèses : les différences de différences cherchent à corriger des biais mais reposent sur l’idée de contrôle des évolutions contrefactuelles (traités vs contrôles non aléatoirement choisis).

✅ Checklist Examen

1. Définir une politique publique et distinguer “ce que le gouvernement choisit de faire ou de ne pas faire” des décisions d’autres acteurs.
2. Expliquer le passage de la culture de moyens à la culture de résultats et relier outputs (réalisations) et outcomes/impacts (effets).
3. Définir l’évaluation et distinguer l’évaluation du contrôle, du pilotage par indicateurs et de l’audit.
4. Citer et distinguer les finalités/usages de l’évaluation : symbolique, conceptuelle, instrumentale (avec exemples comme légitimer vs réaffecter après mauvaise performance).
5. Savoir présenter les évaluations ex ante, in itinere et ex post, et associer chaque temporalité à la logique de jugement correspondante.
6. Maîtriser l’articulation LOLF : PAP puis RAP, architecture missions/programmes/actions et logique d’objectifs mesurés par indicateurs.
7. Restituer les enchaînements institutionnels de la performance et de l’évaluation en France : LOLF (2001, déploiement), RGPP (2007), MAP (2012-2013) et Action publique 2022 (13 octobre 2017).
8. Expliquer l’institutionnalisation via les acteurs : CNE (14 membres, programme d’évaluations et avis), Observatoire NOTRe (installation 18 octobre 2016) et rôle des CRC (loi 3DS et décret 8 décembre 2022).
9. Distinguer évaluation externe, interne et autoévaluation, et décrire le rôle des instances (commanditaire, comité de pilotage, maître d’œuvre).
10. Exposer les logiques d’évaluation d’impact en économétrie : contrefactuel et différenciation au sein de méthodes (RDD, DD, variables instrumentales, quantiles).
11. Savoir décrire une analyse économique : ACB (bénéfice net, actualisation, TRI) et rappeler ce que comparent coûts/bénéfices (y compris externalités).