Hoja de repaso: Introduction à l'Évaluation des Politiques Publiques

📋 Plan du Cours

1. Qu'est-ce qu'une politique publique
2. Pourquoi évaluer une politique publique
3. Cycle de la politique publique
4. MAEC : objectifs et questions d'évaluation
5. Méthodes d'évaluation
6. Indicateurs et effets propres
7. Résultats et limites des MAEC
8. Acteurs et finalités de l'évaluation
9. Exemples et bilan des évaluations

📖 1. Qu'est-ce qu'une politique publique

🔑 Notions clés & Définitions

• Politique publique : Une politique publique est un programme d’action des pouvoirs publics visant un secteur de la société ou un espace géographique.
• Pouvoirs publics : Les pouvoirs publics regroupent notamment l’État et les collectivités locales qui conçoivent et mettent en œuvre des programmes d’action.
• Contours d’une politique publique : Les contours d’une politique publique sont difficiles à délimiter, car plusieurs actions et dispositifs peuvent se recouvrir sur un même problème.

📝 Points essentiels

• Une politique publique vise un secteur ou un territoire, avec des actions portées par l’État et/ou les collectivités locales.
• Il est souvent difficile de tracer les frontières exactes d’une politique publique quand les dispositifs se combinent entre eux.

📖 2. Pourquoi évaluer une politique publique

🔑 Notions clés & Définitions

• Changement visé : Une politique publique vise un changement de pratiques, de comportements, de résultats ou d’impacts.
• Efficacité : L’efficacité correspond au fait que les résultats observés correspondent aux objectifs fixés par la politique publique.
• Équité : L’évaluation est mobilisée dans un souci d’équité, pour mieux juger qui bénéficie et comment les effets se répartissent.

📝 Points essentiels

• L’évaluation sert à vérifier si le changement visé s’est réellement produit dans la réalité.
• Dans les politiques agricoles, les effets sont souvent territorialisés et différés dans le temps.

📖 3. Cycle de la politique publique

🔑 Notions clés & Définitions

• Évaluation ex-ante : L’évaluation ex-ante intervient avant la mise en œuvre pour analyser le problème, les objectifs et les moyens d’action.
• Évaluation à mi-parcours : L’évaluation à mi-parcours a lieu en cours de programme pour apprécier certains aspects de la mise en œuvre et de ses résultats.
• Évaluation ex-post : L’évaluation ex-post se fait après la mise en œuvre pour juger les résultats et les impacts.
• Pertinence : La pertinence renvoie à l’adéquation entre le problème traité et les choix retenus en objectifs et moyens.

📝 Points essentiels

• Le cycle relie problème, objectifs, actions, mise en œuvre, puis évaluation et correction éventuelle.
• À différents temps (ex-ante, mi-parcours, ex-post), on apprécie notamment pertinence, efficacité, efficience, cohérence, utilité et impacts.
• Le schéma prévoit un moment de correction pour améliorer l’action sur la base des constats de l’évaluation.

📖 4. MAEC : objectifs et questions d'évaluation

🔑 Notions clés & Définitions

• MAEC : Les MAEC sont des aides conditionnées à des engagements environnementaux pris par les exploitations.
• Engagements environnementaux : Les engagements environnementaux décrivent les pratiques que les exploitations doivent respecter pour recevoir les MAEC.
• Ciblage territorial : Le ciblage territorial correspond au choix des zones visées par les MAEC en fonction des enjeux locaux.
• Cahier des charges : Le cahier des charges fixe des exigences précises associées aux engagements environnementaux des contrats.

📝 Points essentiels

• Les MAEC sont orientées vers l’eau, la biodiversité, les sols, le climat et les ressources génétiques.
• Les questions d’évaluation portent notamment sur le ciblage, l’adhésion, la mise en œuvre correcte, les changements de pratiques et le coût au regard des effets.

📖 5. Méthodes d'évaluation

🔑 Notions clés & Définitions

• Méthodes qualitatives : Les méthodes qualitatives cherchent à comprendre des mécanismes, des blocages et des effets de contexte via des données non chiffrées.
• Méthodes quantitatives descriptives : Les méthodes quantitatives descriptives documentent des évolutions et des profils à l’aide d’indicateurs statistiques sans chercher directement le contrefactuel.
• Méthodes contrefactuelles : Les méthodes contrefactuelles estiment ce qui se serait passé sans la politique pour isoler l’effet propre du dispositif.
• Appariement : L’appariement est une méthode contrefactuelle qui construit un groupe de comparaison comparable pour estimer l’effet de la politique.

📝 Points essentiels

• Les méthodes qualitatives mobilisent entretiens semi-directifs, analyse documentaire, cartographie des acteurs et observation des pratiques.
• Les méthodes quantitatives descriptives utilisent statistiques descriptives, comparaisons avant/après, comparaisons entre territoires et suivi d’indicateurs.
• Les méthodes contrefactuelles exigent des données solides et une stratégie crédible d’identification pour mesurer un effet causal.
• Le choix peut conduire à combiner plusieurs approches, souvent pour traiter la complexité d’un dispositif.

📖 6. Indicateurs et effets propres

🔑 Notions clés & Définitions

• Indicateurs : Les indicateurs sont des mesures servant à suivre l’état et l’évolution d’éléments liés à la politique publique.
• Effets propres : Les effets propres correspondent à l’impact attribuable au dispositif, une fois isolé ce qui se serait produit autrement.
• État initial des indicateurs : L’état initial désigne la situation de départ des indicateurs, nécessaire pour interpréter les changements induits par la politique.
• Données contrefactuelles : Les données contrefactuelles sont nécessaires pour comparer la situation observée à ce qui aurait existé sans la politique.

📝 Points essentiels

• Les indicateurs doivent être pertinents, disponibles et objectifs, et éviter d’être trop nombreux pour ne pas surcharger le système de suivi.
• Pour mesurer des effets propres, il faut connaître l’état initial et recourir à une approche visant à isoler l’effet du dispositif.

💡 Astuce mémo

Idée clé : pertinents + disponibles + objectifs, puis assez peu d’indicateurs pour voir clair.

📖 7. Résultats et limites des MAEC

🔑 Notions clés & Définitions

• Contractualisation : La contractualisation désigne l’entrée d’exploitations dans le dispositif via l’adhésion et la signature de contrats MAEC.
• Sélection : L’effet de sélection décrit le fait que les exploitations engagées peuvent différer des autres, ce qui complique l’attribution de l’effet.
• Effet d’aubaine : L’effet d’aubaine correspond au cas où certaines pratiques auraient été réalisées même sans l’aide.
• Effets différés : Les effets différés sont des effets environnementaux qui apparaissent avec du retard car l’environnement réagit lentement.

📝 Points essentiels

• Les évaluations montrent une dynamique d’augmentation des cultures intermédiaires et un maintien des prairies, avec des effets biodiversité et stockage carbone rapportés.
• Des réductions de nitrates et pesticides sont observées mais avec des résultats hétérogènes selon les zones.
• Parmi les limites majeures : ciblage insuffisant dans les zones écologiques les plus sensibles et suivi centré sur les hectares plutôt que sur l’état écologique.
• Les évaluations pointent aussi complexité administrative et manque d’accompagnement comme facteurs d’adoption limitée.

📖 8. Acteurs et finalités de l'évaluation

🔑 Notions clés & Définitions

• Évaluation externe : Une évaluation externe est conduite par un acteur extérieur au programme, visant notamment une approche plus indépendante.
• Évaluation interne : Une évaluation interne est réalisée par des acteurs proches du programme, ce qui facilite l’accès à l’information et la mobilisation.
• Finalité cognitive : La finalité cognitive vise à comprendre ce qui s’est passé et les raisons des constats observés sur les indicateurs.
• Finalité normative : La finalité normative consiste à juger si le programme est satisfaisant ou insatisfaisant.
• Finalité instrumentale : La finalité instrumentale cherche à améliorer l’action à partir des résultats de l’évaluation.

📝 Points essentiels

• Des institutions publiques réalisent des évaluations, notamment la Cour des comptes, l’Insee, France Stratégie, le Hcéres et des ministères.
• Une évaluation externe est associée à plus d’objectivité mais peut rencontrer des difficultés d’accès à l’information.
• Une évaluation interne est associée à une meilleure connaissance de l’objet et à une meilleure mobilisation, mais peut accroître le risque de justification interne.
• On distingue finalités cognitive, normative et instrumentale, orientant la façon d’exploiter les résultats.

📖 9. Exemples et bilan des évaluations

🔑 Notions clés & Définitions

• Programmation 2020 : La programmation 2020 est la période de référence citée pour juger la conception des MAEC et ses limites malgré des améliorations.
• LEADER : LEADER est un programme européen évalué dans des mémoires et mobilisé comme cas d’élaboration ou d’évaluation d’outils et de dispositifs.
• 2nd pilier de la PAC : Le deuxième pilier de la Politique agricole commune est mentionné comme domaine où des évaluations sont réalisées.
• Feader : Le Feader est le fonds européen cité pour financer la programmation 2014-2020 du développement rural.

📝 Points essentiels

• Exemples MAEC : de meilleures MAEC sont rapportées sur la programmation 2020, mais elles n’enrayent pas le déclin de la biodiversité selon les bilans présentés.
• Dans les évaluations du 2nd pilier PAC 2014-2020, l’enveloppe Feader française est de 11,4 Md€ et les financements nationaux ajoutés portent le total à 16,3 Md€.
• Les évaluations PAC rapportent notamment peu ou pas d’effet des aides à l’installation sur le renouvellement des générations et des résultats environnementaux parfois positifs mais mal quantifiés.
• Les évaluations soulignent que l’évaluation n’est pas seulement budgétaire : elle relie problème, instrument, pratiques et effets pour éclairer le débat.

📅 Repères chronologiques

⚠️ Pièges & confusions fréquents

1. Confondre l’évaluation avec un simple contrôle budgétaire : l’évaluation relie problème, instrument, pratiques et effets.
2. Croire que l’on peut mesurer un effet propre sans stratégie contrefactuelle ou sans données solides pour construire le contre-fait.
3. Interpréter des indicateurs sans état initial : sans situation de départ, les changements sont difficilement attribuables à la politique.
4. Surdimensionner le système d’indicateurs : trop nombreux indicateurs risquent de rendre l’évaluation illisible.
5. Tirer des conclusions générales sans tenir compte des effets différés et de l’hétérogénéité territoriale observée dans les MAEC.
6. Ignorer l’effet de sélection et comparer directement des exploitations engagées et non engagées comme si elles étaient comparables.

✅ Checklist Examen

1. Définir ce qu’est une politique publique et expliquer pourquoi ses contours peuvent être difficiles à délimiter.
2. Expliquer pourquoi on évalue une politique publique et quel type de changement on cherche à vérifier.
3. Relier chaque moment du cycle (ex-ante, mi-parcours, ex-post) aux dimensions évaluées (pertinence, efficacité, efficience, utilité, cohérence, impacts).
4. Définir les MAEC comme aides conditionnées, préciser leurs enjeux et l’existence de contrats pluriannuels avec cahier des charges.
5. Lister au moins 4 questions d’évaluation spécifiques aux MAEC (ciblage, adhésion, mise en œuvre, changements et effets, coût).
6. Distinguer qualitatives, quantitatives descriptives et contrefactuelles, en donnant pour chacune 1 à 2 exemples de procédures mentionnées.
7. Expliquer les critères de qualité des indicateurs (pertinents, disponibles, objectifs) et la contrainte de non surdimensionnement.
8. Expliquer pourquoi l’état initial des indicateurs est nécessaire avant d’évaluer des évolutions.
9. Décrire l’objectif des méthodes contrefactuelles (estimer ce qui se serait passé sans la politique) et leur exigence en identification crédible.
10. Citer 3 limites/biais attendus dans l’évaluation des MAEC (sélection, aubaine, effets différés, données hétérogènes, attribution).
11. Présenter les acteurs listés comme réalisant des évaluations et l’idée de chargé.e.s d’évaluation.
12. Comparer évaluation externe et interne avec au moins 1 avantage et 1 inconvénient de chaque.
13. Rappeler les 3 finalités de l’évaluation (cognitive, normative, instrumentale) et ce qu’elles cherchent à produire.
14. Résumer les résultats MAEC cités (cultures intermédiaires, prairies, qualité de l’eau, adoption, recommandations).