Évaluation d’Impact

Module 1 — Introduction et cadre conceptuel

Master GPE — FERDI IHEDD

2026-03-17

Plan du cours — 6 heures

Module Durée Contenu
1 1h Introduction à l’évaluation d’impact
2 1h DiD classique 2×2
3 1h30 DiD avec effets fixes (TWFE)
4 1h30 DiD échelonnée — Callaway & Sant’Anna
5 1h Hétérogénéité — de Chaisemartin

Note

Tous les exercices utilisent R et des données issues des manuels de Callaway & Sant’Anna (2021) et de Chaisemartin & D’Haultfoeuille (2020).

Pourquoi évaluer les politiques publiques ?

Le problème : Un gouvernement lance un programme de formation professionnelle. Deux ans plus tard, le taux d’emploi des bénéficiaires est de 65 %.

La question : Est-ce grâce au programme… ou aurait-il été de 65 % de toute façon ?

Définition L’évaluation d’impact mesure l’effet causal d’une intervention sur un indicateur de résultat, en isolant cet effet de toute autre cause.

Le problème fondamental de l’inférence causale

Cadre des résultats potentiels (Rubin, 1974 ; Holland, 1986)

Pour chaque individu \(i\), il existe deux résultats potentiels :

  • \(Y_i(1)\) : résultat si traité
  • \(Y_i(0)\) : résultat si non traité

L’effet du traitement pour \(i\) est : \(\tau_i = Y_i(1) - Y_i(0)\)

Le problème fondamental : On n’observe qu’un seul des deux états.

\[Y_i^{obs} = D_i \cdot Y_i(1) + (1 - D_i) \cdot Y_i(0)\]

Le résultat \(Y_i(1-D_i)\) est le contrefactuel — il n’est jamais observé.

Le contrefactuel — illustration

Le biais de sélection

Exemple : Comparer les revenus des diplômés universitaires vs non-diplômés.

\[\underbrace{E[Y_i^{obs}|D_i=1] - E[Y_i^{obs}|D_i=0]}_{\text{Différence observée}}\]

\[= \underbrace{E[Y_i(1)|D_i=1] - E[Y_i(0)|D_i=1]}_{\text{ATT : effet causal}}\] \[+ \underbrace{E[Y_i(0)|D_i=1] - E[Y_i(0)|D_i=0]}_{\text{Biais de sélection}}\]

Biais de sélection : Les individus qui choisissent de participer à un programme diffèrent systématiquement de ceux qui n’y participent pas.

→ La simple comparaison traité/non-traité mélange l’effet causal et les différences préexistantes.

Panorama des méthodes d’évaluation d’impact

Méthode Principe Hypothèse clé
Essai contrôlé randomisé (ECR) Assignation aléatoire Randomisation valide
Régression sur discontinuité (RDD) Seuil d’éligibilité Continuité autour du seuil
Variables instrumentales (IV) Variable exogène Pertinence + exclusion
Diff-en-Diff (DiD) Comparaison avant/après × traité/contrôle Tendances parallèles
Contrôle synthétique (SCM) Groupe de contrôle synthétique Bonnes pondérations

Astuce

Ce cours se concentre sur la DiD, méthode très utilisée en économie du développement et en administration publique.

Pourquoi la DiD est-elle particulièrement utile ?

Les ECR sont souvent impossibles :

  • Coût prohibitif pour les États
  • Raisons éthiques (refuser un traitement)
  • Contraintes politiques
  • Données historiques uniquement disponibles

La DiD exploite :

  • Des données observationnelles existantes
  • Des chocs de politique naturels
  • Des variations temporelles et spatiales

Exemples en pays en développement :

  • Impact de programmes de transferts conditionnels
  • Effet de réformes fiscales (TVA, impôt foncier)
  • Évaluation de politiques de santé (vaccination, cliniques mobiles)
  • Impact de décentralisation administrative
  • Effets de la déréglementation bancaire

La Différence-en-Différences — intuition

Idée centrale : Comparer l’évolution du résultat pour le groupe traité à l’évolution pour le groupe de contrôle.

\[\hat{\delta}_{DiD} = \underbrace{(\bar{Y}_{\text{traité,après}} - \bar{Y}_{\text{traité,avant}})}_{\text{Changement chez les traités}} - \underbrace{(\bar{Y}_{\text{contrôle,après}} - \bar{Y}_{\text{contrôle,avant}})}_{\text{Changement chez les contrôles}}\]

Ce qu’on élimine :

  • Les tendances temporelles communes
  • Les différences permanentes entre groupes (effets fixes)

Ce qu’on garde :

  • Le choc spécifique au groupe traité après le traitement
  • = l’effet causal estimé

Les applications classiques de DiD

Paper fondateur — Card & Krueger (1994) : Impact du salaire minimum sur l’emploi (New Jersey vs Pennsylvania)

Structure :

  • Traité : New Jersey (hausse salaire min)

  • Contrôle : Pennsylvanie (pas de changement)

  • Avant : avant la hausse

  • Après : après la hausse

Nos données de cours — Callaway & Sant’Anna (2021) : Impact des hausses de salaire minimum des comtés américains sur l’emploi des jeunes

Structure (mpdta) :

  • Unités : comtés américains (2003–2007)

  • Traitement : adoption d’une hausse de salaire min

  • Résultat : log emploi des jeunes (lemp)

Ce que vous saurez faire à la fin du cours

  1. Comprendre le cadre conceptuel de la DiD et l’hypothèse de tendances parallèles
  2. Implémenter la DiD 2×2 classique en R (manuellement et en régression)
  3. Estimer et tester un modèle TWFE sur données de panel avec fixest
  4. Identifier les problèmes de la DiD avec traitements échelonnés (staggered DiD)
  5. Appliquer l’approche de Callaway & Sant’Anna (2021) avec le package did
  6. Utiliser l’approche de de Chaisemartin & D’Haultfoeuille avec DIDmultiplegtDYN
  7. Comparer les méthodes et choisir la plus adaptée à un contexte donné

Bibliographie essentielle

Fondements :

  • Angrist, J. D., & Pischke, J. S. (2009). Mostly Harmless Econometrics. Princeton UP.
  • Card, D., & Krueger, A. B. (1994). Minimum Wages and Employment. AER, 84(4).

DiD classique :

  • Bertrand, M., Duflo, E., & Mullainathan, S. (2004). How Much Should We Trust Differences-In-Differences Estimates? QJE.

DiD avec traitements échelonnés :

  • Callaway, B., & Sant’Anna, P. H. C. (2021). Difference-in-Differences with Multiple Time Periods. Journal of Econometrics.
  • de Chaisemartin, C., & D’Haultfoeuille, X. (2020). Two-Way Fixed Effects Estimators with Heterogeneous Treatment Effects. AER, 110(9).
  • Goodman-Bacon, A. (2021). Difference-in-differences with variation in treatment timing. Journal of Econometrics.

Revue générale :

  • Roth, J., Sant’Anna, P. H. C., Bilinski, A., & Poe, J. (2023). What’s Trending in Difference-in-Differences? Journal of Econometrics.