Revision sheet: Introduction à la régression et à l'analyse de variance

📋 Plan du Cours

1. Modèle de régression
2. Estimation des paramètres
3. Validation du modèle
4. Décomposition de la variance
5. Test de l’effet global
6. Test de la pente
7. Prévision et intervalles
8. Régression multiple
9. Régression sur variables qualitatives
10. Analyse de la covariance
11. Interaction et effets emboîtés

📖 1. Modèle de régression

🔑 Notions clés & Définitions

• Modèle de régression : Un modèle statistique qui établit une relation fonctionnelle entre une variable dépendante (Y) et une ou plusieurs variables indépendantes (X). Il permet de prédire ou d’analyser l’impact des variables explicatives sur la variable réponse.

• Régression linéaire simple : Modèle où la relation entre Y et une seule variable X est supposée linéaire : $Y = \beta_0 + \beta_1 X + \varepsilon$, avec $\varepsilon$ une erreur aléatoire.

• Régression multiple : Extension de la régression linéaire intégrant plusieurs variables explicatives : $Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \dots + \beta_p X_p + \varepsilon$.

• Estimateur du maximum de vraisemblance (EMV) : Méthode d’estimation des paramètres du modèle qui consiste à maximiser la fonction de vraisemblance à partir des données observées.

• Validation du modèle : Processus d’évaluation de la qualité de l’ajustement, notamment par des tests statistiques (tests de significativité, tests d’adéquation) et par l’analyse des résidus.

📝 Points essentiels

• La modélisation par régression suppose une relation linéaire entre la variable dépendante et les variables indépendantes, ainsi qu’une distribution normale des erreurs pour certaines méthodes d’estimation et de validation.

• La méthode du moindre carré (LS) est couramment utilisée pour estimer les coefficients $\beta$, en minimisant la somme des carrés des résidus.

• La validation du modèle inclut des tests de significativité des coefficients (test t), des tests d’adéquation globale (test F), et l’analyse des résidus pour vérifier les hypothèses (normalité, homoscédasticité, indépendance).

• La régression multiple permet d’évaluer l’effet simultané de plusieurs variables explicatives, tout en contrôlant pour d’autres facteurs.

• La prévision consiste à utiliser le modèle estimé pour prédire la variable dépendante à partir de nouvelles valeurs des variables explicatives.

• La décomposition de la variance (ANOVA) permet de mesurer la part de variance expliquée par le modèle par rapport à la variance résiduelle.

💡 À retenir

Le modèle de régression, en particulier la régression linéaire, est un outil puissant pour analyser et prédire la relation entre variables, à condition que ses hypothèses soient vérifiées et que ses résultats soient validés par des tests statistiques appropriés.

📖 2. Estimation des paramètres

🔑 Notions clés & Définitions

• Estimation ponctuelle : Méthode permettant de déterminer une valeur unique pour un paramètre inconnu d’un modèle à partir des données observées. Exemple : la moyenne empirique $\bar{x}$ pour estimer l’espérance $\mathbb{E}[X]$.

• Critère de convergence : Condition assurant que l’estimateur tend vers la vraie valeur du paramètre lorsque la taille de l’échantillon augmente, généralement en probabilité ou en moyenne quadratique.

• Risque quadratique : Mesure de la précision d’un estimateur, définie par l’espérance du carré de l’erreur $\mathbb{E}[(\hat{\theta} - \theta)^2]$, combinant biais et variance.

• Maximum de vraisemblance (MLE) : Méthode d’estimation qui choisit le paramètre $\hat{\theta}$ maximisant la fonction de vraisemblance $L(\theta)$ donnée par les données.

• Intervalle de confiance : Plage de valeurs estimée pour un paramètre, construite à partir des données, avec un niveau de confiance (ex. 95%) indiquant la probabilité que cet intervalle contienne la vraie valeur du paramètre.

📝 Points essentiels

• L’objectif de l’estimation est d’obtenir une valeur représentative du paramètre inconnu de la population, en utilisant un échantillon de données.

• La moyenne empirique $\bar{x}$ est un estimateur sans biais de l’espérance $\mathbb{E}[X]$, et sa convergence en probabilité vers la vrai valeur est assurée par la loi des grands nombres.

• La variance estimée $s^2$ permet de mesurer la dispersion de l’échantillon autour de la moyenne, et est un estimateur sans biais de la variance de la population.

• Le critère de convergence, la minimisation du risque quadratique, et la propriété d’un estimateur d’être asymptotiquement normal sont fondamentaux pour évaluer la qualité des estimateurs.

• La méthode du maximum de vraisemblance est souvent privilégiée pour sa propriété d’efficience asymptotique et sa simplicité d’utilisation.

• La construction d’intervalles de confiance repose sur la distribution asymptotique de l’estimateur (normalité asymptotique pour de grands échantillons).

• La taille d’échantillon influence directement la précision de l’estimation : plus l’échantillon est grand, plus l’estimateur est précis et fiable.

💡 À retenir

L’estimation des paramètres consiste à utiliser les données pour obtenir des valeurs représentatives et fiables du ou des paramètres inconnus, en s’appuyant sur des critères de convergence, de biais, de variance, et en utilisant notamment la méthode du maximum de vraisemblance pour garantir efficacité et simplicité.

📖 3. Validation du modèle

🔑 Notions clés & Définitions

• Validation du modèle : Processus consistant à vérifier si un modèle statistique est cohérent avec les données observées, en utilisant des outils comme les tests d’hypothèses ou l’analyse de la qualité de l’ajustement.

• Test d’adéquation : Procédure permettant d’évaluer si un modèle (par exemple, une loi de probabilité) décrit bien les données observées. Exemple : test du χ² pour la loi discrète.

• Hypothèse nulle (H₀) : Hypothèse de départ dans un test statistique, généralement celle que le modèle ou la loi supposée est correcte.

• Hypothèse alternative (H₁) : Hypothèse contraire à H₀, indiquant que le modèle ne correspond pas aux données.

• Statistique de test : Variable calculée à partir des données, utilisée pour décider si H₀ doit être rejetée ou non.

• P-value : Probabilité, sous H₀, d’obtenir une valeur de la statistique de test aussi extrême ou plus extrême que celle observée. Elle sert à mesurer la force de l’évidence contre H₀.

📝 Points essentiels

• La validation du modèle repose principalement sur des tests d’hypothèses, tels que le test du χ², le test exact de Fisher, ou les tests non paramétriques.

• La qualité de l’ajustement peut aussi être évaluée par des graphiques (diagrammes en bâtons, histogrammes, fonctions de répartition empiriques).

• La loi du χ² est souvent utilisée pour tester l’adéquation d’un modèle à une loi discrète ou pour tester l’indépendance entre deux variables qualitatives.

• La p-value permet de décider de rejeter ou non H₀ : si elle est inférieure à un seuil α (par exemple 0,05), H₀ est rejetée, indiquant que le modèle ne convient pas.

• La validation doit aussi prendre en compte la taille de l’échantillon : un échantillon trop petit peut ne pas révéler un mauvais ajustement, tandis qu’un grand échantillon peut rejeter H₀ pour des écarts faibles mais insignifiants.

• La validation ne se limite pas à un seul test : il est conseillé de combiner plusieurs méthodes (tests, graphiques, intervalles de confiance).

💡 À retenir

La validation du modèle consiste à utiliser des tests statistiques et des outils graphiques pour vérifier si le modèle choisi est cohérent avec les données, en tenant compte de la taille de l’échantillon et de la force de l’évidence contre l’hypothèse nulle.

📖 4. Décomposition de la variance

🔑 Notions clés & Définitions

• Variance totale (Var(Y)) : Mesure de la dispersion globale d'une variable aléatoire Y autour de sa moyenne. Elle se décompose en variance expliquée et variance non expliquée.
• Variance expliquée : Part de la variance de Y qui peut être attribuée à une ou plusieurs variables explicatives dans un modèle.
• Variance résiduelle : Part de la variance de Y qui n’est pas expliquée par le modèle, souvent appelée erreur ou variance intra-groupe.
• Décomposition de la variance : Technique permettant de partitionner la variance totale en différentes composantes (par exemple, entre groupes et intra-groupes).
• Somme des carrés (SS) : Quantité utilisée pour mesurer la dispersion, notamment la somme des carrés expliquée (SSE) et la somme des carrés résiduelle (SSR).
• Coefficient de détermination (R²) : Mesure de la proportion de la variance totale expliquée par le modèle.

📝 Points essentiels

• La décomposition de la variance permet d’analyser la contribution de différentes sources de variation dans un ensemble de données.
• En ANOVA, la variance totale est décomposée en variance due aux facteurs (variance expliquée) et en variance résiduelle (erreur).
• La formule de base pour la décomposition est :
  $\text{Var}(Y) = \text{Var}(\text{facteur}) + \text{Var}(\text{résiduelle})$
• La somme des carrés totale (SST) est partitionnée en somme des carrés expliquée (SSE) et somme des carrés résiduelle (SSR) :
  $SST = SSE + SSR$
• La proportion de variance expliquée par le modèle est donnée par le coefficient de détermination R² :
  $R^2 = \frac{SSE}{SST}$
• La décomposition permet d’évaluer l’impact d’un ou plusieurs facteurs sur la variable d’intérêt.

💡 À retenir

La décomposition de la variance est essentielle pour quantifier la contribution des facteurs dans un modèle, permettant ainsi d’évaluer leur importance relative et la qualité de l’ajustement.

📖 5. Test de l’effet global

🔑 Notions clés & Définitions

• Test de l’effet global : procédure statistique permettant de vérifier si au moins une des variables explicatives ou facteurs a un effet significatif sur la variable dépendante dans un modèle (notamment en ANOVA ou régression).
• Hypothèse nulle (H0) : absence d’effet global, c’est-à-dire que tous les paramètres d’effet sont nuls (par exemple, tous les coefficients de facteurs sont égaux à zéro).
• Hypothèse alternative (H1) : au moins un effet est significatif, c’est-à-dire qu’au moins un paramètre d’effet est différent de zéro.
• Statistique du test (F) : rapport de la variance expliquée par le modèle sur la variance résiduelle, suivant une loi de Fisher F(ν1, ν2) sous H0.
• Degré de liberté (ν1, ν2) : paramètres liés au nombre de groupes ou de facteurs (ν1) et au nombre d’observations moins le nombre de paramètres estimés (ν2).
• P-value : probabilité d’obtenir une statistique au moins aussi extrême que celle observée si H0 est vraie. Si p < α (niveau de signification), H0 est rejetée.

📝 Points essentiels

• Le test de l’effet global est utilisé en ANOVA ou en régression pour tester l’hypothèse que tous les coefficients d’effets (par exemple, tous les coefficients de facteurs ou d’interactions) sont nuls.
• La statistique F est calculée à partir de la variance expliquée par le modèle (MSM) et de la variance résiduelle (MSE) :
  $F = \frac{\text{MSM}}{\text{MSE}}$
• Sous H0, F suit une loi de Fisher F(ν1, ν2). La décision se fait en comparant la valeur de F à la valeur critique ou en utilisant la p-value.
• Si la p-value est inférieure au seuil α (souvent 5%), on rejette H0, concluant qu’au moins un effet est significatif.
• Le test global ne précise pas quels effets sont significatifs, mais indique si le modèle dans son ensemble est pertinent.

💡 À retenir

Le test de l’effet global permet de vérifier si le modèle explique une partie significative de la variance de la variable dépendante, en testant simultanément l’ensemble des effets. Son résultat guide la décision sur la validité globale du modèle ou de l’hypothèse d’absence d’effet.

📖 6. Test de la pente

🔑 Notions clés & Définitions

• Test de la pente (ou test du coefficient de régression) : procédure statistique permettant de vérifier si la pente d'une relation linéaire entre deux variables est significativement différente de zéro.
• Coefficient de régression (b) : paramètre estimé dans une régression linéaire simple, représentant la variation moyenne de la variable dépendante pour une unité de variation de la variable indépendante.
• Hypothèse nulle (H0) : généralement, que le coefficient de régression est égal à zéro (pas de relation linéaire).
• Hypothèse alternative (H1) : que le coefficient de régression est différent de zéro (relation significative).
• Statistique de test (t) : valeur calculée permettant de comparer l'estimation du coefficient à sa valeur sous H0, suivant une loi de Student t(ν).

📝 Points essentiels

• La régression linéaire simple s’écrit : $y_i = a + bx_i + \varepsilon_i$, où $b$ est la pente.
• Le test de la pente consiste à tester l'hypothèse $H_0 : b = 0$ contre $H_1 : b \neq 0$.
• La statistique de test : $t = \frac{\hat{b}}{SE(\hat{b})}$ où $\hat{b}$ est l'estimation du coefficient de régression et $SE(\hat{b})$ son erreur standard.
• La loi de référence pour le test est la loi de Student t avec $n - 2$ degrés de liberté.
• Si la valeur absolue de $t$ dépasse la valeur critique $t_{crit}$ (donnée par le niveau de signification $\alpha$), on rejette H0.
• La valeur p associée au test indique la probabilité d'observer une statistique aussi extrême que celle calculée si H0 est vraie.

💡 À retenir

Le test de la pente permet de déterminer si la relation linéaire entre deux variables est statistiquement significative, en comparant l'estimation du coefficient à son erreur standard via une loi de Student.

📖 7. Prévision et intervalles

🔑 Notions clés & Définitions

• Intervalle de confiance : plage de valeurs calculée à partir d’un échantillon, estimant un paramètre de la population avec un certain niveau de confiance (par exemple 95%). Il indique où se trouve probablement le vrai paramètre avec une probabilité donnée.
• Intervalle de confiance pour l’espérance : plage estimée pour la moyenne d’une population normale, généralement calculée par $\bar{x} \pm z_{\alpha/2} \times \frac{\sigma}{\sqrt{n}}$ lorsque \σ est connu, ou par $\bar{x} \pm t_{n-1, \alpha/2} \times \frac{s}{\sqrt{n}}$ lorsque \σ est inconnu.
• Intervalle de confiance pour la variance : plage estimée pour la variance d’une population normale, souvent basé sur la loi du χ², avec la formule $\left[\frac{(n-1)s^2}{\chi^2_{1-\alpha/2, n-1}}, \frac{(n-1)s^2}{\chi^2_{\alpha/2, n-1}}\right]$.
• Intervalle de confiance pour une proportion : plage estimée pour la probabilité p dans une loi binomiale, généralement par $\hat{p} \pm z_{\alpha/2} \times \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}$.
• Taille d’échantillon : nombre d’observations nécessaires pour atteindre une précision ou un niveau de confiance souhaité dans l’estimation d’un paramètre.

📝 Points essentiels

• La construction d’intervalles de confiance repose sur la distribution de la statistique d’échantillonnage (normal, t de Student, χ², etc.).
• Pour une moyenne d’une loi normale avec σ connue, l’intervalle est basé sur la loi normale ; avec σ inconnu, on utilise la loi t.
• L’intervalle pour la variance d’une loi normale est basé sur la loi du χ², avec des bornes dépendant de la taille de l’échantillon.
• La largeur de l’intervalle dépend du niveau de confiance, de la taille de l’échantillon, et de la dispersion des données.
• La taille d’échantillon nécessaire peut être calculée à partir de la précision souhaitée pour l’estimation d’un paramètre.

💡 À retenir

Les intervalles de confiance permettent d’estimer un paramètre de la population avec une certaine fiabilité, en utilisant les résultats d’un échantillon, et leur largeur dépend du niveau de confiance, de la variabilité des données, et de la taille de l’échantillon.

📖 8. Régression multiple

🔑 Notions clés & Définitions

• Régression multiple : Modèle statistique qui explique une variable dépendante $Y$ en fonction de plusieurs variables explicatives $X_1, X_2, ..., X_p$. La relation est généralement linéaire :
  $Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \dots + \beta_p X_p + \varepsilon$ où $\varepsilon$ est une erreur aléatoire.

• Estimateur du maximum de vraisemblance (EMV) : Méthode d'estimation des paramètres du modèle en maximisant la fonction de vraisemblance. En régression linéaire, l'EMV des coefficients est donné par la solution de l'équation normale.

• Coefficients de régression ($\beta_j$) : Paramètres estimant l'effet d'une variable explicative $X_j$ sur $Y$. Leur estimation permet d'interpréter l'influence de chaque variable.

• Hypothèses du modèle :

  • $\varepsilon \sim N(0, \sigma^2)$ (erreurs normales, indépendantes, homoscédastiques)
  • Variables explicatives $X_j$ sont non-colinéaires (pas de multicolinéarité parfaite).

• R-squared ($R^2$) : Coefficient de détermination mesurant la proportion de variance expliquée par le modèle.
  $R^2 = 1 - \frac{\text{RSS}}{\text{TSS}}$ où RSS est la somme des carrés résiduels et TSS la somme totale.

📝 Points essentiels

• La régression multiple permet d’évaluer l’effet simultané de plusieurs variables explicatives sur une variable dépendante, en contrôlant pour l’effet des autres variables.

• La méthode des moindres carrés (MC) est couramment utilisée pour estimer les coefficients : elle minimise la somme des carrés des résidus. La solution analytique s’écrit :
  $\hat{\beta} = (X^T X)^{-1} X^T Y$ où $X$ est la matrice des variables explicatives (avec une colonne de 1 pour l’ordonnée à l’origine).

• La validation du modèle inclut :

  • Vérification des hypothèses (normalité, homoscédasticité, indépendance)
  • Analyse des résidus (graphes, tests)
  • Test de significativité des coefficients ($t$-test)
  • Ajustement global ($F$-test)

• La décomposition de la variance permet d’évaluer la part de variance expliquée par le modèle (via $R^2$) et la significativité globale.

• La multicolinéarité peut affecter la stabilité des estimations, nécessitant des diagnostics (VIF).

💡 À retenir

La régression multiple est un outil puissant pour modéliser et interpréter l’effet combiné de plusieurs variables explicatives sur une variable cible, en utilisant des estimations paramétriques et des tests statistiques pour valider la qualité et la significativité du modèle.

📖 9. Régression sur variables qualitatives

🔑 Notions clés & Définitions

• Variable qualitative (catégorielle) : variable dont les modalités sont des catégories ou des classes, sans ordre naturel ou avec un ordre mais sans différence numérique significative (ex : couleur, sexe).
• Régression sur variables qualitatives : modélisation de la relation entre une variable dépendante quantitative et une ou plusieurs variables qualitatives explicatives.
• Dummy coding (codage binaire) : méthode pour transformer une variable qualitative en variables numériques (0/1) afin de l’intégrer dans un modèle de régression.
• Modèle de régression avec variables qualitatives : extension du modèle linéaire simple ou multiple où certaines variables explicatives sont qualitatives, introduites via des variables indicatrices.
• Contraste : combinaison linéaire des paramètres permettant de tester des hypothèses spécifiques sur les effets des variables qualitatives (ex : égalité des moyennes de plusieurs groupes).
• Analyse de la variance (ANOVA) : technique statistique permettant de tester l’effet global d’un ou plusieurs facteurs qualitatifs sur une variable quantitative.

📝 Points essentiels

• La régression sur variables qualitatives permet d’étudier l’impact de catégories sur une variable quantitative, en utilisant des variables indicatrices (0/1).
• Pour une variable qualitative avec $k$ modalités, on crée $k-1$ variables indicatrices (pour éviter la multicolinéarité), chaque indicatrice correspondant à une modalité de référence.
• Le modèle de régression s’écrit :
  $y_i = \beta_0 + \sum_{j=1}^{k-1} \beta_j \times \text{Indicatrice}_{j}(X_i) + \varepsilon_i$ où $\beta_j$ représente la différence moyenne entre la modalité $j$ et la modalité de référence.
• La validation du modèle inclut la vérification de la significativité des coefficients via des tests $t$ ou des tests globaux comme l’ANOVA.
• La comparaison de moyennes entre groupes (modalités) s’effectue à l’aide de l’analyse de la variance (ANOVA à un facteur).
• La critique principale est que la régression sur variables qualitatives permet d’établir des différences mais ne donne pas d’ordre ou de hiérarchie entre modalités.

💡 À retenir

La régression sur variables qualitatives consiste à coder les groupes par des variables indicatrices pour analyser leur influence sur une variable quantitative, en utilisant principalement l’ANOVA pour tester l’effet global des catégories.

📖 10. Analyse de la covariance

🔑 Notions clés & Définitions

• Covariance (Cov) : Mesure de la dépendance linéaire entre deux variables aléatoires X et Y, définie par Cov(X, Y) = E[(X - E[X])(Y - E[Y])]. Elle indique si les variables varient ensemble (positive), en sens inverse (négative), ou indépendamment (zéro).

• Variance (Var) : Mesure de la dispersion d'une variable X autour de sa moyenne, Var(X) = E[(X - E[X])²]. La covariance est une généralisation de la variance lorsque deux variables sont considérées.

• Covariance empirique : Estimation de la covariance à partir d’un échantillon (X₁, ..., Xₙ) et (Y₁, ..., Yₙ), donnée par :
  $\hat{\text{Cov}}(X, Y) = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})(Y_i - \bar{Y})$ où $\bar{X}$ et $\bar{Y}$ sont les moyennes échantillonnales.

• Indépendance : Deux variables X et Y sont indépendantes si leur covariance est nulle, mais la réciproque n’est pas toujours vraie sauf pour des lois normales.

• Corrélation (r) : Coefficient normalisé de covariance, défini par :
  $r_{XY} = \frac{\text{Cov}(X, Y)}{\sigma_X \sigma_Y}$ où $\sigma_X$ et $\sigma_Y$ sont les écarts-types de X et Y. Il varie entre -1 et 1.

📝 Points essentiels

• La covariance permet d’évaluer la relation linéaire entre deux variables. Une covariance positive indique que les variables ont tendance à augmenter ensemble, négative indique une tendance inverse.

• La covariance est sensible aux unités de mesure, d’où l’intérêt de la corrélation pour une mesure normalisée.

• La covariance empirique est un estimateur de la covariance théorique, utilisé pour analyser la dépendance dans un échantillon.

• En modélisation, la covariance est essentielle dans l’analyse de la relation entre variables dans des modèles linéaires, notamment en régression.

• La covariance n’indique pas la causalité ni la dépendance non linéaire. Une covariance nulle n’implique pas l’indépendance sauf dans le cas de lois normales.

• La formule de la covariance est liée à la décomposition de la variance dans le contexte de la variance expliquée.

💡 À retenir

La covariance est un indicateur clé de la dépendance linéaire entre deux variables, mais sa normalisation en corrélation permet une interprétation plus aisée et comparables entre différentes paires de variables.

📖 11. Interaction et effets emboîtés

🔑 Notions clés & Définitions

• Interaction : Effet combiné de deux ou plusieurs facteurs sur une réponse, différent de la somme de leurs effets individuels. Elle indique que l’effet d’un facteur dépend du niveau d’un autre facteur.
• Effets emboîtés (ou effets imbriqués) : Structure où un facteur est « emboîté » dans un autre, par exemple, des sujets dans des groupes, permettant de modéliser la variabilité spécifique à chaque sous-groupe.
• Modèle à effets emboîtés : Modèle statistique intégrant des effets fixes (facteurs principaux) et des effets aléatoires (effets emboîtés), permettant d’étudier la variabilité intra- et inter-groupes.
• Interaction dans un modèle à effets emboîtés : Termes qui modélisent la dépendance entre facteurs, indiquant que l’effet d’un facteur varie selon le niveau d’un autre.
• Point à retenir : La présence d’interactions ou d’effets emboîtés doit être testée pour éviter des interprétations erronées des effets principaux.

📝 Points essentiels

• Interaction : Lorsqu’elle est présente, elle modifie l’effet attendu des facteurs pris séparément. Elle est souvent représentée par un terme d’interaction dans le modèle.
• Effets emboîtés : Utilisés notamment dans les plans à mesures répétées ou les études avec hiérarchies (ex : sujets dans groupes). Ils permettent de modéliser la variabilité spécifique à chaque sous-groupe ou unité.
• Modèle à effets emboîtés : Se construit généralement comme un modèle mixte, avec effets fixes pour les facteurs principaux et effets aléatoires pour les effets emboîtés.
• Test d’interaction : Vérifier statistiquement si l’effet combiné des facteurs est significatif. En cas d’interaction, il faut interpréter les effets principaux avec prudence.
• Effets emboîtés : Leur inclusion permet d’éviter la surestimation de la significativité des effets principaux et de mieux modéliser la structure des données.
• Visualisation : Graphiques d’interaction (courbes ou diagrammes) pour repérer visuellement la présence ou non d’interactions.

💡 À retenir

L’analyse des interactions et effets emboîtés est essentielle pour comprendre la dépendance entre facteurs et la structure hiérarchique des données, garantissant une interprétation correcte des effets et une modélisation fidèle des phénomènes.

📊 Tableaux de Synthèse

Aspect	Régression linéaire simple	Régression multiple
Variables	1 variable indépendante (X)	Plusieurs variables indépendantes (X₁, X₂, ...)
Forme du modèle	$Y = \beta_0 + \beta_1 X + \varepsilon$	$Y = \beta_0 + \beta_1 X_1 + \dots + \beta_p X_p + \varepsilon$
Estimation des paramètres	Moindres carrés	Moindres carrés
Validation	Test t pour coefficients, test F global	Test t pour chaque coefficient, test F global
Prévision	Avec une seule variable	Avec plusieurs variables

Aspect	Estimation par MLE	Méthode des moindres carrés
Objectif	Maximiser la vraisemblance	Minimiser la somme des carrés des résidus
Hypothèses	Distribution normale des erreurs	Normalité, homoscédasticité, indépendance
Utilisation principale	Modèles paramétriques, notamment pour la régression	Régression linéaire simple/multiple

⚠️ Pièges & Confusions Fréquentes

1. Confondre la régression simple et multiple : ne pas vérifier si plusieurs variables sont incluses.
2. Ignorer la vérification des hypothèses (normalité, homoscédasticité, indépendance).
3. Confondre l’estimateur du maximum de vraisemblance avec la méthode des moindres carrés.
4. Négliger la validation du modèle (tests d’adéquation, résidus).
5. Interpréter à tort la significativité des coefficients sans considérer leur contexte.
6. Utiliser la p-value comme seule mesure de validité, sans analyser la taille de l’effet.
7. Confondre variance expliquée et variance résiduelle dans la décomposition.
8. Prédire avec un modèle non validé ou mal ajusté.
9. Ignorer l’impact des variables qualitatives dans la régression.
10. Confondre interaction et effets emboîtés : ne pas différencier leur interprétation.
11. Ne pas vérifier la présence d’effets emboîtés ou d’interactions dans le modèle.

✅ Checklist Examen

• Définir un modèle de régression et distinguer entre simple et multiple.
• Expliquer la méthode du moindre carré pour l’estimation des coefficients.
• Décrire le processus de validation du modèle (tests t, F, analyse des résidus).
• Expliquer la décomposition de la variance (ANOVA) dans le contexte de la régression.
• Effectuer et interpréter un test d’effet global (test F).
• Effectuer et interpréter un test de la pente (test t sur $\beta_1$).
• Calculer et interpréter un intervalle de prévision et un intervalle de confiance.
• Définir la régression sur variables qualitatives et ses particularités.
• Expliquer l’analyse de la covariance (ANCOVA).
• Définir et différencier interaction et effets emboîtés dans un modèle.
• Comprendre la validation d’un modèle par tests d’adéquation.
• Expliquer la décomposition de la variance dans le cadre de la régression.
• Vérifier la conformité des hypothèses du modèle (normalité, homoscédasticité, indépendance).