Лист за преговор: Tests de Signification en Régression Linéaire

📋 Plan du Cours

1. Test de Fisher & modèles emboîtés
2. Contrôles linéaires & matrices Q
3. Hypothèses nulles & contraintes
4. Statistique F & distribution Fisher
5. Test de nullité & paramètres individuels
6. Test de plusieurs paramètres & effets
7. Test global & signification modèle
8. Distribution Student & cas particulier

📖 1. Test de Fisher & modèles emboîtés

🔑 Notions clés & Définitions

• Test de Fisher : Test statistique permettant de comparer des modèles emboîtés en utilisant la distribution F pour déterminer si l'ajout de paramètres améliore significativement le modèle.
• Modèles emboîtés : Modèles où un modèle réduit est une version simplifiée ou contraint d’un modèle de référence, obtenu en imposant des contraintes linéaires sur les paramètres.
• Hypothèse nulle (H0) : Contrôle ou absence d’effet, par exemple βj = 0 ou β1 = β2 = ... = 0, indiquant que certains paramètres ou groupes de paramètres n’ont pas d’effet.
• Statistique F : Rapport entre la variation expliquée par le modèle contraint et la variance résiduelle, utilisée pour tester la nullité de paramètres.
• Contrôles linéaires Qβ = 0 : Forme matricielle permettant de représenter des hypothèses sur des combinaisons linéaires de paramètres β.

📝 Points essentiels

• Le test de Fisher compare la somme des carrés des résidus entre modèle réduit (contraint) et modèle complet (de référence).
• La statistique F suit une loi de Fisher avec q (nombre de contraintes) et n - p (degrés de liberté).
• La zone de rejet est déterminée par le quantile de la loi de Fisher pour un risque α, permettant de rejeter H0 si F observé est supérieur.
• Pour q=1, le test de Fisher est équivalent à un test t², avec F = t².
• Le test de nullité d’un paramètre βj utilise la statistique T = ˆβj / σ( ˆβj), suivant une loi Student.
• Le test global de la significativité du modèle (tous les paramètres) compare le modèle avec toutes les variables à un modèle nul (constante seule).

💡 À retenir

Le test de Fisher permet d’évaluer la contribution significative de paramètres ou groupes de paramètres dans un modèle, en comparant la variance expliquée par des modèles emboîtés via la distribution F, avec une zone de rejet basée sur le risque α.

📖 2. Contrôles linéaires & matrices Q

🔑 Notions clés & Définitions

• Modèle linéaire : Forme matricielle $Y = X\beta + \varepsilon$, avec $\varepsilon \sim N(0, \sigma^2 I_n)$. $X$ est la matrice des variables explicatives, $\beta$ le vecteur des paramètres, $Y$ la réponse.
• Contrôle linéaire $Q\beta = 0$ : Hypothèse nulle $H_0$ testant si un ensemble de paramètres ou une combinaison linéaire de paramètres est nul. $Q \in M_{q,p}(\mathbb{R})$ est une matrice de contraintes.
• Test de Fisher : Test statistique basé sur la différence de somme des carrés des résidus entre modèle réduit et modèle complet, suivant une loi $F(q, n - p)$.
• Résidus : $\hat{e} = Y - \hat{Y}$, différence entre la réponse observée et la valeur ajustée.
• Somme des carrés des résidus (SSR) : $SSR = \| \hat{e} \|^2$, mesure de l'erreur de modélisation.
• Test de Student : Test pour un seul paramètre, basé sur la statistique $T = \frac{\hat{\beta}_j}{\sigma(\hat{\beta}_j)} \sim t_{n - p - 1}$.

📝 Points essentiels

• La formulation du test consiste à comparer deux modèles : un modèle contraint ($H_0: Q\beta=0$) et un modèle non contraint.
• La statistique de Fisher : $F = \frac{(\| \hat{e}_0 \|^2 - \| \hat{e} \|^2)/q}{\| \hat{e} \|^2 / (n - p)}$ suit une loi $F(q, n - p)$ sous $H_0$.
• La zone de rejet est déterminée par le quantile supérieur de la loi $F$ pour un risque $\alpha$.
• Pour un seul paramètre ($q=1$), la statistique de Fisher est liée à la statistique t : $F_{1-\alpha} = t^2_{1-\alpha/2}$
• Le test de nullité d’un paramètre ($H_0: \beta_j=0$) utilise la statistique $T$ de Student.
• La nullité de plusieurs paramètres ($H_0: \beta_1=\dots=\beta_q=0$) se teste via une statistique $F$ basée sur la différence de SSR.
• La nullité globale ($H_0: \beta_1=\dots=\beta_p=0$) compare le modèle avec toutes variables à un modèle sans variables (constante).

💡 À retenir

Les tests linéaires avec matrices $Q$ permettent de vérifier la nullité de paramètres ou combinaisons de paramètres dans un modèle linéaire, en utilisant la statistique de Fisher ou la statistique t, selon le nombre de contraintes. La méthode repose sur la comparaison de la qualité d’ajustement entre modèles contraints et non contraints.

📖 3. Hypothèses nulles & contraintes

🔑 Notions clés & Définitions

• Hypothèse nulle (H0) : Contrôle statistique indiquant qu'il n'y a pas d'effet ou de différence significative, par exemple βj = 0 ou β1 = β2 = ... = βq = 0.
• Modèles emboîtés : Modèles statistiques où un modèle réduit (contraint) est inclus dans un modèle plus général (de référence), permettant de tester la nullité de certains paramètres.
• Contrôles linéaires (Qβ = 0) : Hypothèses formulées sous forme matricielle, où Q est une matrice de contraintes appliquée au vecteur β.
• Test de Fisher : Test statistique basé sur la comparaison de la variance expliquée par le modèle contraint versus le modèle complet, utilisant la statistique F.
• Statistique F : Rapport entre la variance expliquée par le modèle contraint et la variance résiduelle, sous H0 suit une loi de Fisher.
• Zone de rejet : Intervalle de valeurs de la statistique de test pour lesquelles H0 est rejetée, déterminée par le quantile du test (niveau α).

📝 Points essentiels

• La nullité d’un paramètre βj ou de plusieurs paramètres est testée via des modèles emboîtés, en comparant un modèle contraint à un modèle de référence.
• La statistique F est calculée à partir des résidus (SSR) des deux modèles, et suit une loi de Fisher sous H0.
• La formulation matricielle Qβ = 0 permet de représenter diverses hypothèses nulles, qu’il s’agisse d’un seul paramètre ou de plusieurs.
• Le test de nullité d’un seul paramètre βj utilise une statistique T (Student), tandis que la nullité de plusieurs paramètres utilise une statistique F.
• La décision de rejeter H0 dépend du quantile de la loi de Fisher ou de Student, selon le contexte.
• La signification globale du modèle (test de tous les paramètres) se fait via une statistique F avec p degrés de liberté, comparée à un quantile de la loi de Fisher.

💡 À retenir

Les hypothèses nulles et contraintes permettent de tester la significativité individuelle ou globale des paramètres d’un modèle, en utilisant la statistique F et la comparaison avec la loi de Fisher, dans une approche de modèles emboîtés.

📖 4. Statistique F & distribution Fisher

🔑 Notions clés & Définitions

• Distribution de Fisher (F) : Distribution de probabilité utilisée pour tester la nullité de paramètres dans un modèle linéaire, caractérisée par deux degrés de liberté (q, n−p).
• Test de Fisher : Test statistique basé sur la statistique F, permettant de comparer un modèle réduit à un modèle complet pour vérifier si les contraintes sont significatives.
• Modèles emboîtés : Modèles où un modèle réduit est une version simplifiée du modèle de référence, permettant de tester la nullité de certains paramètres.
• Hypothèse H0 (nullité) : Hypothèse selon laquelle certains paramètres βj ou plusieurs βj sont nuls, indiquant l'absence d'effet de certaines variables.
• Statistique F : Formule F = [(SSR0 − SSR)/q] / [SSR/(n−p)] où SSR0 et SSR sont les sommes des carrés des résidus sous H0 et le modèle complet.
• Test de nullité d’un paramètre : Test spécifique pour βj = 0, utilisant la statistique T = ˆβj / σ( ˆβj), suivant une distribution Student.

📝 Points essentiels

• La statistique F suit une loi de Fisher sous H0 : F ∼ Fisher(q, n−p).
• La zone de rejet est déterminée par le quantile (1−α) de la distribution de Fisher : si Fobs > F(1−α), on rejette H0.
• Pour q=1, la statistique F est liée à la distribution Student : F = t², avec t une Student à d degrés de liberté.
• La comparaison de modèles emboîtés permet de tester la nullité de paramètres individuels, de plusieurs paramètres ou de la significativité globale du modèle.
• La formule F pour tester plusieurs paramètres : F = (SSR0 − SSR) / (q) / [SSR / (n−p)].
• La statistique de test pour la nullité de tous les paramètres (significativité globale) : F = SSL / SSR, avec SSL la somme des carrés du modèle complet.

💡 À retenir

Le test de Fisher permet d’évaluer la significativité d’un ou plusieurs paramètres dans un modèle linéaire en comparant la variation expliquée par le modèle contraint à celle du modèle complet, en utilisant la distribution de Fisher.

📖 5. Test de nullité & paramètres individuels

🔑 Notions clés & Définitions

• Test de Fisher : Méthode statistique permettant de comparer un modèle complet à un modèle réduit, en évaluant si la réduction de la somme des carrés résiduels est significative. La statistique F suit une loi de Fisher sous H0.
• Modèles emboîtés : Modèles où un modèle réduit est obtenu en imposant des contraintes linéaires (Qβ = 0) sur le modèle de référence.
• H0 (hypothèse nulle) : Contradiction ou absence d'effet, par exemple βj = 0, ou β1 = β2 = ... = 0.
• Qβ = 0 : Forme matricielle représentant une ou plusieurs contraintes linéaires sur le vecteur des paramètres β.
• Statistique F : Rapport de la variation expliquée par le modèle contraint sur la variance résiduelle, utilisée pour tester la nullité de paramètres.
• Test de Student : Test spécifique pour la nullité d’un seul paramètre βj, basé sur la statistique t.

📝 Points essentiels

• Le test de Fisher compare deux modèles emboîtés : un modèle de référence et un modèle contraint sous H0.
• La statistique F est calculée à partir de la différence entre la somme des carrés résiduels (SSR) des deux modèles, ajustée par le nombre de contraintes q et le nombre d’observations n.
• La loi de Fisher (F(q, n−p)) est utilisée pour déterminer la zone de rejet : si Fobs dépasse le quantile (1−α), H0 est rejetée.
• La nullité d’un paramètre βj se teste avec une statistique t, qui suit une loi Student.
• La nullité de plusieurs paramètres (β1, ..., βq) se teste via une statistique F basée sur la différence SSR entre modèles.
• La nullité globale de tous les paramètres (β1, ..., βp) s’évalue par un test F avec p degrés de liberté en numerator et n−p en dénominateur.

💡 À retenir

Le test de nullité, qu’il concerne un seul paramètre ou plusieurs, repose sur la comparaison de modèles emboîtés à l’aide de la statistique F, permettant de déterminer si l’effet des paramètres est statistiquement significatif ou non.

📖 6. Test de plusieurs paramètres & effets

🔑 Notions clés & Définitions

• Test de Fisher : Méthode statistique permettant de comparer un modèle complet à un modèle réduit pour évaluer la significativité d’un ou plusieurs paramètres. La statistique suit une loi F sous H0.
• Modèles emboîtés : Modèles où le modèle réduit est une version contraite du modèle de référence, en imposant des restrictions linéaires sur les paramètres.
• Contrôles linéaires (Qβ = 0) : Hypothèses nulles imposant des contraintes linéaires sur les paramètres β, représentées par une matrice Q.
• Erreur résiduelle (SSR) : Somme des carrés des résidus, utilisée pour mesurer la qualité de l’ajustement d’un modèle.
• Statistique F : Rapport de variances utilisé pour tester la nullité de paramètres, suivant une loi F sous H0.
• Test de nullité d’un paramètre : Vérification si un paramètre βj est statistiquement différent de zéro, souvent via un test t.
• Test global : Vérification de la significativité de l’ensemble des paramètres du modèle (H0 : tous βi = 0).

📝 Points essentiels

• Le test de Fisher compare deux modèles emboîtés : un modèle contraint (H0) et un modèle complet (H1).
• La statistique F est calculée à partir des différences de SSR (somme des carrés des résidus) entre les deux modèles, ajustée par leurs degrés de liberté.
• La loi de F dépend du nombre de contraintes q et de la taille de l’échantillon n, avec F(q, n−p) sous H0.
• La zone de rejet est déterminée par le quantile de la loi F pour un risque α.
• La version simplifiée pour un seul paramètre (q=1) utilise la loi Student², avec F = t².
• Le test t pour un paramètre βj est basé sur la statistique T = ˆβj / σ( ˆβj), suivant une loi Student(n−p−1).
• La nullité de plusieurs paramètres (β1=...=βq=0) s’évalue via la statistique F, en comparant SSR des modèles contraint et complet.
• La nullité globale du modèle (tous βi=0) se teste aussi avec une statistique F, en comparant SSR du modèle de référence et celui avec tous les paramètres.

💡 À retenir

Les tests de Fisher et de Student permettent d’évaluer la significativité individuelle ou globale des paramètres d’un modèle linéaire, en comparant des modèles emboîtés via la loi F, pour déterminer si les paramètres sont statistiquement significatifs ou non.

📖 7. Test global & signification modèle

🔑 Notions clés & Définitions

• Test de Fisher : Test statistique permettant de comparer un modèle réduit à un modèle complet en utilisant la statistique F, pour évaluer la significativité globale ou spécifique des paramètres.
• Modèles emboîtés : Modèles où un modèle réduit est obtenu en contraignant certains paramètres du modèle de référence à des valeurs spécifiques (souvent zéro).
• Hypothèse nulle (H0) : Contrôle que certains paramètres (βj ou ensemble de paramètres) sont nuls, indiquant leur non-influence sur la variable dépendante.
• Statistique F : Ratio de la variance expliquée par le modèle contraint sur la variance résiduelle, sous H0 suit une loi de Fisher.
• Résidus (ˆe, ˆe0) : Différence entre les valeurs observées et ajustées dans le modèle, utilisées pour calculer la somme des carrés des résidus (SSR).
• Significativité globale : Vérification si l’ensemble des paramètres du modèle est statistiquement significatif par rapport à un modèle nul (sans variables explicatives).

📝 Points essentiels

• Le test de Fisher compare la somme des carrés des résidus entre un modèle contraint (H0) et un modèle de référence, en utilisant la statistique F.
• La statistique F suit une loi de Fisher avec q (nombre de contraintes) et n−p (degrés de liberté).
• La zone de rejet est déterminée par le quantile (1−α) de la loi de Fisher : si F observé > F_crit, on rejette H0.
• Pour le test de nullité d’un seul paramètre (βj), on utilise une statistique T (test de Student) : T = ˆβj / σ(ˆβj).
• La comparaison de modèles emboîtés permet de tester l’effet de plusieurs variables simultanément.
• La signification globale du modèle est testée en vérifiant si tous les paramètres sont nuls (H0 : β1=...=βp=0).

💡 À retenir

Le test global via la statistique de Fisher permet d’évaluer si un ensemble de paramètres ou le modèle dans son ensemble est significatif, en comparant la variance expliquée par le modèle contraint à celle du modèle complet, sous une loi de Fisher.

📖 8. Distribution Student & cas particulier

🔑 Notions clés & Définitions

• Test de Student : Test statistique permettant d’évaluer si un paramètre βj est significativement différent de zéro, en utilisant la statistique T = ˆβj / σ( ˆβj), qui suit une loi Student avec n − p − 1 degrés de liberté.
• Test de Fisher : Test permettant de comparer deux modèles emboîtés (réduit vs complet) en utilisant la statistique F = [(SSR0 − SSR) / q] / [SSR / (n − p)] qui suit une loi de Fisher avec q et n − p degrés de liberté.
• Modèles emboîtés : Modèles où le modèle réduit est une version contrainte du modèle de référence, permettant de tester la nullité de certains paramètres.
• Contrôles linéaires (Qβ = 0) : Forme matricielle pour exprimer l’hypothèse nulle, où Q est une matrice de contraintes linéaires.
• Significativité globale : Test de la nullité de tous les paramètres βj simultanément, en utilisant la statistique F avec p contraintes.
• Cas particulier q=1 : La loi de Fisher devient une loi du Student au carré, F = t², avec t une statistique t de Student.

📝 Points essentiels

• Le test de Student est utilisé pour tester la nullité d’un seul paramètre βj, en comparant l’estimateur à son erreur standard.
• Le test de Fisher compare la variance expliquée par le modèle contraint à celle du modèle complet, basé sur la différence des résidus.
• La loi de Fisher sous H0 est F ∼ Fisher(q, n − p), avec q le nombre de contraintes.
• La zone de rejet est déterminée par le quantile (1−α) de la loi de Fisher ; si la statistique calculée dépasse ce seuil, H0 est rejetée.
• La version simplifiée pour q=1 (test de nullité d’un seul paramètre) utilise la loi t de Student, F = t².
• La formulation matricielle Qβ=0 permet de tester plusieurs contraintes linéaires simultanément.
• La somme des carrés résiduels (SSR) et la somme des carrés du modèle (SSL) sont essentielles pour calculer les statistiques de test.

💡 À retenir

Les tests de Student et de Fisher sont fondamentaux pour évaluer la significativité des paramètres dans un modèle linéaire, avec la loi de Fisher permettant aussi de tester la nullité de plusieurs paramètres simultanément. La distinction principale réside dans leur application : un paramètre individuel ou plusieurs, et leur relation via la loi de Student (q=1) ou de Fisher (q>1).

📊 Tableaux de Synthèse

Aspect	Test de Fisher	Test de Student
Objectif	Comparer modèles emboîtés (contraints vs non contraints)	Tester nullité d’un seul paramètre
Distribution	Loi F (degré de liberté q et n−p)	Loi t (degré de liberté n−p−1)
Statistique	$F = \frac{(\text{SSR}_0 - \text{SSR})/q}{\text{SSR}/(n-p)}$	$T = \frac{\hat{\beta}_j}{\sigma(\hat{\beta}_j)}$
Hypothèses nulles	$H_0: \text{contrainte linéaire } Q\beta=0$	$H_0: \beta_j=0$
Relation	$F = t^2$ pour q=1	$T \sim t_{n-p-1}$
Utilisation principale	Test global ou de plusieurs paramètres	Test individuel d’un paramètre

⚠️ Pièges & Confusions Fréquentes

1. Confondre la statistique t et F : pour q=1, F = t², mais ce n’est pas le cas pour q>1.
2. Utiliser la loi de Fisher pour un test t seul : incorrect, la loi de Fisher est pour plusieurs contraintes.
3. Oublier que la zone de rejet dépend du quantile de la loi de Fisher ou Student.
4. Confondre modèle réduit (contraint) et modèle complet (non contraint).
5. Ne pas vérifier si les hypothèses d’indépendance, normalité et homoscédasticité sont respectées.
6. Confondre nullité d’un paramètre individuel et nullité globale du modèle.
7. Utiliser la statistique F pour tester un seul paramètre sans ajuster la formule (q=1).

✅ Checklist Examen

• Vérifier si la question concerne un test de Fisher ou de Student.
• Identifier si l’on teste la nullité d’un seul paramètre ou plusieurs.
• Déterminer la forme de la statistique (F ou t) selon le contexte.
• Connaître la loi de distribution associée (F ou t) et ses degrés de liberté.
• Savoir comment calculer la statistique F à partir des SSR.
• Rappeler que pour q=1, F = t².
• Comprendre la différence entre modèle réduit et modèle complet.
• Vérifier si l’hypothèse nulle est formulée sous forme de contraintes linéaires.
• Savoir interpréter la zone de rejet en fonction du risque α.
• Être capable de faire le lien entre la statistique F et la statistique t dans le cas q=1.
• Connaître la formule pour la statistique F dans le test global.
• S’assurer que les hypothèses du modèle (normalité, indépendance, homoscédasticité) sont respectées.
• Identifier si le test porte sur un paramètre individuel, plusieurs ou la globalité du modèle.