Revision sheet: Introduction aux tests statistiques et lois de base

Plan du Cours

  1. Distributions usuelles et lois de base
  2. Intervalles de confiance et quantiles
  3. Tests statistiques : cadre et types de problĂšmes
  4. Test du rapport de vraisemblance et Neyman-Pearson
  5. PropriĂ©tĂ©s de la p-valeur sous l’hypothĂšse nulle
  6. Lois gaussiennes et TCL pour les tests
  7. Tests sur la moyenne avec variance connue
  8. Tests sur la variance et moyenne inconnues
  9. Tests du chi-deux et adéquation à une loi
  10. Test de Kolmogorov-Smirnov et QQ-plots
  11. Tests en dimension : séparation minimax en norme infinie
  12. Borne inférieure minimax et optimalité du test

1. Distributions usuelles et lois de base

Notions clés & Définitions

  • Binomiale : La loi binomiale modĂ©lise le nombre de succĂšs obtenus lors de n essais indĂ©pendants identiquement distribuĂ©s, avec probabilitĂ© de succĂšs p Ă  chaque essai.
  • GĂ©omĂ©trique : La loi gĂ©omĂ©trique modĂ©lise le nombre d’essais nĂ©cessaires pour obtenir le premier succĂšs, avec probabilitĂ© de succĂšs p Ă  chaque essai.
  • Exponentielle : La loi exponentielle modĂ©lise une durĂ©e d’attente jusqu’à un Ă©vĂ©nement, avec taux constant λ.
  • Poisson : La loi de Poisson modĂ©lise le nombre d’évĂ©nements sur un intervalle de temps (ou d’espace) lorsque ces Ă©vĂ©nements arrivent Ă  un taux constant.
  • Gamma : La loi Gamma modĂ©lise une somme de durĂ©es exponentielles indĂ©pendantes, et gĂ©nĂ©ralise l’attente jusqu’au k-iĂšme Ă©vĂ©nement.

Points essentiels

  • Bin(n,p) compte le nombre de succĂšs sur n essais et a pour moyenne np et variance np(1−p).
  • G(p) compte le nombre d’essais jusqu’au premier succĂšs et a pour moyenne 1/p et variance (1−p)/p^2.
  • L’exponentielle E(λ) a pour moyenne 1/λ et variance 1/λ^2 et vĂ©rifie la propriĂ©tĂ© sans mĂ©moire.
  • Pour Poisson de taux λ, le nombre d’évĂ©nements a pour moyenne λ et variance λ.
  • Si X et Y sont indĂ©pendantes avec X∌E(λ) et Y∌Γ(k,λ) (k∈N*), alors X+Y∌Γ(k+1,λ).
  • Pour Γ(k,λ) avec k∈N*, la densitĂ© n’est pas Ă  apprendre : seule la structure “somme d’exponentielles” et les moments utiles comptent.

Astuce mémo

Binomiale = “n essais, k succĂšs”; GĂ©omĂ©trique = “jusqu’au 1er succĂšs”; Exponentielle = “attente sans mĂ©moire”; Poisson = “compte les arrivĂ©es”; Gamma = “somme d’exponentielles (k-iĂšme arrivĂ©e)”.

2. Intervalles de confiance et quantiles

Notions clés & Définitions

  • Quantile : Un quantile est une valeur qui dĂ©coupe la distribution en une proportion donnĂ©e de probabilitĂ©, par exemple q1−αq_{1-\alpha} vĂ©rifie P(X≀q1−α)=1−αP(X\le q_{1-\alpha})=1-\alpha.
  • Intervalle de confiance : Un intervalle de confiance est une plage de valeurs pour un paramĂštre inconnu construite Ă  partir d’un Ă©chantillon, avec une probabilitĂ© de couverture fixĂ©e (niveau 1−α1-\alpha).
  • Approximation gaussienne : L’approximation gaussienne remplace une loi discrĂšte ou compliquĂ©e par une loi normale quand l’effectif est suffisamment grand, pour obtenir des probabilitĂ©s et des intervalles.
  • Statistique pivot : Une statistique pivot est une combinaison des donnĂ©es et du paramĂštre dont la loi ne dĂ©pend pas du paramĂštre, ce qui permet de construire des intervalles via les quantiles.
  • Fonction de rĂ©partition : La fonction de rĂ©partition FX(x)=P(X≀x)F_X(x)=P(X\le x) permet de calculer des probabilitĂ©s et des p-valeurs Ă  partir de quantiles.

Points essentiels

  • Pour un niveau 1−α1-\alpha, un intervalle de confiance s’écrit typiquement [borne inf,borne sup][\text{borne inf},\text{borne sup}] oĂč les bornes sont obtenues en Ă©galant des probabilitĂ©s Ă  α/2\alpha/2 et 1−α/21-\alpha/2 via des quantiles.
  • Quand on utilise un pivot TT, on cherche des valeurs t−t_- et t+t_+ telles que P(t−≀T≀t+)=1−αP(t_-\le T\le t_+)=1-\alpha, puis on rĂ©sout l’inĂ©galitĂ© pour le paramĂštre inconnu.
  • Dans les exercices, l’approximation gaussienne sert Ă  dĂ©cider si une valeur observĂ©e tombe dans un intervalle construit Ă  partir de quantiles de la loi normale.
  • Pour une loi normale, les bornes d’un intervalle centrĂ© s’obtiennent souvent avec la forme Ό±z1−α/2 σ\mu\pm z_{1-\alpha/2}\,\sigma, oĂč z1−α/2z_{1-\alpha/2} est un quantile de la normale standard.
  • La fonction de rĂ©partition est l’outil direct pour calculer des probabilitĂ©s du type P(X≀t)P(X\le t), donc pour obtenir p-valeurs et probabilitĂ©s d’inclusion dans les intervalles.
  • Dans les tests d’adĂ©quation/KS/chi-deux mentionnĂ©s dans la section, les p-valeurs et dĂ©cisions reposent sur des probabilitĂ©s calculĂ©es Ă  partir de la fonction de rĂ©partition de la loi de la statistique de test.

Astuce mémo

Quantiles = “portes” de probabilitĂ© : q1−αq_{1-\alpha} laisse passer 1−α1-\alpha Ă  gauche, et l’intervalle 1−α1-\alpha met α/2\alpha/2 Ă  chaque extrĂ©mitĂ©.

3. Tests statistiques : cadre et types de problĂšmes

Notions clés & Définitions

  • HypothĂšses H0 et H1 : Un cadre de test compare une hypothĂšse nulle Ă  une alternative pour dĂ©cider si les donnĂ©es apportent une preuve statistique au niveau choisi.
  • Statistique de test : Une fonction des donnĂ©es qui rĂ©sume l’information pertinente et dont la loi sous H0 sert Ă  calibrer la dĂ©cision.
  • p-valeur : Une probabilitĂ©, calculĂ©e sous H0, d’obtenir une statistique au moins aussi extrĂȘme que celle observĂ©e.
  • Niveau de signification α : Un seuil fixĂ© Ă  l’avance qui contrĂŽle le risque de rejeter H0 Ă  tort, via la rĂšgle de dĂ©cision basĂ©e sur la p-valeur ou un quantile.
  • Tests de normalitĂ© : Des tests qui vĂ©rifient si une variable peut ĂȘtre modĂ©lisĂ©e comme une rĂ©alisation gaussienne, en s’appuyant sur une statistique et des degrĂ©s de libertĂ©.

Points essentiels

  • CorrĂ©lations de Pearson servent Ă  mesurer l’association linĂ©aire entre deux sĂ©ries, avec des calculs sĂ©parĂ©s en pĂ©riode bull et en pĂ©riode bear.
  • AutocorrĂ©lation du spread teste la dĂ©pendance temporelle du diffĂ©rentiel St=RtBTC−RtETHS_t=R^{BTC}_t-R^{ETH}_t entre tt et t+1t+1 (ou un lag donnĂ©).
  • Les tests de normalitĂ© supposent des rendements gaussiens i.i.d. dans chaque pĂ©riode et des Ă©chantillons indĂ©pendants entre pĂ©riodes.
  • Pour chaque question, la dĂ©marche attendue est : dĂ©finir prĂ©cisĂ©ment les hypothĂšses avec notations, choisir le test adaptĂ©, calculer statistique et p-valeur, puis conclure au niveau α.
  • Le test de Student compare une moyenne Ă  une valeur (ou entre deux pĂ©riodes) sous hypothĂšses de normalitĂ© et d’indĂ©pendance.
  • Le test binomial compare une proportion observĂ©e Ă  une proportion thĂ©orique, avec une alternative unilatĂ©rale ou bilatĂ©rale selon la question (ex. proportion de rendements strictement positifs).

Astuce mémo

p-valeur = probabilitĂ© sous H0 d’un rĂ©sultat aussi “extrĂȘme” que l’observĂ© ; α coupe la queue.

4. Test du rapport de vraisemblance et Neyman-Pearson

Notions clés & Définitions

  • Statistique de test : Une statistique de test est une fonction des donnĂ©es qui rĂ©sume l’information utile pour dĂ©cider entre H0H_0 et H1H_1.
  • RĂšgle de dĂ©cision : Une rĂšgle de dĂ©cision spĂ©cifie, Ă  partir de la statistique de test, quand rejeter H0H_0 ou ne pas la rejeter.
  • p-valeur bilatĂ©rale : La p-valeur bilatĂ©rale est la probabilitĂ©, sous H0H_0, d’obtenir une valeur de la statistique au moins aussi extrĂȘme que l’observĂ©e dans les deux sens.
  • ThĂ©orĂšme de Neyman-Pearson : Le thĂ©orĂšme de Neyman-Pearson caractĂ©rise le test le plus puissant pour H0H_0 contre H1H_1 simples via le rapport de vraisemblance.
  • Rapport de vraisemblance : Le rapport de vraisemblance compare les vraisemblances sous H1H_1 et sous H0H_0 et sert Ă  construire le test optimal.

Points essentiels

  • Pour un test, on fixe un niveau de signification α\alpha et on choisit une rĂšgle de dĂ©cision contrĂŽlant P(rejeter H0∣H0)=αP(\text{rejeter }H_0\mid H_0)=\alpha.
  • Pour une p-valeur bilatĂ©rale, on agrĂšge sous H0H_0 les rĂ©alisations de la statistique aussi extrĂȘmes que l’observĂ©e, en tenant compte des deux cĂŽtĂ©s de la distribution.
  • Dans le cadre Neyman-Pearson, on considĂšre en gĂ©nĂ©ral H0H_0 et H1H_1 simples (paramĂštres entiĂšrement spĂ©cifiĂ©s).
  • Le test Neyman-Pearson le plus puissant rejette H0H_0 quand le rapport de vraisemblance est suffisamment grand (ou petit selon la convention).
  • Le rapport de vraisemblance est construit Ă  partir des densitĂ©s/pmf : Λ(x)=fH1(x)fH0(x)\Lambda(x)=\frac{f_{H_1}(x)}{f_{H_0}(x)} (ou l’inverse), puis on compare Λ(x)\Lambda(x) Ă  un seuil.
  • Le seuil est choisi pour que la probabilitĂ© de rejet sous H0H_0 soit Ă©gale Ă  α\alpha (Ă©ventuellement avec randomisation si nĂ©cessaire).

Astuce mémo

NP = Optimal par Ratio : Neyman-Pearson choisit le test qui rejette quand L(H1)L(H0)\frac{L(H_1)}{L(H_0)} est le plus favorable Ă  H1H_1.

5. PropriĂ©tĂ©s de la p-valeur sous l’hypothĂšse nulle

Notions clés & Définitions

  • p-valeur : La p-valeur est la probabilitĂ©, sous l’hypothĂšse nulle, d’obtenir une statistique au moins aussi extrĂȘme que l’observation observĂ©e.
  • HypothĂšse nulle H0 : L’hypothĂšse nulle est le modĂšle de rĂ©fĂ©rence contre lequel on mesure l’évidence fournie par les donnĂ©es via la p-valeur.
  • Test bilatĂ©ral : Un test bilatĂ©ral compare la statistique Ă  la fois dans les deux directions possibles d’écart par rapport Ă  H0.
  • Statistique de test : La statistique de test est une fonction des donnĂ©es qui rĂ©sume l’information utile pour dĂ©cider sous H0.
  • Fonction de rĂ©partition : La fonction de rĂ©partition FF donne, pour une variable alĂ©atoire, la probabilitĂ© d’ĂȘtre infĂ©rieure ou Ă©gale Ă  un seuil.

Points essentiels

  • Sous H0, la p-valeur est calculĂ©e Ă  partir de la loi de la statistique de test, donc elle dĂ©pend uniquement de la distribution sous H0.
  • Pour un test bilatĂ©ral, la p-valeur se construit en additionnant les probabilitĂ©s des deux cĂŽtĂ©s (valeurs aussi extrĂȘmes dans chaque direction).
  • Si la statistique de test est continue, la p-valeur est uniformĂ©ment distribuĂ©e sur [0,1][0,1] sous H0 (cas idĂ©al sans Ă©galitĂ©s).
  • Si la statistique est discrĂšte, la p-valeur n’est pas parfaitement uniforme et peut prendre des valeurs en “marches” Ă  cause des probabilitĂ©s ponctuelles.
  • La p-valeur peut s’exprimer via la fonction de rĂ©partition FF : elle correspond Ă  une probabilitĂ© de queue, donc typiquement Ă  1−F(extseuil)1-F( ext{seuil}) ou Ă  une combinaison de deux queues en bilatĂ©ral.
  • La p-valeur sert de rĂšgle de dĂ©cision : on rejette H0 quand p-valeur≀αp\text{-valeur}\le \alpha, ce qui relie directement le calcul probabiliste Ă  un niveau de signification.

Astuce mémo

BilatĂ©ral = deux queues ; sous H0 = calcul avec la loi de la statistique ; dĂ©cision = p≀αp\le\alpha.

6. Lois gaussiennes et TCL pour les tests

Notions clés & Définitions

  • p-valeur : La p-valeur est la probabilitĂ©, sous l’hypothĂšse nulle, d’obtenir un rĂ©sultat aussi extrĂȘme (ou plus) que celui observĂ©.
  • Test bilatĂ©ral : Un test bilatĂ©ral rejette l’hypothĂšse nulle pour des valeurs de la statistique de test situĂ©es des deux cĂŽtĂ©s de la valeur observĂ©e.
  • ThĂ©orĂšme de Neyman-Pearson : Le thĂ©orĂšme de Neyman-Pearson identifie, pour un niveau fixĂ©, le test le plus puissant dans le cas simple contre simple.
  • Rapport de vraisemblance : Le rapport de vraisemblance compare les densitĂ©s sous H1 et sous H0 et sert Ă  construire le test optimal.
  • TCL : Le TCL (thĂ©orĂšme central limite) justifie qu’une somme (ou moyenne) de variables i.i.d. tend vers une loi gaussienne quand l’effectif grandit.

Points essentiels

  • Pour un test bilatĂ©ral et une statistique ψ donnĂ©e, la p-valeur s’écrit comme le minimum entre les probabilitĂ©s sous H0 d’observer une valeur au moins aussi extrĂȘme dans chaque sens.
  • Le niveau d’un test est α = P(T(X)=1) sous H0, et la puissance est 1−ÎČ avec ÎČ = Q(T(X)=1) sous H1.
  • Dans le cas simple VS simple, le test du rapport de vraisemblance de niveau α maximise la puissance parmi tous les tests de niveau α.
  • La statistique du rapport de vraisemblance s’écrit ψ(x)=q(x)/p(x) (densitĂ©s sous H1 et H0) et le test rejette quand ψ(x) dĂ©passe un seuil tα.
  • Le test Ă©quivalent en log-rapport rejette quand log(q(x)/p(x)) dĂ©passe log(tα), ce qui revient au mĂȘme classement des observations.
  • Le TCL permet d’approximer la loi d’une somme/ moyenne de variables i.i.d. par une gaussienne, ce qui rend les p-valeurs et tests plus calculables quand n est grand.

Astuce mémo

p-valeur bilatĂ©rale = min(« trop grand », « trop petit ») ; Neyman-Pearson = « trier par q/p » ; TCL = « somme i.i.d. → gaussienne ».

7. Tests sur la moyenne avec variance connue

Notions clés & Définitions

  • Test de Neyman-Pearson : Un test de Neyman-Pearson est un test de niveau α qui maximise la puissance contre une alternative simple, sous une contrainte de probabilitĂ© d’erreur de premiĂšre espĂšce.
  • Rapport de vraisemblance : Le rapport de vraisemblance compare les densitĂ©s sous H1 et sous H0 et sert Ă  construire un test optimal au sens de Neyman-Pearson.
  • Log-rapport de vraisemblance : Le log-rapport de vraisemblance est la version logarithmĂ©e du rapport de vraisemblance, souvent plus simple Ă  manipuler pour obtenir une rĂ©gion de rejet.
  • Statistique de test seuil : Une statistique de test seuil est une rĂšgle du type 1{T(x)>t} (ou 1{T(x)<t}) qui rejette H0 quand la statistique dĂ©passe un seuil calibrĂ© pour atteindre le niveau α.
  • Familles exponentielles : Une famille exponentielle regroupe des lois dont la densitĂ© s’écrit avec une forme a(Ξ)b(x)exp(c(Ξ)d(x)), permettant des tests basĂ©s sur d(x) ou une somme de d(Xi).

Points essentiels

  • Pour un test de niveau α, la rĂ©gion optimale contre une alternative simple est obtenue en maximisant la puissance sous la contrainte P_{Ξ0}(rejeter)=α.
  • Le test de Neyman-Pearson s’écrit avec le rapport de vraisemblance : rejeter H0 quand (q(x)/p(x)) dĂ©passe un seuil tα.
  • Comme le log est monotone, on peut remplacer le rapport par le log-rapport sans changer l’ordre des dĂ©cisions.
  • Dans le cas gaussien X∌N(Ξ,1) avec H0:Ξ=Ξ0 et H1:Ξ=Ξ1, le log-rapport est une fonction affine de x, donc le test optimal est un seuil sur x.
  • Pour H0:Ξ=Ξ0 et H1:Ξ=Ξ1 avec variance connue, la statistique optimale est T(x)=1{x>t} si Ξ1>Ξ0 (et l’inĂ©galitĂ© s’inverse sinon).
  • Pour des observations iid gaussiennes X1,
,Xn∌N(Ξ,1), la statistique de test se rĂ©duit Ă  un seuil sur la moyenne \bar X, car le log-rapport dĂ©pend de \bar X uniquement.

Astuce mémo

Neyman-Pearson = « Rapport → Seuil » : compare q/p (ou log(q/p)), puis rejette quand ça dĂ©passe tα.

8. Tests sur la variance et moyenne inconnues

Notions clés & Définitions

  • Test t de Student : Le test t de Student est un test de moyenne quand la variance est inconnue, basĂ© sur une statistique pivotale suivant une loi de Student sous l’hypothĂšse nulle.
  • Loi de Student : La loi de Student T(Μ)T(\nu) est la loi de la statistique t quand on remplace la variance vraie par sa variance empirique, avec Μ=n−1\nu=n-1 degrĂ©s de libertĂ©.
  • Test de Fisher : Le test de Fisher compare deux variances via une statistique qui suit une loi de Fisher sous l’hypothĂšse nulle.
  • Loi de Fisher : La loi de Fisher F(k1,k2)F(k_1,k_2) est la loi du rapport de deux variables chi-deux indĂ©pendantes normalisĂ©es, utilisĂ©e pour tester des variances.

Points essentiels

  • Sous H0:ÎŒ=ÎŒ0H_0: \mu=\mu_0 avec σ\sigma inconnue, la statistique T=n(Xˉ−Ό0)σ^T=\dfrac{\sqrt{n}(\bar X-\mu_0)}{\hat\sigma} suit T(n−1)T(n-1) sous H0H_0.
  • Pour un test unilatĂ©ral gauche au niveau α\alpha, on rejette si T<−tαT<-t_{\alpha} oĂč tα=quantile(T(n−1),α)t_{\alpha}=\text{quantile}(T(n-1),\alpha).
  • La p-valeur d’un test unilatĂ©ral gauche s’obtient par P(T(n−1)≀Tobs)=cdf(T(n−1),Tobs)P(T(n-1)\le T_{obs})=\text{cdf}(T(n-1),T_{obs}).
  • Pour tester H0:σ≀σ0H_0: \sigma\le \sigma_0 contre H1:σ>σ0H_1: \sigma>\sigma_0, on utilise une statistique de type chi-deux menant Ă  un quantile de χ2(n−1)\chi^2(n-1).
  • Pour deux Ă©chantillons gaussiens indĂ©pendants, la statistique F=σ^12σ^22F=\dfrac{\hat\sigma_1^2}{\hat\sigma_2^2} suit F(n1−1,n2−1)F(n_1-1,n_2-1) sous H0:σ1=σ2H_0: \sigma_1=\sigma_2.
  • Le test de Fisher unilatĂ©ral droit rejette quand F>tF>t avec t=quantile(F(n1−1,n2−1),1−α)t=\text{quantile}(F(n_1-1,n_2-1),1-\alpha) et la p-valeur vaut 1−cdf(F(⋅),Fobs)1-\text{cdf}(F(\cdot),F_{obs}).

Astuce mémo

t pour moyenne: variance inconnue → t(n−1); F pour variances: rapport de variances → F(n1−1,n2−1).

9. Tests du chi-deux et adéquation à une loi

Notions clés & Définitions

  • Test du chi-deux d’adĂ©quation : Test statistique qui compare des effectifs observĂ©s Ă  des effectifs thĂ©oriques issus d’une loi candidate sous l’hypothĂšse nulle.
  • Distribution multinomiale : ModĂšle de comptage oĂč nn tirages tombent dans mm catĂ©gories avec probabilitĂ©s (p1,
,pm)(p_1,\dots,p_m), donnant un vecteur d’effectifs (X1,
,Xm)(X_1,\dots,X_m).
  • Statistique du chi-deux : Mesure de l’écart entre effectifs observĂ©s et attendus, somme des carrĂ©s des diffĂ©rences normalisĂ©es par les attendus.
  • Correction du chi-deux : Ajustement de la loi asymptotique du chi-deux quand les probabilitĂ©s thĂ©oriques dĂ©pendent de paramĂštres estimĂ©s Ă  partir des donnĂ©es.
  • Histogramme en classes : Partition de l’espace en intervalles disjoints (I1,
,Im)(I_1,\dots,I_m) utilisĂ©e pour transformer des observations continues en effectifs par classe.

Points essentiels

  • Sous H0H_0, les effectifs par catĂ©gories suivent une loi multinomiale Mult(n,p)\mathrm{Mult}(n,p), ce qui justifie la forme du chi-deux.
  • Pour mm catĂ©gories, la statistique est ψ=∑i=1m(Oi−Ei)2Ei\psi=\sum_{i=1}^m\frac{(O_i-E_i)^2}{E_i} avec Ei=npiE_i=n p_i et OiO_i l’effectif observĂ©.
  • Quand les attendus sont grands (condition du cours : npi≄15n p_i\ge 15), alors sous H0H_0 on a ψ≈(m−1)χ2\psi\approx (m-1)\chi^2.
  • On rejette H0H_0 pour les grandes valeurs de ψ\psi : ψ>t1−α\psi>t_{1-\alpha} oĂč t1−αt_{1-\alpha} est le quantile de (m−1)χ2(m-1)\chi^2.
  • Pour une adĂ©quation Ă  une loi continue, on choisit des classes IjI_j et on compare CjC_j (observĂ©) Ă  npjn p_j (thĂ©orique) avec pj=P0(Ij)p_j=P_0(I_j).
  • Si la loi candidate dĂ©pend de ℓ\ell paramĂštres estimĂ©s (MLE), la loi asymptotique devient ψ≈(m−1−ℓ)χ2\psi\approx (m-1-\ell)\chi^2 (perte de degrĂ©s de libertĂ©).

Astuce mémo

Multinomial = comptage; Chi-deux = somme des Ă©carts au carrĂ© / attendus; DegrĂ©s de libertĂ© = (catĂ©gories−1) puis −(paramĂštres estimĂ©s).

10. Test de Kolmogorov-Smirnov et QQ-plots

Notions clés & Définitions

  • QQ-plot : Le QQ-plot est un graphique qui compare les quantiles empiriques des donnĂ©es Ă  ceux attendus sous une loi thĂ©orique.
  • Quantile empirique d’ordre : Le quantile empirique d’ordre k/nk/n est la valeur X(k)X_{(k)} des donnĂ©es triĂ©es associĂ©e Ă  la position kk.
  • Quantile thĂ©orique : Le quantile thĂ©orique d’ordre k/nk/n est la valeur xx telle que F0(x)=k/nF_0(x)=k/n sous l’hypothĂšse H0H_0.
  • Fonction de rĂ©partition empirique : La fonction de rĂ©partition empirique F^n(x) \hat F_n(x) compte la proportion d’observations ≀x \le x.
  • Statistique KS : La statistique de Kolmogorov-Smirnov mesure la distance maximale entre F^n \hat F_n et la fonction de rĂ©partition F0F_0.

Points essentiels

  • Sous H0:F=F0H_0:F=F_0, un QQ-plot bien alignĂ© sur la droite y=xy=x indique une bonne adĂ©quation Ă  la loi postulĂ©e.
  • Pour le QQ-plot, on trace les points (quantiles theˊoriques,quantiles empiriques)(\text{quantiles thĂ©oriques},\text{quantiles empiriques}) et on compare visuellement l’écart Ă  la droite.
  • La fonction de rĂ©partition empirique s’écrit F^n(x)=1n∑i=1n1{Xi≀x}\hat F_n(x)=\frac1n\sum_{i=1}^n\mathbf 1\{X_i\le x\}.
  • La statistique KS est ψ(X)=sup⁥x∣F^n(x)−F0(x)∣\psi(X)=\sup_x\lvert \hat F_n(x)-F_0(x)\rvert, c’est une distance maximale sur tout xx.
  • Sous H0H_0 (cas continu), la loi de n ψ(X)\sqrt n\,\psi(X) converge vers une loi de Kolmogorov, ce qui permet d’obtenir des p-valeurs.
  • En pratique, on calcule la p-valeur avec un logiciel (ex. R, Python, Julia) plutĂŽt que la formule asymptotique seule pour des tailles finies.

Astuce mémo

QQ-plot = Quantiles alignés ; KS = KMax distance (écart maximal) entre F^n\hat F_n et F0F_0.

11. Tests en dimension : séparation minimax en norme infinie

Notions clés & Définitions

  • SĂ©paration minimax : Notion de thĂ©orie de la dĂ©cision oĂč l’on cherche la plus petite amplitude de signal dĂ©tectable par tout test, avec une probabilitĂ© d’erreur contrĂŽlĂ©e.
  • Norme infinie : Mesure de taille d’un signal basĂ©e sur le maximum des composantes, notĂ©e typiquement ∄⋅∄∞\|\cdot\|_\infty.
  • Test de Fisher : Test basĂ© sur un rapport de variances qui compare la variance expliquĂ©e par un facteur Ă  la variance rĂ©siduelle.
  • Statistique ANOVA : Statistique construite Ă  partir de la somme des carrĂ©s inter-groupes et intra-groupes, dont la loi sous H0H_0 est une loi de Fisher.
  • Rapport de corrĂ©lation η2\eta^2 : Mesure de la part de variance expliquĂ©e par un facteur, Ă©gale au rapport entre la variance inter-groupes et la variance totale.

Points essentiels

  • Sous H0H_0, le modĂšle s’écrit Yk=ÎŒ+ΔkY_k=\mu+\varepsilon_k avec Δk∌iid N(0,σ2)\varepsilon_k\sim\text{iid }\mathcal N(0,\sigma^2), donc les moyennes de groupe ne diffĂšrent pas.
  • La dĂ©composition de la variance donne Stot=Sinter+SintraS_{tot}=S_{inter}+S_{intra}, oĂč SinterS_{inter} mesure l’écart des moyennes de groupe Ă  la moyenne globale.
  • Le rapport η2=SinterStot\eta^2=\dfrac{S_{inter}}{S_{tot}} appartient Ă  [0,1][0,1] et estime la proportion de variance expliquĂ©e par le facteur.
  • Sous H0H_0, on a Sinterσ2∌χI−12\dfrac{S_{inter}}{\sigma^2}\sim\chi^2_{I-1} et Sintraσ2∌χn−I2\dfrac{S_{intra}}{\sigma^2}\sim\chi^2_{n-I}, avec indĂ©pendance.
  • La statistique de Fisher F=Sinter/(I−1)Sintra/(n−I)F=\dfrac{S_{inter}/(I-1)}{S_{intra}/(n-I)} suit F(I−1,n−I)F\big(I-1,n-I\big) sous H0H_0.
  • Le test de Fisher rejette H0H_0 au niveau α\alpha si F>f1−α(I−1,n−I)F>f_{1-\alpha}\big(I-1,n-I\big), oĂč f1−αf_{1-\alpha} est le quantile de la loi FF.

Astuce mémo

ANOVA = Inter sur Intra : F=Sinter/(I−1)Sintra/(n−I)F=\dfrac{S_{inter}/(I-1)}{S_{intra}/(n-I)} et η2=SinterStot\eta^2=\dfrac{S_{inter}}{S_{tot}}.

12. Borne inférieure minimax et optimalité du test

Notions clés & Définitions

  • Risque d’un test : Le risque d’un test mesure sa probabilitĂ© d’erreur dans le pire cas, sĂ©parĂ©ment sous chaque hypothĂšse composite.
  • Risque minimax : Le risque minimax est le risque du meilleur test, Ă©valuĂ© contre le pire paramĂštre possible de l’adversaire.
  • Test naturel : Le test naturel est le test seuil qui rejette pour des valeurs suffisamment grandes de la statistique observĂ©e.
  • Borne infĂ©rieure minimax : La borne infĂ©rieure minimax donne la plus petite sĂ©paration dĂ©tectable, car aucun test ne peut faire mieux que le risque minimax.
  • Vitesse de sĂ©paration minimax : La vitesse de sĂ©paration minimax est l’ordre de grandeur minimal de |ÎŒ| nĂ©cessaire pour qu’un test fiable existe.

Points essentiels

  • Le risque d’un test combine deux termes : pire probabilitĂ© de rejeter Ă  tort sous H0 et pire probabilitĂ© de ne pas rejeter sous H1.
  • Le risque minimax s’écrit comme l’infimum sur tous les tests de la valeur maximale sur les paramĂštres des hypothĂšses.
  • Dans le cas gaussien X∌N(Ξ,1), avec H0:Ξ=0 et H1:Ξ≄ρ, le risque minimax vaut exactement R*(ρ)=2(1−Ω(ρ/2)).
  • Le test seuil T*(X)=1{X≄ρ/2} atteint ce risque minimax, donc il est optimal au sens minimax.
  • La borne infĂ©rieure provient du fait que pour tout test, l’espĂ©rance sous les deux densitĂ©s est contrĂŽlĂ©e par l’aire sous leur minimum (recouvrement) Ă  la frontiĂšre Ξ=ρ.
  • Le recouvrement Ă  la frontiĂšre Ξ=ρ se calcule par symĂ©trie et donne exactement 2P(X≄ρ/2)=2(1−Ω(ρ/2)).

Astuce mémo

Minimax = recouvrement : R*(ρ) = aire sous min(f0,fρ) = 2(1−Ω(ρ/2)); le seuil Ă  ρ/2 est pile optimal.

Tableaux de synthĂšse

Correspondances lois (structure et rĂŽle)

LoiModùleÀ retenir
BinomialeNombre de succùs sur n essaisMoyenne np, variance np(1−p)
GĂ©omĂ©triqueNombre d’essais jusqu’au 1er succĂšsMoyenne 1/p, variance (1−p)/p^2
ExponentielleDurĂ©e d’attente jusqu’à un Ă©vĂ©nementSans mĂ©moire, moyenne 1/λ, variance 1/λ^2
PoissonNombre d’évĂ©nements sur un intervalleMoyenne λ, variance λ
GammaSomme de k exponentiellesGĂ©nĂ©ralise l’attente jusqu’au k-iĂšme Ă©vĂ©nement (densitĂ© non Ă  apprendre)

PiÚges & confusions fréquents

  1. Confondre la p-valeur bilatĂ©rale avec une simple doublement de la queue : le cours dit p-valeur bilatĂ©rale = agrĂ©gation des deux cĂŽtĂ©s “aussi extrĂȘmes” (via min dans les formules).
  2. Croire que la p-valeur est uniforme sous H0 mĂȘme pour une statistique discrĂšte : le cours prĂ©cise que ce n’est pas parfaitement uniforme (valeurs en “marches”).
  3. MĂ©langer les rĂŽles des tests : chi-deux d’adĂ©quation compare observĂ© vs thĂ©orique, tandis que KS/QQ-plot comparent Ă  une loi via quantiles et distance max.
  4. Se tromper sur les degrĂ©s de libertĂ© du chi-deux : on a (m−1) puis on retire ℓ paramĂštres estimĂ©s (m−1−ℓ), pas seulement (m−1).
  5. Inverser les rĂ©gions de rejet des tests unilatĂ©raux : pour Student gauche on rejette si T<−tα, pour Fisher droit on rejette si F>t.
  6. Penser que la densitĂ© de Gamma est Ă  apprendre : le cours source indique explicitement que la densitĂ© n’est pas nĂ©cessaire Ă  apprendre, seule la structure “somme d’exponentielles” et les moments utiles comptent.
  7. Oublier que Neyman–Pearson concerne H0 et H1 simples et que le test optimal classe par le rapport de vraisemblance (q/p) ou log(q/p), pas par une p-valeur “au hasard”.

Checklist Examen

  1. Savoir dĂ©finir Bin(n,p), G(p), E(λ), P(λ), Γ(k,λ) et donner leurs moyennes/variances telles qu’écrites dans la fiche.
  2. Savoir utiliser la propriĂ©tĂ© sans mĂ©moire de l’exponentielle et la structure “Gamma = somme d’exponentielles” pour justifier des lois composĂ©es.
  3. Savoir interprĂ©ter un quantile q1−α et Ă©crire P(X≀q1−α)=1−α.
  4. Savoir construire un intervalle de confiance via quantiles (bornes obtenues en Ă©galant des probabilitĂ©s Ă  α/2 et 1−α/2) et relier pivot et rĂ©solution pour le paramĂštre.
  5. Savoir dĂ©finir statistique pivot, fonction de rĂ©partition F(x)=P(X≀x) et calculer des p-valeurs/probabilitĂ©s d’inclusion Ă  partir de F.
  6. Savoir dĂ©finir H0/H1, statistique de test, niveau α, p-valeur (sous H0, “aussi extrĂȘme ou plus”) et conclure par rĂšgle p-valeur≀α.
  7. Savoir Ă©noncer Neyman–Pearson : test le plus puissant pour H0 contre H1 simples, basĂ© sur le rapport de vraisemblance Λ(x)=fH1(x)/fH0(x) (ou inverse) et un seuil calibrĂ© pour obtenir P(rejeter|H0)=α.
  8. Savoir exprimer la p-valeur bilatĂ©rale (agrĂ©gation des deux cĂŽtĂ©s “aussi extrĂȘmes”, et formule via min dans le cours) et la dĂ©cision p≀α.
  9. Savoir utiliser les lois de test gaussiennes/TCL pour approximer des p-valeurs quand n grand, et relier “somme i.i.d. → gaussienne”.
  10. Savoir traiter les tests sur la moyenne avec variance connue (seuil sur X̄ via quantile normal) et avec variance inconnue (statistique pivot T ~ T(n−1)).
  11. Savoir traiter les tests sur la variance et/ou deux variances via Fisher : F ~ F(n1−1,n2−1), rĂ©gion de rejet Ă  droite et p-valeur 1−cdf(F, Fobs).
  12. Savoir faire un test d’adĂ©quation chi-deux : construire classes, calculer E_i, ψ=ÎŁ(O_i−E_i)^2/E_i, utiliser l’approximation ψ≈(m−1−ℓ)χ^2 et conclure avec quantile t1−α.
  13. Savoir utiliser QQ-plot et KS : QQ-plot compare quantiles empiriques vs thĂ©oriques, KS utilise ψ(X)=sup_x|F̂_n(x)−F0(x)| et p-valeur via logiciel/approximation.
  14. Savoir faire ANOVA/Fisher en dimension : dĂ©composition S_tot=S_inter+S_intra, η^2=S_inter/S_tot, et test F=(S_inter/(I−1))/(S_intra/(n−I)) ~ F(I−1,n−I) sous H0, rejet si F>f1−α.

Test your knowledge

Test your knowledge on Introduction aux tests statistiques et lois de base with 12 multiple-choice questions with detailed corrections.

1. Quelle loi modélise le nombre de succÚs obtenus lors de n essais indépendants identiquement distribués, avec probabilité de succÚs p à chaque essai ?

2. Que vĂ©rifie un quantile q_{1-\alpha} d’une variable alĂ©atoire X ?

Take the quiz →

Review with flashcards

Memorize the key concepts of Introduction aux tests statistiques et lois de base with 24 interactive flashcards.

Distributions usuelles — dĂ©finition ?

Lois de base comme binomiale, gaussienne, Poisson, etc.

Lois de base — rîle ?

Modéliser phénomÚnes aléatoires courants.

Intervalle de confiance — rîle ?

Estimer un paramÚtre avec une probabilité de couverture.

See flashcards →

Similar courses

Create your own revision sheets

Import your course and AI generates sheets, quizzes and flashcards in 30 seconds.

Sheet generator