Hoja de repaso: Introduction aux estimateurs et méthodes statistiques

📋 Plan du Cours

1. Notion d’estimateur en statistique
2. Méthodes de construction d’estimateurs paramétriques
3. Pour un individu j dont on observe que le poids Xj = xj , comment est modélisée l’information que xj procure sur sa taille Yj
4. Optimalité des estimateurs et variance minimale
5. Statistique bayésienne et estimation
6. Apprentissage supervisé : classification
7. Estimateurs du maximum de vraisemblance et propriétés
8. Analyse discriminante linéaire et quadratique (LDA, QDA)
9. Problème de régression linéaire en apprentissage supervisé
10. Critère des moindres carrés et estimation de la régression
11. Analyse en composantes principales (ACP) : concepts et calculs
12. Interprétation géométrique des composantes principales

📖 1. Notion d’estimateur en statistique

🔑 Notions clés & Définitions

• Apprentissage supervisé : Classification Figure 7.1 – La base de données MNIST deux classes.
• Estimateur : Fonction des observations aléatoires X1, …, Xn qui fournit une valeur destinée à estimer un paramètre inconnu θ, sans dépendre de θ lui-même.

📝 Points essentiels

• Un estimateur est une fonction des données observées utilisée pour estimer un paramètre inconnu.
• Le biais d’un estimateur est la différence entre son espérance et la vraie valeur du paramètre estimé.

💡 À retenir

Un estimateur est une fonction des données observées utilisée pour estimer un paramètre inconnu.

📖 2. Méthodes de construction d’estimateurs paramétriques

🔑 Notions clés & Définitions

• ΘMM n : Estimateur paramétrique obtenu par la méthode des moments, défini comme la solution du système d’équations qui fait coïncider les moments théoriques et les moments empiriques d’ordre 1 à k.
• Moment empirique : 1 Soit ˆμj (X1, · · · , Xn) = 1 n n∑ i
• Divergence de Kullback-Leibler : ̂ θMV(X1, · · · , Xn) =̂ θMV n
• Vraisemblance : ̂ θMV(X1, · · · , Xn) =̂ θMV n

📝 Points essentiels

• L’estimateur par moments est construit en résolvant un système d’équations qui égalise les moments empiriques aux moments théoriques, assurant la cohérence lorsque les opérations sont compatibles avec la convergence presque sûre.
• La vraisemblance est calculée comme le produit des densités des observations indépendantes et identiquement distribuées, en fonction du paramètre inconnu.
• L’estimateur du maximum de vraisemblance minimise approximativement la divergence de Kullback-Leibler entre la vraie distribution inconnue et la famille paramétrique considérée.
• L’estimateur̂ θMM(X1, · · · , Xn) =̂ θMM n issu de la méthode des moments est défini par̂ θMM(X1, · · · , Xn) =̂ θMM n = M (ˆμ1, · · · , ˆμk).

💡 À retenir

Les estimateurs paramétriques sont construits soit en faisant coïncider les moments empiriques avec les moments théoriques, soit en maximisant la vraisemblance des données. L’estimateur du maximum de vraisemblance s’interprète également comme une minimisation approchée de la divergence de Kullback-Leibler.

📖 3. Pour un individu j dont on observe que le poids Xj = xj , comment est modélisée l’information que xj procure sur sa taille Yj

🔑 Notions clés & Définitions

• Variable aléatoire : On rappelle que X ⊗n désigne la tribu produit déduite de X dans l’espace probabilisé (Xn, X ⊗n, ⊗n i
• Phénomène observé : Dès lors, comprendre le phénomène observé ou prédire son comportement avant même qu’il soit observé requiert la connaissance de la loi de probabilité associée.

📝 Points essentiels

• L’information fournie par le poids observé xj sur la taille Yj est modélisée par la loi conditionnelle de Yj sachant Xj = xj.
• L’espérance conditionnelle E[Yj|Xj = xj] est donnée comme la meilleure prédiction quadratique de la taille à partir du poids observé.
• La dépendance probabiliste entre Yj et Xj est formalisée par la loi conditionnelle de Yj sachant Xj = xj.
• Chapitre 5. Statistique bayésienne alors pour n’importe quelle fonction̂ θ(x), on a ∫ Θ L(˜θ(x), θ)fx(θ)ν(dθ) ≤ ∫ Θ L(̂ θ(x), θ)fx(θ)ν(dθ) ∫ ∫ Xn×Θ L(˜θ(x), ϑ)fϑ(θ)fθ(x) μ(dx)ν(dθ) ≤ ∫ Xn×Θ L(̂θ(x), ϑ)fϑ(θ)fθ(x) μ(dx)ν(dθ) E ( L(˜θ(X1, · · · , Xn), ϑ) ) ≤ E ( L(̂θ(X1, · · · , Xn), ϑ) ) . On a donc ˜θ(x) =̂ θSB(x). Réciproquement, sî θSB(x) = arg min̂ θ E ( L(̂θ(X), ϑ) ) et quê θSB(x) n’est pas le minimiseur de ∫ Θ L(̂θ(x), θ)fx(θ)ν(dθ), il existe des fonctionŝ θ et des ensembles de x inclus dans Xn pour lesquelles ∫ Θ L(̂ θ(x), θ)fx(θ)ν(dθ) < ∫ Θ L(̂θSB(x), θ)fx(θ)ν(dθ). On peut donc construire une fonction̂ θ∗(x) vérifiant ∀x ∈ Xn, ∫ Θ L(̂θ∗(x), θ)fx(θ)ν(dθ) < ∫ Θ L(̂θSB(x), θ)fx(θ)ν(dθ), ce qui implique E ( L(̂ θ∗(X), ϑ) ) < E ( L(̂ θSB(X), ϑ) ) et contredit l’hypothèse de départ. ■ Ce résultat illustre l’importance de la loi à posteriori fx(θ), dont le calcul est nécessaire, par l’intermédiaire de la formule de Bayes, pour déduire l’estimateur bayésien optimal. En résumé, lorsqu’on adapte le point de vue bayésien, le problème d’estimation consiste en les étapes suivantes : 1. on se donne la loi à priori fϑ(θ) qui modélise l’information aléatoire dont on dis- pose sur le paramètre, avant même d’avoir observé quoique ce soit, et la loi fθ(x) des observations conditionnelle à ϑ = θ. Dans le contexte académique, ces lois se- ront données. En pratique, il s’agit d’un choix à

💡 À retenir

L’information apportée par une observation partielle se modélise par la loi conditionnelle. Dans ce cadre, l’espérance conditionnelle fournit la meilleure prédiction quadratique de la taille à partir du poids observé.

📖 4. Optimalité des estimateurs et variance minimale

🔑 Notions clés & Définitions

• Borne de Cramér-Rao : Limite inférieure à la variance que peut atteindre un estimateur non biaisé, donnée par l'inverse du produit du nombre d'observations et de l'information de Fisher.
• Variance minimale : Valeur la plus faible de la variance possible parmi tous les estimateurs non biaisés d'un paramètre.
• Variance des estimateurs non biaisés : Mesure de la dispersion des valeurs d'un estimateur non biaisé autour de la vraie valeur du paramètre, utilisée pour évaluer la précision de l'estimateur.
• Réduction de variance des estimateurs : Méthode consistant à construire, à partir d'un estimateur non biaisé initial, un nouvel estimateur non biaisé dont la variance est plus faible, notamment en utilisant l'espérance conditionnelle par rapport à une statistique exhaustive et complète.

📝 Points essentiels

• La borne de Cramér-Rao fixe une limite inférieure à la variance de tout estimateur non biaisé.
• Un estimateur efficace est un estimateur non biaisé qui atteint la borne de Cramér-Rao, possédant ainsi la variance minimale possible.
• La variance minimale est un critère d'optimalité permettant de comparer la précision des estimateurs non biaisés.
• E(̂θn)̸ = θ, on peut tenter d’introduire un biais tout en diminuant la variance, de manière à ce que eqm(˜θn) = biais(˜θn)2 + Var(˜θn) < eqm(̂ θn) = Var(̂ θn). C’est par exemple ce principe qui est utilisé en régression linéaire avec la régression ridge et Lasso. Dans cette partie, nous allons explorer une autre piste. En particulier, supposons que l’on ait à notre disposition un estimateur̂ θn non biaisé. Nous allons nous poser deux questions : 1. peut-on affirmer que l’estimateur dont nous disposons est de variance minimale, parmi tous les estimateurs non biaisés ? 2. peut on, à partir dê θn, construire un estimateur toujours non biaisé mais de variance minimale ? Dans un soucis de clarté, nous utiliserons plus souvient les notations suivantes : X = (X1, · · · , Xn), x = (x1, · · · , xn), et on a par conséquent Pθ(dx) = ⊗n i=1Pθ(dxi), fθ(x) = f (θ; x) = fθ(x1, · · · , xn) = n∏ i=1 fθ(xi). On se souviendra que x ∈ X et x ∈ Xn. 26

💡 À retenir

La borne de Cramér-Rao fixe une limite inférieure à la variance de tout estimateur non biaisé.

📖 5. Statistique bayésienne et estimation

🔑 Notions clés & Définitions

• Estimateur bayésien : Fonction de décision qui minimise le risque moyen calculé en intégrant la fonction de perte sur la loi jointe du paramètre et des observations, prenant en compte la loi a priori du paramètre.
• Loi a posteriori : Distribution du paramètre conditionnelle aux observations, obtenue en combinant la loi a priori du paramètre et la vraisemblance des observations.
• Stratégie bayésienne : En d’autres termes le risque s’écrit également R(̂ θn) = ∫ Xn×Θ L(̂ θ(x), ϑ)fϑ,X(θ, x)μ(dx)ν(dθ)
• Estimation bayésienne : Cadre d’estimation où le paramètre inconnu est modélisé comme une variable aléatoire avec une loi a priori, et où l’estimateur intègre cette information a priori avec les observations pour construire une estimation.
• Statistique bayésienne : Ailleurs, la loi des observations fθ(x1, · · · , xn) = fθ(x) ne doit plus s’interpréter comme la loi des observations paramétrée par θ mais par la densité conditionnelle de X sachant ϑ = θ que l’on avait l’habitude de noter fX|ϑ=θ(x) en cours de Probabilités.

📝 Points essentiels

• Le risque bayésien est l’espérance de la fonction de perte calculée sur la loi jointe du paramètre et des observations, obtenue à partir de la loi a priori et de la loi conditionnelle des observations.
• L’estimateur bayésien minimise ce risque moyen, intégrant ainsi la distribution a priori du paramètre.
• La loi a posteriori combine la vraisemblance des observations et la loi a priori pour actualiser la connaissance sur le paramètre.
• • d’une loi des observations X conditionnelle au paramètre θ, fX|ϑ=θ(x).

💡 À retenir

La loi a posteriori combine la vraisemblance des observations et la loi a priori pour actualiser la connaissance sur le paramètre.

📖 6. Apprentissage supervisé : classification

🔑 Notions clés & Définitions

• Apprentissage supervisé : Cadre d’apprentissage où l’on dispose d’un ensemble de données étiquetées et où l’objectif est d’apprendre une règle de prédiction qui associe une observation à une étiquette.
• 4 Analyse discriminante : Famille de méthodes de classification qui estime les paramètres des distributions conditionnelles des classes puis construit une règle de décision en remplaçant ces paramètres par leurs estimateurs, comme dans les modèles LDA et QDA.
• Fonction de coût 0/1 : Fonction de perte utilisée en classification qui attribue une perte de 1 en cas d’erreur de classification et 0 sinon, mesurant simplement si la prédiction est correcte ou non.

📝 Points essentiels

• Le classifieur plug-in construit une règle de décision en remplaçant la fonction de régression conditionnelle inconnue par son estimateur dans la règle de Bayes.
• Le classifieur de Bayes minimise le risque de classification en utilisant la fonction de régression conditionnelle, qui est la probabilité conditionnelle de la classe donnée l’observation.
• L’excès de risque d’un classifieur plug-in est borné par deux fois l’erreur d’estimation de la fonction de régression conditionnelle.

💡 À retenir

Le classifieur plug-in construit une règle de décision en remplaçant la fonction de régression conditionnelle inconnue par son estimateur dans la règle de Bayes.

📖 7. Estimateurs du maximum de vraisemblance et propriétés

🔑 Notions clés & Définitions

• Log (fθ(Xi)) : Fonction logarithmique appliquée à la densité de probabilité ou à la fonction de vraisemblance évaluée en l’observation Xi, utilisée pour construire la log-vraisemblance et analyser le comportement asymptotique des estimateurs.
• Maximum de vraisemblance : Revenons au cas de l’estimateur du maximum de vraisemblancê θMV n du chapitre 3.

📝 Points essentiels

• Sous certaines hypothèses, l’estimateur du maximum de vraisemblance est consistant, convergeant vers la vraie valeur du paramètre.
• L’EMV est asymptotiquement normal avec une variance liée à l’information de Fisher.
• L’EMV est asymptotiquement efficace, atteignant la borne de Cramér-Rao.
• Alors l’estimateur du maximum de vraisemblancê θMV n est consistant,̂ θMV(X1, · · · , Xn) =̂ θMV n P → θ∗.

💡 À retenir

Sous des hypothèses de régularité précises, l’estimateur du maximum de vraisemblance est consistant, asymptotiquement normal et efficace, ce qui garantit sa fiabilité et son optimalité asymptotique.

📖 8. Analyse discriminante linéaire et quadratique (LDA, QDA)

🔑 Notions clés & Définitions

• 4 Analyse discriminante : Modèle probabiliste de classification qui suppose que la distribution conditionnelle des descripteurs, donnée la classe, suit une loi normale multivariée avec des paramètres spécifiques à chaque classe.
• Régression : Prédiction d’une nouvelle observation Considérons le modèle de régression suivant : Y = Xβ∗ + ξ , où X ∈ Rn×d et où les (ξ)1≤i≤n sont des variables i.i.d.

📝 Points essentiels

• Les paramètres des lois gaussiennes conditionnelles sont estimés à partir des données pour construire la règle de classification.
• LDA suppose que toutes les classes partagent la même matrice de covariance, ce qui conduit à une frontière de décision linéaire.
• QDA permet à chaque classe d’avoir sa propre matrice de covariance, ce qui génère une frontière de décision quadratique.
• Apprentissage supervisé : classification Dans tous les cas on estimera les paramètres des lois correspondantes et on construit un estimateur ˆf en utilisant Dn.
• On suppose donc qu’on a des données Dn = {X1, .

💡 À retenir

L’utilisation de modèles probabilistes gaussiens permet de construire des règles de classification linéaires (LDA) ou quadratiques (QDA) en fonction de l’hypothèse sur l’égalité ou la différence des matrices de covariance des classes.

📖 9. Problème de régression linéaire en apprentissage supervisé

🔑 Notions clés & Définitions

• Apprentissage supervisé : Cadre d’analyse de données où l’on dispose d’un ensemble d’observations étiquetées, chaque observation comprenant des variables explicatives et une étiquette à prédire.
• 1 Régression linéaire : Modèle de régression qui suppose une relation linéaire entre les variables explicatives et une variable cible continue à prédire.

📝 Points essentiels

• La régression linéaire modélise la relation entre les variables explicatives et une variable continue à prédire par une combinaison linéaire plus un terme d’erreur.
• Le modèle linéaire exprime la variable cible comme une combinaison linéaire des variables explicatives plus un terme d’erreur.
• Les données sont supposées être des réalisations indépendantes et identiquement distribuées (i.i.d.) issues d’une distribution sous-jacente.

💡 À retenir

La régression linéaire en apprentissage supervisé consiste à formuler la prédiction d’une variable continue comme un problème d’ajustement linéaire aux données observées, sous l’hypothèse de données i.i.d.

📖 10. Critère des moindres carrés et estimation de la régression

🔑 Notions clés & Définitions

• 2 Régression linéaire : Modèle statistique qui exprime la relation linéaire entre une variable dépendante et une ou plusieurs variables explicatives, souvent formulé sous la forme matricielle Y = Xβ* + ξ.
• Var[ ˆβ] : Mesure de la dispersion de l’estimateur des moindres carrés β̂ autour de sa valeur moyenne, utilisée pour évaluer la précision de cet estimateur.
• 2 Quelques rappels : Rappels sur des notions probabilistes et statistiques fondamentales, notamment le biais d’un estimateur, l’erreur quadratique moyenne et des propriétés des vecteurs gaussiens, nécessaires à l’analyse des estimateurs.
• Critère des moindres carrés : Séance 8 Questions de cours Considérons le modèle de régression suivant : Y

📝 Points essentiels

• Sous les hypothèses classiques, notamment que les erreurs sont centrées et indépendantes, l’estimateur des moindres carrés est non biaisé et possède des garanties statistiques.
• Le critère des moindres carrés consiste à minimiser la somme des carrés des résidus entre observations et prédictions.

💡 À retenir

Sous les hypothèses classiques, notamment que les erreurs sont centrées et indépendantes, l’estimateur des moindres carrés est non biaisé et possède des garanties statistiques.

📖 11. Analyse en composantes principales (ACP) : concepts et calculs

🔑 Notions clés & Définitions

• Valeurs propres : De plus si A
• Vecteurs propres : De plus si A
• Matrice de covariance : Matrice symétrique définie positive calculée à partir des données centrées, dont les coefficients représentent les covariances empiriques entre descripteurs, et qui peut être diagonaliser dans une base orthonormale.
• Les composantes principales (cj )1≤j≤p : Les composantes principales (cj )1≤j≤p = (Xvj )1≤j≤p sont de norme un.

📝 Points essentiels

• Les valeurs propres correspondent à la variance expliquée par chaque composante principale.
• La somme des premières valeurs propres indique la variance totale expliquée par les composantes retenues.
• Ainsi, les j-premiers vecteurs propres sont les j-vecteurs la projection selon laquelle les données ont la variance empirique la plus grande.
• En effet, on verra que les vecteurs propres associés aux grandes valeurs propres sont exactement les directions selon lesquelles la variance empirique des données varie beaucoup.

💡 À retenir

L’ACP permet de réduire la dimensionnalité des données en identifiant les directions de variance maximale via la décomposition spectrale de la matrice de covariance.

📖 12. Interprétation géométrique des composantes principales

🔑 Notions clés & Définitions

• Projection orthogonale : On sait que PV x = j∑ i=1 ⟨x, vi⟩vi = j∑ i

📝 Points essentiels

• Chaque composante principale est une projection orthogonale des données sur un vecteur propre.
• La corrélation entre une variable originale et une composante principale est le cosinus de l’angle entre leurs vecteurs associés.
• L’espace généré par les premières composantes principales capture la structure géométrique et la variance des données.

💡 À retenir

Chaque composante principale est une projection orthogonale des données sur un vecteur propre.

🧩 Compléments de couverture

1. ACP : point de vue de la décomposition en valeurs singulières 61 8
2. Probabilités : nous étions parti d’une loi de probabilité connue, nous en avons étudié ses propriétés et nous avons même proposé des techniques nous permettant d’obtenir des réalisations suivant cette loi de probabilité
3. 1. Comme nous l’avons vu en probabilité, la convergence en moyenne d’ordre 2 implique la convergence en probabilité définit comme-ci
4. Var(̂θn) = lim n→∞ θ(1 − θ) n = 0, ce qui implique que l’estimateur converge en erreur quadratique moyenne et donc en probabilité
5. Glivenko-Cantelli, appelé également théorème fondamental de la statistique précise le comportement de Fn(x) en tant que variable aléatoire
6. Pθ(X = x) = {θ si x = 1 1 − θ si x = 0 , que l’on peut réécrire fθ(x) = θx(1 − θ)1−x, par rapport à la mesure de comptage, i
7. Cramer-Rao Pour simplifier, nous supposons dans cette section que le paramètre inconnu θ à valeur réelle, c’est à dire Θ ⊂ R
8. Pre- mièrement, si un estimateur̂ θ(x) =̂ θn atteint la borne de Cramer-Rao, c’est à dire Var(̂ θ(X)) = 1/(nI(θ)), alors l’estimateur (sans biais) est de variance minimale
9. Pθ(T (X) = T (x)|X = x) = 1 et Pθ(X = x) = Pθ(X = x)Pθ(T (X) = T (x)|X = x) = Pθ(T (X) = T (x))Pθ(X = x|T (X) = T (x)) = Pθ(T (X) = T (x))P (X = x|T (X) = T (x))
10. Radon-Nikodym s’écrit fθ(x) = h(x)β(θ) exp   d∑ j=1 αj (θ)aj (x)   , 32 Chapitre 4
11. 1. puisque E ( (̂ θ(x) − ϑ)2|X = x ) =̂ θ(x)2 − 2̂ θ(x)E(ϑ|X = x) + E(ϑ2|X = x) ; on a alors un polynôme de degré 2 en la variablê θ(x) qui admet un minimum en̂ θSB(x) = E(ϑ|X = x). Il reste donc à calculer̂ θSB(x) = E(ϑ|X = x) = ∫ Θ θfx(θ
12. Xn - on dira qu’on est dans un problème d’apprentissage supervisé (par exemple le pourcentage d’humidité le lendemain)
13. Ici X = Rd, où d est le nombre différents types de données qu’on a pour chaque patient et Y = {0, 1}, où 1 indique l’existence d’une tumeur et 0 qu’il est sain
14. Plug-in classifieur On rappelle que dans ce qui suit on se place dans le cadre de la classification binaire : Y = {0, 1} avec la fonction de coût 0/1 : l(˜y, y) = 1˜y̸ =y
15. Si = Σ−1 i et remarquons que |Si|−1 = 1 |Si|
16. Aj = V ⊥ j l’espace engendré par {pj+1,
17. PV Xi = ∑j l=1⟨vl, Xi⟩vl et donc : ∥PV Xi∥2 = j∑ l=1 ⟨vl, Xi⟩2 = j∑ l=1 v⊤ l X⊤ i Xivl , où on a utilisé l’orthonormalité de la base {v1,
18. Soit X = U ΣV ⊤ la décomposition en valeurs singulières de X, alors la j-ème composante principale est exactement la j-ème colonne de V
19. Ln(α, β) = n∏ i=1 1 √2πσ e− (Yi−αi−Xiβi)2 2σ2 = ( 1 √2πσ )n e− ∑n i=1 (Yi−αi−Xiβi)2 2σ2
20. PF = P ⊤ F = P 2 F et PF PF ⊥ = PF ⊥ PF = 0
21. Cochran : ∥ ∥ ∥Y − X ˆβ ∥ ∥ ∥2 = σ2 ∗ ∥ ∥ ∥ ∥PIm(X)⊥ ( ξ σ∗ )∥ ∥ ∥ ∥ 2 ∼ σ2 ∗ χ2(n − d)
22. Cramer-Rao ; (b) Calculer l’estimateur du maximum de vraisemblance de (μ, σ2) ; 2
23. Séance 6 Exercice 1 : Classifieur de Bayes Considérons des couples indépendants de variables (Xi, Yi)1≤i≤n et à valeurs dans R × {0, 1}
24. Indication : on se rappellera que pour tout z ∈ Rd et A ∈ Rd×d le gradient de la fonction θ 7 → 1 2 ∥Aθ − z∥2 est égal à A⊤(Aθ − z)

📊 Tableaux de Synthèse

Estimateurs paramétriques

Méthode	Principe	Propriété
Méthode des moments	Faire coïncider moments empiriques et moments théoriques	Solution d’un système d’équations
Maximum de vraisemblance	Maximiser la vraisemblance des données	Interprétation comme minimisation approchée de la divergence de Kullback-Leibler

Classification et régression supervisées

Cadre	Objet prédit	Idée clé
Classification	Une étiquette	Règle de Bayes, classifieur plug-in, LDA/QDA
Régression linéaire	Une variable continue	Ajustement linéaire aux données i.i.d.

⚠️ Pièges & Confusions Fréquentes

1. Confondre un estimateur avec le paramètre inconnu qu’il cherche à estimer.
2. Confondre biais d’un estimateur et variance d’un estimateur.
3. Confondre méthode des moments et maximum de vraisemblance : l’une égalise les moments, l’autre maximise la vraisemblance.
4. Confondre loi conditionnelle et espérance conditionnelle : la première modélise l’information, la seconde donne la meilleure prédiction quadratique.
5. Confondre classifieur de Bayes et classifieur plug-in : le plug-in remplace la fonction de régression conditionnelle inconnue par son estimateur.
6. Confondre LDA et QDA : ils reposent sur des hypothèses différentes sur les matrices de covariance des classes.
7. Confondre régression linéaire et classification : la régression prédit une variable continue, la classification une étiquette.

✅ Checklist Examen

1. Définir un estimateur comme une fonction des observations qui estime un paramètre inconnu.
2. Savoir définir le biais d’un estimateur comme l’écart entre son espérance et la vraie valeur du paramètre.
3. Expliquer la méthode des moments par l’égalité entre moments empiriques et moments théoriques.
4. Expliquer la vraisemblance comme produit des densités des observations i.i.d.
5. Relier le maximum de vraisemblance à la divergence de Kullback-Leibler.
6. Modéliser l’information de Xj sur Yj par la loi conditionnelle de Yj sachant Xj = xj.
7. Identifier l’espérance conditionnelle comme meilleure prédiction quadratique.
8. Connaître le rôle de la borne de Cramér-Rao pour les estimateurs non biaisés.
9. Savoir que l’EMV est consistant sous certaines hypothèses.
10. Savoir que l’EMV est asymptotiquement normal et asymptotiquement efficace.
11. Décrire le cadre de l’apprentissage supervisé comme des données étiquetées.
12. Distinguer classification, régression linéaire et analyse discriminante.