Principes et Méthodes de Régression

📋 Plan du Cours

1. Fonction de perte MSE
2. Fonction de perte MAE
3. Fonction de perte Huber
4. Fonction de perte Quantile
5. Biais et Variance
6. Dancede complexité du modèle
7. Régression linéaire
8. Régression Ridge (L2)
9. Régression Lasso (L1)
10. Arbre de décision
11. Forêt aléatoire
12. Gradient Boosting

📖 1. Fonction de perte MSE

🔑 Notions clés & Définitions

• Fonction de perte (Loss Function) : Mesure quantitative de l'erreur ou de la "wrongness" d’un modèle, permettant d’optimiser ses paramètres.
• MSE (Mean Squared Error) : Moyenne des carrés des écarts entre les valeurs prédites et les valeurs réelles. Formel : $\text{MSE} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2$.
• Intuition du MSE : Punition quadratique des erreurs, ce qui signifie que les erreurs importantes sont pénalisées de manière plus sévère que les erreurs faibles.
• Sensibilité aux outliers : Le MSE est très sensible aux valeurs aberrantes, car il amplifie les grandes erreurs par leur carré.
• Points essentiels : Utilisé lorsque la différentiabilité et la smoothness sont nécessaires, notamment pour la descente de gradient.
• Point à retenir : Le MSE favorise des modèles précis pour les erreurs faibles mais peut conduire à des modèles surajustés en présence d’outliers.