Flashcard: Principes et Méthodes de Régression — 24 carte

Fonction de perte MSE — définition ?

Moyenne des carrés des écarts entre prévisions et réalité.

MAE — rôle ?

Mesure la précision linéaire en moyenne des erreurs absolues.

Fonction de perte Huber — mécanisme ?

Combine MSE pour petites erreurs et MAE pour grandes erreurs.

Perte Quantile — objectif ?

Estimer un quantile spécifique en pénalisant asymétriquement.

Biais — impact ?

Erreur systématique due à un modèle simplifié.

Variance — effet ?

Sensibilité du modèle aux fluctuations des données.

Complexité du modèle — influence ?

Détermine sa capacité à s’adapter ou à surajuster.

Régression linéaire — principe ?

Relation linéaire entre variables pour prédire une cible.

Ridge (L2) — régularisation ?

Ajoute une pénalité L2 pour réduire la magnitude des coefficients.

Lasso (L1) — particularité ?

Favorise la sparsité en pénalisant la somme absolue des coefficients.

Arbre de décision — structure ?

Utilise des tests pour diviser les données en branches jusqu’aux feuilles.

Forêt aléatoire — principe ?

Ensemble d’arbres construits sur échantillons aléatoires, combinés par vote ou moyenne.

Gradient Boosting — mécanisme ?

Construire séquentiellement des arbres corrigeant les erreurs précédentes via le gradient.

MSE — sensibilité aux outliers ?

Très sensible, pénalise fortement les erreurs importantes.

MAE — robustesse ?

Plus robuste, moins sensible aux valeurs extrêmes.

Fonction Huber — avantage ?

Robuste aux outliers tout en étant différentiable.

Perte Quantile — utilisation ?

Pour estimer des seuils ou risques extrêmes.

Biais — sous- ou sur-apprentissage ?

Biais élevé indique sous-apprentissage (underfitting).

Variance — sous- ou sur-apprentissage ?

Variance élevée indique surapprentissage (overfitting).

Régression linéaire — formule ?

Minimise la somme des carrés des erreurs : $ eta = (X^TX)^{-1}X^Ty $.

Ridge — hyperparamètre ?

λ (lambda), contrôle la force de la régularisation.

Lasso — effet sur variables ?

Sélectionne et élimine automatiquement certaines variables.

Arbre de décision — critère ?

Maximise la pureté ou réduit l’hétérogénéité à chaque division.

Forêt aléatoire — avantage principal ?

Réduit le surapprentissage grâce à la diversité des arbres.