Lernzettel: Introduction à la régression linéaire en machine learning

1. 📌 L'essentiel

• La régression linéaire modélise une relation linéaire entre variables d’entrée (features) et variable cible (target).
• Fonction de coût principale : erreur quadratique moyenne J(θ) = (1/2n) ∑(Xθ − Y)², à minimiser- Méthodes d'apprentissage : solutions analytiques (équations normales) ou descente de gradient.
• La matrice X inclut une colonne de biais (1) pour simplifier le calcul.
• Prédictions : F = X.θ, avec θ estimé lors de l'apprentissage.
• Utilisation courante en prédiction continue : prix, concentration, etc.
• convexité de J assure la convergence vers un minimum global.
• Extension à la régression multivariable et polynomiale.
• Implémentation efficace avec Scikit-Learn (classe LinearRegression).
• La phase d’apprentissage ajuste les paramètres, la phase d’inférence prédit de nouvelles valeurs.

2. 🧩 Structures & Composants clés

• Données (X, Y) — X : matrice des features, Y : vecteur des cibles.
• Modèle linéaire — f(x) = β0 + β1.x1 + ... + βp.xp.
• Fonction de coût — erreur quadratique moyenne J(θ).
• Solution analytique — équations normales : θ = (XᵗX)⁻¹XᵗY.
• Descente de gradient — méthode itérative pour minimiser J.
• Matrice X — inclut une colonne de 1 pour le biais.
• Prédiction — F = X.θ.
• Algorithme — mise à jour θ := θ − α.∇J(θ).
• Outils — Scikit-Learn, classes LinearRegression, fit, predict.
• Extension — régression multiple, polynomiale.

3. 🔬 Fonctions, Mécanismes & Relations

• La fonction de coût J(θ) mesure l’erreur entre prédictions et vraies valeurs.
• La solution analytique (équations normales) fournit θ optimal directement.
• La descente de gradient ajuste θ en suivant le gradient ∇J(θ).
• La matrice X doit contenir une colonne de biais pour simplifier le calcul.
• La prédiction s’effectue par F = X.θ, en utilisant θ estimé.
• La convergence dépend de la convexité de J, assurant un minimum global.
• La mise en œuvre pratique utilise sklearn.linear_model.LinearRegression.
• La régression multivariable permet de modéliser plusieurs features simultanément.
• La transformation polynomiale permet d’étendre la modélisation à des relations non linéaires.

4. Tableau comparatif

5. 🗂️ Diagramme Hiérarchique (ASCII)

Régression Linéaire
 ├─ Données (X, Y)
 ├─ Modèle : f(x) = β0 + β1.x1 + ... + βp.xp
 ├─ Fonction de coût : erreur quadratique
 ├─ Méthodes d’estimation
 │    ├─ Solutions analytiques (équations normales)
 │    └─ Descente de gradient
 ├─ Matrices X, Y, θ
 ├─ Phase d’apprentissage (optimisation)
 └─ Phase d’inférence (prédiction)

6. ⚠️ Pièges & Confusions fréquentes

• Confondre la solution analytique et la descente de gradient.
• Oublier d’ajouter la colonne de biais dans X.
• Croire que la fonction de coût n’est pas convexe — elle l’est pour la régression linéaire.
• Utiliser la formule analytique sans vérifier l’inversibilité de XᵗX.
• Confondre la régression simple et la multivariable.
• Négliger la normalisation ou la standardisation des features.
• Croire que la régression est adaptée à toutes les relations (non linéaires).
• Oublier de tester la performance avec un score ou une validation.

7. ✅ Checklist Examen Final

• Comprendre la formule de la fonction de coût J(θ).
• Savoir comment résoudre analytiquement via équations normales.
• Maîtriser la mise à jour par descente de gradient.
• Savoir préparer la matrice X avec colonne de biais.
• Pouvoir faire une prédiction avec X.θ.
• Connaître les outils Scikit-Learn : LinearRegression, fit, predict.
• Savoir étendre à la régression multivariable.
• Comprendre la différence entre solution analytique et méthode numérique.
• Reconnaître la convexité de J et ses implications.
• Être capable d’interpréter un graphique de convergence.
• Savoir quand utiliser la régression linéaire dans un contexte pratique.
• Connaître ses limites : relations non linéaires, multicolinéarité.
• Savoir évaluer la performance (score R², erreur).
• Comprendre l’impact de la normalisation des features.
• Être capable d’implémenter une régression multivariée avec Scikit-Learn.
• Savoir comment étendre à la régression polynomiale.