Optimisation et Régularisation en Apprentissage Profond

1. 📌 L'essentiel

• La fonction de perte totale est la moyenne ou somme sur tous les exemples.
• La desc de gradient ajuste les paramètres en fonction gradient de la perte.
• La backpropagation calcule efficacement les gradients via la règle de chaîne.
• Le surapprentissage survient quand le modèle mémorise le bruit, contrôlé par régularisation et early stopping.
• La régularisation L2 (weight decay) pénalise les poids importants, L1 favorise la sparsité.
• Dropout désactive aléatoirement des neurones pour améliorer la généralisation.
• Les optimisateurs avancés (Adam, RMSProp) combinent plusieurs techniques pour une convergence plus rapide.
• La sélection des hyperparamètres (taux d'apprentissage, régularisation) est cruciale.
• La complexité du paysage de la perte peut causer oscillations ou stagnation.
• La capacité du modèle doit être adaptée pour éviter sous- ou sur-apprentissage.

---