Flashcards: Optimisation et Régularisation en Apprentissage Profond — 10 cards

Régularisation L2 — rôle ?

Décourage les poids importants

Fonction de perte — définition?

Moyenne ou somme des erreurs sur tous les exemples.

Dropout — technique ?

Désactivation aléatoire de neurones

Descente de gradient — rôle?

Ajuste paramètres selon le gradient de la perte.

Gradient descent — mise à jour ?

ω ← ω - ρ ∇ωL(ω)

Backpropagation — mécanisme?

Calcule efficacement les gradients via la règle de chaîne.

Surapprentissage — cause?

Modèle mémorise le bruit, contrôlé par régularisation/early stopping.

Régularisation L2 — but?

Pénalise poids importants, encourage la simplicité.

Dropout — technique?

Désactive aléatoirement neurones pour généraliser.

Optimiseurs avancés — exemple?

Adam, RMSProp, combinent plusieurs techniques.