Cuestionario: Optimisation et Régularisation en Apprentissage Profond — 10 preguntas

1. Quelle est la principale fonction d'une régularisation en apprentissage profond ?

A. Réduire la complexité du modèle pour éviter le surapprentissage

B. Augmenter la capacité du modèle pour mieux s'adapter aux données

C. Augmenter la vitesse de convergence de l'algorithme de gradient

D. Diminuer la taille des données d'entraînement pour accélérer l'apprentissage

Answer: (A)

Explicación

La régularisation vise à limiter la capacité du modèle afin d'éviter qu'il ne mémorise le bruit dans les données d'entraînement, ce qui conduit à un meilleur généralisation. Elle réduit donc la complexité du modèle pour prévenir le surapprentissage.

2. Quelle méthode est utilisée pour calculer de manière efficace les gradients dans un réseau de neurones ?

A. La descente de gradient par la règle de la chaîne.

B. La méthode du gradient à pas fixe.

C. La méthode des moindres carrés.

D. Les règles de l'algèbre linéaire classique.

Answer: (A)

Explicación

La backpropagation utilise la règle de la chaîne pour calculer efficacement les gradients dans un réseau de neurones, ce qui permet une mise à jour efficace des paramètres.

3. Quel est le rôle de la méthode de Dropout dans la régularisation des réseaux neuronaux ?

A. Augmenter la taille du réseau en ajoutant des neurones

B. Augmenter la vitesse de convergence en modifiant la fonction de perte

C. Réduire le nombre de couches du réseau

D. Désactiver aléatoirement certains neurones pendant l'entraînement

Answer: (D)

Explicación

Dropout consiste à désactiver aléatoirement un pourcentage de neurones lors de chaque étape d'entraînement, ce qui empêche les neurones de devenir trop dépendants les uns des autres et améliore la capacité de généralisation du modèle.

4. Selon la fiche, quels optimisateurs avancés combinent plusieurs techniques pour améliorer la convergence ?

A. SGD et Momentum.

B. Adam et RMSProp.

C. Adagrad et Descente de gradient classique.

D. Méthodes basées uniquement sur la descente de gradient descendante vanilla.

Answer: (B)

Explicación

Adam et RMSProp sont des optimiseurs avancés qui combinent plusieurs techniques comme l’adaptativité et le momentum pour accélérer la convergence.

5. Parmi les optimiseurs suivants, lequel combine à la fois la notion de momentum et une adaptation du taux d'apprentissage pour chaque paramètre ?

A. RMSProp

B. SGD classique

C. Adam

D. Adagrad

Answer: (C)

Explicación

L'optimiseur Adam combine les avantages du momentum (accumulation des gradients passés) et de l'adaptativité du taux d'apprentissage pour chaque paramètre, ce qui permet une convergence plus efficace et stable.

6. Quelle régularisation est recommandée pour encourager la sparsité dans les poids d'un réseau ?

A. Régularisation L2.

B. Régularisation L1.

C. Dropout.

D. Early stopping.

Answer: (B)

Explicación

La régularisation L1 favorise la sparsité en ajoutant une pénalité basée sur la somme absolue des poids, ce qui incite certains à devenir nuls.

7. Quel problème survient quand un modèle de réseau neuronal mémorise le bruit dans les données d'entraînement ?

A. Sous-apprentissage.

B. Surapprentissage.

C. Convergence trop lente.

D. Overfitting dû à la régularisation excessive.

Answer: (B)

Explicación

Le surapprentissage survient lorsque le modèle mémorise le bruit et le bruit spécifique des données d’entraînement, réduisant sa capacité à généraliser.

8. Parmi les éléments suivants, quel est un composant clé qui rend un modèle de réseau non linéaire ?

A. Les fonctions d'activation non linéaires telles que ReLU, tanh, sigmoid.

B. L'absence d'activations dans le réseau.

C. Une seule couche linéaire.

D. La moyenne des poids.

Answer: (A)

Explicación

Les fonctions d'activation non linéaires telles que ReLU, tanh, et sigmoid rendent le modèle non linéaire, ce qui est crucial pour apprendre des représentations complexes.

9. Quel phénomène peut être causé par une complexité excessive du paysage de la perte ?

A. Oscillations ou stagnation.

B. Une convergence très rapide.

C. Une réduction automatique du taux d'apprentissage.

D. Une capacité sous-optimale du modèle.

Answer: (A)

Explicación

Une complexité trop élevée du paysage de perte peut entraîner des oscillations ou une stagnation lors de l'optimisation, rendant l'apprentissage difficile.

10. Quelle est la principale différence entre la régularisation L1 et L2 selon la fiche?

A. L1 favorise la sparsité, L2 décourage les poids importants.

B. L1 pénalise en ajoutant la norme au carré, L2 la norme absolue.

C. L1 et L2 ont le même effet sur la sparsité.

D. L2 est utilisable uniquement avec la descente de gradient, L1 pas.

Answer: (A)

Explicación

La régularisation L1 favorise la sparsité des poids en ajoutant la norme absolue, alors que L2 pénalise la grandeur de tous les poids mais ne favorise pas la sparsité spécifiquement.