Lernzettel: Introduction aux réseaux de neurones profonds

📋 Plan du Cours

1. Architecture et fonctionnement des réseaux multi-couches (DNN)
2. Théorème d’approximation universelle des réseaux multicouches
3. Propagation avant dans un perceptron multicouche avec fonctions sigmoïdes
4. Rétropropagation et calcul des gradients pour l’entraînement des réseaux
5. Exemple détaillé de calcul de gradient dans un réseau à une couche cachée
6. Propagation des dérivées partielles dans les couches cachées et entraînement par descente de gradient
7. Entraînement d’un perceptron multi-couche : rétropropagation et défis historiques
8. Principes et enjeux du deep learning et architectures avancées (RNN, CNN, CapsNets)

📖 1. Architecture et fonctionnement des réseaux multi-couches (DNN)

🔑 Notions clés & Définitions

• Réseau multi-couche : Architecture de réseau de neurones caractérisée par plusieurs couches successives, définies par leur nombre et la taille de chacune, où chaque neurone d’une couche intermédiaire ou de sortie reçoit en entrée les sorties des neurones de la couche précédente sans rétroaction.
• Thierry Montaut : Enseignant associé à la formation sur les réseaux de neurones artificiels dans le cadre de la licence d’informatique à Champollion Albi.

📝 Points essentiels

• Un réseau multi-couche est caractérisé par son nombre de couches et la taille de chacune des couches.
• L’utilisation de fonctions d’activation non linéaires comme la sigmoïde ou la tangente hyperbolique permet de modéliser des fonctions paramétriques non linéaires.
• Un DNN crée un modèle capable de modéliser toutes les fonctions grâce à sa structure et ses fonctions d’activation.

💡 À retenir

Un réseau multi-couche est caractérisé par son nombre de couches et la taille de chacune des couches.

📖 2. Théorème d’approximation universelle des réseaux multicouches

🔑 Notions clés & Définitions

• Fonction continue et bornée : Fonction dont la valeur ne présente pas de discontinuités et reste limitée dans un intervalle fini.

📝 Points essentiels

• Le théorème d’approximation universelle affirme qu’une fonction continue et bornée peut être approchée avec une précision arbitraire par un réseau multicouche.
• Ce théorème n’est pas constructif : il ne précise pas la structure exacte (nombre de couches, taille) du réseau nécessaire pour l’approximation.
• La démonstration a été réalisée par George Cybenko et Kurt Hornik en 1989.
• Malheureusement, ce théorème n’est pas constructif et ne nous donne pas la structure du réseau (nombre de couches et taille des couches) permettant cette approximation.

💡 À retenir

Le théorème d’approximation universelle garantit la capacité des réseaux multicouches à approcher toute fonction continue et bornée avec une précision arbitraire, sans fournir de détails sur la structure requise du réseau.

📖 3. Propagation avant dans un perceptron multicouche avec fonctions sigmoïdes

🔑 Notions clés & Définitions

• Propagation avant : Processus de calcul des sorties de chaque couche d'un perceptron multicouche en appliquant une fonction sigmoïde aux combinaisons linéaires pondérées des entrées, exprimé par les formules matricielles Z[k] = W[k]A[k-1] + B[k] et A[k] = sigmoïde(Z[k]).

📝 Points essentiels

• Les formules matricielles permettent de traiter simultanément toutes les unités d’une couche : Z[k] = W[k]A[k-1] + B[k], A[k] = sigmoïde(Z[k]).
• La couche d’entrée est notée A[0] = X, et la propagation s’effectue couche par couche jusqu’à la sortie.

💡 À retenir

Maîtriser le calcul matriciel de la propagation avant dans un perceptron multicouche utilisant la sigmoïde.

📖 4. Rétropropagation et calcul des gradients pour l’entraînement des réseaux

🔑 Notions clés & Définitions

• Descente de gradient : Procédé d’optimisation qui met à jour les paramètres W et B en soustrayant un multiple du taux d’apprentissage des dérivées partielles de l’erreur par rapport à ces paramètres, afin de minimiser la moyenne des erreurs quadratiques sur un lot de données.
• Pour la dernière couche : En dérivant err

📝 Points essentiels

• La rétropropagation calcule les dérivées partielles des erreurs par rapport aux paramètres W et B pour chaque couche.
• La mise à jour des paramètres s’effectue par descente de gradient : bk j ← bk j − η∂err/∂bk j et wk i,j ← wk i,j − η∂err/∂wk i,j.
• Le calcul des dérivées partielles se fait couche par couche, de la dernière vers la première, en utilisant la règle de la chaîne.
• Il est nécessaire de mémoriser les dérivées partielles calculées pour les couches suivantes afin de propager correctement les gradients.
• Thierry Montaut L3 - S6 6 / 1 Entraînement : Backward Propagation On cherche à adapter pour chaque couche les paramètres W et B, pour minimiser la moyenne des erreurs quadratiques sur un lot de m données par une descente de gradient.

💡 À retenir

La rétropropagation calcule efficacement les dérivées partielles de l’erreur couche par couche, de la dernière vers la première, permettant la mise à jour des paramètres par descente de gradient pour l’apprentissage.

📖 5. Exemple détaillé de calcul de gradient dans un réseau à une couche cachée

🔑 Notions clés & Définitions

• Premier exemple de gradient : Un exemple concret de calcul de gradient dans un réseau de neurones [n,p,1] avec une couche d’entrée de taille 2, une couche cachée de taille 3 et une couche de sortie de taille 1, illustrant la propagation avant et la dérivation de l’erreur.

📝 Points essentiels

• Le réseau étudié est de type [n,p,1] avec une couche d’entrée de taille 2, une couche cachée de taille 3 et une couche de sortie de taille 1.
• La fonction d’erreur est la moyenne des erreurs quadratiques sur un lot de m données, souvent simplifiée à m=1 pour les calculs.
• La propagation avant est exprimée matriciellement par : Z = UX + B ; T = sig(Y) ; R = WT + C ; A = sig(R).

💡 À retenir

Le calcul des gradients dans un réseau simple illustre concrètement comment l’apprentissage par rétropropagation est réalisé couche par couche.

📖 6. Propagation des dérivées partielles dans les couches cachées et entraînement par descente de gradient

🔑 Notions clés & Définitions

• Dérivées partielles : Mesures de la variation d'une fonction par rapport à une de ses variables, en maintenant les autres constantes, utilisées pour évaluer la sensibilité des sorties d’une couche aux paramètres ou entrées dans un réseau de neurones.
• Couche cachée : (1 − tj ) (DP5) ∂zj ∂ui,j = xi (sigmoïde) (DP6) ∂zj ∂bj

📝 Points essentiels

• Les dérivées partielles d’une couche dépendent de celles de la couche suivante, ce qui généralise la rétropropagation à un nombre quelconque de couches.
• La règle de la chaîne permet de déduire les dérivées partielles d’une couche à partir de celles de la couche suivante.
• Il est indispensable de mémoriser toutes les dérivées partielles calculées pour propager correctement les gradients vers les couches précédentes.
• La correction des coefficients de chaque couche s’effectue ensuite par descente de gradient en utilisant ces dérivées.

💡 À retenir

Intégrer le mécanisme de propagation des gradients dans les couches cachées est crucial pour l’optimisation efficace des paramètres du réseau.

📖 7. Entraînement d’un perceptron multi-couche : rétropropagation et défis historiques

🔑 Notions clés & Définitions

• Travaux de Geoff Hinton : Ensemble de recherches publiées en 2006 qui ont permis de surmonter les difficultés d’entraînement des réseaux de neurones multicouches grâce à des avancées algorithmiques et à l’amélioration de la puissance de calcul.

📝 Points essentiels

• L’entraînement des réseaux multicouches a été un obstacle majeur jusqu’en 2006, avant que les travaux de Geoff Hinton et d’autres, combinés à l’amélioration de la puissance de calcul, ne permettent de le surmonter.
• La rétropropagation repose sur l’utilisation de l’algorithme du gradient pour maximiser la vraisemblance des données à chaque observation, ce qui a permis de remettre les réseaux de neurones au premier plan des recherches.
• Il repose, comme pour le perceptron sans couche intermédiaire, sur l’utilisation de l’algorithme du gradient pour maximiser, à chaque nouvelle observation, la vraisemblance des données observées.
• Le principe fondamental de l’apprentissage d’un perceptron multicouche est appelé rétropropagation ou backpropagation.

💡 À retenir

L’entraînement des réseaux multicouches a été un obstacle majeur jusqu’en 2006, avant que les travaux de Geoff Hinton et d’autres, combinés à l’amélioration de la puissance de calcul, ne permettent de le surmonter.

📖 8. Principes et enjeux du deep learning et architectures avancées (RNN, CNN, CapsNets)

🔑 Notions clés & Définitions

• Deep learning : Domaine de l’apprentissage automatique reposant sur des réseaux de neurones profonds comportant un nombre suffisant de couches, sans définition précise du seuil.
• Réseaux récurrents (RNN) : Architectures de réseaux de neurones conçues pour traiter des données séquentielles, permettant la modélisation des dépendances temporelles ou séquentielles.
• Réseaux convolutionnels (CNN) : Architectures de réseaux de neurones adaptées à l’analyse d’images, exploitant des filtres convolutifs pour extraire des caractéristiques spatiales.
• Réseaux de capsules (CapsNets) : Architectures de réseaux de neurones visant une meilleure modélisation des relations spatiales dans les données, notamment pour le traitement d’images.

📝 Points essentiels

• Le deep learning repose sur des réseaux multi-couches profonds, dont le nombre de couches est suffisant mais non précisément défini.
• Les architectures avancées incluent RNN pour le traitement séquentiel, CNN pour l’analyse d’images, et CapsNets pour une meilleure modélisation spatiale.
• Ces architectures posent de nouveaux défis mathématiques et d’apprentissage complexes.
• Le deep learning est à la base de nombreuses applications modernes comme la reconnaissance vocale, la vision par ordinateur et la conduite autonome.

💡 À retenir

Les architectures avancées du deep learning, telles que RNN, CNN et CapsNets, posent de nouveaux défis et sont fondamentales pour les applications modernes.

📊 Tableaux de Synthèse

Comparaison des architectures de réseaux

Type	Caractéristiques	Applications
RNN	Traitement séquentiel	Analyse de texte, séries temporelles
CNN	Extraction de caractéristiques spatiales	Vision par ordinateur, reconnaissance d'images
CapsNets	Modélisation spatiale avancée	Reconnaissance d'images

⚠️ Pièges & Confusions Fréquentes

1. Confusion entre rétropropagation et descente de gradient.
2. Mélange des architectures RNN, CNN et CapsNets sans distinction claire.
3. Supposer que le théorème d’approximation universelle donne une structure précise du réseau.
4. Confusion entre propagation avant et rétropropagation.
5. Ignorer les défis liés à l'entraînement des réseaux profonds avant 2006.
6. Confondre la fonction sigmoïde avec d’autres fonctions d’activation.
7. Supposer que le nombre de couches définit le deep learning.

✅ Checklist Examen

1. Comprendre la structure d’un réseau multi-couches.
2. Maîtriser la propagation avant avec fonctions sigmoïdes.
3. Savoir calculer et propager les gradients par rétropropagation.
4. Connaître l’importance du théorème d’approximation universelle.
5. Différencier RNN, CNN et CapsNets.
6. Identifier les défis historiques de l’entraînement des réseaux.
7. Comprendre les principes du deep learning.
8. Se rappeler des dates clés : 1989, 2006.
9. Savoir utiliser les tableaux comparatifs pour différencier architectures.
10. Connaître les formules matricielles de propagation.
11. Maîtriser le calcul des dérivées partielles dans les couches cachées.
12. Identifier les enjeux des architectures avancées.