Hoja de repaso: Introduction aux réseaux neuronaux et leur optimisation

📋 Plan du Cours

1. Réseaux neuronaux & architecture
2. Fonction d'activation & rôle
3. Propagation & calculs
4. Fonction de perte & optimisation
5. Rétropropagation & ajustement
6. Entraînement & algorithmes
7. Surapprentissage & régularisation
8. Validation & généralisation

📖 1. Réseaux neuronaux & architecture

🔑 Notions clés & Définitions

• Neurone artificiel : unité de base du réseau, simulant le comportement d’un neurone biologique, effectuant une somme pondérée des entrées suivie d’une fonction d’activation.
• Couches (layers) : ensembles de neurones ; la couche d’entrée reçoit les données, la ou les couches cachées traitent l’information, et la couche de sortie fournit la réponse.
• Fonction d’activation : fonction appliquée à la sortie d’un neurone pour introduire de la non-linéarité (ex. ReLU, sigmoid, tanh).
• Réseau feedforward : réseau où l’information circule dans une seule direction, de l’entrée vers la sortie.
• Réseau récurrent : réseau avec des connexions rétroactives permettant de traiter des séquences et d’intégrer une mémoire.
• Apprentissage supervisé : entraînement du réseau avec des exemples étiquetés pour ajuster les poids via la rétropropagation.

📝 Points essentiels

• La structure d’un réseau neuronaux repose sur plusieurs couches de neurones, permettant de modéliser des relations complexes.
• La fonction d’activation est cruciale pour introduire de la non-linéarité, permettant au réseau d’apprendre des fonctions complexes.
• La rétropropagation est l’algorithme clé pour ajuster les poids du réseau en minimisant l’erreur.
• La profondeur (nombre de couches cachées) influence la capacité d’apprentissage, mais augmente aussi la complexité et le risque de surapprentissage.
• Les réseaux convolutifs (CNN) sont spécialisés pour le traitement d’images, exploitant des filtres pour détecter des caractéristiques locales.
• Les réseaux récurrents (RNN) sont adaptés aux données séquentielles, comme le traitement du langage ou la reconnaissance vocale.

💡 À retenir

Les réseaux neuronaux sont des modèles inspirés du cerveau, capables d’apprendre des représentations complexes grâce à leur architecture en couches et à l’utilisation de fonctions d’activation non linéaires. Leur succès repose sur une bonne conception architecturale et un entraînement efficace.

📖 2. Fonction d'activation & rôle

🔑 Notions clés & Définitions

• Fonction d'activation : Fonction mathématique appliquée à la somme pondérée des entrées d'un neurone pour déterminer sa sortie. Elle introduit la non-linéarité dans le réseau.
• Rôle : Permet au réseau de modéliser des relations complexes, non linéaires, entre les entrées et les sorties.
• Fonction sigmoïde : Fonction d'activation classique, dont la sortie est comprise entre 0 et 1, utile pour la modélisation probabiliste.
• Fonction ReLU (Rectified Linear Unit) : Fonction d'activation qui renvoie 0 si l'entrée est négative, sinon l'entrée elle-même ; favorise la convergence rapide.
• Fonction tanh : Fonction hyperbolique tangente, sortie entre -1 et 1, centrée sur zéro, souvent utilisée pour des réseaux plus profonds.
• Fonction softmax : Convertit un vecteur de scores en probabilités, utilisée en sortie pour la classification multi-classes.

📝 Points essentiels

• La fonction d'activation introduit la non-linéarité nécessaire pour que le réseau puisse apprendre des relations complexes.
• Le choix de la fonction d'activation influence la vitesse d'apprentissage, la convergence, et la capacité d'expression du réseau.
• La sigmoïde peut entraîner le problème de gradient vanish (disparition du gradient), limitant l'apprentissage dans les réseaux profonds.
• ReLU est aujourd'hui la fonction la plus utilisée pour ses performances et sa simplicité, mais peut causer le problème de neurones morts.
• La fonction softmax est essentielle en dernière couche pour la classification multi-classes, en fournissant des probabilités normalisées.

💡 À retenir

La fonction d'activation est cruciale pour la capacité d'apprentissage et la performance d’un réseau neuronal ; le choix adapté dépend du problème et de la profondeur du réseau.

📖 3. Propagation & calculs

🔑 Notions clés & Définitions

• Propagation : Mouvement de l'onde ou du signal à travers un milieu ou un espace, selon des lois physiques spécifiques.
• Vitesse de propagation : La vitesse à laquelle une onde ou un signal se déplace dans un milieu, dépendant des propriétés du milieu (densité, élasticité).
• Temps de propagation : Durée nécessaire à une onde pour parcourir une distance donnée.
• Loi de propagation : Relation mathématique décrivant comment une onde se déplace dans un milieu, souvent liée à la vitesse et à la distance.
• Calculs de propagation : Opérations mathématiques permettant de déterminer la vitesse, le temps ou la distance parcourue par une onde ou un signal.
• Réflexion et transmission : Phénomènes où une onde rebondit ou passe à travers un milieu, influençant la propagation.

📝 Points essentiels

• La vitesse de propagation dépend des caractéristiques du milieu : par exemple, dans l'air, elle est d'environ 340 m/s pour le son.
• La relation fondamentale : $d = v \times t$, où $d$ est la distance, $v$ la vitesse, et $t$ le temps.
• La propagation peut être affectée par des phénomènes comme la réflexion, la réfraction ou l'absorption.
• La compréhension des lois de propagation permet de prévoir le comportement des ondes dans différents milieux.
• Les calculs de propagation sont essentiels pour déterminer la portée, la durée ou la vitesse d’un signal ou d’une onde.

💡 À retenir

La propagation d’une onde suit des lois précises qui permettent de calculer sa vitesse, son temps de parcours ou la distance parcourue, en tenant compte des propriétés du milieu.

📖 4. Fonction de perte & optimisation

🔑 Notions clés & Définitions

• Fonction de perte (Loss Function) : Fonction qui mesure l'écart entre la prédiction du modèle et la valeur réelle. Elle guide l'apprentissage en quantifiant l'erreur à minimiser.
• Fonction d'objectif (Objective Function) : Fonction à optimiser, souvent équivalente à la fonction de perte, intégrant parfois des termes de régularisation.
• Optimisation : Processus de recherche des paramètres du modèle qui minimisent (ou maximisent) la fonction de perte.
• Descente de gradient (Gradient Descent) : Algorithme itératif pour ajuster les paramètres en suivant la pente négative de la fonction de perte.
• Taux d'apprentissage (Learning Rate) : Paramètre contrôlant la taille des pas lors de la mise à jour des paramètres durant l'optimisation.
• Régularisation : Technique ajoutant un terme à la fonction de perte pour éviter le surapprentissage (ex : L1, L2).

📝 Points essentiels

• La fonction de perte est spécifique au problème (ex : MSE pour la régression, Cross-Entropy pour la classification).
• La minimisation de la fonction de perte permet d'améliorer la précision du modèle.
• La descente de gradient peut être effectuée en batch, en mini-batch ou en stochastic.
• La convergence dépend du choix du taux d'apprentissage ; un taux trop élevé peut provoquer divergence, un taux trop faible ralentit l'apprentissage.
• La régularisation aide à éviter le surapprentissage en pénalisant la complexité du modèle.
• La fonction de perte doit être différentiable pour permettre l'utilisation de la descente de gradient.

💡 À retenir

La fonction de perte quantifie l'erreur du modèle et guide l'optimisation pour ajuster ses paramètres, rendant cruciale la sélection d'une fonction adaptée et d'une méthode d'optimisation efficace.

📖 5. Rétropropagation & ajustement

🔑 Notions clés & Définitions

• Rétropropagation (backpropagation) : Algorithme d'apprentissage permettant d'ajuster les poids d’un réseau de neurones en calculant l’erreur de sortie et en la propageant en arrière à travers le réseau.
• Fonction de perte (loss function) : Fonction qui mesure l’écart entre la sortie du réseau et la sortie attendue, servant à guider l’ajustement des poids.
• Gradient : Vecteur de dérivées partielles indiquant la direction de la plus forte augmentation d’une fonction, utilisé pour optimiser les poids.
• Descente de gradient : Méthode d’optimisation qui ajuste les poids en suivant la direction opposée au gradient pour minimiser la fonction de perte.
• Taux d’apprentissage (learning rate) : Paramètre déterminant la taille des ajustements lors de la mise à jour des poids.
• Propagation avant (forward propagation) : Phase où les entrées traversent le réseau pour produire une sortie.

📝 Points essentiels

• La rétropropagation est essentielle pour l’apprentissage supervisé dans les réseaux de neurones, permettant d’ajuster efficacement les poids en fonction de l’erreur.
• Elle repose sur le calcul du gradient de la fonction de perte par rapport aux poids, en utilisant la règle de la chaîne.
• La mise à jour des poids se fait généralement par descente de gradient, avec un taux d’apprentissage qui doit être choisi judicieusement pour éviter divergence ou convergence lente.
• La fonction de perte doit être différentiable pour que la rétropropagation soit applicable.
• La convergence dépend de la qualité du taux d’apprentissage, de la complexité du réseau, et de la qualité des données.

💡 À retenir

La rétropropagation permet d’ajuster efficacement les poids d’un réseau de neurones en utilisant le gradient de l’erreur, ce qui est crucial pour l’apprentissage supervisé.

📖 6. Entraînement & algorithmes

🔑 Notions clés & Définitions

• Entraînement (Training) : Processus par lequel un modèle apprend à partir de données pour ajuster ses paramètres et améliorer ses performances sur une tâche spécifique.
• Fonction de perte (Loss function) : Fonction qui mesure l'écart entre la prédiction du modèle et la réalité (valeur attendue). Elle guide l'apprentissage en indiquant la direction à suivre pour optimiser le modèle.
• Descente de gradient (Gradient descent) : algorithme d'optimisation qui ajuste les paramètres du modèle en minimisant la fonction de perte en suivant la pente du gradient.
• Réseau de neurones (Neural network) : Modèle computationnel inspiré du cerveau humain, constitué de couches de neurones artificiels interconnectés.
• Overfitting : phénomène où un modèle s'ajuste trop précisément aux données d'entraînement, perdant en généralisation sur de nouvelles données.
• Validation croisée (Cross-validation) : technique d’évaluation de la performance d’un modèle en le testant sur plusieurs sous-ensembles de données pour éviter le surapprentissage.

📝 Points essentiels

• L'entraînement consiste à ajuster les paramètres du modèle pour minimiser la fonction de perte, généralement via la descente de gradient.
• La convergence de l’algorithme dépend du choix du taux d’apprentissage (learning rate) ; un taux trop élevé peut provoquer une divergence, trop faible ralentit l'apprentissage.
• La régularisation (L1, L2) est essentielle pour éviter l’overfitting en pénalisant la complexité du modèle.
• La validation croisée permet d’évaluer la robustesse du modèle et d’ajuster ses hyperparamètres.
• La phase d’entraînement est suivie d’une phase de test pour mesurer la performance finale sur des données inédites.

💡 À retenir

L’efficacité d’un algorithme d’apprentissage repose sur un bon équilibre entre ajustement aux données d’entraînement et capacité de généralisation, maîtrisé par la sélection des hyperparamètres et la régularisation.

📖 7. Surapprentissage & régularisation

🔑 Notions clés & Définitions

• Surapprentissage (Overfitting) : phénomène où un modèle apprend parfaitement les données d'entraînement, y compris le bruit, au détriment de sa capacité à généraliser sur de nouvelles données.
• Généralisation : capacité d’un modèle à bien performer sur des données qu’il n’a pas vues lors de l’entraînement.
• Régularisation : ensemble de techniques visant à réduire le surapprentissage en pénalisant la complexité du modèle.
• L1 (Lasso) : technique de régularisation qui ajoute une pénalité proportionnelle à la valeur absolue des coefficients, favorisant la sparsité.
• L2 (Ridge) : technique de régularisation qui ajoute une pénalité proportionnelle au carré des coefficients, favorisant la réduction de leur amplitude.
• Dropout : méthode de régularisation en apprentissage profond consistant à désactiver aléatoirement un pourcentage de neurones lors de chaque itération pour éviter la co-adaptation.

📝 Points essentiels

• Le surapprentissage survient lorsque le modèle est trop complexe par rapport à la quantité et la diversité des données.
• La validation croisée est une méthode clé pour détecter le surapprentissage en évaluant la performance sur des jeux de données différents.
• La régularisation permet d’équilibrer la complexité du modèle et sa capacité de généralisation.
• La régularisation L1 peut conduire à des modèles plus simples en éliminant certains coefficients (sparse).
• La régularisation L2 tend à réduire la magnitude des coefficients sans les annuler, évitant ainsi un ajustement excessif.
• La technique Dropout est particulièrement efficace en réseaux de neurones pour prévenir le surapprentissage.

💡 À retenir

Le surapprentissage nuit à la capacité de généralisation d’un modèle, mais il peut être efficacement contrôlé par des techniques de régularisation telles que L1, L2 ou Dropout, qui ajustent la complexité du modèle pour une meilleure performance sur de nouvelles données.

📖 8. Validation & généralisation

🔑 Notions clés & Définitions

• Validation : Processus permettant d’évaluer la performance d’un modèle sur un ensemble de données indépendant de celui utilisé pour l’entraînement, afin de vérifier sa capacité à généraliser.
• Généralisation : Capacité d’un modèle à effectuer des prédictions précises sur des données nouvelles, non vues lors de l’entraînement.
• Overfitting (surapprentissage) : Situation où le modèle apprend trop bien les détails et le bruit des données d’entraînement, perdant ainsi sa capacité à généraliser.
• Underfitting (sous-apprentissage) : Situation où le modèle est trop simple pour capturer la structure des données, entraînant de mauvaises performances aussi bien sur l’entraînement que sur la validation.
• Cross-validation : Technique de validation qui consiste à diviser le jeu de données en plusieurs sous-ensembles pour évaluer la stabilité et la performance du modèle de manière plus fiable.

📝 Points essentiels

• La validation permet d’éviter le surapprentissage en estimant la performance du modèle sur des données non vues.
• La séparation en jeux d’entraînement, de validation et de test est cruciale pour une évaluation fiable.
• La technique de cross-validation, notamment la k-fold, optimise l’utilisation des données pour la validation.
• La métrique de performance (ex. précision, rappel, F1-score) doit être choisie en fonction de la problématique.
• La capacité de généralisation dépend de la complexité du modèle, de la qualité des données, et de la régularisation appliquée.
• La validation croisée aide à détecter le surapprentissage et à ajuster les hyperparamètres.

💡 À retenir

La validation et la généralisation sont essentielles pour garantir que le modèle sera efficace sur de nouvelles données, évitant ainsi le surapprentissage et assurant une performance robuste.

📊 Tableaux de Synthèse

Aspect	Réseaux neuronaux & architecture	Fonction d'activation & rôle	Propagation & calculs	Fonction de perte & optimisation	Rétropropagation & ajustement	Entraînement & algorithmes	Surapprentissage & régularisation	Validation & généralisation
Notions clés	Neurone, couches, feedforward, récurrent, CNN, RNN	Sigmoïde, ReLU, tanh, softmax	Vitesse, temps, lois de propagation	Loss, objectif, gradient, taux d'apprentissage	Calcul des gradients, mise à jour des poids	Descente de gradient, mini-batch, SGD	Overfitting, dropout, L1/L2, early stopping	Validation, généralisation, biais, variance
Fonction principale	Modéliser relations complexes via couches et non-linéarités	Introduire non-linéarité, modéliser relations complexes	Déterminer vitesse, temps, distance d’onde	Minimiser erreur, améliorer précision	Ajuster poids pour réduire erreur	Optimiser paramètres pour meilleure performance	Éviter surapprentissage, améliorer la généralisation	Vérifier la capacité à généraliser sur données nouvelles

⚠️ Pièges & Confusions Fréquentes

1. Confondre la fonction d’activation avec la fonction de perte.
2. Utiliser ReLU sans gestion du problème de neurones morts.
3. Négliger l’impact du taux d’apprentissage sur la convergence.
4. Confondre la propagation d’un signal avec la rétropropagation du gradient.
5. Sous-estimer le risque de surapprentissage sans régularisation.
6. Mal choisir la fonction d’activation selon la profondeur du réseau.
7. Ignorer la nécessité de validation pour évaluer la généralisation.

✅ Checklist Examen

• Définir un neurone artificiel et ses composants.
• Expliquer le rôle d’une fonction d’activation dans un réseau neuronal.
• Différencier réseau feedforward et réseau récurrent.
• Décrire le processus de propagation dans un réseau.
• Identifier la fonction de perte adaptée à un problème de classification.
• Expliquer le principe de la descente de gradient.
• Définir la rétropropagation et son rôle dans l’apprentissage.
• Citer des techniques de régularisation pour éviter le surapprentissage.
• Expliquer l’importance de la validation pour la généralisation.
• Décrire comment la régularisation L2 limite la complexité du modèle.
• Mentionner les avantages et inconvénients de ReLU.
• Connaître la relation entre vitesse de propagation, distance et temps.