Lernzettel: Principes fondamentaux de l'apprentissage supervisé

📋 Plan du Cours

1. Apprentissage supervisé
2. Données d'entraînement
3. Problèmes de classification
4. Problèmes de régression
5. Hyper paramètres
6. Paramètres appris
7. Validation du modèle
8. Généralisation et surapprentissage
9. Validation croisée
10. Courbe d'apprentissage
11. Critères de performance

📖 1. Apprentissage supervisé

🔑 Notions clés & Définitions

• Apprentissage supervisé : méthode d’apprentissage automatique où la fonction $f$ est apprise à partir d’un ensemble de couples $(x, y)$ pour lesquels on connaît le résultat $y = f(x)$. La méthode nécessite des données avec résultats connus, appelées aussi observations ou caractéristiques (x) et étiquettes ou labels (y).
  Source : Thierry Montaut (2023)

• Ensemble de couples $(x, y)$ : collection de données où chaque observation $x$ est associée à une étiquette $y$, permettant d’apprendre la relation $f$ entre les deux.

• Problème de classification : lorsqu’on cherche à prédire $y$ dans un ensemble fini, souvent avec $Y$ discret. La fonction à prédire est un classificateur. En cas de deux valeurs possibles pour $Y$, on parle de classificateur binaire, de prédicteur ou de fonction de décision.
  Source : Thierry Montaut (2023)

• Problème de régression : lorsque $Y$ est un sous-ensemble de $\mathbb{R}$, la tâche consiste à prédire une valeur continue. La fonction à apprendre est un prédicteur.

• Hyper paramètres : paramètres fixés par le concepteur du modèle (ex : nombre de couches dans un réseau de neurones, taille des couches). Leur choix intervient lors de la phase de création du modèle.
  Source : Thierry Montaut (2023)

📝 Points essentiels

• L’apprentissage supervisé repose sur un ensemble de données $\{(x_i, y_i)\}$ où chaque $x_i$ est une observation et chaque $y_i$ son étiquette, permettant d’apprendre une fonction $f$ telle que $y = f(x)$.
• La phase de création du modèle implique la sélection de la nature du modèle et de ses hyper paramètres, tandis que la phase d’apprentissage consiste à ajuster les paramètres variables pour minimiser l’erreur sur les données d’entraînement.
• La validation du modèle inclut l’évaluation de la convergence via la courbe d’apprentissage, qui indique si l’apprentissage doit continuer ou si le modèle est prêt.
• La séparation des données en jeux d’apprentissage (en général 80%) et de test (20%) est essentielle pour évaluer la performance réelle du modèle, en évitant le surapprentissage.
• La généralisation est la capacité du modèle à bien prédire sur de nouvelles données non vues, tandis que le surapprentissage correspond à un modèle trop complexe qui colle trop aux données d’apprentissage, au détriment de sa capacité à généraliser.
• La validation croisée consiste à partitionner les données en N parties, entraînant le modèle sur N-1 parties et testant sur la partie restante, pour obtenir une estimation plus stable de l’erreur de généralisation.
• Les critères de performance pour la régression incluent MAE, MSE et MedAE, tandis que pour la classification, on utilise le taux d’erreur (accuracy) et la matrice de confusion.

💡 À retenir

L’apprentissage supervisé consiste à apprendre une fonction à partir de données étiquetées, en équilibrant complexité et capacité de généralisation pour optimiser la performance sur des données non vues.

📖 2. Données d'entraînement

🔑 Notions clés & Définitions

• Séparation des données : Processus de diviser un ensemble de données en deux sous-ensembles distincts, généralement un pour l’apprentissage (80%) et un pour le test (20%), afin d’évaluer la performance du modèle sans biais.
• Propriétés statistiques des données : Analyse des caractéristiques fondamentales des données, telles que la distribution, la variance, la moyenne, permettant d’identifier d’éventuelles anomalies ou biais.
• Préparation des données : Ensemble des étapes visant à rendre les données exploitables pour l’apprentissage, incluant la visualisation, la normalisation et la vérification des hypothèses statistiques.
• Visualisation des données : Technique de représentation graphique permettant d’observer la distribution et les relations entre variables, facilitant la détection de tendances ou d’anomalies.
• Proportion typique : Répartition standard des données en ensembles d’apprentissage et de test, souvent 80% pour l’apprentissage et 20% pour le test, pour assurer une évaluation fiable du modèle.

📝 Points essentiels

• La séparation des données en jeux d’apprentissage et de test est essentielle pour éviter le surapprentissage et assurer une évaluation impartiale des performances du modèle (Thierry Montaut, 1/1).
• L’étude des propriétés statistiques permet d’identifier des biais ou des anomalies, et de normaliser les données si nécessaire, pour améliorer la convergence et la précision du modèle (Thierry Montaut, 1/1).
• La visualisation des données facilite la compréhension de leur distribution et de leurs relations, ce qui peut guider le choix des méthodes de normalisation ou de transformation.
• La proportion de 80% pour l’apprentissage et 20% pour le test est une règle empirique couramment adoptée, permettant un bon compromis entre entraînement et évaluation (Thierry Montaut, 1/1).
• La préparation des données inclut également la vérification d’hypothèses statistiques, comme la normalité ou l’indépendance, pour optimiser la phase d’apprentissage.

💡 À retenir

La séparation et la préparation des données sont des étapes cruciales pour garantir la fiabilité et la performance d’un modèle d’apprentissage supervisé, en assurant une évaluation objective et une généralisation efficace.

📖 3. Problèmes de classification

🔑 Notions clés & Définitions

• Y ensemble fini : Ensemble de résultats possibles dans un problème de classification, où le nombre de classes est limité et connu. Selon Thierry Montaut (date), cela correspond à un problème où la variable cible Y appartient à un ensemble fini, ce qui permet de définir une tâche de classification.

• Classificateur : Fonction qui, à partir d’un ensemble d’observations, prédit une classe parmi un ensemble fini. Selon Thierry Montaut (date), c’est la fonction à prédire dans un problème de classification, souvent notée f : X → Y.

• Cas particulier : classificateur binaire : Classificateur où Y n’a que deux valeurs possibles, souvent représenté comme un prédicteur ou une fonction de décision. Thierry Montaut (date) précise que c’est une situation fréquente dans la classification, simplifiant la prise de décision.

• Fonction de décision : Fonction qui détermine la classe prédite en fonction des observations, souvent utilisée dans le contexte de classificateurs binaires ou plus complexes. Elle traduit la sortie du modèle en une classe spécifique.

📝 Points essentiels

• La classification concerne des problèmes où Y est un ensemble fini, ce qui implique une prédiction de classes discrètes (voir Y ensemble fini). La fonction à apprendre est appelée classificateur et doit associer chaque observation x à une classe y dans Y.

• Le cas particulier du classificateur binaire est très fréquent, où le modèle doit décider entre deux classes, ce qui simplifie la fonction de décision en une simple règle de seuil ou une fonction de décision binaire.

• La fonction de décision est souvent dérivée du classificateur et peut utiliser des méthodes comme la maximisation de la probabilité ou des seuils pour déterminer la classe prédite.

• La distinction entre classificateur et prédicteur est importante : le classificateur se concentre sur la prédiction de classes, tandis que le prédicteur peut aussi prévoir des valeurs continues (voir problèmes de régression).

• La validation et l’évaluation des classificateurs reposent sur des métriques comme la précision, le taux d’erreur, ou la matrice de confusion, pour mesurer leur performance.

💡 À retenir

Les problèmes de classification consistent à prédire une classe parmi un ensemble fini, avec des cas particuliers comme la classification binaire, où la fonction de décision joue un rôle central pour déterminer la classe prédite.

📖 4. Problèmes de régression

🔑 Notions clés & Définitions

• Problème de régression : Il s'agit d'un problème d'apprentissage supervisé où l'ensemble Y est un sous-ensemble de R, et la tâche consiste à prédire une valeur continue y à partir d'une observation x. La fonction à apprendre, f : X → Y, doit fournir une estimation de y pour tout x donné (Thierry Montaut, 1/1/2023).

• Fonction à prédire dans la régression : La fonction f qui associe chaque observation x à une valeur y réelle. Elle est inconnue et doit être estimée à partir des données d'apprentissage (Thierry Montaut, 1/1/2023).

• Métriques spécifiques aux régressions :

  • MAE (Mean Absolute Error) : Moyenne des erreurs absolues, mesure la différence moyenne entre les valeurs prédites et les valeurs réelles, en valeurs absolues. Formule : MAE = (1/n) ∑ |yi - f(xi)| (Thierry Montaut, 1/1/2023).
  • MSE (Mean Squared Error) : Moyenne des erreurs quadratiques, amplifie l’impact des erreurs importantes. Formule : MSE = (1/n) ∑ (yi - f(xi))² (Thierry Montaut, 1/1/2023).
  • MedAE (Median Absolute Error) : Médiane des erreurs absolues, robuste face aux points aberrants. Formule : MedAE = médiane de |yi - f(xi)| (Thierry Montaut, 1/1/2023).

📝 Points essentiels

• La régression concerne la prédiction de valeurs continues, contrairement à la classification où Y est fini (Thierry Montaut, 1/1/2023).
• La fonction f doit être estimée à partir d’un ensemble de couples {(x1, y1), ..., (xn, yn)} où yi = f(xi). La qualité de cette estimation est évaluée via des métriques spécifiques.
• La validation du modèle de régression implique l’évaluation de ses performances sur des données de test, en utilisant des métriques telles que MAE, MSE ou MedAE.
• La sélection des hyper paramètres et l’évitement du surapprentissage sont cruciaux pour assurer une bonne généralisation du modèle (Thierry Montaut, 1/1/2023).
• La différence principale avec la classification réside dans la nature de Y (Y ⊆ R) et dans l’utilisation de métriques adaptées à la prédiction de valeurs continues.

💡 À retenir

La régression consiste à modéliser une fonction continue à partir de données d’apprentissage, en utilisant des métriques comme MAE, MSE ou MedAE pour évaluer la précision des prédictions, tout en évitant le surapprentissage pour assurer une bonne généralisation.

📖 5. Hyper paramètres

🔑 Notions clés & Définitions

• Hyper paramètres : paramètres fixés par le concepteur du modèle avant l'apprentissage, qui déterminent la structure et le comportement du modèle. Exemples : nombre de couches, taille des couches dans un réseau de neurones, fonction d’activation, taux d’apprentissage. (Thierry Montaut, 1/1)

• Rôle dans la création du modèle : lors de la phase de conception, le choix des hyper paramètres influence la capacité du modèle à apprendre efficacement, sa complexité, et sa capacité de généralisation. La sélection de ces hyper paramètres est cruciale pour optimiser la performance finale. (Thierry Montaut, 4/1)

• Différence avec paramètres appris : les hyper paramètres sont fixés par le concepteur, tandis que les paramètres appris sont ajustés automatiquement par la phase d’apprentissage pour minimiser l’erreur sur les données d’entraînement. (Thierry Montaut, 5/1)

📝 Points essentiels

• La phase de création d’un modèle consiste à choisir la nature du modèle et ses hyper paramètres (ex : nombre de couches, taille des couches dans un réseau de neurones, fonction d’activation). Ces choix influencent la capacité d’apprentissage et la généralisation du modèle. (Thierry Montaut, 4/1)

• La sélection des hyper paramètres se fait souvent par essais et erreurs ou par des méthodes d’optimisation (recherche grid, recherche aléatoire). Leur bon réglage est essentiel pour éviter le surapprentissage ou le sous-apprentissage. (Thierry Montaut, 6/1)

• La validation croisée et la courbe d’apprentissage permettent d’évaluer l’impact des hyper paramètres sur la performance et la convergence du modèle. (Thierry Montaut, 14/1)

• La phase d’apprentissage ajuste les paramètres variables pour minimiser l’erreur, tandis que la phase de création fixe les hyper paramètres pour définir la structure du modèle. (Thierry Montaut, 5/1)

💡 À retenir

Les hyper paramètres, fixés par le concepteur, déterminent la structure du modèle et influencent directement sa capacité à apprendre efficacement et à généraliser. Leur choix judicieux est essentiel pour optimiser la performance globale.

📖 6. Paramètres appris

🔑 Notions clés & Définitions

• Paramètres variables : Ce sont les paramètres du modèle qui sont ajustés durant la phase d’apprentissage à partir des données. Leur rôle est d’adapter la modèle pour minimiser l’erreur sur le jeu d’entraînement. Thierry Montaut (2023) : "Les paramètres variables sont appris à partir des données, via des fonctions d’apprentissage."
• Paramètres : Ensemble des valeurs internes du modèle qui déterminent son comportement. Contrairement aux hyper paramètres, ils sont modifiables durant l’apprentissage. Thierry Montaut (2023) : "Ce sont les paramètres qui seront appris à partir des données."
• Hyper paramètres : Paramètres fixés par le concepteur du modèle, tels que le nombre de couches ou la taille des couches dans un réseau de neurones. Leur choix influence la phase d’apprentissage mais ne sont pas modifiés durant celle-ci. Thierry Montaut (2023) : "Certains de ces paramètres seront choisis par le concepteur du modèle (ex : nombre de couches)."

📝 Points essentiels

• La phase d’apprentissage consiste à ajuster les paramètres variables pour minimiser une fonction d’erreur, en utilisant les données d’entraînement. La fonction d’erreur et la méthode de minimisation sont fondamentales pour cette étape. Thierry Montaut (2023).
• La distinction entre hyper paramètres et paramètres appris est cruciale : les hyper paramètres sont fixés lors de la conception du modèle, tandis que les paramètres variables sont optimisés durant l’apprentissage. La phase de création du modèle inclut le choix des hyper paramètres, puis l’apprentissage ajuste les paramètres variables. Thierry Montaut (2023).
• La convergence de l’apprentissage est évaluée pour déterminer si le modèle a atteint une performance stable, souvent à l’aide d’une courbe d’apprentissage. Une fois convergé, le modèle est testé pour ses performances sur des données non vues. Thierry Montaut (2023).
• La généralisation est essentielle : un bon modèle doit bien prédire sur de nouvelles données, ce qui nécessite un compromis entre la complexité du modèle et sa capacité à généraliser, évitant ainsi le surapprentissage ou le sous-apprentissage. Thierry Montaut (2023).

💡 À retenir

Les paramètres appris sont les valeurs ajustées durant l’apprentissage pour minimiser l’erreur, tandis que les hyper paramètres sont fixés par le concepteur. La qualité du modèle dépend de la bonne optimisation de ces paramètres et de sa capacité à généraliser.

📖 7. Validation du modèle

🔑 Notions clés & Définitions

• Convergence de l’apprentissage : étape où le processus d’optimisation du modèle atteint un point stable, sans amélioration significative des performances, indiquant que l’apprentissage peut s’arrêter (voir Thierry Montaut, 1/1).
• Courbe d’apprentissage : graphique représentant le score du modèle en fonction du nombre de données utilisées pour l’entraînement, permettant de vérifier si le modèle bénéficie encore de données supplémentaires ou si ses performances se stabilisent (voir Thierry Montaut, 14/1).
• Test des performances après convergence : évaluation du modèle final sur un jeu de données indépendant, non utilisé lors de l’apprentissage, pour mesurer sa capacité de généralisation (voir Thierry Montaut, 7/1).
• Utilisation de la courbe d’apprentissage pour vérifier progression : méthode permettant d’identifier si le modèle continue à s’améliorer avec plus de données ou si un plateau est atteint, signe de saturation des performances (voir Thierry Montaut, 14/1).
• Test des performances du modèle après convergence : étape où l’on mesure la performance du modèle sur des données de test pour s’assurer qu’il ne surapprend pas et qu’il généralise bien (voir Thierry Montaut, 7/1).

📝 Points essentiels

• La validation du modèle comporte plusieurs étapes : évaluer la convergence, puis tester ses performances. La courbe d’apprentissage est essentielle pour vérifier si le modèle continue à progresser ou si ses performances se stabilisent, indiquant une saturation (voir Thierry Montaut, 14/1).
• La convergence est atteinte lorsque l’apprentissage ne montre plus d’amélioration significative, ce qui permet de fixer les hyper paramètres et de finaliser le modèle (voir Thierry Montaut, 1/1).
• Après convergence, il est crucial de tester les performances du modèle sur un jeu de données indépendant, afin d’évaluer sa capacité de généralisation, étape essentielle pour éviter le surapprentissage (voir Thierry Montaut, 7/1).
• La validation croisée permet de répéter la séparation des données en plusieurs sous-ensembles pour vérifier la stabilité et la fiabilité de l’erreur de généralisation, en calculant la moyenne et la variance des erreurs (voir Thierry Montaut, 14/1).
• La courbe d’apprentissage doit atteindre un plateau pour indiquer que l’ajout de données supplémentaires n’améliorera plus significativement la performance, ce qui guide la décision d’arrêter l’entraînement (voir Thierry Montaut, 14/1).
• La performance finale est évaluée à l’aide de critères spécifiques : pour la régression, MAE, MSE, MedAE ; pour la classification, le taux d’erreur (accuracy) et la matrice de confusion (voir Thierry Montaut, 16/1, 18/1).

💡 À retenir

La validation du modèle repose sur la vérification de sa convergence via la courbe d’apprentissage, suivie d’un test de ses performances sur des données indépendantes pour assurer sa capacité de généralisation.

📖 8. Généralisation et surapprentissage

🔑 Notions clés & Définitions

• Généralisation : Capacité d’un modèle à effectuer des prédictions précises sur des données non vues lors de l’apprentissage, c’est-à-dire à bien prédire en dehors du jeu d’entraînement. (Thierry Montaut, 2023)

• Surapprentissage (Overfitting) : Phénomène où un modèle trop complexe s’ajuste parfaitement aux données d’apprentissage, y compris aux bruits et aux données rares, ce qui nuit à sa capacité à généraliser. Il collant excessivement aux données d’entraînement, il performe mal sur de nouvelles données. (Thierry Montaut, 2023)

• Sous-apprentissage (Underfitting) : Situation où un modèle trop simple ne capture pas suffisamment la structure des données, conduisant à de mauvaises performances aussi bien sur l’entraînement que sur les nouvelles données. (Thierry Montaut, 2023)

• Compromis entre complexité et généralisation : Nécessité d’optimiser la complexité du modèle pour éviter à la fois le surapprentissage et le sous-apprentissage, en trouvant un équilibre permettant une bonne capacité de généralisation. (Thierry Montaut, 2023)

📝 Points essentiels

• La phase d’apprentissage consiste à ajuster un modèle sur un jeu de données d’entraînement, mais un bon modèle doit aussi bien prédire sur de nouvelles données, ce qui correspond à sa capacité de généralisation. (Thierry Montaut, 2023)

• Le surapprentissage survient lorsque le modèle devient trop complexe, en s’ajustant aux détails spécifiques et aux bruits du jeu d’entraînement, ce qui limite sa performance sur des données inédites. La solution consiste à contrôler la complexité du modèle et à utiliser des techniques comme la validation croisée pour évaluer sa stabilité. (Thierry Montaut, 2023)

• La validation croisée permet de répéter la séparation des données en plusieurs sous-ensembles pour mesurer la variance de l’erreur de généralisation, aidant ainsi à détecter le surapprentissage. (Thierry Montaut, 2023)

• La courbe d’apprentissage illustre la performance en fonction du nombre de données d’entraînement, permettant de déterminer si le modèle bénéficie encore de plus de données ou si la saturation est atteinte. (Thierry Montaut, 2023)

• La recherche d’un compromis entre complexité et capacité de généralisation est essentielle pour éviter le surapprentissage et sous-apprentissage, ce qui nécessite une phase d’optimisation des hyper paramètres. (Thierry Montaut, 2023)

💡 À retenir

Un bon modèle d’apprentissage doit non seulement bien performer sur les données d’entraînement, mais surtout être capable de généraliser efficacement à de nouvelles données, en évitant à la fois le surapprentissage et le sous-apprentissage grâce à un compromis bien ajusté.

📖 9. Validation croisée

🔑 Notions clés & Définitions

• Principe de la validation croisée : méthode consistant à partitionner un jeu de données en N parties, puis à entraîner le modèle sur N-1 parties et à tester sur la partie restante, en répétant cette opération pour chaque partie afin d’évaluer la stabilité et la performance du modèle (Thierry Montaut, 2023).

• Validation croisée (cross validation) : technique qui permet d’estimer la performance d’un modèle en utilisant plusieurs partitions du jeu de données, en calculant la moyenne et la variance de l’erreur de généralisation sur ces partitions (Thierry Montaut, 2023).

• Rôle de la validation croisée : vérifier la stabilité de l’erreur de généralisation, éviter le surapprentissage en s’assurant que le modèle n’est pas trop ajusté aux données d’apprentissage, et optimiser la sélection des hyper paramètres (Thierry Montaut, 2023).

• Partitionnement N-fold : méthode où le jeu de données est divisé en N sous-ensembles, et pour chaque itération, un sous-ensemble est utilisé comme jeu de test, tandis que les autres servent à l’entraînement, permettant une évaluation robuste (Thierry Montaut, 2023).

• Points à retenir : la validation croisée permet d’obtenir une estimation fiable de la performance du modèle en répétant plusieurs fois la partition des données, ce qui limite le risque de biais lié à un seul découpage.

📖 10. Courbe d'apprentissage

🔑 Notions clés & Définitions

• Courbe d’apprentissage : Représentation graphique du score d’un modèle en fonction du nombre de données utilisées pour l’apprentissage. Elle permet d’évaluer si l’ajout de données améliore la performance (d’après Thierry Montaut, 2023).

• Utilisation de la courbe d’apprentissage : Outil permettant de déterminer si le nombre de données disponibles est suffisant pour atteindre une performance optimale ou si un accroissement des données pourrait encore améliorer le modèle.

• Plateau : Point sur la courbe d’apprentissage où le score se stabilise, indiquant une saturation des performances et que l’ajout de nouvelles données n’apporte plus d’amélioration significative (Thierry Montaut, 2023).

📖 11. Critères de performance

🔑 Notions clés & Définitions

• MAE (Mean Absolute Error) : Montaut (2023) : moyenne des erreurs absolues entre les valeurs observées $y_i$ et les valeurs prédites $f(x_i)$, calculée par $\frac{1}{n} \sum_{i=1}^n | y_i - f(x_i) |$. Elle mesure la précision moyenne d’un modèle de régression, avec une sensibilité aux erreurs constantes.

• MSE (Mean Squared Error) : Montaut (2023) : moyenne des erreurs quadratiques, donnée par $\frac{1}{n} \sum_{i=1}^n ( y_i - f(x_i) )^2$. Elle amplifie l’impact des erreurs importantes, favorisant les modèles qui minimisent les grandes déviations.

• MedAE (Median Absolute Error) : Montaut (2023) : médiane des erreurs absolues $| y_i - f(x_i) |$, permettant de réduire l’effet des points aberrants et d’obtenir une mesure robuste de l’erreur pour la régression.

• Taux d’erreur (accuracy) : Montaut (2023) : pour la classification, pourcentage de prédictions correctes, calculé par $\frac{\text{nombre de prédictions correctes}}{\text{total des prédictions}} \times 100$. Indicateur simple de performance pour les classificateurs.

• Matrice de confusion : Montaut (2023) : tableau récapitulatif des performances d’un classificateur, affichant les vrais positifs, faux positifs, vrais négatifs et faux négatifs, permettant d’évaluer la précision, le rappel, et d’autres métriques dérivées.

📝 Points essentiels

• Les critères pour la régression (MAE, MSE, MedAE) permettent d’évaluer la précision d’un modèle en quantifiant l’écart entre valeurs observées et prédites. MAE est simple et robuste, MSE favorise la minimisation des erreurs importantes, MedAE est utile en présence de points aberrants.

• Pour la classification, le taux d’erreur (accuracy) est une métrique globale indiquant la proportion de bonnes prédictions. La matrice de confusion est un outil essentiel pour analyser en détail les performances, notamment en distinguant les types d’erreurs (faux positifs/négatifs).

• La sélection du critère dépend du contexte : la MSE est privilégiée quand l’erreur quadratique est significative, MedAE en cas de données bruitées ou aberrantes, et l’accuracy pour une évaluation globale en classification.

• La compréhension et l’utilisation combinée de ces critères permettent d’optimiser et de valider efficacement un modèle d’apprentissage, en évitant le surapprentissage ou le sous-apprentissage.

💡 À retenir

Les critères de performance pour la régression (MAE, MSE, MedAE) quantifient la précision du modèle, tandis que pour la classification, le taux d’erreur (accuracy) et la matrice de confusion offrent une évaluation détaillée de sa capacité à prédire correctement.

📊 Tableaux de Synthèse

Thème	Notions Clés	Définition / Commentaire	Auteur / Référence
Apprentissage supervisé	Fonction $f$	Apprentissage à partir de couples $(x, y)$ pour modéliser $y = f(x)$	Thierry Montaut (2023)
Données d'entraînement	Séparation	Division en jeux d’apprentissage (80%) et test (20%)	Thierry Montaut (2023)
Problèmes de classification	Ensemble fini $Y$	Classes discrètes à prédire, avec cas binaire	Thierry Montaut (2023)
Problèmes de régression	$Y \subset \mathbb{R}$	Prédiction de valeurs continues	Thierry Montaut (2023)
Hyper paramètres	Fixés par le concepteur	Ex : nombre de couches, taille des couches	Thierry Montaut (2023)
Paramètres appris	Ajustés lors de l’entraînement	Ex : poids dans un réseau de neurones	Thierry Montaut (2023)
Validation du modèle	Courbe d’apprentissage	Indique la convergence ou la nécessité de continuer	Thierry Montaut (2023)
Généralisation	Bonne performance sur données non vues	Capacité à prédire sur nouvelles données	Thierry Montaut (2023)
Surapprentissage	Modèle trop ajusté aux données d’entraînement	Perd en capacité de généraliser	Thierry Montaut (2023)
Validation croisée	N partitions	Entraînement sur N-1, test sur 1, répété	Thierry Montaut (2023)
Courbe d'apprentissage	Erreur en fonction de l’échantillon	Permet d’évaluer la convergence	Thierry Montaut (2023)
Critères de performance	MAE, MSE, accuracy	Mesures pour régression et classification	Thierry Montaut (2023)

⚠️ Pièges & Confusions Fréquentes

1. Confondre hyper paramètres et paramètres appris : hyper paramètres fixés par le concepteur, paramètres ajustés lors de l’apprentissage.
2. Croire que la séparation 80/20 est toujours optimale : dépend du contexte, mais c’est une règle empirique.
3. Confondre classification binaire et multiclasses : dans le binaire, Y n’a que deux valeurs, simplifiant la fonction de décision.
4. Négliger l’importance de la validation croisée pour une estimation fiable de la généralisation.
5. Confondre surapprentissage et sous-apprentissage : le premier est un modèle trop complexe, le second pas assez ajusté.
6. Omettre la vérification des propriétés statistiques des données avant normalisation ou transformation.
7. Confondre fonction de décision et classificateur : la première détermine la classe à partir du modèle.

✅ Checklist Examen

• Connaître la définition de Thierry Montaut sur l’apprentissage supervisé et ses composants.
• Savoir distinguer classification et régression, et connaître leurs critères de performance.
• Maîtriser la notion de couples $(x, y)$ et leur rôle dans l’apprentissage supervisé.
• Comprendre l’impact de la séparation des données en ensembles d’entraînement et de test.
• Identifier les hyper paramètres et leur influence sur la conception du modèle.
• Expliquer la différence entre paramètres appris et hyper paramètres.
• Savoir comment interpréter une courbe d’apprentissage pour évaluer la convergence.
• Connaître la notion de généralisation et ses enjeux pour éviter le surapprentissage.
• Maîtriser la validation croisée et ses bénéfices pour l’évaluation du modèle.
• Connaître les principaux critères de performance pour la régression (MAE, MSE, MedAE).
• Savoir définir un classificateur et distinguer un problème de classification d’un problème de régression.
• Comprendre le cas particulier du classificateur binaire et la fonction de décision associée.
• Vérifier la maîtrise du vocabulaire : ensemble fini, hyper paramètres, paramètres appris, validation croisée, etc.