Scheda di revisione: Introduction aux réseaux convolutifs en vision par ordinateur

📋 Plan du Cours

1. Représentation d'images en informatique
2. Extraction de caractéristiques
3. Réseaux neuronaux convolutifs (CNN)
4. Opération de convolution
5. Cartes de caractéristiques
6. Classification avec CNN
7. Architecture CNN pour applications
8. Détection d'objets
9. Solutions naïves en détection
10. R-CNN et variantes

📖 1. Représentation d'images en informatique

🔑 Notions clés & Définitions

• Images numériques comme matrices de nombres : Représentation d'une image par une grille de valeurs numériques où chaque élément (pixel) correspond à une intensité ou une couleur, permettant un traitement informatique précis (source : Deep Computer Vision CH2).

• Représentation des pixels en niveaux de gris et en couleur : Les pixels en niveaux de gris sont représentés par une seule valeur d'intensité, tandis que ceux en couleur utilisent plusieurs canaux (ex : RGB) pour coder la couleur, facilitant la manipulation et l'analyse (source : Deep Computer Vision CH2).

• Notion de résolution : Nombre de pixels composant une image, influençant la finesse des détails visibles. Plus la résolution est élevée, plus l'image est détaillée, mais aussi plus volumineuse à traiter (source : Deep Computer Vision CH2).

• Profondeur de couleur : Nombre de bits utilisés pour représenter la couleur ou l'intensité d'un pixel. Une plus grande profondeur permet une gamme plus étendue de couleurs ou de nuances de gris, améliorant la qualité visuelle (source : Deep Computer Vision CH2).

📝 Points essentiels

• La conversion d'une image en matrice numérique permet aux ordinateurs de traiter, analyser et manipuler l'information visuelle de manière efficace, en exploitant la structure spatiale des pixels (source : Deep Computer Vision CH2).

• La distinction entre images brutes et images traitées réside dans l'application de filtres, de transformations ou d'algorithmes pour améliorer ou extraire des informations spécifiques, tout en conservant la représentation matricielle (source : Deep Computer Vision CH2).

• La représentation numérique repose sur la quantification des intensités ou des couleurs, ce qui impose une limite à la précision selon la profondeur de couleur choisie, influençant la qualité finale de l'image (source : Deep Computer Vision CH2).

💡 À retenir

Les images numériques sont modélisées comme des matrices de nombres, où la résolution et la profondeur de couleur déterminent la qualité et la richesse des détails, essentielles pour le traitement informatique en vision par ordinateur.

📖 2. Extraction de caractéristiques

🔑 Notions clés & Définitions

• Extraction manuelle de caractéristiques visuelles : Processus où l’on sélectionne et définit explicitement des caractéristiques spécifiques à partir d’images, souvent à l’aide de filtres ou de règles prédéfinies, sans apprentissage automatique.
• Apprentissage automatique de représentations de caractéristiques : Technique où un modèle apprend automatiquement à extraire et représenter des caractéristiques pertinentes à partir des données brutes, comme dans les réseaux convolutifs (CNN).
• Différence entre extraction manuelle et apprentissage de caractéristiques : L’extraction manuelle repose sur des règles prédéfinies et des filtres, tandis que l’apprentissage automatique automatise cette étape en découvrant des caractéristiques optimales via l’entraînement.
• Utilisation de filtres pour détecter des motifs spécifiques : Application de filtres (ou kernels) dans l’opération de convolution pour repérer des motifs ou textures précis dans une image, comme des bords ou des textures.
• Importance des caractéristiques pour la reconnaissance d’objets : Les caractéristiques extraites permettent de représenter efficacement les objets dans une image, facilitant leur classification ou détection par des modèles.

📝 Points essentiels

• La détection de haut niveau dans la vision par ordinateur peut se faire par extraction manuelle ou automatique (Deep Computer Vision).
• L’extraction manuelle de caractéristiques est souvent réalisée à l’aide de filtres appliqués via l’opération de convolution, permettant de détecter des motifs spécifiques comme les bords ou textures.
• La différence fondamentale réside dans le fait que l’apprentissage automatique de représentations de caractéristiques permet aux modèles d’apprendre à extraire des caractéristiques pertinentes sans intervention humaine, contrairement à l’extraction manuelle.
• Les réseaux convolutifs (CNN) utilisent des filtres pour produire des cartes de caractéristiques, qui jouent un rôle crucial dans la reconnaissance d’objets en capturant des détails locaux et spatiaux.
• La capacité à apprendre des représentations de caractéristiques via des CNN améliore la performance dans des tâches variées comme la classification ou la détection d’objets.

💡 À retenir

L’extraction manuelle de caractéristiques repose sur des filtres prédéfinis, tandis que l’apprentissage automatique automatise cette étape, permettant aux modèles de découvrir des caractéristiques optimales pour la reconnaissance d’objets.

📖 3. Réseaux neuronaux convolutifs (CNN)

🔑 Notions clés & Définitions

• Réseaux neuronaux convolutifs (CNN) : réseaux conçus pour traiter des données ayant une structure spatiale, utilisant des couches convolutionnelles pour extraire automatiquement des caractéristiques pertinentes (Deep Computer Vision).
• Utilisation des CNN pour l'extraction automatique de caractéristiques : processus où les CNN apprennent à détecter et à représenter des motifs visuels sans intervention humaine, contrairement à l'extraction manuelle (Deep Computer Vision).
• Structure générale d'un CNN : composée de couches convolutionnelles, de couches de pooling et de couches entièrement connectées, permettant une hiérarchisation des caractéristiques (Deep Computer Vision).
• Concept de couches convolutionnelles dans les CNN : couches utilisant des filtres pour détecter des motifs locaux dans l'image, en exploitant la spatialité des données (Deep Computer Vision).
• Avantages des CNN par rapport aux réseaux entièrement connectés : meilleure exploitation de la structure spatiale, réduction du nombre de paramètres, et capacité à apprendre des représentations hiérarchiques (Deep Computer Vision).

📝 Points essentiels

• Les CNN sont spécifiquement conçus pour traiter des images en exploitant leur structure spatiale, ce qui leur confère une efficacité supérieure à celle des réseaux entièrement connectés pour la reconnaissance visuelle (Deep Computer Vision).
• La structure générale d’un CNN comprend des couches convolutionnelles qui appliquent des filtres pour extraire des caractéristiques locales, suivies de couches de pooling pour réduire la dimensionnalité, puis de couches entièrement connectées pour la classification ou la régression (Deep Computer Vision).
• La notion de couches convolutionnelles repose sur l’utilisation de filtres (ou kernels) qui glissent sur l’image pour détecter des motifs spécifiques, permettant une détection locale et hiérarchique des caractéristiques (Deep Computer Vision).
• Les avantages des CNN incluent la réduction du nombre de paramètres grâce à la réutilisation des filtres, la capacité à apprendre des représentations invariantes, et une meilleure adaptation à la structure des données visuelles (Deep Computer Vision).
• La structure spatiale du volume de sortie (feature maps) permet de préserver l’information de localisation, essentielle pour la reconnaissance précise d’objets et de motifs (Deep Computer Vision).

💡 À retenir

Les CNN exploitent la structure spatiale des images via des couches convolutionnelles, permettant une extraction automatique et hiérarchique de caractéristiques, ce qui en fait une architecture privilégiée pour la vision par ordinateur.

📖 4. Opération de convolution

🔑 Notions clés & Définitions

• Convolution (mathématique) : Opération qui combine deux fonctions pour produire une troisième, exprimée par l'intégrale du produit d'une fonction avec une version décalée de l'autre, permettant de filtrer ou détecter des motifs spécifiques dans une image.
• Application des filtres via convolution : Processus consistant à faire glisser un filtre (ou noyau) sur une image pour accentuer ou détecter certains motifs locaux, comme les contours ou textures.
• Paramètres de convolution : Ensemble de réglages qui influencent le résultat de la convolution, comprenant la taille du filtre, le stride (pas de déplacement du filtre), et le padding (ajout de marges autour de l’image).

📝 Points essentiels

• La convolution est définie mathématiquement comme une opération intégrale (ou sommation discrète dans le cas numérique) entre une image et un filtre, permettant de produire une carte de caractéristiques (feature map) qui met en évidence certains motifs locaux (voir section 3).
• Lors de l'application des filtres, le filtre est déplacé sur l'image selon un pas (stride), et des valeurs sont calculées à chaque position pour générer la carte de caractéristiques.
• Les paramètres de convolution déterminent la taille du filtre (ex : 3x3, 5x5), le stride (ex : 1, 2), et le padding (ex : zéro-padding), influençant la taille et la sensibilité de la carte de caractéristiques.
• La convolution permet de détecter des motifs locaux comme les contours, textures ou formes spécifiques, en réponse à des filtres appris ou conçus manuellement.
• La différence entre convolution et corrélation réside dans la symétrie du filtre : la convolution implique une inversion du filtre, tandis que la corrélation ne le fait pas (voir section 2 pour détails).

💡 À retenir

L’opération de convolution, en combinant un filtre et une image selon des paramètres précis, permet d’extraire efficacement des motifs locaux, constituant la base des réseaux convolutifs pour la reconnaissance visuelle.

📖 5. Cartes de caractéristiques

🔑 Notions clés & Définitions

• Cartes de caractéristiques (feature maps) : Représentations spatiales produites par la convolution, où chaque pixel correspond à une activation spécifique détectant un motif ou une caractéristique dans l'image (voir "Production de cartes de caractéristiques par convolution").
• Production de cartes de caractéristiques par convolution : Processus où un filtre (ou noyau) glisse sur l’image d’entrée pour extraire des motifs locaux, générant ainsi une carte de caractéristiques qui met en évidence la présence de ces motifs dans différentes régions (voir "Rôle des cartes de caractéristiques dans la représentation spatiale").
• Rôle des cartes de caractéristiques dans la représentation spatiale : Elles permettent de conserver la localisation spatiale des motifs détectés, facilitant la compréhension de la structure de l’image par le réseau (voir "Impact des cartes de caractéristiques sur la profondeur du réseau").
• Visualisation des cartes de caractéristiques : Technique permettant d’interpréter ce que le réseau a appris en affichant les activations de ces cartes, ce qui aide à comprendre quelles régions ou motifs sont importants pour la tâche (voir "Visualisation des cartes de caractéristiques").

📝 Points essentiels

• Les cartes de caractéristiques sont générées par l’application de filtres lors de la convolution, chaque filtre étant conçu pour détecter un motif spécifique (ex : bords, textures).
• La convolution produit une série de cartes de caractéristiques, chacune correspondant à un filtre appliqué à l’image d’entrée, permettant d’extraire des informations locales tout en conservant la structure spatiale.
• La profondeur du réseau augmente avec le nombre de cartes de caractéristiques, ce qui permet d’apprendre des représentations de plus en plus abstraites et complexes.
• La visualisation de ces cartes offre une interprétation des motifs que le réseau utilise pour effectuer ses prédictions, facilitant l’explicabilité du modèle.
• La capacité à produire et visualiser ces cartes est essentielle pour le diagnostic, l’amélioration des architectures et la compréhension du fonctionnement interne des CNN (voir "Impact des cartes de caractéristiques sur la profondeur du réseau" et "Visualisation des cartes de caractéristiques").

💡 À retenir

Les cartes de caractéristiques sont des représentations spatiales cruciales dans les CNN, générées par convolution, qui permettent de détecter et localiser des motifs dans l’image tout en augmentant la profondeur et la complexité du modèle. Leur visualisation facilite l’interprétation des mécanismes internes du réseau.

📖 6. Classification avec CNN

🔑 Notions clés & Définitions

• Convolution : Opération mathématique qui consiste à appliquer un filtre (ou noyau) sur une image ou une carte de caractéristiques pour détecter des motifs locaux, en produisant une carte de caractéristiques (feature map). (source : Deep Computer Vision)
• Cartes de caractéristiques : Représentations spatiales produites par la convolution, mettant en évidence la présence de motifs détectés par les filtres. Ces cartes sont essentielles pour la reconnaissance automatique de caractéristiques (learning feature representations). (source : Deep Computer Vision)
• Introduction de non-linéarités : Ajout d’éléments non linéaires (ex : ReLU) dans les couches convolutionnelles pour permettre au réseau d’apprendre des fonctions complexes et non linéaires, améliorant ainsi la capacité de classification. (source : Deep Computer Vision)
• Combinaison des couches convolutionnelles et entièrement connectées : Architecture où les couches convolutionnelles extraient des caractéristiques locales, puis les couches entièrement connectées utilisent ces caractéristiques pour effectuer la classification en estimant des probabilités de classes. (source : Deep Computer Vision)

📝 Points essentiels

• Les CNN utilisent la convolution pour détecter automatiquement des motifs locaux dans les images, évitant ainsi la nécessité d’une extraction manuelle de caractéristiques (voir section 2).
• La convolution produit des cartes de caractéristiques qui conservent la structure spatiale de l’image, permettant une meilleure reconnaissance des motifs (voir section 5).
• L’introduction de non-linéarités, comme la fonction ReLU, dans les couches convolutionnelles est cruciale pour modéliser des relations complexes et améliorer la performance de classification (voir section 4).
• La combinaison des couches convolutionnelles avec des couches entièrement connectées permet de transformer les représentations locales en décisions globales, notamment en calculant des probabilités de classes (voir section 7).
• La structure des CNN permet d’apprendre des représentations hiérarchiques, de la détection de motifs simples en début de réseau à la reconnaissance de concepts complexes en fin de réseau (voir section 3).

💡 À retenir

Les CNN exploitent la convolution et la non-linéarité pour extraire automatiquement des caractéristiques pertinentes, puis combinent ces caractéristiques avec des couches entièrement connectées pour réaliser la classification d’images avec une grande efficacité.

📖 7. Architecture CNN pour applications

🔑 Notions clés & Définitions

• Architecture CNN adaptée à diverses applications : Structure modulaire combinant couches convolutionnelles, pooling et entièrement connectées, conçue pour répondre à des besoins spécifiques comme la détection de cancer du sein ou la reconnaissance d'objets.
• Exemple d'architecture pour le dépistage du cancer du sein : Modèle CNN spécifique intégrant plusieurs couches convolutionnelles, pooling et fully connected, optimisé pour analyser des images médicales afin d'identifier des anomalies.
• Combinaison de couches convolutionnelles, pooling et entièrement connectées : Approche structurée où chaque type de couche joue un rôle précis : convolution pour extraire des caractéristiques, pooling pour réduire la dimension, fully connected pour la classification finale.
• Adaptation des architectures selon les tâches spécifiques : Modification de la profondeur, du nombre de filtres ou de la configuration des couches pour optimiser la performance selon la nature de la tâche (classification, détection, segmentation).
• Importance de la modularité dans les architectures CNN : Flexibilité permettant d'ajouter, supprimer ou ajuster des modules pour améliorer la performance ou répondre à des contraintes spécifiques (temps de calcul, précision).

📝 Points essentiels

• Les architectures CNN sont conçues pour être modulaires, permettant leur adaptation à diverses applications en combinant couches convolutionnelles, pooling et entièrement connectées (voir section 3).
• Un exemple concret d’architecture pour le dépistage du cancer du sein illustre cette modularité, en intégrant plusieurs couches convolutionnelles suivies de couches de pooling pour extraire et réduire les caractéristiques pertinentes, puis de couches entièrement connectées pour la décision finale.
• La conception d’un CNN doit tenir compte de la tâche spécifique : par exemple, pour la détection d’objets ou la classification de maladies, il est crucial d’adapter la profondeur et la configuration des couches.
• La modularité facilite aussi l’expérimentation et l’optimisation, permettant d’ajuster rapidement l’architecture en fonction des résultats obtenus.
• La combinaison de couches convolutionnelles, pooling et entièrement connectées constitue la base d’une architecture efficace, permettant d’apprendre des représentations hiérarchiques et robustes.

💡 À retenir

Les architectures CNN sont conçues pour être modulaires et adaptables, combinant couches convolutionnelles, pooling et entièrement connectées, afin de répondre efficacement à diverses applications spécifiques comme le dépistage du cancer du sein.

📖 8. Détection d'objets

🔑 Notions clés & Définitions

• Détection d'objets : tâche en vision par ordinateur visant à localiser et identifier la présence d'objets spécifiques dans une image, en fournissant leur position (souvent sous forme de boîtes englobantes) et leur catégorie.
• Classification vs détection : la classification consiste à attribuer une étiquette à une image entière, tandis que la détection localise et identifie plusieurs objets dans une image (voir aussi "différence entre classification et détection").
• Propositions de régions : techniques permettant de générer automatiquement des régions candidates dans une image susceptibles de contenir des objets, facilitant la localisation précise (voir aussi "l'importance des propositions de régions").
• Challenges spécifiques à la détection : incluent la variabilité des objets (taille, orientation, occlusion), la nécessité d'une localisation précise, et la gestion de nombreux objets dans une seule image.
• Utilisation des CNN : réseaux neuronaux convolutifs appliqués pour la localisation d'objets, en exploitant leur capacité à apprendre des représentations spatiales et à détecter des motifs locaux (voir aussi "utilisation des CNN pour la localisation d'objets").

📝 Points essentiels

La détection d'objets est une tâche clé en vision par ordinateur, combinant localisation et identification. Elle diffère de la classification en ce qu’elle doit fournir à la fois la catégorie et la position des objets dans l’image. Les défis principaux résident dans la variabilité des objets, leur nombre variable, et la précision requise pour la localisation. Les propositions de régions jouent un rôle crucial en générant des zones candidates, ce qui permet de réduire le coût computationnel et d’améliorer la précision. Les CNN ont révolutionné la détection en permettant l’apprentissage automatique de caractéristiques discriminantes pour la localisation, notamment via des architectures intégrant la localisation et la classification simultanément. La méthode Faster R-CNN (voir aussi "Faster R-CNN apprend les propositions de régions") illustre cette avancée en intégrant l’apprentissage des propositions de régions directement dans le réseau, améliorant la rapidité et la précision.

💡 À retenir

La détection d'objets combine localisation et reconnaissance, utilisant principalement des CNN pour surmonter les défis liés à la variabilité et à la complexité des scènes, avec l’aide essentielle des propositions de régions pour une détection efficace.

📖 9. Solutions naïves en détection

🔑 Notions clés & Définitions

• Balayage de fenêtres : méthode naïve consistant à faire glisser une fenêtre de taille fixe sur l’image pour détecter des objets ou motifs, sans optimisation spécifique.
• Limites des approches naïves : faiblesse en termes de précision, robustesse et efficacité, notamment à cause du coût computationnel élevé et de la difficulté à gérer la variabilité des objets.
• Coût computationnel élevé : charge importante en ressources et temps de traitement engendrée par la méthode de balayage de fenêtres, rendant peu pratique son utilisation pour des applications en temps réel.
• Problèmes de précision et de robustesse : difficulté à détecter avec fiabilité des objets variés en taille, orientation ou contexte, en raison de la simplicité des solutions naïves.
• Nécessité d'améliorations pour la détection efficace : développement de méthodes plus sophistiquées (ex. R-CNN et ses variantes) pour pallier les limites des solutions naïves, en intégrant par exemple l'apprentissage automatique.

📝 Points essentiels

Les solutions naïves en détection, telles que le balayage de fenêtres, sont parmi les premiers outils utilisés en vision par ordinateur pour localiser des objets. Cependant, leur simplicité entraîne un coût computationnel très élevé, car chaque position et taille de fenêtre doit être analysée séparément, ce qui devient rapidement ingérable pour des images complexes ou en haute résolution. De plus, ces méthodes souffrent de faibles performances en termes de précision et de robustesse, notamment face à la variabilité des objets (orientation, taille, occlusion). Par conséquent, leur utilisation est limitée, et il est nécessaire de recourir à des techniques plus avancées, comme celles basées sur l'apprentissage profond (ex. R-CNN), pour améliorer l'efficacité et la fiabilité de la détection d’objets.

💡 À retenir

Les solutions naïves, bien qu’initialement simples à mettre en œuvre, sont peu adaptées pour une détection précise et efficace en raison de leur coût élevé et de leurs limitations en robustesse, ce qui justifie le développement de méthodes plus avancées.

📖 10. R-CNN et variantes

🔑 Notions clés & Définitions

• R-CNN (Regions with CNN features) : méthode de détection d'objets introduite par Girshick et al. (2014), qui utilise un pipeline en plusieurs étapes combinant propositions de régions et CNN pour classer et localiser des objets dans une image.
• Fast R-CNN : amélioration de R-CNN proposée par Girshick (2015), qui intègre l'extraction des caractéristiques et la classification dans un seul réseau, réduisant ainsi le coût computationnel.
• Faster R-CNN : version encore plus performante de Girshick (2016), qui introduit un réseau de propositions de régions (Region Proposal Network, RPN) apprenant en parallèle la génération de propositions, rendant le processus entièrement intégré et plus rapide.
• Apprentissage des propositions de régions : processus dans Faster R-CNN où le RPN apprend à générer des régions candidates pertinentes pour la détection, remplaçant les méthodes manuelles ou heuristiques.
• Pipeline de détection avec R-CNN : succession d'étapes comprenant la génération de propositions, l'extraction de caractéristiques via CNN, puis la classification et la localisation précise de chaque objet.

📝 Points essentiels

• La méthode R-CNN repose sur la génération préalable de propositions de régions (souvent par méthodes comme Selective Search), puis sur l'extraction de caractéristiques via CNN pour chaque région, suivie d'une classification et d'une régression pour la localisation.
• Fast R-CNN optimise ce processus en utilisant une seule passe CNN pour extraire une carte de caractéristiques globale, puis en utilisant un ROI pooling pour obtenir des caractéristiques fixes pour chaque proposition, ce qui réduit considérablement le coût.
• Faster R-CNN va encore plus loin en intégrant un Region Proposal Network (RPN) qui apprend à générer des propositions directement à partir des caractéristiques extraites, éliminant la dépendance aux méthodes heuristiques.
• Les variantes de R-CNN offrent des avantages majeurs par rapport aux solutions naïves : elles sont plus rapides, plus précises, et entièrement intégrées, permettant une détection d'objets efficace en temps réel.
• La capacité d'apprentissage des propositions dans Faster R-CNN permet une meilleure adaptation aux objets variés et complexité des scènes, améliorant la performance globale.

💡 À retenir

Les variantes de R-CNN, en intégrant l'apprentissage des propositions de régions, ont révolutionné la détection d'objets en combinant précision et rapidité, surpassant largement les solutions naïves par leur efficacité et leur intégration.

📊 Tableaux de Synthèse

Aspect	Extraction manuelle	Apprentissage automatique	Auteur / Référence
Définition	Sélection explicite de caractéristiques via filtres/règles	Modèle apprend à extraire des caractéristiques automatiquement	Deep Computer Vision CH2
Méthode	Utilisation de filtres prédéfinis	Réseaux convolutifs (CNN)	Deep Computer Vision CH2
Avantages	Contrôle précis, simplicité pour tâches simples	Automatisation, meilleure performance sur tâches complexes	Deep Computer Vision CH2
Limites	Limitée aux caractéristiques définies manuellement	Nécessite beaucoup de données, coût computationnel	Deep Computer Vision CH2

⚠️ Pièges & Confusions Fréquentes

1. Confondre représentation matricielle d’une image et ses caractéristiques extraites.
2. Croire que l’extraction manuelle est toujours supérieure à l’apprentissage automatique.
3. Confondre filtres utilisés dans la convolution et filtres de traitement d’image classiques.
4. Omettre la hiérarchie des couches dans un CNN, notamment la différence entre convolution, pooling et fully connected.
5. Confondre la notion de profondeur de couleur avec la résolution de l’image.
6. Surestimer la capacité des CNN à reconnaître tous types d’objets sans entraînement spécifique.
7. Confondre opération de convolution et opération de filtrage classique en traitement d’image.

✅ Checklist Examen

1. Connaître la définition de la représentation matricielle d’une image en informatique, selon Deep Computer Vision CH2.
2. Savoir distinguer entre images en niveaux de gris et images en couleur (RGB).
3. Expliquer la notion de résolution et de profondeur de couleur.
4. Définir l’extraction manuelle de caractéristiques et ses limites.
5. Définir l’apprentissage automatique de caractéristiques et ses avantages.
6. Comprendre le rôle des filtres dans l’opération de convolution.
7. Décrire la structure générale d’un réseau convolutionnel (CNN).
8. Connaître les avantages des CNN par rapport aux réseaux entièrement connectés.
9. Expliquer le fonctionnement d’une opération de convolution en termes mathématiques.
10. Identifier les principales couches d’un CNN : convolution, pooling, fully connected.
11. Connaître les références clés : Deep Computer Vision CH2.
12. Maîtriser la différence entre extraction manuelle et automatique de caractéristiques.