Lernzettel: Introduction à l'intelligence artificielle

📋 Plan du Cours

1. Définitions de l’intelligence artificielle et tests
2. Courants philosophiques de l’esprit et de l’IA
3. Raisonnement moyens-fins et explosion combinatoire
4. Perceptron et premières approches neuronales
5. Systèmes experts et gestion de l’incertitude
6. Bottleneck de la connaissance et leçon du premier hiver
7. Algèbre linéaire pour données et transformations
8. Probabilités et inférence bayésienne
9. Calcul différentiel et descente de gradient
10. Inférence statistique et passage vers le machine learning
11. Apprentissage supervisé et non supervisé
12. IA militaire, cyberguerre et paradoxes

📖 1. Définitions de l’intelligence artificielle et tests

🔑 Notions clés & Définitions

• Définition UE de l’IA (2021) : La définition UE décrit un système qui perçoit via des données, interprète, raisonne et agit pour atteindre des objectifs fixés.
• Test de Turing : Le test de Turing définit l’intelligence par la capacité d’un système à imiter un humain dans un échange conversationnel.
• Weak AI : La weak AI désigne des systèmes qui imitent des comportements intelligents sans disposer d’une compréhension réelle.
• Strong AI : La strong AI correspond à l’idée d’un système possédant réellement un esprit, ce qui n’est pas atteint à ce jour.
• Task Competence : La task competence est l’aptitude d’une IA à réussir une tâche précise, souvent très bien maîtrisée par les systèmes actuels.

📝 Points essentiels

• La définition UE de 2021 insiste sur la chaîne perception→interprétation→raisonnement→action orientée vers des objectifs définis.
• Au test de Turing (1950), si un juge ne distingue pas une machine d’un humain, la machine est réputée intelligente.
• La weak AI vise la performance comportementale sans exiger une compréhension interne (exemples cités : Deep Blue, chatbots).
• La strong AI suppose une conscience ou un esprit véritable, notion non réalisée dans les IA actuelles.
• La task competence caractérise l’IA actuelle, notamment sur des tâches ciblées comme jouer aux échecs.
• La general intelligence correspond à un raisonnement flexible multi-domaines, absent des IA actuelles selon le cours.

💡 Astuce mémo

Turing = « si ça trompe le juge, c’est intelligent » ; Weak = « ça fait semblant », Strong = « ça pense vraiment ».

📖 2. Courants philosophiques de l’esprit et de l’IA

🔑 Notions clés & Définitions

• Accidentalisme : Courant selon lequel l’intelligence et l’esprit émergent de processus contingents comme le hasard et la sélection au cours de l’évolution.
• Matérialisme : Thèse selon laquelle l’esprit et la conscience dépendent du fonctionnement du cerveau et des processus physiques.
• Hallucination contrôlée : Idée attribuée à Anil Seth selon laquelle la conscience correspond à une construction mentale stabilisée par le cerveau.
• Problème de l’ancrage des symboles : Difficulté à expliquer comment des symboles manipulés par une machine acquièrent un sens qui renvoie au monde plutôt qu’à d’autres symboles.
• Transhumanisme : Courant visant l’amélioration technologique des capacités humaines, notamment via des interfaces cerveau-machine.

📝 Points essentiels

• L’accidentalisme et le matérialisme relient l’intelligence à l’évolution et au cerveau comme système physique complexe.
• Anil Seth propose que la conscience soit une forme de construction mentale contrôlée plutôt qu’un simple reflet direct du monde.
• Le problème de l’ancrage des symboles demande comment un système symbolique obtient une signification non purement interne.
• Les IA manipulent souvent des symboles dont la référence reste relationnelle (symboles vers symboles) si aucun ancrage au réel n’est fourni.
• Le transhumanisme associe l’IA et la technologie à une amélioration des capacités humaines, avec des projets comme Neuralink.
• Le transhumanisme est présenté comme proche du computationalisme, tout en étant en tension avec le naturalisme biologique.

💡 Astuce mémo

Accidentalisme/Matérialisme = cerveau + hasard; Ancrage des symboles = sens qui manque; Transhumanisme = techno qui augmente.

📖 3. Raisonnement moyens-fins et explosion combinatoire

🔑 Notions clés & Définitions

• Raisonnement moyens-fins : Méthode de planification qui compare l’état actuel à l’objectif, puis choisit des actions pour réduire l’écart en plusieurs sous-objectifs.
• Explosion combinatoire : Phénomène où le nombre de choix possibles explose avec la profondeur du plan, rendant la recherche exhaustive rapidement impossible.
• Système de démons : Approche de compétition de modules qui détectent des caractéristiques et anticipent des structures internes, préfigurant des idées proches des réseaux modernes.
• Perceptron : Modèle de réseau de neurones à apprentissage supervisé, limité dans sa capacité à représenter certaines fonctions simples.
• IA symbolique : Courant d’IA qui manipule des symboles et des règles explicites plutôt que d’apprendre des représentations uniquement par réseaux.

📝 Points essentiels

• Le raisonnement moyens-fins décompose un objectif en écarts successifs à réduire via des sous-objectifs, ce qui guide la recherche de plan.
• L’explosion combinatoire apparaît quand chaque étape ajoute de nouvelles possibilités, si bien que le nombre de plans à explorer devient gigantesque.
• Le système de « démons » détecte des caractéristiques et produit une anticipation de structures, ce qui ressemble à l’idée moderne d’apprentissage de représentations.
• Les limites mises en avant par Minsky et Papert indiquent que les perceptrons ne peuvent pas représenter certaines fonctions simples.
• Quand les perceptrons sont insuffisants, cela motive un retour vers l’IA symbolique, plus adaptée aux fonctions nécessitant une représentation explicite.

💡 Astuce mémo

Moyens-fins = « réduire l’écart » ; Explosion = « choix qui doublent » à chaque étape.

📖 4. Perceptron et premières approches neuronales

🔑 Notions clés & Définitions

• Vecteurs propres : Vecteurs propres : directions qui, sous une transformation linéaire, restent dans la même direction (elles peuvent seulement être multipliées par un facteur).
• Valeurs propres : Valeurs propres : facteurs d’étirement (ou de compression) associés aux directions propres, quantifiant l’amplitude de la transformation sur chaque direction.
• PCA : PCA : méthode de réduction de dimension qui conserve les directions de plus grande variance via les vecteurs propres dominants.
• Probabilité conditionnelle : Probabilité conditionnelle : probabilité de A sachant que B est vrai, calculée à partir des probabilités d’intersection et de B.
• Règle de Bayes : Règle de Bayes : formule qui met à jour une croyance a priori en fonction d’une preuve observée pour obtenir une croyance a posteriori.

📝 Points essentiels

• Dataset 2D : une matrice peut représenter des transformations sur des observations (lignes) décrites par des variables (colonnes).
• Question clé en algèbre linéaire : chercher des directions qui ne changent pas de direction, seulement d’échelle, sous l’action de la matrice.
• Interprétation PCA : les grandes valeurs propres correspondent aux directions où la variance est la plus forte, donc où l’information est la plus concentrée.
• Réduction de dimension : prendre les premières directions propres permet de conserver presque tout le signal pertinent tout en réduisant le nombre de dimensions.
• Probabilité conditionnelle : $P(A\mid B)=\dfrac{P(A\cap B)}{P(B)}$.
• Règle de Bayes : $P(H\mid E)=\dfrac{P(E\mid H)\,P(H)}{P(E)}$.

💡 Astuce mémo

Eigenvectors = directions stables ; Eigenvalues = force d’étirement ; PCA = garder les plus “fortes” directions ; Bayes = croyance mise à jour par la preuve.

📖 5. Systèmes experts et gestion de l’incertitude

🔑 Notions clés & Définitions

• Hypothèse nulle H0 : Hypothèse nulle : énoncé de référence supposant l’absence d’effet, que l’on cherche à rejeter si les données sont trop extrêmes.
• p-value : p-value : probabilité d’observer un résultat aussi extrême (ou plus) que celui observé si H0 est vraie.
• Inférence classique : Inférence classique : démarche où l’humain fixe des règles explicites puis teste si les données contredisent l’hypothèse nulle.
• Machine Learning : Machine Learning : approche où le système apprend les règles à partir des données plutôt que de les écrire explicitement.
• Apprentissage supervisé : Apprentissage supervisé : apprentissage à partir d’entrées associées à des labels pour apprendre la relation entrée→sortie.

📝 Points essentiels

• Surveillance de transactions bancaires : l’incertitude peut venir du hasard, d’où l’usage de tests pour décider si un signal est compatible avec l’absence d’effet.
• Règle de décision : si p < 0.05, le résultat est qualifié de statistiquement significatif (on rejette H0).
• Shift central : on passe d’un raisonnement explicite défini par l’humain à un apprentissage automatisé à partir des données.
• Régression vs classification : la régression prédit une valeur continue (ex. GDP) tandis que la classification prédit une catégorie (ex. conflit/pas conflit).
• Non-supervisé vs supervisé : en non-supervisé il n’y a pas de labels et on cherche une structure cachée (ex. segmentation, clustering).
• Loss (fonction de perte) : elle mesure l’erreur du modèle et sert de signal pour guider l’entraînement.

💡 Astuce mémo

p-value = “si H0 est vraie, à quel point c’est rare ?”

📖 6. Bottleneck de la connaissance et leçon du premier hiver

🔑 Notions clés & Définitions

• Underfitting : Sous-apprentissage : le modèle trop simple ne capture pas les régularités et échoue à bien généraliser.
• Overfitting : Sur-apprentissage : le modèle trop complexe apprend le bruit et performe mal sur des données non vues.
• Biais-Variance Trade-off : Compromis biais-variance : on ajuste la complexité pour équilibrer erreurs dues au manque de modèle et instabilité sur les données.
• K-Means : K-Means : méthode de clustering qui regroupe les points en k groupes en assignant chaque point au centre le plus proche puis en recalculant les centres.
• PCA : PCA : réduction de dimension qui projette les données sur les directions de variance maximale via les vecteurs propres de la matrice de covariance.

📝 Points essentiels

• Une politique efficace dans le passé peut échouer dans un nouveau contexte car la distribution des données peut changer et le modèle ne généralise plus.
• La généralisation correspond à la capacité d’un modèle à bien performer sur des données non vues.
• Underfitting correspond à un modèle trop simple : biais élevé et variance faible.
• Overfitting correspond à un modèle trop complexe : biais faible et variance élevée.
• Sans non-linéarité, empiler des couches ne crée qu’une transformation linéaire globale, donc le réseau ne gagne pas en capacité expressive.
• K-Means partitionne les données en k clusters en alternant attribution au centre le plus proche et recalcul des centres jusqu’à stabilisation.

💡 Astuce mémo

Biais-Variance : simple = biais↑ variance↓ (underfitting), complexe = biais↓ variance↑ (overfitting).

📖 7. Algèbre linéaire pour données et transformations

🔑 Notions clés & Définitions

• Non-linéarité : La non-linéarité est une propriété d’activation qui permet au réseau de représenter des fonctions complexes au-delà d’une simple transformation linéaire.
• Boucle complète d’entraînement : La boucle complète d’entraînement est l’enchaînement forward pass, calcul de la perte, backpropagation, puis mise à jour des poids.
• Réseau de neurones convolutif : Un réseau de neurones convolutif (CNN) est une architecture conçue pour exploiter la structure spatiale des données via des convolutions.
• Réseau récurrent : Un réseau récurrent (RNN) est une architecture qui combine une nouvelle entrée avec un état caché mémorisant le passé.
• LSTM : LSTM est une variante de RNN qui utilise des portes pour décider quoi mémoriser, oublier et révéler afin de mieux apprendre sur de longues dépendances.

📝 Points essentiels

• Sans activation non-linéaire, un empilement de couches reste équivalent à une seule fonction linéaire.
• Le forward pass produit des prédictions en parcourant le réseau couche par couche.
• La perte mesure l’écart entre prédictions et étiquettes, puis sert de signal d’erreur.
• La backpropagation calcule un gradient pour chaque poids via la règle de chaîne.
• La mise à jour des poids utilise un pas de taille η, appelé learning rate.
• Un modèle entraîné correspond à l’ensemble final des poids, résumé compressé de l’information apprise sur les données d’entraînement.

💡 Astuce mémo

Non-linéarité = “changer de forme” : sans elle, 100 couches = une seule ligne droite.

📖 8. Probabilités et inférence bayésienne

🔑 Notions clés & Définitions

• Inférence bayésienne : Méthode statistique qui met à jour une croyance sur une hypothèse en combinant une probabilité a priori et des données observées.
• Probabilité a priori : Probabilité initiale attribuée à une hypothèse avant d’observer les données, servant de point de départ au calcul bayésien.
• Vraisemblance : Fonction qui mesure à quel point les données observées sont compatibles avec une hypothèse donnée.
• Probabilité a posteriori : Probabilité mise à jour après observation des données, qui reflète la croyance finale une fois l’évidence intégrée.

📝 Points essentiels

• Le théorème de Bayes relie a priori, vraisemblance et a posteriori pour produire une mise à jour probabiliste cohérente.
• L’a posteriori est proportionnelle au produit a priori × vraisemblance, avec une normalisation pour que la somme/intégrale fasse 1.
• En pratique, le choix de l’a priori influence fortement les résultats quand les données sont rares ou peu informatives.
• La vraisemblance encode le modèle de génération des données et conditionne la sensibilité de l’inférence aux observations.
• L’inférence bayésienne permet d’exprimer l’incertitude de manière explicite via des distributions plutôt que via un seul point estimé.
• Quand on compare des hypothèses, on peut raisonner en termes de rapport de probabilités (odds) ou de comparaison d’a posteriori plutôt que de décisions binaires.

💡 Astuce mémo

Bayes = A priori + Données via Vraisemblance → A posteriori (mise à jour).

📖 9. Calcul différentiel et descente de gradient

🔑 Notions clés & Définitions

• Descente de gradient : Méthode d’optimisation qui ajuste itérativement les paramètres dans la direction opposée au gradient pour réduire une fonction de coût.
• Gradient : Vecteur des dérivées partielles qui indique la direction de plus forte augmentation d’une fonction multivariée.
• Fonction de coût : Grandeur à minimiser qui mesure l’écart entre prédictions du modèle et données observées.
• Taux d’apprentissage : Paramètre numérique qui fixe la taille des pas effectués à chaque mise à jour lors de la descente de gradient.
• Minimum local : Point où la fonction de coût est plus faible que dans un voisinage immédiat, sans garantir le minimum global.

📝 Points essentiels

• La mise à jour standard s’écrit $\theta_{t+1}=\theta_t-\eta\,\nabla J(\theta_t)$, où $\eta$ est le taux d’apprentissage et $J$ la fonction de coût.
• Le gradient $\nabla J$ donne la direction de plus forte hausse, donc la descente utilise la direction opposée pour diminuer $J$.
• Si $\eta$ est trop grand, la méthode peut osciller ou diverger au lieu de converger vers un minimum.
• Si $\eta$ est trop petit, la convergence devient très lente et peut rester bloquée près d’un minimum local.
• La descente de gradient nécessite souvent des dérivées (ou approximations) pour calculer $\nabla J$, d’où l’importance du calcul différentiel.
• En pratique, la descente de gradient peut être sensible au choix de la fonction de coût et à la présence de minima locaux ou de plateaux de gradient.

💡 Astuce mémo

Gradient = boussole de l’erreur : on marche à l’envers (opposé au gradient) pour réduire la “hauteur” de la fonction de coût.

📖 10. Inférence statistique et passage vers le machine learning

🔑 Notions clés & Définitions

• Inférence statistique : Méthode qui déduit des propriétés d’une population à partir d’observations, en quantifiant l’incertitude des conclusions.
• Machine learning : Approche qui apprend des régularités à partir de données pour prédire, classer ou décider sur de nouvelles entrées.
• Deep learning : Sous-domaine du machine learning utilisant des réseaux de neurones profonds pour apprendre des représentations à partir de données.
• Vecteurs de caractéristiques : Représentations numériques qui transforment des données complexes en variables exploitables par un modèle.

📝 Points essentiels

• Le passage vers le machine learning consiste à remplacer des règles explicites par un apprentissage à partir de données et d’exemples.
• L’inférence statistique fournit le cadre pour interpréter les sorties d’un modèle en termes d’incertitude et de généralisation.
• Le deep learning peut réduire une réalité sociale riche en une représentation compacte (vecteurs), ce qui rend l’action possible mais facilite aussi l’effacement.
• Les représentations vectorielles peuvent rendre une décision opérationnelle même quand la compréhension humaine de la sémantique est limitée.
• Les paradoxes du cours servent d’indices d’examen : relier performance, représentation et effets sociaux/stratégiques plutôt que seulement la technique.
• Les cas historiques de cyberattaques illustrent l’écart entre signaux observables et détection : des opérations humaines expertes ou des mises à jour trompeuses peuvent contourner la surveillance.

💡 Astuce mémo

Inférence = déduire + incertitude ; ML = apprendre des régularités ; Deep = compresser en vecteurs.

📖 11. Apprentissage supervisé et non supervisé

🔑 Notions clés & Définitions

• Apprentissage supervisé : Méthode d’apprentissage où l’algorithme apprend à partir d’exemples étiquetés reliant entrées et sorties attendues.
• Apprentissage non supervisé : Méthode d’apprentissage où l’algorithme cherche des structures dans des données sans étiquettes explicites.
• Réseau de neurones convolutif CNN : Architecture de deep learning conçue pour exploiter la structure spatiale des données via des filtres et une hiérarchie de caractéristiques.
• Réseau récurrent LSTM : Architecture récurrente utilisant des états cachés et des portes pour modéliser des dépendances sur des séquences longues.
• Transformer : Architecture de deep learning basée sur l’attention, adaptée au traitement de séquences et particulièrement efficace en NLP.

📝 Points essentiels

• Le deep learning peut être entraîné en mode supervisé pour des tâches de prédiction ou de classification à partir de données annotées.
• Le deep learning peut aussi être entraîné en mode non supervisé pour découvrir des régularités ou des regroupements dans des données sans labels.
• Les CNN sont particulièrement adaptés aux données spatiales comme images et vidéo, car ils exploitent des connexions locales et une hiérarchie de features.
• Les LSTM sont conçus pour les données séquentielles grâce à une mémoire interne (état caché) et des mécanismes de contrôle via portes.
• Les Transformers utilisent l’attention pour relier efficacement des éléments distants d’une séquence, ce qui a relancé le NLP avec des architectures modernes.
• Exemple politique/sécurité : des modèles de deep learning sur imagerie satellite peuvent servir à prédire des indicateurs socio-économiques (ex. bien-être économique) sans que les détails d’étiquetage soient précisés ici

💡 Astuce mémo

Supervisé = “avec réponses” (labels) ; Non supervisé = “sans réponses” (structures). CNN = “images” ; LSTM = “temps” ; Transformer = “attention sur la séquence”.

📖 12. IA militaire, cyberguerre et paradoxes

🔑 Notions clés & Définitions

• Weak AI : Forme d’IA centrée sur la performance de tâches, sans prétendre à une compréhension ou une conscience réelle.
• Strong AI : Forme d’IA supposant une compréhension et une conscience réelles, comme possession d’un esprit.
• Test de Turing : Procédure évaluant l’intelligence par la capacité à produire un comportement indiscernable d’un humain en conversation.
• Chambre chinoise : Expérience de pensée soutenant qu’un système peut manipuler des symboles sans comprendre leur signification.
• Fonctionnalisme : Thèse selon laquelle l’esprit dépend de l’organisation fonctionnelle, pas du support matériel précis.

📝 Points essentiels

• La distinction Weak AI/Strong AI oppose une compétence de tâche observable à une compréhension réelle supposée.
• Le Test de Turing mesure le comportement, mais contourne la question de la conscience (problème difficile).
• La Chambre chinoise vise à montrer qu’un système peut réussir sans comprendre, donc sans garantir la Strong AI.
• La réalisabilité multiple affirme qu’un même état mental peut être implémenté sur des substrats physiques différents.
• Le fonctionnalisme s’appuie sur l’idée que l’identité mentale dépend des fonctions, ce qui fonde un projet d’IA orienté vers l’implémentation fonctionnelle.
• Paradoxe race-to-the-bottom : si contraindre réduit l’avantage militaire, des États rationnels évitent la contrainte et la course aux armements s’emballe (action collective irrationnelle).

💡 Astuce mémo

Weak = tâche ; Strong = esprit. Turing = comportement ; Chambre chinoise = pas de compréhension. Fonctionnalisme = même fonction, supports différents.

📅 Repères chronologiques

Date	Événement
2021	Définition UE de l’IA (système percevant via des données, interprétant, raisonnant et agissant pour des objectifs définis)
1950	Test de Turing (si un juge ne distingue pas machine et humain en conversation, la machine est réputée intelligente)
1957	Perceptron (Rosenblatt) : apprentissage par ajustement des poids quand il se trompe

📊 Tableaux de synthèse

Weak AI vs Strong AI

Notion	Ce que l’IA fait	Ce que cela implique
Weak AI	Simule un comportement intelligent	Sans compréhension réelle (ex : Deep Blue, chatbots)
Strong AI	Posséderait véritablement un esprit	Conscience/compréhension réelle, non encore atteint

⚠️ Pièges & confusions fréquents

1. Confondre Test de Turing et conscience : réussir à tromper un juge ne prouve pas l’expérience subjective (hard problem).
2. Croire que Weak AI = IA faible au sens de performance : dans le cours, c’est surtout une question de compréhension réelle vs simulation.
3. Mélanger syntaxe et sémantique : la Chambre chinoise vise l’idée « syntaxe sans sémantique », pas un simple problème de langage.
4. Penser que empiler des couches sans non-linéarité augmente la puissance : sans activation non-linéaire, l’ensemble reste équivalent à une transformation linéaire globale.
5. Inverser biais et variance : underfitting = biais élevé/variance faible, overfitting = biais faible/variance élevée.
6. Confondre classification et régression : la régression prédit une valeur continue, la classification prédit une catégorie (ex : conflit/pas conflit).
7. Oublier le rôle de la loss dans l’entraînement : la backprop calcule des gradients pour réduire la perte, pas directement « l’erreur humaine » ou la vérité brute.

✅ Checklist Examen

1. Définir la définition UE de l’IA (2021) et expliciter la chaîne perception→interprétation→raisonnement→action vers des objectifs définis.
2. Expliquer le Test de Turing (1950) et pourquoi il est limité face à la conscience (hard problem), en mobilisant la Chambre chinoise.
3. Distinguer Weak AI, Strong AI et Task Competence, puis relier l’IA actuelle à la notion du cours.
4. Présenter au moins deux grandes théories philosophiques (ex : computationalisme, fonctionnalisme) et leur idée centrale sur l’esprit.
5. Expliquer le problème de l’ancrage des symboles (Harnad) et pourquoi les IA peuvent manipuler des symboles sans sens référentiel.
6. Raconter l’histoire : Dartmouth (1956) et au moins un précurseur (Llull, Leibniz, Jacquard) en reliant à l’idée de mécaniser le raisonnement.
7. Décrire l’analyse moyens-fins et l’explosion combinatoire, puis donner le lien avec les limites historiques (échecs → possibilités astronomiques).
8. Expliquer perceptron (Rosenblatt, 1957) et les limites (Minsky & Papert) menant au retour vers l’IA symbolique.
9. Définir systèmes experts et incertitude : citer MYCIN et l’idée de degrés de confiance, puis relier à Judea Pearl et Bayes.
10. Expliquer la leçon du premier hiver : pourquoi l’absence de mécanisme scalable pour acquérir/généraliser la connaissance est centrale.
11. En algèbre linéaire, définir vecteurs propres/valeurs propres et expliquer pourquoi PCA conserve les directions de plus grande variance.
12. En probabilités, écrire et interpréter P(A|B) et la règle de Bayes P(H|E), puis préciser l’impact de l’a priori quand les données sont rares.
13. En inférence statistique, définir H0 et p-value, puis justifier le seuil p<0.05 comme critère de significativité dans le cours.
14. Expliquer underfitting vs overfitting et le biais-variance trade-off, puis relier à la généralisation sur données non vues et au rôle de la non-linéarité dans l’expressivité du réseau.