Revision sheet: Introduction au Topic Modeling et Techniques Associées

📋 Plan du Cours

1. Fondements du topic modeling
2. Objectifs et principe de fonctionnement
3. Techniques de modélisation de sujets
4. Analyse sémantique latente
5. Allocation latente de Dirichlet
6. BERTopic et comparaison finale

📖 1. Fondements du topic modeling

🔑 Notions clés & Définitions

• Topic modeling : Technique de text mining/NLP visant à découvrir des thématiques latentes dans un corpus de documents non annotés.
• Topic : En topic modeling, un topic est un ensemble récurrent de mots qui décrit au mieux un thème présent dans les documents.
• Analyse exploratoire : Usage du topic modeling pour comprendre la structure thématique d’un corpus avant toute modélisation supervisée.

📝 Points essentiels

• Le topic modeling sert à découvrir automatiquement des thématiques cachées présentes dans un ensemble de documents non annotés.
• Un topic correspond à un groupe de mots apparaissant fréquemment ensemble et servant à représenter un thème.
• Les topics modélisent aussi la structure des sujets et la manière dont ils sont liés entre eux.

💡 Astuce mémo

Topics = thèmes révélés par cooccurrence de mots récurrents.

📖 2. Objectifs et principe de fonctionnement

🔑 Notions clés & Définitions

• Thèmes dominants : Objectif du topic modeling consistant à faire émerger automatiquement les sujets les plus présents dans un corpus.
• Document multi-topics : Principe selon lequel un document peut appartenir à plusieurs topics avec des proportions différentes.

📝 Points essentiels

• Le topic modeling permet de résumer de grands volumes de textes en extrayant des thèmes dominants.
• Contrairement à la classification, les topics ne sont pas prédéfinis et un document peut combiner plusieurs topics.
• Le fonctionnement s’appuie sur les styles de cooccurrence des expressions dans le corpus pour déduire des sujets implicites.
• La méthode est généralement non supervisée, donc elle découvre les sujets sans étiquettes préalable sur les documents.

💡 Astuce mémo

Cooccurrence → sujets implicites, non supervisé → pas d’étiquettes.

📖 3. Techniques de modélisation de sujets

🔑 Notions clés & Définitions

• LSA : Analyse sémantique latente utilisée pour repérer des significations cachées en exploitant la cooccurrence de mots dans les documents.
• LDA : Allocation latente de Dirichlet, modèle probabiliste non supervisé qui représente chaque document comme un mélange de topics.
• BERTopic : Méthode de modélisation de sujets fondée sur des embeddings et un regroupement en clusters, puis l’extraction de mots représentatifs.

📝 Points essentiels

• Les techniques les plus utilisées dans le cours sont LSA, LDA et BERTopic.
• LSA et LDA reposent sur l’exploitation d’un espace issu des mots et documents, tandis que BERTopic s’appuie sur la sémantique via embeddings.
• BERTopic construit des clusters denses et extrait ensuite des mots importants pour rendre les topics interprétables.

💡 Astuce mémo

LSA = SVD, LDA = probabiliste, BERTopic = BERT + clustering.

📖 4. Analyse sémantique latente

🔑 Notions clés & Définitions

• Document term matrix : Représentation matricielle du corpus où chaque cellule donne le poids d’un mot dans un document.
• TF-IDF : Mesure de poids des mots utilisée pour construire la matrice terme-document avant réduction de dimension dans la LSA.
• Singular Value Decomposition : Décomposition SVD $X = U\Sigma V^\top$ qui permet de projeter le corpus dans un espace sémantique latent réduit.
• Espace sémantique latent : Espace compact obtenu après réduction de dimension où les documents et mots se comparent par signification plutôt que par mots exacts.

📝 Points essentiels

• La matrice du corpus $X \in \mathbb{R}^{m\times n}$ a $m$ mots et $n$ documents, et chaque cellule $x_{ij}$ décrit le poids du mot $i$ dans le document $j (TF ou TF-IDF)$.
• La LSA réduit le bruit et la dimension en conservant seulement les $k$ plus grandes valeurs singulières, avec $k \ll rang(X)$.
• Les limites de la représentation brute incluent dimension trop grande, bruit, synonymie et polysémie, que la LSA atténue via projection latente.
• Après LSA, chaque document devient un vecteur dans un espace latent $k$-dimensionnel, utilisable pour recherche documentaire, similarité, clustering et recommandation.
• La variance expliquée indique l’information conservée après réduction, et une cohérence élevée reflète des mots d’un même thème fréquemment liés dans le corpus.

💡 Astuce mémo

Matrice → SVD → ne garder que les $k$ plus grandes valeurs pour capter le sens latent.

📖 5. Allocation latente de Dirichlet

🔑 Notions clés & Définitions

• Mélange de sujets : Hypothèse LDA où chaque document est décrit comme une combinaison de topics avec des proportions spécifiques.
• Distribution Dirichlet : A priori probabiliste utilisé par LDA pour modéliser la diversité des proportions thématiques et lexicales.
• Topic dans l’espace des mots : Représentation d’un topic par une distribution sur les mots, permettant d’expliquer quels mots apparaissent dans ce topic.

📝 Points essentiels

• LDA est un modèle probabiliste non supervisé où documents similaires partagent une utilisation similaire des mots et donc des topics proches.
• Le modèle décrit chaque document comme des probabilités sur les topics, et chaque topic comme des probabilités sur les mots.
• Le processus génératif se fait en deux étapes : échantillonner une distribution de thèmes par document, puis pour chaque mot échantillonner un topic puis un mot depuis la distribution du topic.
• Deux usages des lois de Dirichlet : paramètre $\alpha$ pour la diversité des proportions thématiques par document et paramètre $\beta$ pour la diversité des proportions lexicales par topic.
• L’estimation des paramètres passe par posterior inference via heuristiques : Gibbs sampling (Monte-Carlo) ou EM (espérance-maximisation) en itérant jusqu’à convergence, avec des coûts possibles en temps ou mémoire.
• Le nombre de topics $K$ reste un problème ouvert.

💡 Astuce mémo

LDA : document = mélange de topics, topic = distribution de mots (Dirichlet pour la diversité).

📖 6. BERTopic et comparaison finale

🔑 Notions clés & Définitions

• UMAP : Algorithme de réduction de dimension (souvent 2D ou 5D) qui conserve la structure sémantique des embeddings pour faciliter le clustering.
• HDBSCAN : Clustering hiérarchique basé sur la densité qui détermine automatiquement le nombre de clusters et gère le bruit.
• c-TF-IDF : Variante de TF-IDF calculée par cluster (traité comme une classe) pour extraire des mots clés représentatifs de chaque sujet.
• PyLDAvis : Outil de visualisation utilisé pour afficher une carte de distance intertopic à partir des résultats de modélisation.

📝 Points essentiels

• BERTopic combine embeddings BERT, réduction de dimension par UMAP, clustering par HDBSCAN, puis extraction de mots représentatifs par c-TF-IDF.
• Un document est d’abord encodé par un modèle BERT en vecteur dense d’environ 768 dimensions, avant réduction et regroupement.
• HDBSCAN attribue des étiquettes de cluster et peut marquer les documents considérés comme bruit avec une étiquette comme -1.
• Le cours liste des visualisations BERTopic : carte de distance intertopic (pyLDAvis), barres des meilleurs termes, et hiérarchie des sujets.
• Comparaison : LSA = factorisation matricielle via SVD, LDA = modèle probabiliste génératif, BERTopic = embeddings + clustering et sémantique BERT.
• Comparaison des performances : LSA/LDA utilisent un sac de mots, tandis que BERTopic vise la sémantique contextuelle et fonctionne bien avec des textes courts, mais peut coûter plus cher et dépendre des réglages UMAP/HDBSCAN.

💡 Astuce mémo

BERTopic = BERT (sens) → UMAP (compresse) → HDBSCAN (clusters) → c-TF-IDF (mots).

📊 Tableaux de synthèse

Comparaison LSA LDA BERTopic

Méthode	Principe	Type de représentation
LSA	Factorisation SVD	Bag-of-words via matrice terme-document → espace latent
LDA	Probabiliste génératif	Mélange de topics et distribution des mots par topic
BERTopic	Embeddings + clustering	Sémantique BERT avec UMAP/HDBSCAN puis c-TF-IDF

⚠️ Pièges & confusions fréquents

1. Confondre un topic avec un document : un topic est un ensemble récurrent de mots, alors qu’un document peut contenir plusieurs topics en proportions.
2. Croire que les topics sont prédéfinis : la classification suppose des classes connues, alors que le topic modeling cherche des thèmes latents.
3. Mélanger LSA et LDA : LSA projette via SVD dans un espace latent, tandis que LDA décrit des distributions probabilistes document-topics et topic-mots.
4. Interpréter mal les paramètres : $\alpha$ contrôle la diversité des proportions thématiques par document et $\beta$ celle des proportions lexicales par topic dans LDA.
5. Penser que BERTopic est uniquement un clustering classique : il dépend d’abord d’embeddings BERT, puis utilise UMAP, HDBSCAN et c-TF-IDF pour rendre les topics interprétables.
6. Oublier le rôle du choix de $K$ dans LDA : le nombre de topics reste un problème ouvert selon le cours.

✅ Checklist Examen

1. Définir le but du topic modeling comme découverte de thématiques latentes dans un corpus non annoté.
2. Expliquer ce qu’est un topic et relier un topic à un ensemble récurrent de mots.
3. Donner au moins trois objectifs du topic modeling parmi ceux cités (thèmes dominants, résumé, exploration structure sémantique, annotation, préparation pour tâches).
4. Expliquer la différence avec la classification : topics non prédéfinis et un document peut porter plusieurs topics avec des proportions.
5. Décrire le principe de fonctionnement : cooccurrence d’expressions et découverte non supervisée des sujets implicites.
6. Identifier les trois techniques présentées comme les plus utilisées : LSA, LDA, BERTopic.
7. Définir LSA et décrire ses étapes : prétraitement, construction DTM avec TF ou TF-IDF, réduction de dimension par SVD, comparaison/observation.
8. Donner la structure de la matrice $X \in \mathbb{R}^{m\times n}$ et la signification de $m$, $n$ et $x_{ij}$.
9. Expliquer pourquoi la représentation brute est limitée (dimension, bruit, synonymie, polysémie) et comment la LSA corrige ces limites.
10. Présenter la formule de la décomposition SVD $X = U\Sigma V^\top$ et le rôle global de $U$, $\Sigma$ et $V$.
11. Décrire la réduction de dimension en conservant les $k$ plus grandes valeurs singulières avec $k \ll rang(X)$.
12. Dire ce que deviennent les documents après LSA (vecteurs $k$-dimensionnels) et citer au moins deux applications listées.
13. Donner les métriques d’évaluation vues : variance expliquée et cohérence des thèmes avec leur interprétation.
14. Définir LDA et rappeler l’idée document = mélange de topics et topic = distribution sur les mots.