Hoja de repaso: Introduction aux Techniques de Prétraitement NLP

📋 Plan du Cours

1. Prétraitement linguistique
2. Nettoyage et normalisation
3. Tokenisation et étiquetage
4. Vectorisation textuelle
5. Corpus multilingues
6. Stratégies multilingues

📖 1. Prétraitement linguistique

🔑 Notions clés & Définitions

• Prétraitement du texte : Le prétraitement du texte regroupe les opérations appliquées à des données brutes pour les rendre exploitables par des algorithmes de TAL.
• Bruit linguistique : Le bruit linguistique correspond à tout élément inutile dans un texte brut, comme des caractères, ponctuations non utiles ou contenus de type balises HTML.
• Variabilité linguistique : La variabilité linguistique désigne les différences d’écriture entre formes proches d’un même terme, qui compliquent l’analyse automatique.

📝 Points essentiels

• Les textes bruts sont souvent bruyants, hétérogènes et difficiles à utiliser directement par les modèles NLP.
• Un bon prétraitement peut améliorer les résultats d’un modèle sans changer l’algorithme.
• Le prétraitement vise à réduire le bruit, standardiser les données et rendre la structure plus cohérente.
• Les textes bruts posent aussi des problèmes de redondance via doublons et mots vides, qui alourdissent les analyses.

💡 Astuce mémo

Prétraitement = rendre le texte « exploitable » avant l’apprentissage automatique.

📖 2. Nettoyage et normalisation

🔑 Notions clés & Définitions

• Nettoyage de données textuelles : Le nettoyage de données textuelles supprime les éléments indésirables afin de réduire le bruit du texte pour l’analyse.
• Normalisation de données textuelles : La normalisation de données textuelles uniformise l’écriture pour réduire la variabilité et la complexité de traitement.
• Stop words : Les stop words sont des mots très fréquents qui apportent peu d’information sémantique pour une tâche d’analyse.
• Stemming : Le stemming réduit un mot à une forme racinée en retirant suffixes et préfixes sans garantir une forme grammaticale correcte.
• Lemmatisation : La lemmatisation ramène un mot à son lemme dictionnairique en tenant compte du contexte et du sens.

📝 Points essentiels

• Le nettoyage peut inclure la suppression ponctuation, chiffres, symboles spéciaux, espaces inutiles, doublons et balises HTML.
• La normalisation peut inclure la conversion en minuscules, la suppression des accents et l’uniformisation des formats.
• La suppression des accents peut s’appuyer sur une normalisation Unicode NFD et sur l’exclusion des marques diacritiques de catégorie Mn.
• La lemmatisation produit un mot réel du dictionnaire, alors que le stemming tronque généralement le terme.
• La pipeline de préparation distingue la phase de nettoyage et la phase de normalisation pour un pipeline cohérent.

💡 Astuce mémo

Nettoyage = enlever ; Normalisation = mettre tous les textes à la même « échelle ».

📖 3. Tokenisation et étiquetage

🔑 Notions clés & Définitions

• Tokenization (segmentation) : La tokenization découpe un texte en unités appelées tokens, pouvant correspondre à des mots, des phrases ou des sous-mots.
• Named Entity Recognition : Le NER identifie dans un texte des entités importantes comme personnes, lieux, organisations ou dates et les étiquette.
• Part-of-Speech Tagging : Le POS tagging associe à chaque mot sa catégorie grammaticale comme nom, verbe ou adjectif.

📝 Points essentiels

• La tokenization segmente le texte en tokens dont la granularité dépend de l’approche choisie.
• Le NER étiquette des entités à partir d’un exemple de type « Younes » en PERSON et « Algérie » en LOCATION.
• Le POS tagging permet de mieux analyser syntaxe et sémantique et de lever des ambiguïtés comme « train » verbe ou nom.

💡 Astuce mémo

Tokens pour découper, NER pour nommer, POS pour classer.

📖 4. Vectorisation textuelle

🔑 Notions clés & Définitions

• Bag of Words (BoW) : Le modèle BoW représente un texte par un vecteur de comptage des occurrences de mots du vocabulaire sans ordre ni contexte.
• TF-IDF : Le TF-IDF pondère chaque terme par sa fréquence dans un document et par sa rareté dans l’ensemble du corpus pour mieux discriminer.
• Word Embeddings : Les word embeddings placent les mots dans un espace vectoriel où des mots similaires ont des vecteurs proches.
• Contextual Embeddings : Les embeddings contextuels produisent des représentations dépendantes du contexte, comme avec BERT, ELMo ou GPT.

📝 Points essentiels

• Avec BoW, l’ordre des mots et le contexte ne sont pas pris en compte, seule la présence via comptage domine.
• Le TF-IDF augmente le poids des mots fréquents localement et rares globalement, et réduit celui des mots très fréquents.
• Word2Vec, GloVe et des embeddings similaires sont présentés comme exemples d’approches « classiques » et de word embeddings.
• BERT, ELMo et GPT sont donnés comme exemples de modèles de représentations contextuelles.

💡 Astuce mémo

BoW compte ; TF-IDF nuance ; Embeddings remplacent les mots par des vecteurs.

📖 5. Corpus multilingues

🔑 Notions clés & Définitions

• Corpus : Un corpus est un ensemble structuré de textes ou documents rassemblés pour analyser des données linguistiques ou entraîner des modèles TAL.
• Corpus multilingue : Un corpus multilingue contient des textes écrits dans plusieurs langues.
• Détection de langue : La détection de langue vise à identifier la langue d’un texte pour appliquer ensuite le bon prétraitement.

📝 Points essentiels

• Un corpus multilingue peut contenir des textes spécialisés, annotés ou non, et relève de la linguistique ou de l’entraînement TAL.
• Les problèmes multilingues incluent mélange de langues, alphabets différents, morphologies variées et stopwords spécifiques.
• La détection par statistiques peut utiliser la fréquence de caractères, bigrammes et trigrammes, avec une limite sur les phrases très courtes.
• Une détection par dictionnaires teste la présence de mots connus, avec un exemple « le » pour le français et « the » pour l’anglais.
• Le texte conseille UTF-8 pour réduire la corruption de caractères et gérer des scripts mixtes, comme Darija en lettres latines + arabe.

💡 Astuce mémo

Multilingue = mélange + morphologie + alphabets, donc on commence par détecter la langue.

📖 6. Stratégies multilingues

🔑 Notions clés & Définitions

• Prétraitement spécifique par langue : La stratégie de prétraitement spécifique applique un pipeline adapté après identification de la langue, avec des outils et ressources dédiés.
• Langue pivot : La stratégie de langue pivot consiste à traduire les textes vers une langue commune, puis à appliquer le prétraitement standard.
• Modèles multilingues : Les modèles multilingues sont des modèles pré-entraînés conçus pour traiter plusieurs langues sans traduire les textes.

📝 Points essentiels

• Prétraitement spécifique par langue : identifier chaque langue puis appliquer le pipeline adapté pour respecter la morphologie, mais cela demande plusieurs outils.
• Langue pivot : traduire souvent vers l’anglais avant prétraitement, mais la traduction peut entraîner une perte d’information.
• Modèles multilingues : utiliser des modèles comme BERT, XLM-R ou LASER pour capter la sémantique multilingue sans traduction, mais c’est plus lourd et nécessite du GPU.
• Le cours illustre aussi un besoin de pipeline différent selon langue : tokenisation, stopwords, stemming et lemmatisation changent selon l’anglais, le français et l’arabe/darija.
• Le cours cite des outils de lemmatisation et stemming par langue (exemples donnés : Porter Stemmer, Snowball Stemmer, AraStem, WordNet Lemmatizer, Spacy Lemmatizer, CAMeL Tools).

💡 Astuce mémo

3 chemins : adapter, traduire, ou utiliser un modèle multilingue.

📊 Tableaux de synthèse

Nettoyage vs normalisation

Aspect	Nettoyage	Normalisation
But	Supprimer l’indésirable	Uniformiser l’écriture
Cible	Réduction du bruit	Réduction de la variabilité
Exemples	Stopwords, balises HTML	Minuscules, suppression accents, stemming/lemmatisation

Stratégies multilingues

Stratégie	Idée centrale	Point faible
Prétraitement spécifique	Pipeline adapté après détection	Nécessite plusieurs outils et ressources
Langue pivot	Traduire puis prétraiter	Traduction imparfaite et perte d’information
Modèles multilingues	Modèles pré-entraînés multi-langues	Plus lourd et nécessite GPU

⚠️ Pièges & confusions fréquents

1. Confondre nettoyage et normalisation conduit à appliquer des opérations trop tôt, comme supprimer sans uniforme puis comparer des formes qui devraient être harmonisées.
2. Oublier les stop words peut gonfler inutilement le vocabulaire et dégrader des étapes comme BoW/TF-IDF sans apporter de sens.
3. Appliquer le stemming quand une lemmatisation est souhaitée peut produire des formes tronquées qui perdent le lien avec des mots dictionnairiques.
4. Traiter des textes multilingues sans détection de langue fait mal matcher stopwords, stemming/lemmatisation et tokenisation aux langues réelles.
5. Supprimer la ponctuation systématiquement peut être dommage si ton analyse dépend de la structure grammaticale, même si le cours indique souvent une suppression utile.
6. Utiliser un encodage non adapté augmente le risque de caractères corrompus, ce qui complique la détection et la normalisation, alors que UTF-8 est recommandé.
7. Mélanger “pain” sans gestion linguistique conduit à ignorer que le même mot peut avoir des sens différents selon la langue.

✅ Checklist Examen

1. Définir le prétraitement du texte et expliquer pourquoi il est indispensable pour les textes bruts.
2. Lister au moins trois problèmes fréquents des textes bruts : bruit, hétérogénéité, redondance ou variabilité linguistique.
3. Distinguer nettoyage et normalisation et donner au moins deux exemples d’opérations pour chaque.
4. Expliquer l’objectif de la suppression des stop words dans une analyse automatique.
5. Décrire la conversion en minuscules et son effet sur les comptages et comparaisons lexicales.
6. Expliquer comment supprimer les accents via une normalisation Unicode NFD et l’exclusion des marques diacritiques Mn.
7. Différencier stemming et lemmatisation en précisant l’idée de racine vs lemme dictionnairique.
8. Décrire la tokenization et donner les types de granularité possibles pour les tokens.
9. Expliquer le NER et être capable de donner un exemple d’étiquetage PERSON et LOCATION.
10. Expliquer le POS tagging et pourquoi il aide à lever des ambiguïtés comme « train ».
11. Décrire BoW et préciser ce qu’il ignore (ordre et contexte).
12. Décrire TF-IDF avec l’idée TF (fréquence) et IDF (rareté dans le corpus).
13. Comparer word embeddings et contextual embeddings en citant les exemples donnés (Word2Vec/GloVe vs BERT/ELMo/GPT).
14. Définir corpus multilingue et citer au moins quatre problèmes liés : mélange, alphabets, morphologie, stopwords.