Représentation du texte en NLP

📋 Plan du Cours

1. Représentation du texte
2. Sac de mots
3. Tokenisation et vocabulaire
4. TF-IDF
5. Word embeddings
6. GloVe
7. FastText

📖 1. Représentation du texte

🔑 Notions clés & Définitions

• Représentation du texte : La représentation du texte est la transformation d’un contenu linguistique en une forme exploitable par des modèles d’apprentissage automatique.
• Données textuelles : Les données textuelles sont des contenus écrits dont l’information doit être convertie en données numériques pour être traitée par un ordinateur.
• Traitement du langage naturel : Le traitement du langage naturel regroupe les méthodes qui permettent aux systèmes de manipuler des textes pour réaliser des tâches automatiques.

📝 Points essentiels

• Les ordinateurs ne traitent pas directement le texte brut et doivent donc le convertir en représentation numérique utilisable par des algorithmes d’apprentissage automatique.
• La classification de texte, l’analyse de sentiments et la traduction automatique exigent une représentation numérique du texte pour fonctionner.
• Sans représentation numérique, il est impossible de comparer, analyser ou extraire des informations significatives depuis des documents textuels.
• La représentation du texte sert à capturer des caractéristiques pertinentes du contenu tout en facilitant l’interprétation par les modèles de machine learning.

📖 2. Sac de mots

🔑 Notions clés & Définitions