Tarjetas de memoria: Introduction aux Techniques de Prétraitement NLP — 12 tarjetas

Prétraitement linguistique — définition ?

Opérations pour rendre le texte exploitable par NLP.

Bruit linguistique — exemple ?

Caractères, ponctuations inutiles, balises HTML.

Variabilité linguistique — cause ?

Différences d’écriture pour un même terme.

Nettoyage — opération ?

Suppression d’éléments indésirables du texte.

Normalisation — but ?

Uniformiser l’écriture pour réduire la variabilité.

Stop words — rôle ?

Mots fréquents peu sémantiques, à supprimer souvent.

Stemming — objectif ?

Réduire un mot à sa racine sans garantie grammaticale.

Lemmatisation — différence ?

Ramène un mot à son lemme dictionnairique.

Tokenisation — fonction ?

Découper le texte en unités appelées tokens.

NER — signification ?

Reconnaissance et étiquetage d’entités nommées.

POS tagging — but ?

Associer chaque mot à sa catégorie grammaticale.

Vectorisation textuelle — méthodes ?

BoW, TF-IDF, word embeddings, embeddings contextuels.