Tokenisation — rôle ?
Découpe le texte en unités manipulables
Modèle de langage — définition?
Probabiliste, prédit la prochaine token.
Modèle de langage — définition ?
Estimations probabilistes de séquences de tokens
Tokenisation — rôle?
Réduit le vocabulaire, gère l'inconnu.
Greedy — stratégie ?
Choix du token le plus probable à chaque étape
Décodage Greedy — caractéristique?
Choix du token le plus probable, rapide.
Beam Search — différence?
Exploration de plusieurs séquences.
Sampling — but?
Ajoute de la diversité dans la génération.
Température — impact?
Modifie la créativité; T<1 plus conservateur.
Top-k — fonction?
Limite à k tokens les plus probables.
Test your knowledge with 10 questions on Introduction aux modèles de langage et stratégies de décodage.
1. Quelle stratégie de décodage consiste à choisir à chaque étape le token le plus probable, de manière rapide et déterministe ?
2. Quelle est la principale caractéristique d’un modèle de langage?
Review the complete course in the revision sheet for Introduction aux modèles de langage et stratégies de décodage.
See revision sheet →Import your course and AI generates flashcards in 30 seconds.
Flashcard generator