Tokenisation — rôle ?
Découpe le texte en unités manipulables
Modèle de langage — définition?
Probabiliste, prédit la prochaine token.
Modèle de langage — définition ?
Estimations probabilistes de séquences de tokens
Tokenisation — rôle?
Réduit le vocabulaire, gère l'inconnu.
Greedy — stratégie ?
Choix du token le plus probable à chaque étape
Décodage Greedy — caractéristique?
Choix du token le plus probable, rapide.
Beam Search — différence?
Exploration de plusieurs séquences.
Sampling — but?
Ajoute de la diversité dans la génération.
Température — impact?
Modifie la créativité; T<1 plus conservateur.
Top-k — fonction?
Limite à k tokens les plus probables.
Metti alla prova le tue conoscenze con 10 domande su Introduction aux modèles de langage et stratégies de décodage.
1. Quelle stratégie de décodage consiste à choisir à chaque étape le token le plus probable, de manière rapide et déterministe ?
2. Quelle est la principale caractéristique d’un modèle de langage?
Ripassa il corso completo nella scheda di revisione per Introduction aux modèles de langage et stratégies de décodage.
Vedi la scheda di revisione →Intelligence Artificielle
Bases de données
Bases de données
Bases de données
Importa il tuo corso e l'AI genera flashcard in 30 secondi.
Generatore di flashcard