Tokenisation — rôle ?
Découpe le texte en unités manipulables
Modèle de langage — définition?
Probabiliste, prédit la prochaine token.
Modèle de langage — définition ?
Estimations probabilistes de séquences de tokens
Tokenisation — rôle?
Réduit le vocabulaire, gère l'inconnu.
Greedy — stratégie ?
Choix du token le plus probable à chaque étape
Décodage Greedy — caractéristique?
Choix du token le plus probable, rapide.
Beam Search — différence?
Exploration de plusieurs séquences.
Sampling — but?
Ajoute de la diversité dans la génération.
Température — impact?
Modifie la créativité; T<1 plus conservateur.
Top-k — fonction?
Limite à k tokens les plus probables.
Pon a prueba tus conocimientos con 10 preguntas sobre Introduction aux modèles de langage et stratégies de décodage.
1. Quelle stratégie de décodage consiste à choisir à chaque étape le token le plus probable, de manière rapide et déterministe ?
2. Quelle est la principale caractéristique d’un modèle de langage?
Revisa el curso completo en la hoja de repaso para Introduction aux modèles de langage et stratégies de décodage.
Ver hoja de repaso →Intelligence Artificielle
Bases de données
Bases de données
Importa tu curso y la IA genera tarjetas de memoria en 30 segundos.
Generador de tarjetas de memoria