Tokenisation — rôle ?
Découpe le texte en unités manipulables
Modèle de langage — définition?
Probabiliste, prédit la prochaine token.
Modèle de langage — définition ?
Estimations probabilistes de séquences de tokens
Tokenisation — rôle?
Réduit le vocabulaire, gère l'inconnu.
Greedy — stratégie ?
Choix du token le plus probable à chaque étape
Décodage Greedy — caractéristique?
Choix du token le plus probable, rapide.
Beam Search — différence?
Exploration de plusieurs séquences.
Sampling — but?
Ajoute de la diversité dans la génération.
Température — impact?
Modifie la créativité; T<1 plus conservateur.
Top-k — fonction?
Limite à k tokens les plus probables.
Тествайте знанията си с 10 въпроса по Introduction aux modèles de langage et stratégies de décodage.
1. Quelle stratégie de décodage consiste à choisir à chaque étape le token le plus probable, de manière rapide et déterministe ?
2. Quelle est la principale caractéristique d’un modèle de langage?
Прегледайте пълния курс в листа за преговор за Introduction aux modèles de langage et stratégies de décodage.
Вижте листа за преговор →Intelligence Artificielle
Bases de données
Импортирайте курса си и AI генерира флашкарти за 30 секунди.
Генератор на флашкарти