Introduction aux modèles de langage et stratégies de décodage

Извадка от листа за преговор

1. 📌 L'essentiel

  • Un modèle de langage estime la probabilité d'une séquence de tokens : P(w1,...,wT)=∏t=1TP(wt∣w1,...,wt−1)P(w_1, ..., w_T) = \prod_{t=1}^T P(w_t | w_1, ..., w_{t-1}).
  • La tokenisation sous-mots (BPE, WordPiece, SentencePiece) réduit le vocabulaire et gère les rares.
  • Stratégies de décodage principales : Greedy, Beam Search, Sampling.
  • Greedy : choix du token le plus probable à chaque étape, rapide mais peu créatif.
  • Beam Search : exploration de plusieurs séquences, plus cohérent mais plus lent.
  • Sampling : choix probabiliste contrôlé par température, top-k, top-p pour plus de diversité.
  • La température modifie la distribution : T<1 pour plus conservateur, T>1 pour plus créatif.
  • Top-k limite la sélection aux k tokens les plus probables, renormalisés.
  • Top-p (Nucleus) sélectionne un ensemble dynamique de tokens jusqu’à la somme des probabilités p.
  • Contrôler la répétition via Repetition Penalty ou No-Repeat N-gram.
  • La graine (seed) permet la reproductibilité des résultats.
Прочетете пълния лист →

Преглед на теста

1. Quelle stratégie de décodage consiste à choisir à chaque étape le token le plus probable, de manière rapide et déterministe ?

2. Quelle est la principale caractéristique d’un modèle de langage?

3. Quelle est la principale fonction d'un modèle de langage (LLM) ?

Вземете теста (10 въпроса) →

Преглед на флашкартите

Tokenisation — rôle ?

Découpe le texte en unités manipulables

Modèle de langage — définition?

Probabiliste, prédit la prochaine token.

Modèle de langage — définition ?

Estimations probabilistes de séquences de tokens

Tokenisation — rôle?

Réduit le vocabulaire, gère l'inconnu.

Greedy — stratégie ?

Choix du token le plus probable à chaque étape

Décodage Greedy — caractéristique?

Choix du token le plus probable, rapide.

Вижте всички 10 флашкарти →

Често задавани въпроси

Какво обхваща листът за преговор на Introduction aux modèles de langage et stratégies de décodage?

Листът за преговор обхваща основните концепции на Introduction aux modèles de langage et stratégies de décodage. Организиран е по теми, за да улесни ученето и запомнянето, с ключови дефиниции, обяснения и резюмета.

Прочетете пълния лист →

Колко въпроса има в теста за Introduction aux modèles de langage et stratégies de décodage?

Тестът съдържа 10 въпроса с множество отговори с подробни корекции и обяснения за всеки отговор. Идеален за тестване на знанията ви и идентифициране на пропуски.

Вземете теста (10 въпроса) →

Как да учите Introduction aux modèles de langage et stratégies de décodage с флашкарти?

Revizly предлага 10 интерактивни флашкарти по Introduction aux modèles de langage et stratégies de décodage. Всяка карта представя въпрос на предната страна и отговор на задната, което позволява активно и ефективно преговаряне, базирано на разпределено повторение.

Вижте всички 10 флашкарти →

Similar courses

Introduction à l'Intelligence Artificielle Symbolique

Intelligence Artificielle

Introduction aux documents et sécurité en construction

Bases de données

Introduction à l'Informatique et IA

Introduction aux marchés publics et réglementations du bâtiment

Bases de données

Gestion des imprimantes Windows et PDF

Introduction aux bases de données relationnelles

Bases de données

Create your own sheets from your courses

Import your PDF or paste your course, AI generates sheets, quizzes and flashcards in 30 seconds.

Sheet generatorQuiz generator