Introduction aux modèles de langage et stratégies de décodage

Lernzettel-Auszug

1. 📌 L'essentiel

  • Un modèle de langage estime la probabilité d'une séquence de tokens : P(w1,...,wT)=t=1TP(wtw1,...,wt1)P(w_1, ..., w_T) = \prod_{t=1}^T P(w_t | w_1, ..., w_{t-1}).
  • La tokenisation sous-mots (BPE, WordPiece, SentencePiece) réduit le vocabulaire et gère les rares.
  • Stratégies de décodage principales : Greedy, Beam Search, Sampling.
  • Greedy : choix du token le plus probable à chaque étape, rapide mais peu créatif.
  • Beam Search : exploration de plusieurs séquences, plus cohérent mais plus lent.
  • Sampling : choix probabiliste contrôlé par température, top-k, top-p pour plus de diversité.
  • La température modifie la distribution : T<1 pour plus conservateur, T>1 pour plus créatif.
  • Top-k limite la sélection aux k tokens les plus probables, renormalisés.
  • Top-p (Nucleus) sélectionne un ensemble dynamique de tokens jusqu’à la somme des probabilités p.
  • Contrôler la répétition via Repetition Penalty ou No-Repeat N-gram.
  • La graine (seed) permet la reproductibilité des résultats.
Vollständigen Lernzettel lesen →

Quiz-Vorschau

1. Quelle stratégie de décodage consiste à choisir à chaque étape le token le plus probable, de manière rapide et déterministe ?

2. Quelle est la principale caractéristique d’un modèle de langage?

3. Quelle est la principale fonction d'un modèle de langage (LLM) ?

Quiz machen (10 Fragen) →

Karteikarten-Vorschau

Tokenisation — rôle ?

Découpe le texte en unités manipulables

Modèle de langage — définition?

Probabiliste, prédit la prochaine token.

Modèle de langage — définition ?

Estimations probabilistes de séquences de tokens

Tokenisation — rôle?

Réduit le vocabulaire, gère l'inconnu.

Greedy — stratégie ?

Choix du token le plus probable à chaque étape

Décodage Greedy — caractéristique?

Choix du token le plus probable, rapide.

Alle 10 Karteikarten ansehen →

Häufig gestellte Fragen

Was deckt der Lernzettel zu Introduction aux modèles de langage et stratégies de décodage ab?

Der Lernzettel deckt die wesentlichen Konzepte von Introduction aux modèles de langage et stratégies de décodage ab. Er ist nach Themen organisiert, um das Lernen und Merken zu erleichtern, mit wichtigen Definitionen, Erklärungen und Zusammenfassungen.

Vollständigen Lernzettel lesen →

Wie viele Fragen enthält das Quiz zu Introduction aux modèles de langage et stratégies de décodage?

Das Quiz enthält 10 Multiple-Choice-Fragen mit detaillierten Korrekturen und Erklärungen zu jeder Antwort. Ideal, um dein Wissen zu testen und Lücken zu identifizieren.

Quiz machen (10 Fragen) →

Wie lernt man Introduction aux modèles de langage et stratégies de décodage mit Karteikarten?

Revizly bietet 10 interaktive Karteikarten zu Introduction aux modèles de langage et stratégies de décodage. Jede Karte stellt eine Frage auf der Vorderseite und die Antwort auf der Rückseite dar, was eine aktive und effektive Wiederholung basierend auf verteiltem Lernen ermöglicht.

Alle 10 Karteikarten ansehen →

Similar courses

Create your own sheets from your courses

Import your PDF or paste your course, AI generates sheets, quizzes and flashcards in 30 seconds.