Quiz: Introduction aux modèles de langage et stratégies de décodage — 10 perguntas

1. Quelle stratégie de décodage consiste à choisir à chaque étape le token le plus probable, de manière rapide et déterministe ?

A. Sampling

B. Beam Search

C. Reinforcement learning

D. Greedy

Answer: (D)

Explicação

Le décodage greedy sélectionne à chaque étape le token avec la probabilité la plus élevée, ce qui est rapide et déterministe, mais peut manquer de créativité ou de diversité.

2. Quelle est la principale caractéristique d’un modèle de langage?

A. Il estime la probabilité d'une séquence de tokens.

B. Il traduit entre différentes langues.

C. Il résout des équations mathématiques complexes.

D. Il remplit automatiquement des formulaires.

Answer: (A)

Explicação

Les modèles de langage sont conçus pour estimer la probabilité d'une séquence de tokens, ce qui leur permet de générer du texte cohérent.

3. Quelle est la principale fonction d'un modèle de langage (LLM) ?

A. Reconnaître la parole à partir d'un fichier audio

B. Traduire automatiquement du texte d'une langue à une autre

C. Estimer la probabilité d'une séquence de tokens en se basant sur leur contexte

D. Générer des images à partir de descriptions textuelles

Answer: (C)

Explicação

Un modèle de langage est conçu pour estimer la probabilité d'une séquence de tokens en fonction de leur contexte, permettant ainsi de prédire le prochain mot ou token dans une séquence donnée.

4. Quelle technique de tokenisation est mentionnée pour gérer la rareté des mots?

A. Tokenisation sous-mots, comme BPE, WordPiece, SentencePiece.

B. Tokenisation en caractères uniquement.

C. Tokenisation par phrases complètes.

D. Tokenisation par mots entiers uniquement.

Answer: (A)

Explicação

La tokenisation sous-mots, notamment BPE, WordPiece, et SentencePiece, limite la taille du vocabulaire et gère mieux les mots rares ou inconnus.

5. Quel paramètre permet de contrôler la diversité des textes générés en ajustant la distribution de probabilité des tokens, en rendant la sélection plus ou moins conservatrice ?

A. Top-k

B. Température

C. Top-p

D. Repetition Penalty

Answer: (B)

Explicação

La température modifie la distribution de probabilité : une température inférieure à 1 rend la choix plus conservateur (plus pointu), tandis qu'une température supérieure à 1 favorise la créativité en aplatisant la distribution.

6. Quelle est la différence principale entre le décodage greedy et le Beam Search?

A. Greedy est plus rapide mais moins créatif; Beam Search explore plusieurs séquences pour plus de cohérence.

B. Greedy explore plusieurs séquences; Beam Search choisit le plus probable.

C. Greedy utilise la température; Beam Search ne l’utilise pas.

D. Ils sont identiques mais utilisés dans des contextes différents.

Answer: (A)

Explicação

Le décodage greedy choisit à chaque étape le token le plus probable, ce qui est rapide mais peu créatif, tandis que Beam Search explore plusieurs options pour générer des séquences plus cohérentes.

7. Comment la température (T) influence-t-elle la génération de texte?

A. T<1 rend la génération plus conservatrice; T>1 augmente la diversité.

B. T<1 augmente la créativité; T>1 limite la diversité.

C. T n'influence pas la génération, c'est une autre paramètre.

D. T est utilisé uniquement pour la longueur du texte.

Answer: (A)

Explicação

Une température inférieure à 1 favorise les tokens probables, rendant la texte plus conservateur; une température supérieure à 1 augmente la diversité en rendant la distribution plus équilibrée.

8. Quel paramètre limite la sélection aux k tokens les plus probables?

A. Top-k

B. Top-p

C. Repetition Penalty

D. Seed

Answer: (A)

Explicação

Top-k limite la sélection des tokens aux k plus probables, ce qui contrôle la diversité du texte généré.

9. À quoi sert le paramètre 'seed' dans la génération de texte?

A. Il permet la reproductibilité des résultats.

B. Il augmente la créativité du modèle.

C. Il accélère la génération.

D. Il limite la longueur du texte.

Answer: (A)

Explicação

Le 'seed' fixe la graine de nombre aléatoire utilisée lors de la génération, permettant de reproduire exactement le même texte à chaque exécution.

10. Quelle méthode est utilisée pour éviter la répétition excessive dans la génération de texte?

A. Repetition Penalty ou No-Repeat N-gram.

B. Augmentation de la température.

C. Tokenisation en sous-mots.

D. Utilisation de Beam Search.

Answer: (A)

Explicação

Pour éviter la répétition, on utilise la pénalité de répétition ou la technique No-Repeat N-gram, qui pénalisent ou empêchent la répétition de séquences dans le texte généré.