Tarjetas de memoria: Introduction aux modèles d'IA Générative — 20 tarjetas

LLM — définition ?

Modèle de langage large basé sur Transformer.

IA Générative — rôle ?

Créer du contenu original à partir de données.

Température — effet ?

Contrôle le hasard dans la génération.

Tokenisation — processus ?

Découpe du texte en unités (tokens).

Prédiction — tâche principale ?

Estimer le prochain token dans une séquence.

Discriminative — fonction ?

Classifie en calculant P(y|x).

Générative — fonction ?

Génère en modélisant P(x).

Espace latent — rôle ?

Représente concepts dans un espace compressé.

Transformers — invention ?

Architecture basée sur auto-attention, 2017.

Auto-attention — mécanisme ?

Poids variables pour chaque token dans une séquence.

Neurone biologique — rôle ?

Transmet des signaux électriques entre cellules.

Neurone artificiel — principe ?

Fonction mathématique d'agrégation et d'activation.

Apprentissage — phases clés ?

Pré-entraînement, fine-tuning, RLHF.

Capacités émergentes — exemple ?

Raisonnement, sarcasme, que le modèle développe seul.

Hallucinations — définition ?

Informations crédibles mais fausses générées par l’IA.

RAG — étape 1 ?

Récupération de documents pertinents.

RAG — étape 2 ?

Insertion des documents dans le prompt.

RAG — étape 3 ?

Génération basée sur documents récupérés.

Espace latent — proximité ?

Concepts similaires proches dans l’espace.

Dimensions hyper-dimensionnelles — avantage ?

Nuance et précision accrues dans la représentation.