Cuestionario: Techniques d'Optimisation en Apprentissage par Renforcement — 8 preguntas

1. Qu'est-ce que l'apprentissage par renforcement ?

A. C'est un processus par lequel un agent apprend en expérimentant directement dans un environnement inconnu, sans modèle préalable, en recevant des récompenses ou des pénalités.

B. C'est une méthode d'apprentissage où l'agent apprend en utilisant un ensemble de données étiquetées par un superviseur.

C. C'est une technique où l'agent apprend en imitant le comportement d'un expert humain.

D. C'est une méthode d'apprentissage où l'agent est entraîné à partir de données fixes sans interaction avec l'environnement.

Answer: (A)

Explicación

L'apprentissage par renforcement est un processus où l'agent apprend en expérimentant directement dans un environnement inconnu, sans modèle préalable, en recevant des récompenses ou des pénalités, et en ajustant sa stratégie pour maximiser ses récompenses cumulées.

2. Quelle définition décrit le mieux un agent dans l'apprentissage par renforcement ?

A. Une entité qui apprend en observant uniquement ses conséquences, sans interagir avec l’environnement.

B. Une entité qui interagit avec l’environnement, apprend de ses propres expériences, et cherche à atteindre un objectif.

C. Un système qui n’a pas besoin d’interagir pour optimiser son comportement.

D. Une entité passive qui ne modifie pas ses actions indépendamment des retours reçus.

Answer: (B)

Explicación

Un agent dans ce contexte est une entité qui agit dans un environnement en apprenant de ses propres interactions, ce qui est essentiel pour la résolution de problèmes interactifs et décisionnels séquentiels.

3. Quelle est la date précise à laquelle Bellman a introduit les équations fondamentales du Processus de Décision Markovien ?

A. 1957

B. 1960

C. 1965

D. 1950

Answer: (A)

Explicación

Bellman, en 1957, a formalisé les équations de Bellman qui sont fondamentales pour le Processus de Décision Markovien. La date 1957 est une référence historique précise et bien connue dans le domaine.

4. Quelle affirmation concernant la formalisation du problème en apprentissage par renforcement est correcte ?

A. Elle repose sur le Processus de Décision Markovien, où l’état futur dépend de plusieurs états passés.

B. Elle utilise uniquement des modèles préalables des dynamiques pour l’apprentissage.

C. Elle repose sur le Processus de Décision Markovien, où l’état futur dépend uniquement de l’état et de l’action présents.

D. Elle ne considère pas la propriété markovienne dans la modélisation.

Answer: (C)

Explicación

La propriété markovienne stipule que l’état futur dépend uniquement de l’état actuel et de l’action, ce qui simplifie la résolution du problème en apprentissage par renforcement.

5. Quel type de méthode utilise la connaissance explicite des dynamiques p et r pour planifier et optimiser ?

A. Méthodes model-free

B. Méthodes heuristiques

C. Méthodes model-based

D. Méthodes d’apprentissage supervisé

E. Méthodes d’apprentissage non supervisé

Answer: (C)

Explicación

Les méthodes model-based utilisent la connaissance préalable des dynamiques p et r pour simuler et optimiser le comportement de l’agent, contrairement aux méthodes model-free qui n’ont pas cette connaissance.

6. Selon Saulières (2022), quelles sont les trois approches principales en apprentissage par renforcement ?

A. Méthodes basées sur la valeur, sur la politique, et hybrides actor-critic.

B. Méthodes supervisées, non supervisées, et semi-supervisées.

C. Méthodes déterministes, stochastiques, et hybrides.

D. Apprentissage par imitation, par essai et erreur, et par renforcement.

Answer: (A)

Explicación

Saulières identifie trois approches principales : basées sur la valeur, sur la politique, et hybrides comme actor-critic, qui combinent ces stratégies pour l’apprentissage.

7. Quelle est la fonction principale d’une heuristique en apprentissage par renforcement ?

A. Fournir un modèle exact des dynamiques environnementales.

B. Guider la recherche en estimant la qualité des actions possibles sans modélisation complète.

C. Optimiser directement la politique sans considération de valeur.

D. Éliminer le besoin d’expérimentation dans l’environnement.

Answer: (B)

Explicación

Une heuristique permet de guider la recherche en estimant rapidement la qualité d’actions potentielles, ce qui accélère l’apprentissage surtout dans des espaces d’état complexes.

8. Quelle distinction est exacte entre l’apprentissage par renforcement et l’apprentissage supervisé ?

A. Le renforcement repose sur l’apprentissage d’un rôle ou stratégie à partir des récompenses, tandis que supervisé sur des exemples étiquetés.

B. L’apprentissage supervisé n’utilise pas de données étiquetées, contrairement au renforcement.

C. Le renforcement ne requiert pas d’expériences concrètes, contrairement au supervisé.

D. Les deux sont identiques, mais le terme renforcement est utilisé pour les problèmes stochastiques.

Answer: (A)

Explicación

L’apprentissage par renforcement apprend à partir des récompenses et des expériences, tandis que supervisé utilise des données étiquetées pour guider l’apprentissage.