Itération de politiques et itération de valeurs : méthodes clés d'apprentissage par renforcement

L'itération de politique et l'itération de valeur sont deux algorithmes couramment utilisés dans l'apprentissage par renforcement. L'itération de la politique améliore les performances de l'agent en améliorant la politique de manière itérative. L'itération de valeur met à jour la fonction de valeur d'état de manière itérative pour obtenir la valeur d'état optimale. Les idées fondamentales des deux sont différentes, mais elles peuvent toutes deux jouer un rôle dans l’optimisation des stratégies dans les tâches d’apprentissage par renforcement.

Itération de stratégie

L'itération de stratégie améliore progressivement la stratégie par itération jusqu'à ce qu'une stratégie stable soit atteinte. Dans l'itération de politique, une politique est d'abord initialisée puis progressivement améliorée au travers de plusieurs itérations. Chaque itération se compose de deux étapes : évaluer la stratégie actuelle et améliorer la stratégie actuelle. Le but de l'évaluation de la stratégie actuelle est de calculer la valeur de récompense attendue de la stratégie actuelle, qui peut être obtenue grâce à la méthode de Monte Carlo ou à la méthode des différences temporelles. Le but de l'amélioration de la politique actuelle est de trouver une meilleure politique pour remplacer la politique actuelle, ce qui peut être réalisé grâce à la méthode déterministe du gradient politique ou à la méthode du gradient politique de Monte Carlo.

Itération de valeur

L'itération de valeur consiste à mettre à jour progressivement la fonction de valeur d'état par itération pour obtenir une fonction de valeur d'état stable. Dans l'itération de valeur, une fonction de valeur d'état doit d'abord être initialisée, puis la fonction est progressivement mise à jour au travers de plusieurs itérations. Chaque itération se compose de deux étapes : calculer la valeur de récompense attendue de la fonction de valeur d'état actuel et mettre à jour la fonction de valeur d'état actuel. Le but du calcul de la valeur de récompense attendue de la fonction de valeur d'état actuel est de déterminer la valeur de récompense attendue de chaque état, qui peut être obtenue par la méthode de Monte Carlo ou la méthode de différence temporelle. La méthode de Monte Carlo estime la valeur de récompense attendue en simulant plusieurs expériences réelles, tandis que la méthode de différence temporelle utilise la différence entre l'estimation actuelle et l'estimation de l'état suivant pour mettre à jour la valeur de récompense attendue. Le but de la mise à jour de la fonction de valeur d'état actuel est de trouver une meilleure fonction de valeur d'état pour remplacer la fonction actuelle, ce qui peut être obtenu grâce à l'équation de Bellman. L'équation de Bellman calcule la fonction valeur de l'état actuel en accumulant la récompense de l'état actuel avec la récompense attendue de l'état suivant. En appliquant continuellement l'équation de Bellman, la fonction de valeur d'état peut être progressivement mise à jour jusqu'à ce qu'une fonction de valeur d'état stable soit atteinte. L'itération de valeur est une méthode efficace pour trouver des politiques optimales dans l'apprentissage par renforcement. En mettant progressivement à jour la fonction de valeur d'état, l'itération de valeur peut trouver une politique optimale qui maximise la récompense cumulée.

La différence entre l'itération de politique et l'itération de valeur

Bien que l'itération de politique et l'itération de valeur soient toutes deux des méthodes couramment utilisées dans l'apprentissage par renforcement, il existe des différences évidentes dans leurs méthodes et objectifs de mise en œuvre.

1. Méthode de mise en œuvre

L'itération de stratégie est une méthode basée sur la stratégie qui trouve la stratégie optimale en mettant continuellement à jour la stratégie. Plus précisément, l’itération stratégique comprend deux étapes : l’évaluation de la stratégie et l’amélioration de la stratégie. Dans l'évaluation de la politique, nous évaluons la fonction de valeur de chaque état à travers la politique actuelle ; dans l'amélioration de la politique, nous mettons à jour la politique en fonction de la fonction de valeur de l'état actuel pour rapprocher la politique de la politique optimale.

L'itération de valeur est une méthode basée sur la fonction de valeur, qui trouve la stratégie optimale en mettant continuellement à jour la fonction de valeur. Plus précisément, l’itération de valeur met à jour la fonction de valeur de chaque état de manière itérative jusqu’à ce que la fonction de valeur converge. Ensuite, nous pouvons obtenir la stratégie optimale basée sur la fonction de valeur finale.

2. Objectif

L'objectif de l'itération stratégique est d'optimiser directement la stratégie et d'approcher la stratégie optimale en mettant continuellement à jour la stratégie de manière itérative. Cependant, étant donné que chaque itération nécessite une évaluation et une amélioration des politiques, le montant du calcul est important.

Le but de l'itération de valeur est d'obtenir la stratégie optimale en optimisant la fonction de valeur d'état. Il se rapproche de la fonction de valeur optimale en mettant à jour continuellement la fonction de valeur de chaque état, puis dérive la stratégie optimale basée sur cette fonction de valeur optimale. Par rapport à l’itération de politique, l’itération de valeur nécessite moins de calculs.

3. Vitesse de convergence

De manière générale, les itérations de politique convergent généralement plus rapidement vers la politique optimale, mais chaque itération nécessite généralement plus de calculs. L'itération de valeur peut nécessiter davantage d'itérations pour converger.

4. Interaction avec d'autres techniques

L'itération de valeur est plus facile à combiner avec les méthodes d'approximation de fonctions (telles que l'apprentissage profond) car elle se concentre sur l'optimisation des fonctions de valeur. L’itération des politiques est plus couramment utilisée dans les scénarios dotés de modèles clairs.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!