Mengapa Nilai Q-Learning Saya Meletup?

Nilai Q-Pembelajaran Melebihi Ambang

Dalam pelaksanaan Q-Learning anda, anda menghadapi masalah di mana nilai-Q berkembang secara berlebihan, mengakibatkan limpahan. Untuk menangani perkara ini, mari kita periksa konsep asas dan isu yang berpotensi:

Fungsi Ganjaran

Fungsi ganjaran yang disediakan memberikan ganjaran positif untuk setiap langkah masa, mempromosikan jangka panjang main atas kemenangan. Ini adalah tidak diingini kerana ejen harus diberi insentif untuk berusaha mencapai kemenangan.

Kemas kini Persamaan

Inti isu ini terletak pada persamaan kemas kini untuk nilai-Q:

agent.values[mState] = oldVal + (agent.LearningRate * (agent.prevScore + (agent.DiscountFactor * reward) - oldVal))

Di sini, agent.prevScore mewakili ganjaran daripada tindakan keadaan sebelumnya. Walau bagaimanapun, dalam pelaksanaan anda, anda telah menetapkannya kepada nilai Q bagi langkah sebelumnya (iaitu, oldVal). Kesilapan ini membawa kepada peningkatan tanpa had dalam nilai-Q.

Penyelesaian

Selepas membetulkan ralat ini dengan menugaskan agent.prevScore kepada ganjaran daripada langkah sebelumnya, ejen tingkah laku menjadi normal. Nilai-Q yang dikemas kini kini mencerminkan jumlah ganjaran yang dijangkakan, memberi insentif kepada ejen untuk mengejar kemenangan.

Julat Nilai-Q

Dalam masalah Q-Pembelajaran biasa, Q- nilai dibatasi oleh ganjaran dan penalti maksimum yang mungkin. Dalam kes anda, fungsi ganjaran mengehadkan nilai Q kepada [-1, 1], kerana ia menetapkan -1 untuk kekalahan dan 1 untuk kemenangan. Walau bagaimanapun, dalam senario lain, julat mungkin lebih besar atau bahkan tidak terhad. Jumlah ganjaran yang dijangkakan ialah faktor kritikal dalam menentukan julat nilai-Q.

Dengan menangani isu ini, anda telah berjaya melaksanakan Q-Learning dan kini boleh melatih ejen yang bermain dengan cara yang lebih strategik, mengutamakan menang atas permainan yang berpanjangan.

Atas ialah kandungan terperinci Mengapa Nilai Q-Learning Saya Meletup?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!