Lelaran dasar dan lelaran nilai: kaedah utama pembelajaran pengukuhan

Lelaran dasar dan lelaran nilai ialah dua algoritma yang biasa digunakan dalam pembelajaran pengukuhan. Lelaran dasar meningkatkan prestasi ejen dengan menambah baik polisi secara berulang. Lelaran nilai mengemas kini fungsi nilai keadaan secara berulang untuk mendapatkan nilai keadaan optimum. Idea teras kedua-duanya adalah berbeza, tetapi kedua-duanya boleh memainkan peranan dalam mengoptimumkan strategi dalam tugasan pembelajaran pengukuhan.

Lelaran strategi

Lelaran strategi secara beransur-ansur menambah baik strategi melalui lelaran sehingga strategi yang stabil dicapai. Dalam lelaran dasar, dasar mula-mula dimulakan dan kemudian dipertingkatkan secara beransur-ansur melalui berbilang lelaran. Setiap lelaran terdiri daripada dua langkah: menilai strategi semasa dan menambah baik strategi semasa. Tujuan menilai strategi semasa adalah untuk mengira nilai ganjaran yang dijangkakan bagi strategi semasa, yang boleh dicapai melalui kaedah Monte Carlo atau kaedah perbezaan temporal. Tujuan penambahbaikan strategi semasa adalah untuk mencari strategi yang lebih baik untuk menggantikan strategi semasa, yang boleh dicapai melalui kaedah kecerunan dasar deterministik atau kaedah kecerunan dasar Monte Carlo.

Lelaran nilai

Lelaran nilai adalah untuk mengemas kini secara beransur-ansur fungsi nilai keadaan melalui lelaran untuk mencapai fungsi nilai keadaan yang stabil. Dalam lelaran nilai, fungsi nilai keadaan perlu dimulakan terlebih dahulu, dan kemudian fungsi itu dikemas kini secara beransur-ansur melalui berbilang lelaran. Setiap lelaran terdiri daripada dua langkah: mengira nilai ganjaran yang dijangkakan bagi fungsi nilai keadaan semasa dan mengemas kini fungsi nilai keadaan semasa. Tujuan pengiraan nilai ganjaran yang dijangkakan bagi fungsi nilai keadaan semasa adalah untuk menentukan nilai ganjaran yang dijangkakan bagi setiap keadaan, yang boleh dicapai dengan kaedah Monte Carlo atau kaedah perbezaan temporal. Kaedah Monte Carlo menganggarkan nilai ganjaran yang dijangkakan dengan mensimulasikan pelbagai pengalaman sebenar, manakala kaedah perbezaan temporal menggunakan perbezaan antara anggaran semasa dan anggaran keadaan seterusnya untuk mengemas kini nilai ganjaran yang dijangkakan. Tujuan mengemas kini fungsi nilai keadaan semasa adalah untuk mencari fungsi nilai keadaan yang lebih baik untuk menggantikan fungsi semasa, yang boleh dicapai melalui persamaan Bellman. Persamaan Bellman mengira fungsi nilai keadaan semasa dengan mengumpul ganjaran keadaan semasa dengan ganjaran yang dijangkakan keadaan seterusnya. Dengan menggunakan persamaan Bellman secara berterusan, fungsi nilai keadaan boleh dikemas kini secara beransur-ansur sehingga fungsi nilai keadaan stabil dicapai. Lelaran nilai ialah kaedah yang cekap untuk mencari dasar yang optimum dalam pembelajaran pengukuhan. Dengan mengemas kini fungsi nilai keadaan secara beransur-ansur, lelaran nilai boleh mencari dasar optimum yang memaksimumkan ganjaran terkumpul.

Perbezaan antara lelaran dasar dan lelaran nilai

Walaupun lelaran dasar dan lelaran nilai adalah kedua-dua kaedah yang biasa digunakan dalam pembelajaran pengukuhan, terdapat perbezaan yang jelas dalam kaedah dan matlamat pelaksanaannya.

1. Kaedah pelaksanaan

Lelaran strategi ialah kaedah berasaskan strategi yang mencari strategi optimum dengan mengemas kini strategi secara berterusan. Secara khusus, lelaran strategi terdiri daripada dua langkah: penilaian strategi dan penambahbaikan strategi. Dalam penilaian dasar, kami menilai fungsi nilai setiap negeri melalui dasar semasa dalam penambahbaikan dasar, kami mengemas kini dasar berdasarkan fungsi nilai keadaan semasa untuk menjadikan dasar lebih dekat dengan dasar yang optimum.

Lelaran nilai ialah kaedah berdasarkan fungsi nilai, yang mencari strategi optimum dengan mengemas kini fungsi nilai secara berterusan. Secara khusus, lelaran nilai mengemas kini fungsi nilai setiap keadaan secara berulang sehingga fungsi nilai menumpu. Kemudian, kita boleh mendapatkan strategi optimum berdasarkan fungsi nilai akhir.

2. Matlamat

Matlamat lelaran strategi adalah untuk terus mengoptimumkan strategi dan mendekati strategi optimum dengan mengemas kini strategi secara berterusan. Walau bagaimanapun, oleh kerana setiap lelaran memerlukan penilaian dasar dan penambahbaikan dasar, jumlah pengiraan adalah besar.

Matlamat lelaran nilai adalah untuk mendapatkan strategi optimum dengan mengoptimumkan fungsi nilai keadaan. Ia menghampiri fungsi nilai optimum dengan mengemas kini fungsi nilai setiap keadaan secara berterusan, dan kemudian memperoleh strategi optimum berdasarkan fungsi nilai optimum ini. Berbanding dengan lelaran dasar, lelaran nilai memerlukan kurang pengiraan.

3. Kelajuan penumpuan

Secara umumnya, lelaran dasar biasanya menumpu kepada dasar optimum dengan lebih cepat, tetapi setiap lelaran biasanya memerlukan lebih banyak pengiraan. Lelaran nilai mungkin memerlukan lebih banyak lelaran untuk menumpu.

4. Interaksi dengan teknik lain

Lelaran nilai lebih mudah digabungkan dengan kaedah penghampiran fungsi (seperti pembelajaran mendalam) kerana ia memfokuskan pada mengoptimumkan fungsi nilai. Lelaran dasar lebih biasa digunakan dalam senario dengan model yang jelas.

Atas ialah kandungan terperinci Lelaran dasar dan lelaran nilai: kaedah utama pembelajaran pengukuhan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!