2024年8月21日，在游戏开发者大会“CEDEC 2024”上，举行了分会场“在PlayStation 5上与人类玩家相同条件下实现游戏自动化的AI技术”。
本次会议介绍了实现游戏自动化的AI技术，该技术用于PS5系统软件QA（质量保证）过程中的一些功能测试。演讲者是以下三人。
索尼互动娱乐游戏服务研发部机器学习研究员Hiroyuki Yabe
索尼互动娱乐游戏服务研发部机器学习研究员Yutaro Miyauchi
索尼互动娱乐平台系统与体验设计本部S部门3部门3软件工程师，软件QA工程中原弘树先生
 |
系统软件QA工作
PS5具备Home、控制中心等系统功能，但为了保证系统软件的显示内容和画面转场的质量，系统软件QA团队（以下简称QA团队）进行了自动化测试。表示正在积极采纳。
测试自动化似乎有几个好处，其中一个例子就是能够继续测试直到软件发布。如果这是手动测试，则将根据具体情况进行，但在大多数情况下，每个项目只会进行几次。
在这种情况下，如果在下面幻灯片中红色箭头所示的时间引入错误，则在项目结束时的测试过程中会检测到该错误（如蓝色箭头所示），并且存在以下风险：影响释放。
Sebaliknya, ujian automatik boleh dilakukan walaupun setiap hari, dan pepijat boleh dikesan serta-merta pada masa anak panah hijau, menghasilkan kelebihan ``pengesanan pepijat awal.'' Selain itu, jika anda boleh menjalankan ujian automatik sebelum melakukan kod pembangunan, anda boleh menghalang pepijat daripada diperkenalkan.
Dari perspektif ini, pasukan QA mempromosikan automasi ujian, tetapi perlu memberi sedikit pertimbangan kepada fungsi sistem yang dikaitkan dengan permainan.
Salah satu daripada ini ialah "aktiviti", yang memaparkan kemajuan permainan yang sedang dimainkan sebagai kad, dan QA juga termasuk sama ada kemajuan dan anggaran masa bermain dipaparkan dengan betul pada kad. Ia juga menunjukkan bahawa kandungan kad kadangkala berubah bergantung pada permainan, dan QA juga diperlukan untuk menyemak sama ada bahagian yang berkaitan dengan perubahan ini berfungsi dengan betul.
Tambahan pula, ujian fungsi perisian sistem kadangkala memerlukan jumlah permainan tertentu, seperti semasa menyemak kemas kini aktiviti. Oleh itu, adalah wajar untuk mengautomasikan permainan ini juga dari sudut kecekapan dan pengesanan awal kecacatan.
Terdapat fungsi perisian sistem lain yang dikaitkan dengan permainan selain daripada aktiviti, dan sesetengahnya digunakan bergantung pada tajuk dan yang lain tidak. Oleh itu, apabila mengautomasikan ujian fungsi yang dikaitkan dengan permainan, bentuk automasi tujuan umum yang tidak bergantung kepada tajuk diperlukan.
Di samping itu, ujian automatik mesti dijalankan dalam keadaan yang sama seperti pemain manusia, iaitu, hanya menggunakan maklumat skrin dan audio. Kerana kekangan ini, nampaknya ujian automatik fungsi yang dikaitkan dengan permainan adalah amat sukar.
Automain Gambaran Keseluruhan Sistem
Seperti yang dinyatakan di atas, ujian fungsi perisian sistem PS5 memerlukan satu-satunya maklumat yang boleh digunakan ialah skrin permainan dan maklumat audio, dan ia adalah teknologi tujuan umum yang tidak bergantung pada tajuk permainan tertentu. Selain itu, untuk membawa ini ke bidang QA, adalah perlu untuk dapat mencapai automasi pada kos yang realistik.
Memandangkan kekangan ini, pasukan QA membangunkan sistem permainan automatik dengan menggabungkan pelbagai teknologi berdasarkan ``pembelajaran tiruan,'' teknologi yang mempelajari dan menghasilkan semula permainan manusia.
Dalam sesi ini, gambaran keseluruhan sistem main automatik ini telah diperkenalkan menggunakan contoh "BILIK PERMAINAN ASTRO", yang telah diprapasang pada PS5. Sistem ini berjalan pada PC dan hanya memperoleh maklumat skrin daripada PS5 sebagai maklumat permainan. Sistem kemudiannya menentukan kandungan operasi pengawal dan menghantarnya ke PS5 untuk mengendalikan permainan secara automatik.
Selain itu, sistem ini menggunakan dua jenis ejen untuk mengendalikan permainan secara automatik. Satu dipanggil ``ejen main semula,'' yang memainkan semula permainan manual yang telah dirakam untuk menghasilkan semula operasi yang sama seperti permainan manual.
Jenis "agen tiruan" yang lain ialah model AI yang telah mempelajari permainan manusia menggunakan pembelajaran tiruan, sejenis pembelajaran mesin dan menghasilkan semula permainan manusia.
Oleh kerana ejen main semula menghasilkan semula operasi pengawal yang sama seperti dalam mainan manual sebelumnya, tiada unsur rawak dan ia hanya digunakan dalam adegan yang boleh diteruskan dengan operasi yang sama pada setiap masa.
Khususnya, ini termasuk beberapa operasi UI seperti memulakan permainan pada skrin tajuk, dan bergerak di sepanjang laluan tetap di mana titik permulaan dan penamat sentiasa kekal sama. Selain itu, Agen Replay juga digunakan untuk melakukan operasi pada PS5 itu sendiri yang diperlukan untuk ujian berfungsi semasa QA.
Pembelajaran tiruan, yang membolehkan ejen tiruan mempelajari permainan manusia, ialah sejenis pembelajaran mesin yang mencipta model yang menghasilkan semula corak tingkah laku daripada data tingkah laku model. Prosedur khusus untuk mencipta ejen tiruan ialah bermain secara manual beberapa kali lebih awal, melaksanakan pembelajaran tiruan menggunakan data tersebut dan membina model yang boleh menghasilkan semula operasi permainan manual tersebut.
Model ejen tiruan ini hanya memerlukan maklumat skrin permainan sebagai input. Apabila memasukkan maklumat skrin permainan, ia dikonfigurasikan untuk mengeluarkan status pengawal dalam bingkai seterusnya, dan dengan beroperasi pada 10 bingkai sesaat, adalah mungkin untuk menentukan operasi dalam masa nyata. Ejen tiruan ini menyasarkan semua adegan yang ejen ulang tayang tidak boleh digunakan, iaitu semua adegan yang mempunyai unsur rawak walaupun sedikit.
Dalam kes "BILIK PERMAINAN ASTRO" ini, model untuk setiap peringkat telah disediakan untuk ejen tiruan. Sebabnya ialah semakin sedikit adegan yang ditanggung oleh satu model, semakin stabil prestasi setiap model.
Selain itu, "pengiktirafan adegan" juga tersedia sebagai fungsi untuk menentukan masa untuk bertukar antara dua ejen. Fungsi ini menggunakan maklumat skrin untuk menentukan apabila permainan telah mencapai adegan tertentu, dan menggunakan dua teknologi utama. Salah satu daripada ini ialah ``padanan templat,'' yang menentukan sama ada objek yang sama dengan imej templat yang telah disediakan sebelumnya wujud pada skrin permainan.
Sebagai contoh, ia nampaknya digunakan untuk mengenali ikon dan pop timbul yang muncul semasa menyelesaikan pencarian.
Kaedah lain ialah "padanan titik ciri," yang sentiasa menyemak persamaan antara imej sasaran yang disediakan terlebih dahulu dan skrin permainan. Apabila persamaan melebihi ambang, permainan menentukan bahawa adegan yang sama seperti imej sasaran telah dicapai dan menukar ejen.
Telah juga disebut bahawa ``keteguhan terhadap kekaburan visual'' adalah penting apabila menggunakan padanan titik ciri untuk pengecaman pemandangan. Sebagai contoh, walaupun anda mencapai kawasan yang sama, ia adalah perkara biasa untuk skrin kelihatan berbeza bergantung pada arah kamera. Begitu juga, pencahayaan mungkin berubah bergantung pada masa dalam permainan. Ia juga mendedahkan bahawa pasukan QA menggunakan LoFTR, kaedah pemadanan imej berasaskan pembelajaran mesin, untuk menangani perubahan dalam penampilan ini.
Ringkasan gambaran keseluruhan sistem main automatik
 |
Langkah Automasi Permainan
Apabila mengautomasikan permainan, pertama sekali anda perlu menentukan kandungan ujian yang ingin anda automasi, termasuk permainan. Kemudian, kandungan ujian dibahagikan kepada unit ejen.
Seterusnya, permainan ini sebenarnya dimainkan secara manual, dan data main diperolehi sekali untuk ejen main semula dan 10 kali atau lebih untuk ejen tiruan. Dalam kes agen tiruan, pembelajaran tiruan dilakukan menggunakan data yang diperoleh.
Setelah pembelajaran tiruan selesai, kami sebenarnya akan menjalankan kedua-dua ejen untuk melihat sama ada permainan automatik boleh dilakukan. Jika mainan automatik gagal, proses kembali ke fasa pemerolehan data dan mengulangi aliran pemerolehan data → pembelajaran tiruan → pengesahan operasi → sehingga mainan automatik berjaya.
Setelah mainan automatik berjaya, gunakan saluran paip pelaksanaan berkala seperti Jenkins untuk mengatur proses. Ini adalah urutan automasi permainan.
Konfigurasi peralatan dan aliran data untuk setiap langkah automasi permainan turut diperkenalkan
 |
Pasukan QA menggunakan sistem permainan automatik ini untuk benar-benar mengautomasikan dan kerap melaksanakan ujian fungsian, termasuk permainan. Hasilnya, didapati bahawa tiga pepijat dalam sistem telah dikesan secara automatik, dan pepijat ini telah dikesan semasa ujian berfungsi sebaik sahaja ia diperkenalkan. Sebab bilangan pepijat yang dikesan adalah sangat rendah adalah kerana automasi ujian berfungsi kini diletakkan sebagai percubaan dalam skop terhad.
Contoh automasi permainan lain turut ditunjukkan
 |
Penjelasan teknikal agen tiruan
Dalam penjelasan teknikal agen peniru, algoritma pembelajaran peniruan mula diperkenalkan. Sebagai tambahan kepada ``kepelbagaian yang disebutkan di atas yang boleh digunakan pada mana-mana tajuk,'' projek ini bertujuan untuk mencapai ``kesederhanaan yang boleh digunakan oleh sesiapa sahaja,'' membolehkan mereka mencipta ejen tiruan tanpa memerlukan kemahiran kejuruteraan.
Berdasarkan dua matlamat ini, pasukan QA menggunakan "Pengklonan Tingkah Laku" sebagai algoritma. Algoritma ini ialah jenis pembelajaran tiruan yang paling mudah, dan pembelajaran diselia yang menghubungkan input dan output model. Dalam kes ini, pembelajaran akan diteruskan dengan input sebagai skrin permainan dan output sebagai operasi pengawal. Proses khusus untuk mencipta ejen tiruan, seperti yang diterangkan di atas, adalah untuk merekodkan skrin permainan dan maklumat pengawal sebagai data melalui mainan manual terlebih dahulu, dan kemudian meminta model mempelajari data mainan.
Struktur model adalah sangat mudah; imej input tunggal disalurkan melalui lapisan pengekstrakan ciri imej dan lapisan keluaran keadaan pengawal (lapisan bersambung sepenuhnya), dan keadaan pengawal akhirnya dikeluarkan. Dijelaskan juga bahawa kekerapan operasi dan rakaman ditetapkan pada 10 bingkai sesaat untuk memudahkan pembelajaran.
Output kayu analog pengawal dianggap sebagai sejumlah 9 kelas, termasuk atas, bawah, kiri, kanan, pepenjuru dan neutral, dan bukannya nilai analog. Ini dikatakan hasil daripada kemudahan pembelajaran.
Juga, mengenai output model, untuk mengeluarkan status setiap butang dan melekat pada pengawal, kami menggunakan rangkaian dengan lapisan akhir bercabang untuk setiap satu. Lapisan akhir, lapisan bersambung sepenuhnya, mengeluarkan panduan hidup/mati untuk butang, dan panduan dalam setiap arah untuk kayu. Ini dikatakan mempunyai maksud menghalang pembelajaran yang tidak perlu daripada berlaku dan meningkatkan prestasi model dengan tidak mencipta rangkaian operasi berlebihan yang disesuaikan dengan set data.
 |
 |
Pengekod EfficientNet yang telah terlatih digunakan untuk lapisan pengekstrakan ciri imej. Semasa pembelajaran tiruan, pengekod EfficientNet tidak melakukan apa-apa pembelajaran lanjut, dan hanya lapisan bersambung sepenuhnya yang dipelajari. Ini kerana telah disahkan dalam pelbagai kes bahawa prestasi model bertambah baik dengan menggunakan pengekod EfficientNet yang telah dilatih terlebih dahulu pada sejumlah besar imej aksi langsung, dan bukannya meminta pengekod belajar daripada sebilangan kecil skrin permainan. Di samping itu, latihan menggunakan hanya lapisan bersambung sepenuhnya telah terbukti mempunyai kelebihan mengurangkan jumlah masa yang diperlukan untuk latihan, kerana rangkaian menjadi lebih kecil.
 |
Ia juga mendedahkan bahawa sebab untuk menggunakan imej tunggal sebagai input adalah berdasarkan keputusan percubaan sebelumnya yang menunjukkan prestasi model merosot apabila bilangan input meningkat. Kecenderungan ini dilihat bukan sahaja dalam ``BILIK PERMAINAN ASTRO,'' tetapi juga dalam tugasan dalam permainan lain.
Mereka juga memperkenalkan cara mereka bertindak balas terhadap cabaran yang mereka hadapi semasa inisiatif ini. Sebagai contoh, operasi seperti ``menekan butang untuk mengambil item yang telah jatuh di lokasi rawak dan penting untuk maju'' adalah perkara biasa dalam permainan. Walau bagaimanapun, pembelajaran mendalam adalah lambat untuk mempelajari operasi sedemikian yang jarang berlaku tetapi mempunyai kesan yang besar pada kadar penyiapan, menjadikannya amat sukar untuk mencipta model yang menekan butang seperti yang diharapkan.
Oleh itu, dalam usaha ini, mereka menggunakan "Keseimbangan Kelas" untuk menyesuaikan tahap pengaruh pembelajaran terhadap model, dan semakin rendah kadar kejadian operasi, semakin berat diberikan kepada mereka, supaya pembelajaran lebih tercermin. dalam model.
Satu lagi kelemahan pembelajaran meniru ialah ia menjadi sukar untuk dipulihkan jika operasi gagal dan menyimpang daripada data model. Masalah ini diselesaikan dengan mempelajari data tambahan yang membolehkan robot kembali dari keadaan yang tidak diketahui kepada keadaan model.
Cabaran teknikal dan perkembangan masa depan ejen tiruan juga ditunjukkan
 |
Pada penghujung sesi, pendapat telah dinyatakan bahawa melalui pengesahan sistem permainan automatik yang diperkenalkan kali ini, telah mengesahkan bahawa kualiti ujian QA pada masa hadapan boleh dijangka bertambah baik.
以上是自动化包括游戏玩法在内的系统功能测试的AI技术是什么？介绍 PS5 系统软件 QA 团队工作的会议报告 [CEDEC 2024]的详细内容。更多信息请关注PHP中文网其他相关文章！
