DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました

でも、もしかしたら公園の老人には勝てないかもしれない？

パリオリンピックが真っ最中で、卓球が大きな注目を集めています。同時に、ロボットは卓球のプレーにも新たな進歩をもたらしました。

たった今、DeepMind は、卓球競技において人間のアマチュア選手のレベルに到達できる初の学習ロボット エージェントを提案しました。

論文のアドレス: https://arxiv.org/pdf/2408.03906

この DeepMind ロボットは卓球の上手さはどれくらいですか?おそらく人間のアマチュアプレーヤーと同等です:

フォアハンドとバックハンドの両方:

対戦相手はさまざまなプレースタイルを使用しますが、ロボットもそれに耐えることができます:

さまざまなスピンでサーブをレシーブします:

しかし、競争は公園の老人同士の戦いほど激しくはないようです。

ロボットにとって、卓球は複雑で低レベルのスキルと戦略的なゲームプレイを習得する必要があり、長期にわたるトレーニングが必要です。 DeepMind は、最適ではないものの、低レベルのスキルを上手に実行できる戦略の方がより良い選択である可能性があると考えています。これにより、卓球はチェスや囲碁などの純粋に戦略的なゲームと区別されます。

したがって、卓球は、高速移動、リアルタイムの正確で戦略的な意思決定、システム設計、人間の対戦相手との直接競争など、ロボットの能力を向上させるための貴重なベンチマークです。

これについて、Google DeepMind の主任科学者は、「卓球ロボットは、高速制御と認識の問題の解決に役立つでしょう

この研究では、ボットを含むロボットと人間の間で 29 回の卓球ゲームが実施されました。」 45% の確率で勝利しました (13/29)。人間のプレイヤーはすべて、初心者からトーナメントプレイヤーまで、ロボットがこれまで見たことのないプレイヤーでした。

このボットは、最高レベルのプレーヤーとの試合ではすべて負けましたが、初心者との試合では 100%、中級者との試合では 55% 勝ち、アマチュアのパフォーマンスを示しました。

全体として、この研究の貢献には以下が含まれます:

1. 以下を含む階層的かつモジュール式のポリシー アーキテクチャを提案する

2. 低レベルのコントローラーとその詳細なスキル記述子は、エージェントの機能がモデル化され、シミュレーションと現実の間のギャップを埋めるのに役立ちます

3. 低レベルのスキルを持つ高レベルのコントローラーを選択してください。

4. 現実世界のタスク分布に基づいた反復手法の定義や自動カリキュラムの定義など、ゼロサンプル シミュレーションを現実に実装するテクノロジー。

5. 目に見えない敵にリアルタイムで適応します。

メソッドの紹介

エージェントは、低レベルのスキル ライブラリと高レベルのコントローラーで構成されます。低レベルのスキルプールは、フォアハンドのトップスピン、バックハンドのエイム、フォアハンドのサーブなど、卓球の特定の側面に焦点を当てています。この研究では、トレーニング戦略を組み込むことに加えて、各低レベルスキルの長所、短所、限界に関する情報をオフラインおよびオンラインで収集して保存しています。低レベルのスキルの調整を担当する高レベルのコントローラーは、現在のゲーム統計とスキルの説明に基づいて最適なスキルを選択します。

さらに、この研究では、初期タスク条件のシードとして、少量の人間と人間のスパーリング ゲーム データも収集しました。データ セットには、位置、速度、回転の情報が含まれています。次に、エージェントは強化学習を使用してシミュレートされた環境でトレーニングされ、いくつかの既存の手法を使用してポリシーを実際のハードウェアにシームレスに展開します。

エージェントは人間と遊んでより多くのトレーニング データを生成します。ロボットが学習を続けるにつれて、ゲームの基準はますます複雑になり、エージェントはますます複雑なアクションを学習できるようになります。このハイブリッドな「シミュレーションと現実」のループにより、ロボットのスキルが時間の経過とともに向上する自動教示が作成されます。

Layered control

Layered control은 주로 다음과 같은 부분을 포함합니다:

• 탁구 플레이 스타일: 상위 수준 컨트롤러(HLC, 상위 수준 컨트롤러)는 먼저 사용할 플레이 스타일(포핸드 또는 상위 컨트롤러)을 결정합니다. 백핸드);

• 조정: 상대방과의 경기 통계를 기반으로 온라인에서 각 HLC의 선호도(H 값)를 유지합니다.

• 가장 효과적인 기술 선택: LLC가 조정한 H 값 샘플링을 기반으로 HLC가 후보에 오른 선수를 연결합니다.

• 업데이트: H 값과 상대 통계는 게임이 끝날 때까지 업데이트됩니다.

Results

연구진은 초급, 중급, 고급, 고급 + 기술을 포함하여 다양한 수준의 탁구 선수 29명과 에이전트를 비교했습니다. 인간 선수들은 표준 탁구 규칙에 따라 로봇을 상대로 세 게임을 펼쳤으나 로봇이 서브를 할 수 없어 규칙이 약간 수정되었습니다.

모든 상대와 대결하여 로봇은 45%의 경기와 46%의 게임을 승리했습니다. 기술 수준별로 분석한 결과, 봇은 초보자를 상대로 한 모든 경기에서 승리했고, 고급 및 고급+ 플레이어를 상대로 한 모든 경기에서 패했으며, 중급 플레이어를 상대로 한 경기의 55%를 승리했습니다. 이는 에이전트가 탁구 라운드에서 중급 인간 수준에 도달했음을 보여줍니다.

로봇이 고급 플레이어를 이길 수 없는 이유는 시뮬레이션 환경에서 정확하게 모델링하기 어려운 반응 속도, 카메라 감지 기능, 회전 처리 등 물리적, 기술적 한계 때문입니다.

로봇과의 대련도 매우 매력적입니다

연구 참가자들은 로봇과 노는 것이 매우 즐거웠다고 말하며 로봇에 '재미있다', '매력적이다'라는 점에서 높은 평가를 주었습니다. 그들은 또한 로봇과 다시 싸울 의향이 매우 높다고 만장일치로 표현했습니다. 자유시간에는 5분 동안 평균 4분06초 동안 로봇과 함께 놀았습니다.

백스핀을 잘 못하는 로봇

기술이 가장 뛰어난 참가자는 로봇이 백스핀을 잘 못 다룬다고 언급했습니다. 이 관찰을 테스트하기 위해 연구원들은 공의 스핀에 대한 로봇의 착지 속도를 플롯했으며 그 결과 로봇이 더 많은 백 스핀 공을 직면할수록 로봇의 착지 속도가 크게 떨어지는 것으로 나타났습니다. 이 결함은 부분적으로는 로봇이 낮은 공을 다룰 때 테이블과의 충돌을 피하려고 하기 때문에 발생하고, 두 번째로는 공의 회전을 실시간으로 판단하기가 정말 어렵다는 사실 때문입니다.

참조 링크:

https://sites.google.com/view/competitive-robot-table-tennis/home?utm_source&utm_medium&utm_campaign&utm_content&pli=1

以上がDeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。