深層学習テクノロジーが変形可能な物体を扱うロボットの問題をどのように解決するか

翻訳者 | Li Rui

査読者 | Sun Shujuan

人間にとって、変形可能なオブジェクトを処理することは、剛体を処理することよりもそれほど難しいことではありません。人々は自然に、さまざまな方法でそれらを形作ったり、折り畳んだり、操作したりすることを学び、それでもそれらを認識することができます。

#しかし、ロボット工学や人工知能システムにとって、変形可能なオブジェクトの操作は大きな課題です。たとえば、ロボットは生地をピザ生地に成形するために一連の手順を実行する必要があります。生地の形状が変化すると、それを記録および追跡する必要があり、同時に作業の各ステップに適切なツールを選択する必要があります。これらは、現在の人工知能システムにとって困難なタスクであり、より予測可能な状態を持つ剛体を扱う場合により安定します。

今回、MIT、カーネギーメロン大学、カリフォルニア大学サンディエゴ校の研究者によって開発された新しいディープラーニング技術は、変形可能な物体を扱う際のロボットシステムの安定性を高めることを約束しています。 DiffSkill と呼ばれるこのテクノロジーは、ディープ ニューラル ネットワークを使用して単純なスキルを学習し、計画モジュールを使用してそれらのスキルを組み合わせて、複数の手順とツールを必要とするタスクを解決します。

強化学習と深層学習による変形可能なオブジェクトの処理

人工知能システムがオブジェクトを処理したい場合、その状態を検出して定義し、オブジェクトがどのように見えるかを予測できなければなりません。未来。剛体の場合、これはほとんど解決された問題です。適切なトレーニング例のセットがあれば、ディープ ニューラル ネットワークはさまざまな角度から硬いオブジェクトを検出できるようになります。変形可能なオブジェクトが関与すると、その複数の状態空間はさらに複雑になります。

カーネギーメロン大学の博士課程の学生であり、DiffSkill 論文の筆頭著者である Lin Xingyu 氏は、「剛体の場合、6 つの数値を使用してその状態を説明できます。3 つの数値は XYZ 座標を表し、

しかし、生地や布地などの変形可能な物体は、その自由度が無限大であるため、その状態を正確に表現することがより困難になります。数学的にモデル化するのもより困難です。」

微分可能な物理シミュレータの開発により、変形可能なオブジェクト操作タスクを解決するための勾配ベースの手法の適用が可能になりました。これは、純粋な試行錯誤の相互作用を通じて環境とオブジェクトのダイナミクスを学習しようとする従来の強化学習手法とは異なります。

DiffSkill は、微分可能な物理シミュレーターである PlasticineLab からインスピレーションを得ており、2021 年の ICLR カンファレンスで発表されました。 PlasticineLab は、微分可能なシミュレーターが短期的なタスクに役立つことを示しています。

PlasticineLab は、微分可能な物理学に基づいた変形可能なオブジェクト シミュレーターです。これは、勾配ベースのモデルのトレーニングに適しています。

しかし、微分可能シミュレーターは、複数のステップとさまざまなツールの使用を必要とする長期的な問題に依然として対処します。微分可能なシミュレーターに基づく人工知能システムには、完全なシミュレーション状態と環境の関連する物理パラメーターに関する知識も必要です。これは、エージェントが通常視覚データと深度センシング データ (RGB-D) を通じて世界を認識する現実世界のアプリケーションでは特に制限となります。

Lin Xingyu 氏は、「私たちは、タスクを完了するために必要な手順をスキルに抽出し、スキルに関する抽象的な概念を学習して、それらをリンクしてより複雑なタスクを解決できるようにできないかと考え始めました。」

DiffSkill は、人工知能エージェントが微分可能な物理モデルを使用してスキルの抽象化を学習し、それらを組み合わせて複雑な操作タスクを完了するフレームワークです。

彼のこれまでの研究は、布、ロープ、液体などの変形可能なオブジェクトを操作するための強化学習の使用に焦点を当てていました。 DiffSkill については、課題があったため、生地操作を選択しました。

彼は、「生地の操作は、ロボット グリッパーでは簡単に実行できないため、特に興味深いですが、さまざまなツールを順番に使用する必要があります。これは人間が得意なことですが、ロボットはあまり一般的ではありません。」

トレーニング後、DiffSkill は RGB-D 入力のみを使用して一連の生地操作タスクを正常に完了できます。

ニューラル ネットワークを使用した抽象スキルの学習

DiffSkill 微分可能な物理シミュレーターから取得した初期状態とパラメーターからターゲット状態を予測するニューラル ネットワークのトレーニングの実現可能性

DiffSkill は、ニューラル ネットワークを使用して個人のスキルを学習する「ニューラル スキル アブストラクター」と、長期的なタスクを解決するための「プランナー」の 2 つの主要なコンポーネントで構成されます。

DiffSkill は、微分可能な物理シミュレーターを使用して、スキル アブストラクターのトレーニング サンプルを生成します。これらの例は、めん棒を使用して生地を広げたり、スパチュラを使用して生地を移動したりするなど、単一のツールを使用して短期的な目標を達成する方法を示しています。

これらの例は、RGB-D ビデオの形式でスキル抽象化者に提示されます。画像の観察が与えられた場合、スキル抽象化者は、目的の目標が実現可能かどうかを予測する必要があります。モデルは、その予測を物理シミュレーターからの実際の結果と比較することによって、パラメーターを学習および調整します。

生地などの変形可能な物体のロボット操作には、さまざまなツールの使用に関する長期的な推論が必要です。 DiffSkill アプローチは、微分可能なシミュレーターを活用して、これらの困難なタスクのスキルを学習し、組み合わせます。

一方、DiffSkill は、変分オートエンコーダー (VAE) をトレーニングして、物理シミュレーターによって生成されたサンプルの潜在空間表現を学習します。変分オートエンコーダ (VAE) は重要な機能を保持し、タスクに無関係な情報を破棄します。高次元の画像空間を潜在空間に変換することにより、変分オートエンコーダ (VAE) は、DiffSkill がより長い視野にわたって計画を立て、感覚データの観察から結果を予測できるようにする上で重要な役割を果たします。

変分オートエンコーダー (VAE) をトレーニングする際の重要な課題の 1 つは、VAE が正しい特徴を学習し、現実世界に一般化できるようにすることです。現実世界では、視覚データの構成は物理シミュレータによって生成されるデータとは異なります。たとえば、麺棒やまな板の色は作業に関係ありませんが、麺棒の位置や角度、生地の位置は関係します。

現在、研究者らは、背景や照明などのトレーニング環境の無関係なプロパティをランダム化し、ツールの位置や方向などの重要な機能を保存する「ドメイン ランダム化」と呼ばれる手法を使用しています。これにより、変分オートエンコーダー (VAE) のトレーニングを現実世界に適用した場合の安定性が向上します。

Lin Xingyu 氏は、「シミュレーションと現実世界の間で考えられるすべての違い (sim2real ギャップと呼ばれる) をカバーする必要があるため、これを行うのは簡単ではありません。より良い方法は、3D 点群をシーンとして使用することです」と述べています。これにより、シミュレーションから現実世界への変換が容易になります。実際、点群を入力として使用するフォローアップ プロジェクトを開発中です。」

変形可能なオブジェクトを計画するという長期的なタスク

DiffSkill は、計画モジュールを使用して、目標を達成できるさまざまなスキルの組み合わせとシーケンスを評価します。

スキル抽象化ツールがトレーニングされると、DiffSkill はプランナー モジュールを使用して、長い問題を解決します。期間のタスク。プランナーは、初期状態から目的地に到達するために必要なスキルの数と順序を決定する必要があります。

このプランナーは、可能なスキルの組み合わせとその中間結果を繰り返し実行します。ここでは変分オートエンコーダが役に立ちます。 DiffSkill は、完全な画像結果を予測するのではなく、VAE を使用して、最終目標に向かう中間ステップの潜在的な空間結果を予測します。

抽象化スキルと潜在空間表現を組み合わせることで、初期状態から目標までの軌跡の描画がより効率的に計算できるようになります。実際、研究者らは検索機能を改良する必要はなく、すべての組み合わせにわたって徹底的な検索を実行しました。

Lin Xingyu 氏は、「私たちは計画スキルを持っているので、計算作業はそれほど多くなく、時間も長くはありません。この徹底的な検索により、プランナーがデザイナーにつながる可能性のあるスケッチを設計する必要がなくなります」と述べました。新しいソリューションは、より一般的な方法で検討されますが、私たちが試みた限られたタスクではこれは観察されませんでした。さらに、より洗練された検索テクニックを適用することもできます。"

DiffSkill の論文には、「In Optimization of各スキル セットは、単一の NVIDIA 2080Ti GPU で約 10 秒で効率的に完了できます。"

DiffSkill を使用したピザ生地の準備

研究者はパフォーマンスをテストしました2 つのモデルフリー強化学習アルゴリズムと、物理シミュレーターのみを使用した軌道オプティマイザーを含む、変形可能なオブジェクトに適用されているいくつかのベースライン手法に対する DiffSkill の比較。

モデルは、複数のステップとツールを必要とする複数のタスクでテストされました。たとえば、タスクの 1 つでは、AI エージェントは生地をヘラで持ち上げ、まな板の上に置き、麺棒で伸ばす必要がありました。

研究結果によると、DiffSkill は、感覚情報のみを使用して長期にわたるマルチツールのタスクを解決する点で、他のテクノロジーよりも大幅に優れています。実験によると、十分にトレーニングされた後、DiffSkill のプランナーは初期状態と目標状態の間の適切な中間状態を見つけ、タスクを解決するための適切なスキル シーケンスを見つけることができます。

#DiffSkill のプランナーは中間ステップを非常に正確に予測できます

Lin Xingyu 氏は次のように述べています。「主要なポイントの 1 つは、一連のスキルが、長期にわたる推論を可能にする非常に重要な時間的抽象化を提供できるということです。これは、人間がさまざまなタスクに対処する方法と似ています。思考」 「次の瞬間に何をすべきかを考えることではありません。」

しかし、DiffSkill の能力にも限界があります。たとえば、3 段階の計画を必要とするタスクの 1 つを実行すると、DiffSkill のパフォーマンスが大幅に低下しました (ただし、それでも他の手法よりは優れていました)。 Lin Xingyu 氏は、場合によっては、実現可能性予測変数が誤検知を引き起こす可能性があるとも述べました。研究者らは、より良い潜在空間を学習することがこの問題の解決に役立つと考えています。

研究者らは、長時間のタスクに使用できるより効率的な計画アルゴリズムなど、DiffSkill を改善するための他の方向性も模索しています。

Lin Xingyu 氏は、いつか本物のピザ製造ロボットで DiffSkill を使用できるようになることへの希望を表明しました。同氏は、「我々はまだそこからは程遠い。制御、シム2リアル転送、セキュリティにおいてさまざまな課題がある。しかし、我々は今、より自信を持って長期ミッションの立ち上げに挑戦できるようになった。」

原文テキスト タイトル: この深層学習技術は、ロボット工学の困難な課題の 1 つを解決します 、著者: Ben Dickson

以上が深層学習テクノロジーが変形可能な物体を扱うロボットの問題をどのように解決するかの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。