テンセントのロボット研究が問題のトップに！プログラマーがモニターをインストールし、実際の人間のように共同作業するのに役立ちます

家庭用ロボットの新たな進歩:

2 つの独立したロボット アームはすでにスムーズに連携できます。

信じられない場合は、これを見てくださいボトルのキャップを両手でひねります:

ひねった後、ピックしますカップを上げて水を注ぐ ：

まるで本物の人間のように生き生きしています。

プログラマーを手伝うこともできます。

ディスプレイのインストール：

# を引き継ぐこともできます

##大きな箱

# 「同僚」の手に:

#さまざまな幾何学的および物理的特性を持つ物体は、安定してください。

# (次に何ができるか、あえて考えません)

#こちらは

Tencent Robotics X Laboratory 最新の成果:

ユニバーサル

双腕協調型の器用な操作フレームワーク。 ## ロボット工学分野のトップ雑誌である「IEEE Transactions on Robotics」に掲載されました。

仕事なので、

耐干渉性

次の能力が必要です:

両手で行うため、両腕を一緒に「かき混ぜる」ことはできません。

次の「360°椅子の反転操作」は、明確ではありませんが、その機能を十分に示しています。自律

" 両腕による自己衝突を回避する能力

。

最後に、時折いたずらな人間に遭遇しても、簡単に捕まえることができます。

完全な意図認識と動的なインタラクション

: (ちょうだい、ちょうだい、ねえ、忘れて、やめます)

具体的な技術詳細が明らかに~

人型双腕システムの汎用性の実現

汎用人型ロボットは間違いなく最新のものです近年のロボットとAIの躍進、分野横断的なホットスポットの研究。

ヒューマノイド双腕システムは、この種のロボット操作タスクの実行機能を直接担っています。

さまざまな幾何学的および物理的特性を持つ任意のオブジェクトをランダムに掴んで操作することは、このタイプのシステムの一般化を技術的に具体化したものです。

既存の研究活動のほとんどは、環境オブジェクトの認識、推論と戦略の生成、ロボットシステムの計画や動作制御など、特定のレベルでの問題を解決することに焦点を当てています。

そして、ソリューションは通常、特定の操作対象オブジェクトまたはタスクに強く関連しているため、転送したり一般化することが困難になります。

テンセントロボティクス

最初の

は、視覚に基づいて2本の腕で未知の物体を最適に把握する方法です。

第 2 に、動的コラボレーション中に作業スペースが重なり合う双腕ロボットのシステムの安全性をどのように確保するかです。

最後に、限られた種類の追跡インターフェイスのみを使用して、豊かな人間のスキルをロボット システムに移す方法について説明します。

ここで、Tencent Robotics サブフレームワーク は、エンドツーエンドの評価ネットワークとロボットのアクセシビリティの確率的モデリングを使用して、モデル化されていないオブジェクトの最適な共同把握を実現します。

2. 最適化ベースの

多機能制御サブフレームワーク は、階層型多優先最適化フレームワークを採用し、学習とリーマン多様体の速度レベル追跡に基づいて生成された軽量距離代理関数を組み込みます。制御技術。

同時に、両アームの高精度な自己衝突回避と現実性の高い双腕操作楕円体追従を実現し、双腕システムの本質安全性を確保し、操作楕円体追従の可能性を広げます。インターフェース。

さらに、この研究では、未知の物体を視覚に基づいて双腕で協調的に最適に把握することを初めて体系的に解決し、高度に重なり合う作業スペースと開口部を備えた双腕ロボットの本質安全性を実現しました。人間と機械のスキルを向上させ、双腕協調操作のための転移学習楕円体追跡インターフェイス。

最終的に、このシステムは、認識層、両手による把握、協調的な操作計画、および基礎となる制御に関して豊富なインターフェイスを提供し、高い汎用性、拡張性、互換性を備えています。

技術的な詳細は次のとおりです。

器用な到達可能なセンシング サブフレーム

スマートな到達可能なセンシング サブフレームを中心に、未知の物体の共同把握を実現するために、双腕システムは、実行可能な器用な最適な把持ペアを自律的に生成します。

研究者らは、データセットの生成、把握品質評価ネットワーク、双腕ロボットの到達可能性の確率的モデリングの 3 つのレベルから開始して、視覚システムのエンドツーを実現するために、器用に到達可能なセンシング双腕把握サブフレームワークを体系的に設計しました。 -知覚されたオブジェクトの 3D 点群から、器用で最適な 2 本のアームの 6D 把握ポーズのペアへのマッピングを終了します。

1. 2 つの腕の器用さのセンシングと把握のデータ セット

正確な入力点群と 2 つの出力点群を確立するために質量間の関係をマッピングし、把握評価ネットワークを効果的にトレーニングするために、研究者らは業界初の大規模な器用さを意識した双腕把握合成データセット (DA2 データセット) を提案しました。

このデータセットには、6,327 個のオブジェクトのメッシュと 900 万以上の把持ペアのグループが含まれています。各把持グループは、把持特異点 - 把持安定性 - 把持力適合性の 3 つの指標を使用して測定されます。

#2. 双腕協調把持品質評価ネットワーク

実際のシナリオでは、一般に、ヒューリスティック サンプリングなどのテクノロジーを使用して、物体の知覚された 3D 点群上に候補把握ペアを生成し、これらの候補把握ペアの品質をオンラインでリアルタイムで評価し、最適なソリューションを出力します。

研究者らは、双腕協調把握用の品質評価ネットワーク Dual-PointNetGPD を設計し、トレーニングに DA2 データセットを使用しました。

単純化された接触力モデルに基づく、正確な物体の幾何学的特徴に依存する従来の解析方法と比較して、学習ベースの Dual-PointNetGPD は、ノイズの多い 3D 点群を直接処理し、双腕把握構造の候補を構築できます。モデルの信頼性を評価します。

したがって、広範な視覚ノイズに対してより高い堅牢性を備えています。

3. 双腕到達性モデリングと最適な把握割り当て

Dual-PointNetGPD は、視覚知覚の観点から把握ペアの品質評価構造を出力し、特定の双腕ロボットシステムでは、ロボットの動作空間内で候補となる把持ペアのアクセスのしやすさ、およびロボット本体の観点からアーム間の把持ペアの分布を考慮する必要もあります。

研究者らは、単位四元数ガウス混合モデル モデリング テクノロジを使用して、両アームの 6 自由度のワークスペースをモデル化し、両アームの到達可能性と把握を実現する確率最大化割り当て戦略を設計しました。器用さ評価の統合と統一。

多機能協調動作制御サブフレーム

多機能協調動作制御サブフレームでは、未知の物体を協調的に把握する能力を持つことが両腕の汎用化を実現する第一歩であり、身体の安全意識を持つ 協調動作動作計画ユニバーサルな把握を接続し、ユニバーサルな操作を実現するための第 2 ステップです。

ヒューマノイド双腕ロボット システムの 2 つのマニピュレータ アームの作業空間は多くの場合高度に重なり合っているため、双腕の動的タスクを実行するロボット本体の場合、自己衝突を回避する必要があります。優先順位 は、衝突回避の精度を向上させる一方で、リアルタイムの衝突回避を確実にするために オンライン計算コストを削減することも必要です。

さらに、双腕協調動作楕円体は、重要な動作パフォーマンス指標およびロボットスキル表現の1つとして、ロボットアーム構成のリアルタイム最適化を実現し、動作を向上させるために継続的に制御する必要があります。双腕システムの機能 動作の特異点によって引き起こされるミッションの失敗を回避するための器用さ。

研究者らは、この目的のために、新しい多機能協調運用制御サブフレームワークを設計しました。

このフレームワークは、階層型多目的多優先度最適化フレームワークに基づいており、学習された軽量 2 アーム最小距離代理関数とリーマン多様体速度追跡タスクを、不等式制約の形式で異なる優先度に埋め込みます。真ん中。

これにより、双腕操作の動作計画の本質安全性と、人間と機械のスキル伝達学習における双腕構成の最適化の高忠実度が実現します。

#1. 両アームによる自己衝突を高精度で回避#​​

##△高精度交差する作業スペース 積み重ねられたヒューマノイド双腕ロボット

# 両腕の衝突境界を記述する正確で信頼性の高い最小距離関数を取得することは、衝突回避制約を多重優先最適化フレームワークに埋め込み、自己衝突を達成するための重要なステップです。両腕の衝突回避。

双腕構成空間と重複する作業空間の高次元性により、安全部分空間と衝突部分空間の分布は著しく不均衡であり、分離することが困難です。

研究者らは、大規模でバランスのとれた情報豊富な双腕衝突データセットを生成するための、新しいアクティブラーニングベースのサンプリング方法を提案しています。

次に、機械学習を使用して 2 つのアームの最小距離と 2 つのアームの構成の間のマッピング関係をフィッティングし、高精度の最小距離代理関数を効率的に取得します。

△能動学習に基づくサンプリングアルゴリズム

2. リーマン幾何学に基づく二腕協調動作の楕円体追跡

自己衝突回避に加えて、動作楕円体追跡も双腕システム制御で対処する必要がある重要な問題です。これは、動作スキルと動作構成に大きく関係しているためです。

双腕動作度楕円体は対称正定行列 (SPD) で記述され、研究者らは多様体空間で速度フィードフォワード項を設計し、それを速度フィードフォワード項と組み合わせることで双腕動作度楕円体を実現しました。誤差制御原理 リアルタイム追跡と追跡誤差のグローバル指数関数的収束、および完全な理論的分析と証明が提供されます。

デュアルアーム操作度楕円体追跡タスクは、等式制約の形で多重優先度最適化フレームワークに組み込まれ、デュアルアーム操作度楕円体追跡インターフェイスの形式で表示されます。

3. 複数の優先順位の最適化とコントローラーの設計

研究者らは、協調タスク空間の変数 (両腕の絶対的な動きと両腕の相対的な動き) を使用して、すべての要素を記述します。双腕協調-非協調/同期-非同期タスク、および両腕の普遍的な協調動作制御のためのシステム フレームワークは、多目的および多重優先フレームワークに基づいて設計されています。

このフレームワークは、両腕の自己衝突回避や両腕動作の楕円体追従といった上記のマルチタスクを有機的に統合することで、動作計画のレベルで両腕を汎用的に使用する道を切り開きます。そしてコントロール。

協調把持と自己衝突回避はいずれも優れている

両腕の最適な協調把持と自己衝突回避と自己衝突回避を検証する楕円体追跡の有効性を運用するために、研究者らは、設計された Dual-PointNetGPD ネットワーク、学習によって生成された両腕の最小距離代理関数、および SPD 多様体追跡誤差の定量的分析を実施しました。

1, 両腕の最適な協調把握 研究者らは物理シミュレーション エンジンで大規模なアブレーション実験を実施し、その結果、設計およびトレーニングされた Dual-PointNetGPD ネットワークが効果的であることが示されました 大型非モデル物体把持タスクにおける二腕協調把持の成功率を向上しました。

#2. 両腕による自己衝突回避
主に両腕の 2 次元衝突データセットと最小値から生成両アームの距離代理関数 双腕構成空間を14次元とし、サンプリングステップ20～30°で低精度サンプリングを行い、各次元を10等分して必要なデータを解析セットサイズも1014に達します。

研究チームは、能動学習に基づいたサンプリング技術を使用して双腕衝突データセットを生成し、200万件のデータ規模で95%を超える高い予測精度を達成しました。不均衡なデータセットで学習するため、中国で広く使用されている b-SMOTE などの技術よりも高いデータ効率と予測精度を備えています。

△平均予測誤差と予測精度の解析

さらに、学習トレーニングに基づいて生成された両腕間の最小距離代用関数から最小距離を算出時間は約 0.072ms で、広く使用されている FCL アルゴリズム ライブラリで必要な 5.36ms よりも大幅に短く、分散も小さくなります。

これにより、実際の展開におけるメソッドのリアルタイム パフォーマンスが大幅に向上し、2 つの腕の共同動作全体の安定した予測可能な動作計画が保証されます。

さらに、サロゲート関数は優れた連続性と微分可能性を示します。これは、自己衝突回避を不等式制約の形で滑らかな多目的最適化フレームワークに組み込むために非常に重要です。

#△表計算時間の比較分析

△滑らかさの比較分析

# # 3. 両アームの協調動作のための楕円体追跡

アブレーション実験では、多目的最適化フレームワークに設計され埋め込まれた操作楕円体追跡制約が両腕の実際の構成を効果的に削減することが検証されました。予想される構成との違いにより、SPD マニホールド トラッキング インターフェイスの有効性が検証されます。

4. 双腕協調反転実験:

自律的に自己衝突を回避する能力を検証するために、研究者らは、共同反転実験で極度のねじりを必要とする装置を設計しました。

今回の実験では、二腕システムが自律的に絡み合った衝突のない軌道運動計画を完了し、グリップ構成を変更することなく椅子の360°反転操作を実現しました。

物体の絶対運動は回転方向には常に高精度な追従を保ち、その他の自由度では動的かつ自律的に緩和しますアームの相対運動誤差は0.003(mまたはrad)未満です、衝突回避安全距離は 2.5 cm に効率的に圧縮されます。

同時に、ロボットアームの高精度グリッドモデルを用いた多機能協調動作制御サブフレーム全体の典型的な計算時間は8.318msであり、高精度と高精度のジレンマを解決します。高いリアルタイム性能は同時に達成されません。

上記の結果は、すべてのレベルのタスクが指定された優先順位に従って厳密に実行されていることも示しています。

長期的な再配置実験では、双腕ロボット システムは、人間の生活環境で一般的なデスクトップの本棚、収納バスケット、モニター スタンドという 3 つのモデル化されていない物体を継続的に掴んで操作しました。

実験結果は、二腕ロボットが設計された普遍的なフレームワークの下で大型の物体を協働して掴むことができ、複雑な協働作業タスクの実行中に完全に自律的に高精度に自己衝突を回避できることを示しています。 。

要約:

この研究は、視覚に基づいた未知の物体の双腕協調最適把握を初めて体系的に解決したことがわかります。 、高度に重なり合うワークスペースを備えた双腕ロボットは本質的に安全であり、人間と機械のスキル伝達学習に使用できる双腕協調操作用の楕円体追跡インターフェイスを開きます。

この身体化知能に関するトップダウンの研究と、ロボットの動作計画と制御に関するボトムアップの研究は、AI とロボティクスの間の技術的なギャップを埋め、AI 生成に基づいた動作戦略を改善するのに役立ちます。物理世界では、双腕システムの完全自律型一般化の到来が加速します。

紙のアドレス: https://ieeexplore.ieee.org/document/10449470