Tencent Robot Research가 이슈의 선두에 섰습니다! 프로그래머가 모니터를 설치하고 실제 사람처럼 함께 작업하는 데 도움이 될 수 있습니다.

국내 로봇의 새로운 돌파구:

두 개의 독립적인 로봇 팔이 이미 원활하게 협력할 수 있습니다!

믿기지 않으시면 이거 보세요병뚜껑을 양손으로 비틀어보세요:

비틀고 나서 컵을 들고 물을 부어주세요:

마치 생생해요 진짜 사람.

이제 프로그래머에게 도움을 줄 수도 있습니다.

디스플레이 설치 :

심지어 "동료"로부터

큰 상자를 인수했습니다:

가능합니다. 다양한 기하학적, 물리적 특성을 지닌 물체를 누구나 안정적으로 고정할 수 있다고 합니다.

(다음에 또 무엇을 할 수 있는지, 감히 생각도 안 나네요)

이것은

Tencent Robotics의 최신 성과입니다. 로봇공학 분야 최고 저널"IEEE Transactions on Robotics"에 게재되었습니다. 작업이므로

Anti-interference

능력이 있어야 합니다.

양손 작업이므로 두 팔을 함께 "흔들" 수 없습니다.

이 정체불명의 "의자" " 아래의 "360° 뒤집기 작동"은 완전 자율적인

"양팔 자체 충돌 방지 기능"을 보여줍니다.

마지막으로 가끔 장난꾸러기 인간을 만나면 쉽게 잡아낼 수 있고,

완전한 의도 인식과 역동적인 상호작용

:

(줘, 줘, 야, 잊어버려, 그만할게. )

구체적인 기술 내용이 공개됩니다~

휴머노이드 양팔 시스템의 보편적 실현

유니버설 휴머노이드 로봇은 의심할 바 없이 최근 로봇과 AI의 교차점에 있는 연구 핫스팟입니다.

그 중

휴머노이드 이중 팔 시스템

은 이러한 유형의 로봇 작업 작업의 실행 기능을 직접적으로 전달합니다.

다양한 기하학적, 물리적 특성을 지닌 물체를 임의로 잡고 조작할 수 있는 능력은 이러한 유형의 시스템 일반화를 기술적으로 구현한 것입니다.

기존 연구 작업의 대부분은 환경-객체 인식, 추론 및 전략 생성, 로봇 시스템의 계획 또는 작동 제어 등 특정 수준의 문제 해결에 중점을 둡니다. 그리고 솔루션은 일반적으로 특정 작동 개체나 작업과 밀접하게 관련되어 있어 전송 및 일반화가 어렵습니다.

텐센트 로봇공학

첫 번째

, 시각적 인식을 기반으로 두 팔로 알 수 없는 물체를 최적으로 파악하는 방법.

두 번째로, 역동적인 협업 중에 작업 공간이 많이 겹치는 양팔 로봇의 시스템 안전성을 보장하는 방법입니다.

마지막으로, 제한된 유형의 추적 인터페이스만 있는 로봇 시스템에 풍부한 인간 기술을 전달하는 방법입니다.

여기서 Tencent Robotics의 확률적 모델링은 모델링되지 않은 물체에 대한 최적의 공동 파악을 가능하게 합니다. 2. 최적화 기반

다기능 제어 서브프레임

은 계층적 다중 우선순위 최적화 프레임워크를 채택하고 리만 매니폴드에 학습 및 속도 수준 추적 제어 기술을 기반으로 생성된 경량 거리 대체 기능을 내장합니다. 동시에 양팔의 고정밀 자체 충돌 방지와 매우 사실적인 양팔 작동 타원체 추적을 달성하여 양팔 시스템의 본질적인 안전을 보장하고 작동 타원체 추적 인터페이스를 개방합니다.

또한 이번 연구에서는 최초로 시각적 인식을 기반으로 알 수 없는 물체에 대한 양팔 협업 최적 파악을 체계적으로 해결하여 작업 공간이 많이 겹치는 양팔 로봇의 본질적인 안전성을 달성하고 양팔을 개방하여 인간-기계 기술 이전 학습에 사용할 수 있습니다.

궁극적으로 이 시스템은 인식 계층, 양손 잡기, 협업 작업 계획 및 기본 제어 측면에서 풍부한 인터페이스를 제공하며 높은 다양성, 확장성 및 호환성을 갖습니다.

기술 세부 사항은 다음과 같습니다.

스마트 도달 가능 감지 하위 프레임워크를 중심으로 회전하며, 알 수 없는 물체에 대한 양팔 공동 파악을 달성하려면 실행 가능한 스마트 최적을 독립적으로 생성해야 합니다. 이중 암 시스템용 잡기 올바른 것을 구입하십시오.

연구원들은 데이터 세트 생성, 파악 품질 평가 네트워크 및 양팔 로봇 도달 가능성의 확률적 모델링의 세 가지 수준에서 시작하여 시각적 시스템 인식을 달성하기 위해 손재주가 닿을 수 있는 감지 양팔 파악 서브 프레임워크를 체계적으로 설계했습니다. -획득된 객체 3D 포인트 클라우드 사이의 최적의 두 팔 6D 잡기 포즈 쌍 사이의 매핑을 종료합니다.

1. 양팔 민첩성 감지 파지 데이터 세트

연구진은 입력 포인트 클라우드와 출력 양팔 파지 품질 간의 정확한 매핑 관계를 설정하고 파지 평가 네트워크를 효과적으로 훈련하기 위해 업계 최초의 대규모 손재주 인식 이중 팔 쥐기 합성 데이터 세트(DA2 데이터 세트)를 제안했습니다.

이 데이터 세트에는 6327개의 개체로 구성된 메쉬와 900만 개 이상의 파악 쌍이 포함되어 있습니다. 각 파악 세트는 파악 특이성 - 파악 안정성 - 파악력 호환성이라는 세 가지 지표를 사용하여 표시됩니다.

2. 팔-팔 협력 파악 품질 평가 네트워크

실제 시나리오에서는 일반적으로 휴리스틱 샘플링과 같은 기술을 사용하여 물체의 인식된 3D 포인트 클라우드에서 후보 파악 쌍을 생성할 수 있습니다. 이러한 후보 파악 쌍의 품질은 실시간으로 온라인으로 평가되고 최적의 솔루션이 출력됩니다.

연구원들은 양팔 공동 잡기를 위한 품질 평가 네트워크인 Dual-PointNetGPD를 설계하고 DA2 데이터 세트를 훈련에 사용했습니다.

단순화된 접촉력 모델을 기반으로 하고 정확한 객체 기하학적 특징에 의존하는 기존 분석 방법과 비교하여, 학습 기반 Dual-PointNetGPD는 시끄러운 3D 포인트 클라우드를 직접 처리하고 후보 두 팔 잡기 구성 및 신뢰성 평가의 기민성을 향상시킬 수 있습니다.

따라서 광범위한 시각적 인식 소음에 더욱 강력해졌습니다.

3. 이중 팔 도달 가능성 모델링 및 최적의 파지 할당

Dual-PointNetGPD는 시각적 인식의 관점에서 파지 쌍 품질 평가 구조를 출력합니다. 로봇 온톨로지는 로봇의 작동 공간에서 후보 파지 쌍의 도달 가능성 문제와 팔 사이의 파지 쌍 할당 문제를 고려합니다.

연구원들은 단위 쿼터니언 가우스 혼합 모델 모델링 기술을 사용하여 양팔의 6자유도 작업 공간을 모델링하고 확률 극대화 할당 전략을 설계하여 양팔 쥐기 접근성과 쥐기 손재주에 대한 평가를 달성했습니다. 단일성.

다기능 협동작전 제어 서브프레임

다기능 협동작전 제어 서브프레임에서는 알 수 없는 물체를 협력적으로 파악하는 능력이 양팔의 보편화를 달성하기 위한 첫 번째 단계이며, 신체 안전의식을 갖춘 협동작전 동작 계획은 두 번째 단계입니다. 범용 크롤링을 연결하고 범용 작업을 구현합니다.

휴머노이드 양팔 로봇 시스템은 두 로봇팔의 작업 공간이 많이 겹치는 경우가 많기 때문에,

양팔 동적 작업을 수행하는 로봇 본체의 경우 동작 시 자기 충돌 방지가 최우선적으로 고려되어야 합니다. 계획

충돌 회피의 정확성 외에도 실시간 충돌 회피를 보장하려면 온라인 계산 비용을 줄이는 것도 필요합니다. 또한, 중요한 작동 성과 지표 및 로봇 기술 표현 중 하나인 이중 팔 협동 작업 타원체는 로봇 팔 구성의 실시간 최적화를 달성하여 이중 팔의 작동 기민성을 향상시키기 위해 지속적으로 제어되어야 합니다. - 무장 시스템 및 작전 특이성으로 인한 임무 실패 방지. 연구원들은 이러한 목적을 위해 새로운 다기능 협업 운영 제어 하위 프레임워크를 설계했습니다.

이 프레임워크는 학습된 경량 두 팔 최소 거리 대리 함수와 리만 다양체 속도 추적 작업을 부등식 제약 조건의 형태로 다양한 우선순위에 포함하는 계층적 다중 목표 다중 우선순위 최적화 프레임워크를 기반으로 합니다.

이는 인간-기계 기술 이전 학습에서 이중 팔 작동 동작 계획의 본질적인 안전성과 이중 팔 구성 최적화의 높은 충실도를 달성합니다.

1. 양팔의 고정밀 자체 충돌 회피

Δ 작업 공간이 많이 겹치는 인간형 양팔 로봇

양팔의 충돌 경계를 설명하는 정확하고 신뢰할 수 있는 최소 거리 함수를 얻으려면 충돌 방지 제약 조건을 다중 우선순위 최적화 프레임워크의 핵심 단계에 삽입하여 두 팔 모두에서 자체 충돌 방지를 달성하는 것입니다.

양팔 구성 공간의 높은 차원성과 중첩된 작업 공간으로 인해 안전 하위 공간과 충돌 하위 공간의 분포가 심각하게 불균형하여 분리가 어렵습니다.

연구원들은 대규모의 균형 잡힌 정보가 풍부한 양팔 충돌 데이터 세트를 생성하기 위한 새로운 능동 학습 기반 샘플링 방법을 제안합니다.

그런 다음 기계 학습을 사용하여 팔의 최소 거리와 팔의 구성 간의 매핑 관계를 맞춰 고정밀 최소 거리 대리 기능을 효율적으로 얻습니다.

Δ능동 학습 기반 샘플링 알고리즘의 모식도

2. 리만 기하학을 기반으로 한 이중 팔 협업 타원체 추적

자기 충돌을 피하는 것 외에도 조작적 타원체 추적은 조작 기술과 관련이 있습니다. 이는 작동 구성과 밀접한 관련이 있으며 이중 암 시스템의 제어에서 처리해야 할 핵심 문제이기도 합니다.

이중 암 작동 각도 타원체는 대칭 양수 정부 행렬(SPD)로 설명됩니다. 매니폴드 공간에서 속도 피드포워드 항을 설계하고 이를 오류 제어 원리와 결합하여 연구원들은 이중 암 작동 각도 타원체 오류의 전역 지수 수렴이 제공되고 완전한 이론적 분석 및 증명이 제공됩니다.

이중 팔 작업 ​​타원체 추적 작업은 동등 제약 조건의 형태로 다중 우선순위 최적화 프레임워크에 내장되어 있으며 이중 팔 작업 ​​타원체 추적 인터페이스의 형태로 제공됩니다.

3. 다중 우선순위 최적화 및 컨트롤러 설계

연구원들은 협업 작업 공간 변수(양팔의 절대 움직임과 양팔의 상대 움직임)를 사용하여 모든 이중 팔 협업-비협조적/동기-비동기성을 설명했습니다. 그리고 다중 목표 및 다중 우선순위 프레임워크를 기반으로 양 무기의 보편적인 협업 작업 제어를 위한 시스템 프레임워크가 설계되었습니다.

이 프레임워크는 위에서 언급한 양팔의 자체 충돌 회피, 양팔 동작의 타원체 추적 등 다중 작업을 유기적으로 통합하여 동작 계획 및 제어 수준에서 양팔의 보편화에 대한 장애물을 제거합니다.

협력 파지 및 자체 충돌 회피 능력이 우수함

양팔의 최적 공동 파지, 양 팔의 자체 충돌 회피 및 양 팔 공동 작업의 타원체 추적의 효율성을 검증하기 위해 연구진은 설계된 Dual-PointNetGPD 네트워크, 학습으로 생성된 양팔의 최소 거리 대용 함수 및 SPD 매니폴드 추적 오류를 정량적으로 분석했습니다.

1. 양팔을 이용한 최적의 공동 쥐기 연구원들은 물리 시뮬레이션 엔진에서 대규모 절제 실험을 수행했습니다. 결과는 설계되고 훈련된 Dual-PointNetGPD 네트워크가 모델링되지 않은 대형 물체의 쥐기를 효과적으로 향상시키는 것으로 나타났습니다. 작업에서 두 ​​팔 협동 파악의 성공률 .

2. 양팔의 자체 충돌 방지
양팔 구성 공간을 고려하여 이중 팔 충돌 데이터 세트 생성의 두 가지 차원을 주로 분석합니다. 14차원, 20-30°는 저정밀 샘플링을 위한 샘플링 단계이며, 각 차원은 10개의 동일한 부분으로 나누어집니다. 필요한 데이터 세트 크기도 1014에 이릅니다.

연구원들은 능동 학습을 기반으로 한 샘플링 기술을 사용하여 200만 개의 데이터 규모로 현재 널리 사용되는 것과 비교하여 95% 이상의 높은 예측 정확도를 달성할 수 있습니다. 불균형 데이터 세트 학습, b-SMOTE와 같은 기술은 데이터 효율성과 예측 정확도가 더 높습니다.

Δ평균 예측 오차 및 예측 정확도 분석

또한, 학습 훈련을 기반으로 생성된 프록시 함수에 대한 양팔의 최소 거리를 계산하는 시간은 약 0.072ms로, 이에 비해 현저히 낮습니다. FCL 알고리즘 라이브러리에서 요구하는 널리 사용되는 5.36ms에 속하며 편차는 더 작습니다.

이를 통해 실제 배포 중에 메서드의 실시간 성능이 크게 향상되고 전체 이중 암 조정 모션 계획의 안정적이고 예측 가능한 계획이 보장됩니다.

또한 대리 함수는 뛰어난 연속성과 미분성을 나타내며, 이는 부등식 제약 조건의 형태로 원활한 다중 목표 최적화 프레임워크에 자체 충돌 회피를 포함하는 데 매우 중요합니다.

△ 테이블 계산 시간 비교 분석

△ 매끄러움 비교 분석

3. 양팔 협동 작동 정도 타원체 추적

디자인은 Ablation 실험을 통해 검증되었으며 멀티-암에 내장되었습니다. 목표 최적화 프레임워크 타원체 추적 제약 조건의 작업은 팔의 실제 구성과 예상 구성 간의 차이를 효과적으로 줄여 SPD 매니폴드 추적 인터페이스의 효율성을 검증합니다.

4. 팔-팔 공동 뒤집기 실험:

자기 충돌을 자율적으로 회피하는 능력을 검증하기 위해 연구진은 극도의 비틀림이 필요한 공동 뒤집기 실험을 설계했습니다.

이번 실험에서는 Two-arm 시스템이 얽히고 충돌 없는 궤적 동작 계획을 자율적으로 완성했으며, 그립 구성을 변경하지 않고도 의자의 360° 뒤집기 동작을 구현했습니다.

물체의 절대 운동은 항상 회전 방향으로 고정밀 추적을 유지하고, 다른 자유도에서는 역동적이고 자율적으로 이완되며, 팔의 상대 운동 오차는 0.003(m 또는 rad) 미만이며 충돌이 발생합니다. 회피안전거리는 2.5cm로 효율적으로 압축됩니다.

동시에 로봇 팔의 고정밀 그리드 모델을 사용하는 전체 다기능 협동 작업 제어 서브프레임의 일반적인 계산 시간은 8.318ms로 고정밀 및 실시간 딜레마를 해결합니다. 성과가 동시에 달성되지 않습니다.

위 결과는 또한 모든 수준의 작업이 주어진 우선순위에 따라 엄격하게 실행된다는 것을 보여줍니다.

장거리 재배치 실험에서 양팔 로봇 시스템은 인간 생활 환경에서 흔히 볼 수 있는 모형화되지 않은 세 가지 개체, 즉 데스크탑 책장, 수납 바구니, 모니터 스탠드를 지속적으로 파악하고 조작했습니다.

실험 결과에 따르면 양팔 로봇은 설계된 범용 프레임워크 하에서 대형 물체를 협력적으로 잡을 수 있으며 복잡한 공동 작업 작업을 수행하는 동안 완전한 자율성과 고정밀도로 자체 충돌을 피할 수 있는 것으로 나타났습니다.

요약:

보시다시피, 이 연구는 최초로 시각적 인식을 기반으로 알 수 없는 물체에 대한 양팔 협업 최적 파악을 체계적으로 해결하여 고도로 중첩되는 양팔 로봇의 본질적인 안전성을 달성했습니다. 인간과 기계의 기술 이전 학습에 사용할 수 있는 양팔 협업 작업을 위한 타원체 추적 인터페이스입니다.

실체화된 지능에 대한 하향식 연구와 로봇 작동 계획 및 제어에 대한 상향식 연구는 AI와 로봇 공학 간의 기술적 격차를 해소하고 물리적 세계에서 AI 생성 작동 전략의 적용을 개선하는 데 도움이 될 것입니다. 실행을 통해 이중 암 시스템의 완전 자율 일반화의 도래가 가속화됩니다.

논문 주소: https://ieeexplore.ieee.org/document/10449470