안내가 필요 없고 일반화된 시각화 모델에 사용할 수 있는 최초의 가구 및 가전제품용 범용 3D 그래픽 및 텍스트 모델 시스템

요즘 집안일은 모두 로봇이 대신하고 있어요.

냄비를 사용할 수 있는 스탠포드의 로봇이 등장했고, 커피머신을 사용할 수 있는 로봇이 도착했습니다, Figure-01.

그림-01 시연영상을 시청하시고 10시간 교육만 받으시면 커피머신을 능숙하게 조작하실 수 있습니다. 커피 캡슐 삽입부터 시작 버튼 누르기까지 모두 한 번에 끝납니다.

그러나 다양한 가구, 가전제품을 접했을 때 시연 영상 없이 로봇이 스스로 사용법을 학습할 수 있도록 하는 것은 어려운 문제입니다. 이를 위해서는 로봇이 강력한 시각적 인식과 의사결정 계획 능력은 물론 정밀한 조작 기술을 갖춰야 합니다.

이제 3차원 입체형 그래픽과 텍스트 대형 모델 시스템은 위의 문제에 대한 새로운 아이디어를 제공합니다. 3차원 비전을 기반으로 한 정밀한 기하학적 인식 모델과 기획력이 뛰어난 2차원 그래픽 및 텍스트 대형 모델을 결합한 시스템으로 샘플 데이터 없이도 가구, 가전제품과 관련된 복잡한 장기 작업을 해결할 수 있습니다. .

이 연구는 스탠포드 대학의 Leonidas Guibas 교수, 베이징 대학의 Wang He 교수 팀 및 Zhiyuan 인공 지능 연구소가 완료했습니다.

문서 링크: https://arxiv.org/abs/2312.01307

프로젝트 홈페이지: https://geometry.stanford.edu/projects/sage/

코드: https://github.com/ geng-haoran/SAGE

연구 문제 개요

^{그림 1: 로봇 팔은 인간의 지시에 따라 별도의 지시 없이도 다양한 가전제품을 사용할 수 있습니다.}

최근 PaLM-E와 GPT-4V는 로봇 작업 계획에 대형 그래픽 모델의 적용을 추진했으며, 시각적 언어를 통해 안내되는 일반화된 로봇 제어가 인기 있는 연구 분야가 되었습니다.

과거에는 상위 계층의 대형 그래픽 모델이 계획과 스킬 스케줄링을 담당하고, 하위 계층의 제어 스킬 전략 모델이 물리적인 행동 실행을 담당하는 2계층 시스템을 구축하는 것이 일반적이었습니다. 하지만 로봇이 지금까지 본 적 없는 다양한 가전제품을 마주하고 집안일에 다단계 작업이 필요한 경우 기존 방식의 상하층 모두 무력해질 것이다.

최첨단 그래픽 모델인 GPT-4V를 예로 들어보겠습니다. 텍스트로 단일 그림을 설명할 수 있지만 작동 가능한 부품의 감지, 계산, 위치 지정 및 상태 추정에 있어서는 여전히 오류가 가득합니다. 그림 2의 빨간색 하이라이트는 서랍장, 오븐, 스탠딩 캐비닛의 사진을 설명할 때 GPT-4V가 저지른 다양한 오류입니다. 잘못된 설명으로 인해 로봇의 스킬 스케줄링은 확실히 신뢰할 수 없습니다.

^{그림 2: GPT-4V는 계산, 감지, 포지셔닝 및 상태 추정과 같은 일반화된 제어에 초점을 맞춘 작업을 처리할 수 없습니다.}

하위 제어 기술 전략 모델은 다양한 실제 상황에서 상위 그래픽 및 텍스트 모델이 제공하는 작업을 실행하는 역할을 담당합니다. 기존 연구 결과의 대부분은 알려진 일부 객체의 파악 지점과 작동 방식을 규칙에 따라 엄격하게 인코딩하고 있으며 일반적으로 이전에 볼 수 없었던 새로운 객체 범주를 다룰 수 없습니다. 그러나 RT-1, RT-2 등의 엔드투엔드 작업 모델은 RGB 형식만 사용하고 거리에 대한 정확한 인식이 부족하며 높이와 같은 새로운 환경의 변화에 ​​대한 일반화가 부족합니다.

왕허 교수팀의 이전 CVPR 하이라이트 작업인 GAPartNet[1]에서 영감을 받아 연구팀은 다양한 가전제품 카테고리의 공통 부품(GAParts)에 중점을 두었습니다. 가전제품은 끊임없이 변화하지만, 각 가전제품과 이러한 공통 부품 사이에는 항상 유사한 기하학적 구조와 상호 작용 패턴이 있습니다.

그 결과 연구팀은 GAPartNet[1]이라는 논문에서 GAPart의 개념을 소개했습니다. GAPart는 일반화 가능하고 대화형 구성 요소를 나타냅니다. GAPart는 힌지 개체의 다양한 범주에 나타납니다. 예를 들어 힌지 도어는 금고, 옷장 및 냉장고에서 찾을 수 있습니다. 그림 3에서 볼 수 있듯이 GAPartNet [1]은 다양한 유형의 객체에 대한 GAPart의 의미와 포즈에 주석을 답니다.

^{그림 3: GAPart: 일반화 가능하고 대화형 부분 [1].}

연구팀은 이전 연구를 바탕으로 로봇의 객체 조작 시스템 SAGE에 3차원 비전 기반의 GAPart를 창의적으로 도입했습니다. SAGE는 일반화 가능한 3D 부품 감지 및 정확한 자세 추정을 통해 VLM 및 LLM에 대한 정보를 제공합니다. 의사결정 수준에서 새로운 방법은 실행 수준에서 2차원 그래픽 모델의 정확한 계산 및 추론 능력이 부족하다는 문제를 해결하고, 강력한 물리적 연산 API를 기반으로 각 부분에 대한 일반화된 연산을 달성합니다. GAPart 포즈.

SAGE는 최초의 3차원 구현 그래픽 및 텍스트 대규모 모델 시스템으로, 인식, 물리적 상호 작용, 피드백까지 로봇의 전체 연결에 대한 새로운 아이디어를 제공하고 로봇이 다음과 같은 복잡한 객체를 지능적이고 보편적으로 제어할 수 있는 새로운 방법을 탐구합니다. 가구 및 가전 제품으로 실행 가능한 경로입니다.

시스템 소개

그림 4는 SAGE의 기본 프로세스를 보여줍니다. 먼저, 상황을 해석할 수 있는 명령 해석 모듈은 로봇에 입력된 명령과 관찰 내용을 구문 분석하고 이러한 구문 분석을 다음 로봇 동작 프로그램 및 관련 의미 부분으로 변환합니다. 다음으로 SAGE는 의미 부분(예: 컨테이너)을 작동해야 하는 부분(예: 슬라이더 버튼)에 매핑하고 작업(예: 버튼의 "누르기" 동작)을 생성하여 작업을 완료합니다.

^{그림 4: 방법 개요.}

모든 사람이 전체 시스템 프로세스를 더 쉽게 이해할 수 있도록 로봇 팔을 사용하여 샘플 없이 보이지 않는 전자레인지를 작동하는 예를 살펴보겠습니다.

명령 구문 분석: 시각적 및 명령 입력에서 실행 가능한 기술 명령까지

명령 및 RGBD 이미지 관찰을 입력한 후 통역사는 먼저 VLM 및 GAPartNet[1]을 사용하여 장면 설명을 생성합니다. 이후 LLM(GPT-4)은 명령과 장면 설명을 입력으로 사용하여 의미 부분과 동작 프로그램을 생성합니다. 또는 이 링크에 특정 사용자 설명서를 입력할 수도 있습니다. LLM은 입력을 기반으로 작동 가능한 부품 타겟을 생성합니다.

^{그림 5: 장면 설명 생성(예: 전자레인지를 사용한 제로샷)}

더 나은 액션 생성을 지원하기 위해 장면 설명에는 개체 정보, 부품 정보 및 일부 상호 작용 관련 정보가 포함됩니다. 시나리오 설명을 생성하기 전에 SAGE는 전문 GAPart 모델[1]을 사용하여 VLM에 대한 전문 설명을 프롬프트로 생성합니다. 두 모델의 장점을 결합한 이 접근 방식은 잘 작동합니다.

^{그림 6: 지침 이해 및 동작 계획(예: 전자레인지의 제로샷 사용)}

부품 상호 작용 정보에 대한 이해 및 인식

^{그림 7: 부품 이해.}

SAGE는 관측값을 입력하는 과정에서 GroundedSAM의 2차원(2D) 단서와 GAPartNet의 3차원(3D) 단서를 결합한 다음 작동 가능한 부품의 특정 위치 지정에 사용합니다. 연구팀은 새로운 방법의 인식 결과를 입증하기 위해 ScoreNet, NMS(Non-Maximum Suppression) 및 PoseNet을 사용했습니다.

그 중: (1) 부분 인식 평가 벤치마크의 경우 기사에서는 SAM[2]을 직접 사용합니다. 그러나 작업 흐름에서 이 문서에서는 의미 부분을 입력으로 고려하는 GroundedSAM을 사용합니다. (2) LLM(Large Language Model)이 작동 가능한 부분의 타겟을 직접 출력하는 경우 위치 결정 프로세스는 우회됩니다.

^{그림 8: 부품 이해(제로 샷 전자레인지를 예로 사용)}

Action Generation

의미 부분이 작동 가능한 부분 위에 위치하면 SAGE는 이 부분에서 실행 가능한 작업 작업을 생성합니다. 먼저 SAGE는 부품의 자세를 추정하여 관절 상태(부품 축 및 위치)와 관절 유형(병진 또는 회전)에 따라 가능한 동작 방향을 계산합니다. 그런 다음 이러한 추정을 기반으로 로봇이 부품을 작동할 수 있는 움직임을 생성합니다.

전자레인지를 시작하는 작업에서 SAGE는 먼저 로봇 팔이 초기 그리퍼 자세를 주요 동작으로 취해야 한다고 예측했습니다. 그런 다음 GAPartNet [1]에 정의된 사전 결정된 전략을 기반으로 작업이 생성됩니다. 이 전략은 부품 포즈와 관절 상태에 따라 결정됩니다. 예를 들어 회전 경첩이 있는 문을 열려면 시작 위치는 문 가장자리나 손잡이에 있을 수 있으며 궤적은 문 경첩을 따라 호 방향으로 지정됩니다.

상호작용 피드백

지금까지 연구팀은 개방 루프 상호작용을 생성하기 위해 초기 관찰만 사용했습니다. 이 시점에서 그들은 상호 작용 중에 얻은 관찰을 더욱 활용하고, 인식된 결과를 업데이트하고 그에 따라 작업을 조정하는 메커니즘을 도입했습니다. 이 목표를 달성하기 위해 연구팀은 상호 작용 프로세스에 두 부분으로 구성된 피드백 메커니즘을 도입했습니다.

첫 번째 관찰의 인식 과정에서 폐색 및 추정 오류가 발생할 수 있다는 점에 유의해야 합니다.

^{그림 9: 문을 직접 열 수 없고 이번 상호작용 라운드가 실패합니다(예를 들어 전자레인지를 사용하여 제로샷을 취함).}

이러한 문제를 해결하기 위해 연구자들은 상호작용적 관찰(Interactive Perception)을 사용하여 작업을 향상시키는 모델을 추가로 제안했습니다. 대상 그리퍼와 부품 상태의 추적은 상호작용 전반에 걸쳐 유지됩니다.상당한 편차가 발생하는 경우 계획자는 "계속", "다음 단계로 이동", "중지 및 재계획" 또는 "성공"의 네 가지 상태 중 하나를 선택할 수 있습니다.

예를 들어 그리퍼가 조인트를 따라 60도 회전하도록 설정했지만 문이 15도만 열린 경우 LLM(대형 언어 모델) 플래너는 중지 및 재계획을 선택합니다. 이 대화형 추적 모델은 LLM이 상호 작용 프로세스 중에 특정 문제를 분석하고 전자레인지 시작 실패 후 다시 "일어설" 수 있도록 보장합니다.

^{그림 10: 로봇은 대화형 피드백과 재계획을 통해 버튼 열기 방법을 깨닫고 성공합니다. 연구팀은 먼저 대규모 언어 기반 관절 개체 상호 작용 테스트 벤치마크를 구축했습니다.}

그림 11: SAPIEN 시뮬레이션 실험.

그들은 SAPIEN 환경[4]을 사용하여 시뮬레이션 실험을 수행하고 12개의 언어 기반 관절 개체 조작 작업을 설계했습니다. 전자레인지, 수납가구, 캐비닛의 각 카테고리에 대해 서로 다른 초기 상태의 열린 상태와 닫힌 상태를 포함하여 3가지 작업을 설계했습니다. 다른 작업으로는 "냄비 뚜껑 열기", "리모콘 버튼 누르기", "블렌더 시작하기" 등이 있습니다. 실험 결과에 따르면 SAGE는 거의 모든 작업에서 우수한 성능을 발휘하는 것으로 나타났습니다.

그림 12: 실제 기계 시연. 연구팀은 UFACTORY xArm 6과 다양한 관절 개체를 사용하여 대규모 실제 실험도 수행했습니다. 위 이미지의 왼쪽 상단은 블렌더를 시작하는 예를 보여줍니다. 블렌더 상단은 주스를 담는 용기로 인식되지만 실제 기능을 활성화하려면 버튼을 눌러야 합니다. SAGE의 프레임워크는 의미론적 이해와 행동 이해를 효과적으로 연결하고 작업을 성공적으로 수행합니다.

위 사진의 오른쪽 상단은 비상 정지 버튼을 눌러(아래) 작동을 멈추고 회전(위)하여 다시 시작해야 하는 로봇을 보여줍니다. SAGE가 안내하는 로봇 팔은 사용자 매뉴얼의 보조 입력을 통해 두 가지 작업을 모두 수행했습니다. 위 이미지 하단의 이미지는 전자레인지를 켜는 작업을 좀 더 자세히 보여줍니다.

그림 13: 실제 기계 시연 및 명령 해석의 추가 예.

요약

SAGE는 가구, 가전제품 등 복잡한 관절 개체를 제어하기 위한 일반 명령을 생성할 수 있는 최초의 3D 시각적 언어 모델 프레임워크입니다. 객체 의미론과 부품 수준의 조작성 이해를 연결하여 언어가 지시하는 작업을 실행 가능한 조작으로 변환합니다.

또한 이 기사에서는 일반적인 대규모 비전/언어 모델과 도메인 전문가 모델을 결합하여 네트워크 예측의 포괄성과 정확성을 높이고 이러한 작업을 더 잘 처리하며 최첨단을 달성하는 방법도 연구합니다. 예술공연. 실험 결과는 프레임워크가 강력한 일반화 기능을 갖고 있으며 다양한 개체 범주 및 작업에서 뛰어난 성능을 보여줄 수 있음을 보여줍니다. 또한 이 기사는 연결된 개체의 언어 기반 조작에 대한 새로운 벤치마크를 제공합니다.

^{팀 소개}

SAGE 이 연구 결과는 스탠포드 대학교 Leonidas Guibas 교수 연구실과 북경 대학교 Wang He 교수의 EPIC Lab(Embodied Perception and Interaction), Zhiyuan 인공 지능 연구소에서 나온 것입니다. 논문의 저자는 북경대학교 학생이자 스탠포드대학교 방문학자 Geng Haoran(공동저자), 북경대학교 박사과정 학생 Wei Songlin(공동저자), 스탠포드대학교 박사과정 학생 Deng Congyue 및 Shen Bokui이며 지도교수는 Leonidas 교수입니다. 기바스와 왕허 교수.

참고자료:

[1] Haoran Geng, Helin Xu, Chengyang Zhao, Chao Xu, Li Yi, Siyuan Huang 및 He Wang. Gapartnet: 일반화 가능하고 실행 가능한 부분을 통해 카테고리 간 일반화 가능한 객체 인식 및 조작. arXiv 사전 인쇄 arXiv:2211.05272, 2022.

[2] Kirillov, Alexander, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao et al. "무엇이든 분류하세요." arXiv 사전 인쇄 arXiv:2304.02643(2023).

^{[3] Zhang，Hao，Feng Li，Shilong Liu，Lei Zhang，Hang Su，Jun Zhu，Lionel M。Ni，Heung-Yeung Shum。"Dino: 종단 간 노이즈 제거 앵커 박스가 개선된 Detr 최종 개체 감지." arXiv 사전 인쇄 arXiv:2203.03605 (2022).}

^{[4] Xiang, Fanbo, Yuzhe Qin, Kaichun Mo, Yikuan Xia, Hao Zhu, Fangchen Liu, Minghua Liu 외."Sapien: 시뮬레이션된 부분 기반 대화형 환경." 컴퓨터 비전 및 패턴 인식에 관한 IEEE/CVF 회의 진행 중，pp。11097-11107。2020.}

위 내용은 안내가 필요 없고 일반화된 시각화 모델에 사용할 수 있는 최초의 가구 및 가전제품용 범용 3D 그래픽 및 텍스트 모델 시스템의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!