로봇은 특히 스마트 기술의 지원을 통해 무한한 잠재력을 지닌 기술입니다. 최근에는 로봇이 세상을 인지하고 이해하며 의사 결정과 계획을 세우는 데 도움을 줄 수 있는 로봇의 지능형 두뇌로 혁신적인 응용 프로그램을 갖춘 일부 대규모 모델이 가능한 것으로 간주됩니다. 최근 CMU의 Yonatan Bisk와 Google DeepMind의 Fei Xia가 이끄는 공동팀은 로봇공학 분야의 기본 모델 적용 및 개발을 소개하는 리뷰 보고서를 발표했습니다.
인간은 항상 다양한 환경에 자율적으로 적응할 수 있는 로봇을 개발하는 것을 꿈꿔왔습니다. 그러나 이 꿈을 실현하는 것은 멀고도 험난한 길이다.
과거 로봇 인식 시스템은 일반적으로 지도 학습 모델을 훈련하기 위해 대량의 레이블이 지정된 데이터가 필요한 전통적인 딥 러닝 방법을 사용했습니다. 그러나 크라우드소싱을 통해 대규모 데이터 세트에 라벨을 지정하는 데는 비용이 매우 많이 듭니다.
또한 기존 지도 학습 방법에는 일반화 기능에 특정 제한이 있습니다. 이러한 훈련된 모델을 특정 시나리오나 작업에 적용하려면 일반적으로 도메인 적응 기술의 신중한 설계가 필요하며, 이는 종종 추가 데이터 수집 및 주석이 필요합니다. 마찬가지로 기존의 로봇 계획 및 제어 방법에도 환경, 에이전트 자체 및 기타 에이전트의 역학에 대한 정확한 모델링이 필요합니다. 이러한 모델은 일반적으로 특정 환경이나 작업을 위해 구축되며, 조건이 변경되면 모델을 다시 구축해야 합니다. 이는 클래식 모델의 전달 성능에도 한계가 있음을 보여줍니다.
사실 많은 사용 사례에서 효과적인 모델을 구축하는 것은 비용이 너무 많이 들거나 아예 불가능합니다. 심층(강화) 학습 기반 동작 계획 및 제어 방법이 이러한 문제를 완화하는 데 도움이 되지만 여전히 분포 이동과 일반화 능력 저하로 어려움을 겪고 있습니다.
범용 로봇 시스템 개발에는 많은 어려움이 있지만, 최근 NLP를 위한 LLM(Large Language Model), 사용자 확산(User Diffusion) 등 자연어 처리(NLP)와 컴퓨터 비전(CV) 분야가 급속도로 발전하고 있습니다. 고화질 이미지 생성을 위한 모델, 강력한 시각적 모델 및 제로샷/퓨샷 생성과 같은 CV 작업을 위한 시각적 언어 모델입니다.
소위 "기초 모델"은 실제로 대규모 사전 학습 모델(LPTM)입니다. 그들은 강력한 시각적, 언어적 능력을 가지고 있습니다. 최근 이러한 모델은 로봇 공학 분야에도 적용되어 로봇 시스템에 개방형 인식, 작업 계획 및 모션 제어 기능을 제공할 것으로 예상됩니다. 로봇공학 분야의 기존 비전 및/또는 언어 기본 모델을 활용하는 것 외에도 일부 연구팀에서는 조작을 위한 동작 모델, 탐색을 위한 동작 계획 모델 등 로봇 작업을 위한 기본 모델을 개발하고 있습니다. 이러한 기본 로봇 모델은 강력한 일반화 기능을 보여주며 다양한 작업은 물론 특정 솔루션에도 적응할 수 있습니다.
시각/언어 기본 모델을 로봇 작업에 직접 활용하는 연구자도 있는데, 이는 서로 다른 로봇 모듈을 하나의 통합 모델로 통합할 수 있는 가능성을 보여줍니다.
시각 및 언어 기본 모델은 로봇 분야에서 유망한 전망을 갖고 있고, 새로운 로봇 기본 모델도 개발되고 있지만, 로봇 분야에는 여전히 해결하기 어려운 과제가 많이 있습니다.
실제 배포의 관점에서 모델은 종종 재현할 수 없거나, 다양한 로봇 형태로 일반화할 수 없거나(다중 구현 일반화), 환경에서 어떤 동작이 실현 가능한(또는 허용 가능한)지 정확하게 이해하기 어렵습니다. 또한 대부분의 연구에서는 개체와 장면의 의미론적 인식, 작업 수준 계획 및 제어에 중점을 둔 Transformer 기반 아키텍처를 사용합니다. 세계 역학을 위한 기본 모델이나 상징적 추론을 수행할 수 있는 기본 모델과 같은 로봇 시스템의 다른 부분은 덜 연구되었습니다. 이를 위해서는 도메인 간 일반화 기능이 필요합니다.
마지막으로 다양한 로봇 작업을 지원하는 더 큰 규모의 실제 데이터와 충실도가 높은 시뮬레이터도 필요합니다.
이 리뷰 논문은 기본 모델이 로봇 공학 분야의 핵심 과제를 해결하거나 완화하는 데 어떻게 도움이 될 수 있는지 이해하는 것을 목표로 로봇 공학 분야에서 사용되는 기본 모델을 요약합니다.
논문 주소: https://arxiv.org/pdf/2312.08782.pdf
이 리뷰에서 연구자들은 "로봇의 기초 모델"을 사용했습니다. "로봇공학"이라는 용어는 두 가지 측면을 포괄합니다. : (1) 주로 제로샷 및 상황별 학습을 통해 로봇을 위한 기존의 (주로) 비전 및 언어 모델, (2) 로봇에서 생성된 데이터를 사용하여 특별히 개발 및 활용됨 로봇 작업을 해결하기 위한 로봇 기본 모델. 그들은 로봇의 기본 모델에 사용된 관련 논문의 방법을 요약하고, 이들 논문의 실험 결과에 대해 메타 분석을 수행했습니다.
그림 1은 이 검토 보고서의 주요 구성 요소를 보여줍니다.
그림 2는 이 리뷰의 전체 구조를 보여줍니다.
독자들이 이 리뷰의 내용을 더 잘 이해할 수 있도록 팀에서는 먼저 사전 지식 섹션을 제공합니다.
로봇공학의 기본과 최신 기술을 먼저 소개합니다. 여기서는 기본모델 시대 이전의 로봇공학 분야에서 사용된 방법에 중점을 두고 있다. 간략한 설명은 이렇습니다. 자세한 내용은 원문을 참조하시기 바랍니다.
이 섹션에서는 일반적인 로봇 시스템의 다양한 모듈이 직면한 5가지 핵심 과제를 요약합니다. 그림 3은 이러한 5가지 과제의 분류를 보여줍니다.
로봇 시스템은 종종 주변 환경을 정확하게 감지하고 이해하는 데 어려움을 겪습니다. 또한 한 작업에 대한 훈련 결과를 다른 작업으로 일반화하는 능력이 부족하여 실제 세계에서의 유용성이 더욱 제한됩니다. 또한 로봇 하드웨어가 다르기 때문에 모델을 다른 형태의 로봇으로 옮기는 것도 어렵습니다. 일반화 문제는 로봇의 기본 모델을 사용하여 부분적으로 해결될 수 있습니다.
그리고 다양한 로봇 형태에 대한 일반화와 같은 추가 질문에 아직 답변이 없습니다.
신뢰할 수 있는 로봇 모델을 개발하려면 대규모의 고품질 데이터가 중요합니다. 자동화된 값, 로봇 작동 궤적 등을 포함하여 현실 세계에서 대규모 데이터 세트를 수집하려는 노력이 이미 진행 중입니다. 그리고 인간의 시연에서 로봇 데이터를 수집하는 데는 비용이 많이 듭니다. 그리고 업무와 환경의 다양성으로 인해 현실 세계에서 충분하고 광범위한 데이터를 수집하는 과정은 더욱 복잡해질 것입니다. 또한 실제 세계에서 데이터를 수집하는 것과 관련된 보안 문제도 있습니다.
이러한 문제를 해결하기 위해 많은 연구 작업에서 시뮬레이션된 환경에서 합성 데이터를 생성하려고 시도했습니다. 이러한 시뮬레이션은 매우 현실적인 가상 세계를 제공하여 로봇이 거의 실제 시나리오에서 기술을 배우고 사용할 수 있도록 합니다. 그러나 시뮬레이션 환경을 사용하는 것에는 특히 다양한 개체 측면에서 한계가 있으며, 이로 인해 학습한 기술을 실제 상황에 직접 적용하기가 어렵습니다.
또한 현실 세계에서는 대규모로 데이터를 수집하는 것이 매우 어렵고, 기본 모델 학습에 사용되는 인터넷 규모의 이미지/텍스트 데이터를 수집하는 것은 더욱 어렵습니다.
유망한 접근 방식 중 하나는 그림 4a와 같이 다양한 실험실 환경과 로봇 유형에서 함께 데이터를 수집하는 협업 데이터 수집입니다. 그러나 팀은 Open-X 실시예 데이터 세트를 심층적으로 조사한 결과 데이터 유형 가용성 측면에서 몇 가지 제한 사항이 있음을 발견했습니다.
전형적인 계획 및 제어 방법에는 일반적으로 신중하게 설계된 환경과 로봇 모델이 필요합니다. 이전의 학습 기반 방법(예: 모방 학습 및 강화 학습)은 엔드투엔드 방식으로 정책을 교육했습니다. 즉, 감각 입력을 기반으로 직접 제어 출력을 얻음으로써 모델을 구축하고 사용할 필요가 없습니다. 이러한 방법은 명시적 모델에 의존하는 문제를 부분적으로 해결할 수 있지만, 다양한 환경과 작업에 일반화하기 어려운 경우가 많습니다.
이것은 두 가지 질문으로 이어집니다: (1) 일반화를 잘할 수 있는 모델 독립적인 정책을 어떻게 배울 수 있나요? (2) 고전적인 모델 기반 방법이 적용될 수 있도록 좋은 세계 모델을 어떻게 학습해야 하는가?
범용 에이전트를 달성하기 위한 주요 과제는 작업 사양을 이해하고 이를 로봇의 현재 세계 이해에 기반을 두는 것입니다. 일반적으로 이러한 작업 사양은 로봇의 인지 및 물리적 능력의 한계를 제한적으로만 이해하는 사용자가 제공합니다. 이는 이러한 작업 사양에 대해 어떤 모범 사례를 제공할 수 있는지뿐만 아니라 이러한 사양 초안 작성이 충분히 자연스럽고 간단한지 여부를 포함하여 많은 질문을 제기합니다. 로봇의 능력에 대한 이해를 바탕으로 작업 사양의 모호성을 이해하고 해결하는 것도 어렵습니다.
로봇을 현실 세계에 배치하기 위한 주요 과제는 환경과 작업 사양에 내재된 불확실성을 처리하는 것입니다. 불확실성은 그 근원에 따라 인식론적 불확실성(지식 부족으로 인한 불확실성)과 우발적 불확실성(환경에 내재된 소음)으로 나눌 수 있습니다.
불확도 정량화(UQ) 비용이 너무 높아 연구와 응용이 지속 불가능할 수 있으며, 다운스트림 작업이 최적으로 해결되지 않을 수도 있습니다. 기본 모델의 지나치게 매개변수화된 특성을 고려할 때, 모델 일반화 성능을 저하하지 않고 확장성을 달성하려면 기본 아키텍처를 가능한 한 적게 변경하면서 훈련 방식을 보존하는 UQ 방법을 제공하는 것이 중요합니다. 자신의 행동에 대한 신뢰할 수 있는 신뢰도 추정을 제공하고 명확하게 명시된 피드백을 지능적으로 요청할 수 있는 로봇을 설계하는 것은 아직 해결되지 않은 과제로 남아 있습니다.
최근의 진전에도 불구하고 로봇이 경험을 통해 학습하여 전략을 미세 조정하고 새로운 환경에서 안전하게 유지하는 능력을 갖추는 것은 여전히 어려운 일입니다.
이 섹션에서는 로봇의 기본 모델에 사용되는 현재 연구 방법을 요약합니다. 연구팀은 로봇공학 분야에서 사용되는 기본 모델을 크게 로봇용 기본 모델과 로봇 기본 모델(RFM) 두 가지로 분류했다.
로봇 기본 모델은 주로 로봇의 시각 및 언어 기본 모델을 제로 샘플 방식으로 사용하는 것을 의미하므로 추가적인 미세 조정이나 교육이 필요하지 않습니다. 로봇 기본 모델은 비전 언어 사전 훈련 초기화를 사용하여 웜 스타트될 수 있으며/또는 모델은 로봇 데이터 세트에서 직접 훈련될 수 있습니다.
그림 5는 분류 세부 정보를 제공합니다.
이 섹션에서는 로봇 분야의 시각 및 언어 기본 모델의 제로 샷 적용에 중점을 둡니다. 여기에는 주로 작업 수준 및 모션 수준 계획 및 작업 생성을 위해 LLM의 상황 학습 기능을 사용하여 로봇 인식 애플리케이션에 제로샷 방식으로 VLM을 배포하는 것이 포함됩니다. 그림 6은 몇 가지 대표적인 연구 작품을 보여줍니다.
로봇 기본 모델( RFM ) 카테고리도 성공할 가능성이 점점 더 높아지고 있습니다. 이러한 모델은 로봇 데이터를 사용하여 로봇 작업을 해결하도록 모델을 교육하는 기능을 갖추고 있습니다.
이 섹션에서는 다양한 유형의 RFM을 요약하고 논의합니다. 첫 번째는 단일 로봇 모듈에서 일종의 작업을 수행할 수 있는 RFM으로, 단일 목표 로봇 기본 모델이라고도 합니다. 예를 들어, RFM은 로봇을 제어하기 위한 낮은 수준의 동작을 생성하거나 더 높은 수준의 동작 계획을 생성할 수 있는 모델을 생성할 수 있습니다.
나중에는 여러 로봇 모듈에서 작업을 수행할 수 있는 RFM, 즉 인식, 제어, 심지어 로봇이 아닌 작업까지 수행할 수 있는 범용 모델을 소개하겠습니다.
로봇공학 분야가 직면한 5가지 주요 과제는 위에 나열되어 있습니다. 이 섹션에서는 기본 모델이 이러한 과제를 해결하는 데 어떻게 도움이 되는지 설명합니다.
시각정보와 관련된 모든 기본 모델(VFM, VLM, VGM 등)을 로봇의 인식 모듈에 사용할 수 있습니다. 반면에 LLM은 더욱 다양하며 계획 및 제어에 사용할 수 있습니다. RFM(로봇 기본 모델)은 일반적으로 계획 및 작업 생성 모듈에 사용됩니다. 표 1에는 다양한 로봇공학 문제를 해결하기 위한 기본 모델이 요약되어 있습니다.
표에서 볼 수 있듯이 모든 기본 모델은 다양한 로봇 모듈의 작업을 일반화하는 데 능숙합니다. LLM은 특히 작업 사양에 능숙합니다. 반면에 RFM은 대부분의 RFM이 모델이 없는 접근 방식이므로 동적 모델의 과제를 처리하는 데 능숙합니다. 로봇 인식의 경우 일반화 기능과 모델 과제가 서로 결합됩니다. 인식 모델이 이미 우수한 일반화 기능을 갖추고 있으면 도메인 적응이나 추가 미세 조정을 수행하기 위해 더 많은 데이터를 수집할 필요가 없기 때문입니다.
또한, 향후 중요한 연구 방향이 될 보안 과제에 대한 연구가 아직 부족합니다.
이 섹션에는 데이터 세트, 벤치마크 및 실험에 대한 현재 연구 결과가 요약되어 있습니다.
언어 및 시각적 데이터 세트에서 배운 지식에만 의존하는 데에는 한계가 있습니다. 일부 연구 결과에서 알 수 있듯이 마찰 및 무게와 같은 일부 개념은 이러한 양식만으로는 쉽게 배울 수 없습니다.
따라서 로봇 에이전트가 세상을 더 잘 이해할 수 있도록 연구 커뮤니티는 언어 및 비전 영역의 기본 모델을 적용할 뿐만 아니라 이러한 영역을 훈련하고 미세 조정하기 위한 크고 다양한 다중 모드 로봇 개발을 발전시키고 있습니다. 모델.
현재 이러한 노력은 크게 두 가지 방향으로 나누어져 있습니다. 즉, 현실 세계에서 데이터를 수집하는 것과 시뮬레이션된 세계에서 데이터를 수집하여 현실 세계로 마이그레이션하는 것입니다. 각 방향에는 장단점이 있습니다. 실제 세계에서 수집된 데이터세트로는 RoboNet, Bridge Dataset V1, Bridge-V2, Language-Table, RT-1 등이 있습니다. 일반적으로 사용되는 시뮬레이터에는 Habitat, AI2THOR, Mujoco, AirSim, Arrival Autonomous Racing Simulator, Issac Gym 등이 있습니다.
이 팀의 또 다른 주요 기여는 저자가 다음 문제를 명확히 하는 데 도움이 될 수 있는 이 리뷰 보고서에 언급된 논문의 실험에 대한 메타 분석입니다.
사람들은 어떤 작업을 조사하고 해결하고 있나요?
팀은 몇 가지 주요 트렌드를 확인했습니다.
로봇 작동 작업에 대한 연구계의 관심이 불균형함
일반화 능력 및 견고성 향상 필요 
부족함 통합 테스트 벤치마크
논의 및 향후 방향
팀은 아직 해결해야 할 몇 가지 과제와 논의할 만한 연구 방향을 요약했습니다. 
로봇 구현을 위한 표준 기반 설정(접지) ) 
위 내용은 로봇 공학: 기본 모델의 진행 상황은 어떻습니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
