7,500개의 궤적 데이터로 훈련된 CMU와 Meta를 통해 로봇은 홀과 주방의 전반적인 수준에 도달할 수 있습니다.

7500개의 궤적 데이터를 사용하여 훈련하는 것만으로도 이 로봇은 집기 및 밀기에만 국한되지 않고 관절 개체 조작 및 개체 위치 변경을 포함하여 38개 작업에서 12가지 다양한 작동 기술을 보여줄 수 있습니다. 게다가 이러한 기술은 알려지지 않은 물체, 알려지지 않은 작업, 심지어 전혀 알려지지 않은 주방 환경을 포함하여 수백 가지의 다양한 알려지지 않은 상황에 적용될 수 있습니다. 이런 로봇 정말 멋지네요!

다양한 환경에서 임의의 물체를 조작할 수 있는 로봇을 만드는 것은 수십 년 동안 어려운 목표였습니다. 그 이유 중 하나는 이러한 에이전트를 훈련시킬 수 있는 다양한 로봇 공학 데이터 세트가 부족할 뿐만 아니라 이러한 데이터 세트를 생성할 수 있는 범용 에이전트가 부족하기 때문입니다.

이 문제를 극복하기 위해 카네기 멜론 대학교와 Meta 연구진은 AI는 범용 RoboAgent를 개발하는 데 2년을 보냈습니다. 그들의 주요 목표는 제한된 데이터로 다양한 기술을 수행할 수 있는 일반 에이전트를 훈련하고 이러한 기술을 알려지지 않은 다양한 상황에 일반화할 수 있는 효율적인 패러다임을 개발하는 것입니다. 장기간 논스톱 작동이 가능한 범용 하드웨어로 구축된 분산 로봇 인프라

RoboHive - 시뮬레이션 및 실제 로봇 학습을 위한 통합 프레임워크; 다양한 시나리오에서 일상적인 개체를 사용하여 여러 기술을 나타내는 고품질 데이터 세트

MT-ACT - 효율적인 언어 조절 다중 작업 오프라인 모방 학습 프레임워크는 기존 로봇 경험을 기반으로 의미상으로 향상된 다양한 세트를 생성하여 오프라인 데이터 세트를 확장합니다. 제한된 데이터 예산 하에서 복구할 수 있는 새로운 정책 아키텍처와 효율적인 작업 표현 방법을 채택합니다.

• RoboSet: 다중 기술, 다중 작업, 다중 모드 데이터 세트
• 다양한 상황에서 일반화할 수 있는 로봇 에이전트를 구축하려면 먼저 광범위한 적용 범위를 갖는 데이터 세트가 필요합니다. 확장 노력이 종종 도움이 된다는 점을 감안할 때(예: RT-1은 ~130,000개의 로봇 궤적에 대한 결과를 시연함) 제한된 데이터 세트의 맥락에서 학습 시스템의 효율성 및 일반화 원칙을 이해해야 합니다. - 데이터 상황이 과적합으로 이어질 것입니다. 따라서 저자의 주요 목표는 과적합 문제를 피하면서 낮은 데이터 상황에서 일반화 가능한 일반 전략을 학습할 수 있는 강력한 패러다임을 개발하는 것입니다.
• 로봇 학습에서 기술과 데이터 파노라마는 중요한 분야입니다. 로봇 학습에서 기술은 로봇이 학습과 훈련을 통해 습득하고 특정 작업을 수행하는 데 사용할 수 있는 능력을 의미합니다. 이러한 기술의 개발은 대량의 데이터 지원과 분리될 수 없습니다. 데이터는 로봇 학습의 기초입니다. 데이터를 분석하고 처리함으로써 로봇은 이를 학습하고 기술을 향상시킬 수 있습니다. 따라서 기술과 데이터는 로봇 학습에 없어서는 안될 두 가지 측면입니다. 지속적인 학습과 새로운 데이터 획득을 통해서만 로봇은 지속적으로 기술 수준을 향상시키고 다양한 작업에서 더 높은 지능과 효율성을 발휘할 수 있습니다

RoboAgent, RoboSet(MT-ACT) 훈련에 사용되는 데이터 세트에는 7,500개의 궤적만 포함됩니다(RT-1 데이터보다 18배 적음). 데이터 세트는 미리 수집되어 고정된 상태로 유지됩니다. 데이터세트는 여러 작업과 시나리오에 걸쳐 상용 로봇 하드웨어(Robotiq 그리퍼가 장착된 Franka-Emika 로봇)를 사용하여 인간의 원격 조작 중에 수집된 고품질 궤적으로 구성됩니다. RoboSet(MT-ACT)는 여러 가지 상황에서 12가지 고유 기술을 드물게 다루고 있습니다. 일상적인 주방 활동(예: 차 만들기, 베이킹)을 각각 고유한 기술을 나타내는 여러 하위 작업으로 나누어 데이터를 수집했습니다. 데이터 세트에는 일반적인 선택 및 배치 기술뿐만 아니라 닦기, 뚜껑 덮기, 연결된 물체와 관련된 기술과 같은 접촉이 풍부한 기술도 포함됩니다. 재작성된 콘텐츠: RoboAgent를 교육하는 데 사용되는 데이터 세트 RoboSet(MT-ACT)에는 7,500개의 궤적만 포함됩니다(RT-1의 데이터보다 18배 적음). 데이터 세트는 미리 수집되어 고정된 상태로 유지됩니다. 데이터세트는 여러 작업과 시나리오에 걸쳐 상용 로봇 하드웨어(Robotiq 그리퍼가 장착된 Franka-Emika 로봇)를 사용하여 인간의 원격 조작 중에 수집된 고품질 궤적으로 구성됩니다. RoboSet(MT-ACT)는 여러 가지 상황에서 12가지 고유 기술을 드물게 다루고 있습니다. 일상적인 주방 활동(예: 차 만들기, 베이킹)을 각각 고유한 기술을 나타내는 여러 하위 작업으로 나누어 데이터를 수집했습니다. 데이터 세트에는 일반적인 선택 및 배치 기술뿐만 아니라 연결 개체와 관련된 기술, 닦기, 캡핑 및 기술과 같은 접촉이 풍부한 기술도 포함됩니다



MT-ACT: 다중 작업 작업 청킹 Transformer

RoboAgent 두 가지 핵심 통찰력을 기반으로 낮은 데이터 상황에서 일반적인 전략을 학습합니다. 모드 붕괴를 방지하기 위해 기본 모델에 대한 전 세계 사전 지식을 활용하고 고도로 다중 모드 데이터를 수집할 수 있도록 새롭고 효율적인 전략 표현을 채택합니다

다시 작성해야 하는 콘텐츠는 다음과 같습니다. 1. 의미 향상 : RoboAgent RoboSet(MT-ACT)의 의미론적 강화를 통해 기존 기본 모델의 세상에 대한 사전 지식이 주입됩니다. 결과 데이터 세트는 추가적인 인간/로봇 비용 없이 로봇의 경험과 세상에 대한 사전 지식을 결합합니다. SAM을 사용하여 대상 개체를 분할하고 모양, 색상 및 질감 변경 측면에서 의미론적으로 향상시킵니다. 재작성된 콘텐츠: 1. 의미론적 강화: RoboAgent는 의미론적 강화를 통해 기존 기본 모델의 세계 사전 지식을 RoboSet(MT-ACT)에 주입합니다. 이러한 방식으로 로봇의 경험과 세상에 대한 사전 지식을 추가 인간/로봇 비용 없이 결합할 수 있습니다. SAM을 사용하여 대상 객체를 분할하고 모양, 색상 및 질감 변경 측면에서 의미론적 향상을 수행합니다

2. 효율적인 정책 표현: 결과 데이터 세트는 매우 다중 모드이며 다양한 기술, 작업 및 시나리오를 포함합니다. . 우리는 다중 작업 설정에 액션 청킹 방법을 적용하고 문제



를 피하면서 소량의 데이터로 고도로 다중 모드 데이터 세트를 획득할 수 있는 새롭고 효율적인 정책 표현인 MT-ACT를 개발합니다. 실험 결과

RoboAgent의 샘플 효율성은 기존 방법보다 높습니다

다음 그림은 저자가 제안한 MT-ACT 정책 표현을 여러 모방 학습 아키텍처와 비교합니다. 저자는 객체 포즈 변경, 부분 조명 변경 등 환경 변경만 사용합니다. 이전 연구와 마찬가지로 저자는 이를 L1 일반화에 기인합니다. RoboAgent의 결과에서 액션 청킹을 사용하여 하위 궤적을 모델링하는 것이 모든 기본 방법보다 훨씬 뛰어난 성능을 발휘하므로 샘플 효율적인 학습에서 저자가 제안한 정책 표현의 효율성이 더욱 입증되었습니다



RoboAgent가 탁월함 여러 수준의 추상화



다음 그림은 저자가 다양한 일반화 수준에서 방법을 테스트한 결과를 보여줍니다. 동시에 일반화 수준도 시각화를 통해 시연됩니다. 여기서 L1은 개체 포즈 변경을 나타내고, L2는 다양한 바탕 화면 배경과 방해 요인을 나타내고, L3은 새로운 스킬-개체 조합을 나타냅니다. 다음으로 저자는 이러한 일반화 수준에서 각 방법이 어떻게 수행되는지 보여줍니다. 엄격한 평가 연구에서 MT-ACT는 특히 더 어려운 일반화 수준(L3)에서 다른 방법보다 훨씬 더 나은 성능을 보였습니다.



RoboAgent는 확장성이 뛰어납니다.

저자는 RoboAgent의 성능을 점점 더 높은 수준으로 평가했습니다. 5개 기술 활동의 의미론적 향상. 아래 그림에서 볼 수 있듯이 데이터가 증가하면(즉, 프레임당 향상 횟수가 증가하면) 모든 일반화 수준에서 성능이 크게 향상됩니다. 특히 더 어려운 작업(L3 일반화)에서는 성능 향상이 더 뚜렷하다는 점에 주목할 가치가 있습니다.



RoboAgent는 다양한 활동에서 자신의 기술을 보여줄 수 있습니다.

위 내용은 7,500개의 궤적 데이터로 훈련된 CMU와 Meta를 통해 로봇은 홀과 주방의 전반적인 수준에 도달할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!