구글 AI 연말 요약 6번: 보스턴 다이나믹스 없는 구글 로봇 개발은 어떤가요?

Boston Dynamics의 백플립은 인간이 만든 로봇이 가져온 무한한 가능성을 보여줍니다. ​

Google은 2017년에 Boston Dynamics를 매각했지만, Google은 "물리적으로" 인간에게 접근하는 것뿐만 아니라 여전히 로봇 개발 경로를 이어가고 있습니다. "의 지능"을 통해 인간의 지시에 대한 더 나은 이해를 추구합니다. Jeff Dean이 주도하는 Google Research 연말 요약 시리즈 "Google Research, 2022 & Beyond"가 6호로 업데이트되었습니다. 이번 호의 주제는

입니다. Robot" , 수석 제품 관리자 Kendra Byrne과 Google 로봇 공학 연구 과학자 Jie Tan이 작성​우리 생애에는 로봇 기술이 인간의 일상 생활에 관여하여 인간 생산성 향상에 도움이 되는 것을 분명히 보게 될 것입니다. 그리고 삶의 질.

인간 중심 공간(즉, 기계가 아닌 사람을 위해 설계된 공간)에서 로봇 기술이 일상 실무에 널리 사용되기 위해서는 로봇 기술이 사람을 안전하게 지원할 수 있는지 확인해야 합니다. 2022년 Google은 로봇을 인간에게 더욱 유용하게 만드는 데 중점을 두고 있습니다. 로봇과 인간이 보다 효과적이고 자연스럽게 소통할 수 있도록

로봇이 현실 세계에서 상식을 이해하고 적용할 수 있도록 합니다. 구조화되지 않은 환경에서 로봇이 효과적으로 작업을 수행하는 데 필요한 낮은 수준의 기술 수를 확장합니다.

1. 대형 언어 모델(LLM)의 특징은 설명과 컨텍스트를 "인간과 기계가 이해할 수 있는" 형식으로 인코딩하는 기능입니다.
2. LLM을 로봇 공학에 적용하면 사용자는 자연어 지침을 통해서만 로봇에 작업을 할당할 수 있습니다. 시각적 모델과 로봇 학습 방법을 결합하면 LLM은 로봇에게 사용자 요청을 이해하는 방법과 능력을 제공합니다. 요청을 완료하기 위해 취할 조치를 계획합니다.
3. 기본 방법 중 하나는 LLM을 사용하여 사전 훈련된 다른 모델이 현장에서 일어나는 일에 대한 컨텍스트를 구축하고 다중 모드 작업에 대한 예측을 위한 정보를 얻도록 유도하는 것입니다. 전체 과정은 소크라테스식 교수법과 유사하다. 교사는 학생들에게 질문을 하고, 합리적인 사고 과정을 통해 대답하도록 지도한다.

문서 링크: https://arxiv.org/abs/2204.00598

"도움이 되는 로봇을 향하여: 로봇 사용성을 위한 기본 언어"라는 기사에서 연구자들은 Everyday Robots와 협력하여 로봇 사용성 모델을 구축했습니다. PaLM 언어 모델을 기반으로 하는 기간 작업입니다.

블로그 링크: https://ai.googleblog.com/2022/08/towards-helpful-robots-grounding.html

이전의 머신러닝 방식에서는 로봇이 '픽업' 같은 작업만 받아들일 수 있었습니다. 스펀지" 등의 짧고 하드코딩된 명령을 사용하며, 작업을 완료하는 데 필요한 단계를 추론하기 어렵고, 작업이 "청소를 도와줄 수 있나요?"와 같은 추상적인 목표인 경우 처리하기가 더욱 어렵습니다. 이 유출물을 위로 올려?”

연구원들은 LLM을 사용하여 주어진 상황에서 로봇이 실제로 달성할 수 있는 기술을 나타내는 여유 모델과 함께 장기 작업을 완료하기 위한 단계의 순서를 예측하기로 결정했습니다.

강화 학습 모델의 가치 함수를 사용하여 로봇이 다양한 상태에서 수행할 수 있는 작업을 추상적으로 표현하는 어포던스 모델을 구축하여 "정리"와 같은 현실 세계의 장기 작업을 통합할 수 있습니다. 침실"을 작업을 완료하는 데 필요한 시간과 연결합니다. 물건을 고르고, 배치하고, 올바르게 배열하는 등의 단기 기술이 연결됩니다.

페이퍼 링크: https://arxiv.org/abs/2111.03189

LLM과 어포던스 모델을 모두 갖는다고 해서 로봇이 내부 독백(Inner Monologue)을 통해 작업을 성공적으로 완료할 수 있다는 의미는 아닙니다. 임무 계획의 LLM 루프를 기반으로 인간 피드백이나 장면 이해와 같은 다른 정보 소스를 활용하면 로봇이 작업을 올바르게 완료할 수 없는 시기를 감지할 수 있습니다.

문서 링크: https://arxiv.org/abs/2207.05608

Everyday Robots의 로봇을 사용하여 연구원들은 LLM이 현재 또는 이전에 실패한 계획 단계를 효과적으로 다시 계획할 수 있으며 로봇이 복구할 수 있다는 것을 발견했습니다. 실패로부터 "상단 서랍에 콜라 넣기"와 같은 복잡한 작업을 복구하고 완료하세요.

LLM 기반 임무 계획에서 뛰어난 기능 중 하나는 로봇이 높은 수준의 목표와 중간 작업의 변화에 ​​반응할 수 있다는 것입니다. 예를 들어 사용자는 빠른 제공을 통해 무슨 일이 일어나고 있는지 로봇에게 알릴 수 있습니다. 로봇을 다른 작업으로 수정하거나 리디렉션하여 이미 계획된 작업을 변경하며 특히 사용자가 로봇 작업을 대화형으로 제어하고 사용자 정의할 수 있도록 하는 데 유용합니다.

자연어를 사용하면 사람들이 로봇 작업을 더 쉽게 지정하고 수정할 수 있지만, 인간의 설명에 실시간으로 반응해야 하는 과제도 있습니다.

연구원들은 프로젝트의 일환으로 평균 93.5%의 예상 성공률로 87,000개 이상의 고유한 명령을 처리할 수 있는 실시간 개방형 언어 조절 로봇을 생산하기 위한 대규모 모방 학습 프레임워크를 제안합니다. , Google은 현재 최대 규모의 언어 주석 로봇 데이터 세트인 Language-Table도 출시했습니다

Paper 링크: https://arxiv.org/pdf/2210.06407.pdf

그리고 LLM을 사용하여 코드 작성 제어 로봇 움직임 또한 유망한 연구 방향이다.

연구원이 개발한 코딩 방법은 로봇이 자동으로 새로운 코드를 생성하여 API 호출을 재결합하고, 새로운 기능을 합성하고, 피드백 루프를 표현하여 런타임에 새로운 동작을 합성할 수 있도록 하여 작업 복잡성을 증가시킬 수 있는 잠재력을 보여줍니다.

문서 링크: https://arxiv.org/abs/2209.07753

로봇 학습을 확장 가능한 데이터 문제로 전환

대규모 언어 및 다중 모드 모델은 로봇이 자신이 작동하는 환경을 이해하는 데 도움이 될 수 있습니다. 로봇이 해야 할 일은 현장에서 일어나고 있지만 로봇은 물체를 정확하게 집고 배치하는 등 물리적 세계에서 작업을 완료하기 위해 낮은 수준의 물리 기술도 필요합니다.

인간은 종종 이러한 신체적 능력을 당연하게 여기고 생각하지 않고도 다양한 행동을 완료할 수 있지만 로봇에게는 문제가 됩니다.

예를 들어 로봇이 물체를 집어들 때 환경을 감지하고 이해해야 하며, 발톱과 물체 사이의 공간적 관계와 접촉 역학을 추론하고, 자유도가 높은 팔을 정확하게 구동하고, 이를 적용해야 합니다. 물체를 파괴하지 않고 안정적으로 잡을 수 있는 적절한 힘.

이러한 낮은 수준의 기술을 배우는 퍼즐은 Moravec의 역설로 알려져 있습니다. 추론에는 계산이 거의 필요하지 않지만 감각 운동 및 지각 기술에는 막대한 계산 리소스가 필요합니다.

LLM의 성공에 영감을 받아 연구원들은 낮은 수준의 물리 기술 학습 문제를 확장 가능한 데이터 문제로 변환하기 위해 데이터 중심 접근 방식을 채택했습니다. LLM은 대규모 Transformer 모델의 일반화 가능성과 성능이 데이터 양에 따라 확장된다는 것을 보여줍니다. 증가함에 따라 증가합니다.

문서 링크: https://robotics-transformer.github.io/assets/rt1.pdf

연구원들은 RT-1(Robot Transformer-1) 모델을 제안하고 로봇 운영 전략을 훈련시켰습니다. 사용된 훈련 데이터는 Everyday Robots Robotics의 13개 로봇을 사용하여 130,000개의 에피소드로 구성된 대규모 실제 로봇 데이터 세트였습니다. 700개 이상의 작업이 있으며 로봇 공학에서도 동일한 추세를 보여줍니다. 즉, 데이터의 크기와 다양성이 증가하면 새로운 작업, 환경 및 객체에 대한 모델 일반화가 향상된다는 것입니다.

언어 모델 및 로봇 학습 방법(예: RT-1) 뒤에 있는 Transformer 모델은 인터넷 규모 데이터를 기반으로 훈련되지만 LLM과 달리 로봇 공학은 제한된 계산으로 변화하는 환경과 다중 모드 표현의 과제에 직면합니다.

2020년 Google은 Transformer의 컴퓨팅 효율성을 향상시켜 로봇 공학을 포함한 여러 애플리케이션 시나리오에 영향을 미칠 수 있는 방법인 Performers를 제안했습니다.

최근 연구자들은 이 방법을 확장하여 시뮬레이션 학습의 장점과 시스템 제약 조건(모델 사전 추정 제어 제약 조건)의 강력한 처리를 결합한 새로운 종류의 암시적 제어 전략을 도입했습니다.

논문 링크: https://performermpc.github.io/

표준 MPC 전략과 비교하여 실험 결과는 로봇이 인간 주변을 탐색할 때 목표 달성에 있어 40% 이상 향상된 것으로 나타났습니다. 지표가 65% 이상 향상되었습니다. Performance-MPC는 8.3M입니다. 매개변수 모델의 지연은 8밀리초에 불과하므로 로봇에 Transformer를 배포하는 것이 가능합니다.

Google 연구팀은 또한 모바일 조작, 내비게이션, 운동, 탁구 등 다양한 작업을 학습하기 위해 데이터 기반 방법이 다양한 환경의 다양한 로봇 플랫폼에 적용 가능한 경우가 많다는 점을 입증했습니다. 낮은 수준의 로봇 공학 기술을 학습하려면 확장 가능한 데이터 수집이라는 명확한 경로가 필요합니다.

인터넷의 풍부한 비디오 및 텍스트 데이터와 달리 로봇 공학 데이터는 극히 드물고 얻기 어렵습니다. 실제 상호 작용을 나타내는 풍부한 데이터 세트를 수집하고 효과적으로 사용하는 방법은 데이터 기반 접근 방식의 핵심입니다.

시뮬레이션은 빠르고 안전하며 병렬화하기 쉬운 옵션이지만 시뮬레이션에서 전체 환경, 특히 물리적 환경과 인간-컴퓨터 상호 작용 환경을 복제하는 것은 어렵습니다.

문서 링크: https://arxiv.org/abs/2207.06572

i-Sim2Real에서 연구원들은 간단한 인간 행동 모델에서 부트스트래핑하고 시뮬레이션 교육을 통해 방법을 시연합니다. 시뮬레이션과 현실 사이의 불일치, 인간 상대와 탁구를 치는 방법 학습, 인간 행동 모델 및 정책은 각 반복마다 개선됩니다.

시뮬레이션은 데이터 수집에 도움이 될 수 있지만 실제 세계에서 데이터를 수집하는 것은 시뮬레이션 전략을 미세 조정하거나 새로운 환경에서 기존 전략을 조정하는 데 중요합니다.

학습 과정에서 로봇은 쉽게 실패하고 잠재적으로 자신과 주변 환경에 피해를 줄 수 있습니다. 특히 세상과 상호 작용하는 방법을 탐구하는 초기 학습 단계에서는 로봇이 실패하지 않도록 훈련 데이터를 안전하게 수집해야 합니다. 기술만 학습하고, 실패 시 자율적으로 복구도 가능합니다.

논문 링크: https://arxiv.org/abs/2110.05457

연구원들은 "학습자 전략"과 "안전한 복구 전략" 사이를 전환하는 보안 RL 프레임워크를 제안했으며, 전자는 최적화된 수행을 위해 필요한 작업을 수행하면 후자는 로봇이 안전하지 않은 상태에 있는 것을 방지하여 로봇이 넘어진 후 스스로 일어서는 방법을 배우는 등의 실패로부터 복구할 수 있도록 재설정 전략을 훈련합니다.

로봇에 대한 데이터는 거의 없지만 인간이 다양한 작업을 수행하는 영상은 많습니다. 물론 로봇과 인간의 구조가 다르기 때문에 로봇이 인간에게서 배우게 하려는 아이디어는 '전이'를 촉발시켰습니다. 다양한 개체에 걸쳐 학습" 문제입니다.

논문 링크: https://arxiv.org/pdf/2106.03911.pdf

연구원들은 인간만큼 정확하게 작업을 복제하려고 하기보다는 인간을 관찰하여 새로운 작업을 학습하는 교차 구현 역 강화 학습을 개발했습니다. 오히려 높은 수준의 작업 목표를 학습하고 이 지식을 보상 함수의 형태로 요약하는 데모 학습을 통해 로봇은 인터넷에서 쉽게 볼 수 있는 비디오를 보면서 기술을 배울 수 있습니다.

또 다른 방향은 학습 알고리즘의 데이터 효율성을 향상시켜 더 이상 확장된 데이터 수집에만 의존하지 않도록 하는 것입니다. 예측 정보, 적대적 조치 사전 및 안내 전략을 포함한 사전 정보를 통합하여 RL 방법의 효율성이 향상됩니다.

문서 링크: https://arxiv.org/abs/2210.10865

새로운 구조의 동적 시스템 아키텍처를 사용하여 RL과 궤적 최적화를 결합하고 새로운 솔버 지원을 통해 추가 개선을 위해 사전에 정보는 탐색 문제를 완화하고 데이터를 더 효과적으로 정규화하며 필요한 데이터 양을 크게 줄이는 데 도움이 됩니다.

또한 로봇팀은 보다 효과적인 데이터 시뮬레이션 학습을 위해 많은 돈을 투자했습니다. 실험을 통해 간단한 모방 학습 방법인 BC-Z가 훈련에서 볼 수 없는 새로운 작업에 대해 제로 샷 일반화를 수행할 수 있음이 입증되었습니다.

논문 링크: https://arxiv.org/pdf/2210.02343.pdf

그리고 게임 학습과 대상 조건부 행동 복제를 결합한 반복 모방 학습 알고리즘인 GoalsEye도 소개했습니다. 속도 정밀 탁구 게임.

논문 링크: https://sites.google.com/view/goals-eye

이론적인 측면에서 연구원들은 시뮬레이션된 학습 샘플의 복잡성을 특징으로 하는 동적 시스템 안정성을 연구하고 데모 데이터를 캡처했습니다. 소규모 데이터 세트를 사용하여 오프라인 학습의 역할을 더 잘 규제하기 위한 실패 및 복구.

논문 링크: https://proceedings.mlr.press/v168/tu22a.html

Summary

인공지능 분야의 대규모 모델의 발전은 로봇 학습 역량의 비약을 촉진했습니다.

지난 1년 동안 우리는 LLM에서 포착한 상황별 감각과 이벤트 순서가 로봇 공학의 장기 계획을 다루고 로봇이 사람과 더 쉽게 상호 작용하고 작업을 완료하는 데 도움이 된다는 것을 확인했습니다. 또한 Transformer 모델 아키텍처를 로봇 학습에 적용하여 견고성을 학습하고 로봇 동작을 일반화하는 확장 가능한 경로를 확인할 수도 있습니다.

Google은 새해에도 유용한 로봇 개발을 계속하기 위해 계속해서 오픈 소스 데이터 세트를 제공할 것을 약속합니다.

위 내용은 구글 AI 연말 요약 6번: 보스턴 다이나믹스 없는 구글 로봇 개발은 어떤가요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!