심층 강화 학습 사전 훈련, 온라인 및 오프라인 연구에 대한 체계적인 검토로 충분합니다.

최근 몇 년 동안 강화 학습(RL)은 딥 러닝을 중심으로 빠르게 발전했습니다. 게임에서 로봇 공학에 이르기까지 다양한 분야에서 복잡한 대규모 RL 알고리즘 및 시스템 설계에 대한 사람들의 관심이 자극되었습니다. 그러나 기존 RL 연구에서는 일반적으로 에이전트가 새로운 작업에 직면할 때 처음부터 학습할 수 있으므로 사전에 획득한 사전 지식을 사용하여 의사 결정을 지원하기 어렵고 계산 오버헤드가 높습니다.

지도 학습 분야에서 사전 훈련 패러다임은 대규모 데이터 세트에 대한 사전 훈련을 통해 네트워크 모델이 다양한 다운스트림에 빠르게 적응할 수 있는 효과적인 방법임이 입증되었습니다. 작업. 유사한 아이디어가 RL에서도 시도되었으며, 특히 "일반주의" 에이전트에 대한 최근 연구[1, 2]는 사람들로 하여금 GPT-3[3]과 같은 것이 Universal 사전 훈련된 분야에서도 탄생할 수 있는지 궁금해하게 만듭니다. 모델.

그러나 RL 분야에서 사전 훈련을 적용하는 것은 업스트림 작업과 다운스트림 작업 간의 상당한 차이, 사전 훈련 데이터를 효율적으로 획득하고 활용하는 방법, 사전 지식을 효과적으로 전달하는 방법 등 많은 과제에 직면합니다. 등은 사전 훈련을 방해합니다. RL에서 훈련 패러다임의 성공적인 적용. 동시에, 이전 연구에서 고려한 실험 설정과 방법에는 큰 차이가 있어 연구자가 실제 시나리오에서 적절한 사전 훈련 모델을 설계하기가 어렵습니다.

RL 분야의 사전 훈련 개발과 가능한 향후 개발 방향을 정리하기 위해 Shanghai Jiao Tong University와 Tencent의 연구원이 리뷰를 작성하여 기존 RL 사전 훈련의 세분화 방법과 방법을 논의했습니다. - 해결해야 할 문제 .

문서 주소: https://arxiv.org/pdf/2211.03959.pdf

RL 사전 훈련 소개

강화 학습(RL)은 순차 결정을 위한 일반적인 수학적 형식을 제공합니다. -만들기. RL 알고리즘과 심층 신경망을 통해 에이전트는 데이터 기반 방식으로 학습하고 지정된 보상 기능을 최적화하여 다양한 분야의 다양한 애플리케이션에서 인간 성능을 뛰어넘는 성능을 달성했습니다. 그러나 RL이 특정 작업을 해결하는 데 효과적인 것으로 입증되었지만 샘플 효율성과 일반화 능력은 여전히 ​​현실 세계에서 RL 적용을 방해하는 두 가지 주요 장애물입니다. RL 연구에서 표준 패러다임은 에이전트가 자신 또는 다른 사람이 수집한 경험으로부터 학습하여 단일 작업에 대한 무작위 초기화를 통해 신경망을 최적화하는 것입니다. 대조적으로, 인간의 경우 세상에 대한 사전 지식은 의사 결정 과정에 큰 도움이 됩니다. 작업이 이전에 본 작업과 관련된 경우 인간은 처음부터 배우지 않고 이미 학습한 지식을 재사용하여 새로운 작업에 빠르게 적응하는 경향이 있습니다. 따라서 인간에 비해 RL 에이전트는 데이터 효율성이 낮고 과적합되기 쉽습니다.

그러나 최근 다른 머신러닝 분야의 발전은 대규모 사전 훈련을 통해 구축된 사전 지식 활용을 적극적으로 옹호하고 있습니다. 광범위한 데이터를 대규모로 학습함으로써 대규모 기초 모델을 다양한 다운스트림 작업에 신속하게 적용할 수 있습니다. 이 사전 훈련-미세 조정 패러다임은 컴퓨터 비전 및 자연어 처리와 같은 분야에서 효과적인 것으로 입증되었습니다. 그러나 사전 훈련은 RL 분야에 큰 영향을 미치지 않았습니다. 이 접근 방식은 유망하지만 대규모 RL 사전 훈련을 위한 원칙을 설계하는 데에는 많은 어려움이 있습니다. 1) 도메인 및 작업의 다양성 2) 제한된 데이터 소스 3) 다운스트림 작업 해결의 어려움에 대한 신속한 적응. 이러한 요소는 RL의 고유한 특성에서 발생하며 연구자의 특별한 고려가 필요합니다.

사전 훈련은 RL에 큰 잠재력을 갖고 있으며, 이 연구는 이 방향에 관심이 있는 사람들에게 출발점이 될 수 있습니다. 이 기사에서 연구자들은 심층 강화 학습에 대한 기존 사전 훈련 작업을 체계적으로 검토하려고 시도합니다.

최근 몇 년 동안 심층 강화 학습 사전 훈련은 몇 가지 획기적인 발전을 경험했습니다. 첫째, 알파고에서는 지도학습을 통해 전문가가 취하는 행동을 예측하는 전문가 시연 기반의 사전훈련(pre-training)이 활용됐다. 덜 감독된 대규모 사전 훈련을 추구하면서 감독되지 않은 RL 분야가 빠르게 성장하여 에이전트가 보상 신호 없이 환경과의 상호 작용을 통해 학습할 수 있습니다. 또한 오프라인 강화 학습(오프라인 RL)의 급속한 발전으로 인해 연구자들은 사전 훈련을 위해 레이블이 지정되지 않은 차선의 오프라인 데이터를 사용하는 방법을 더 고려하게 되었습니다. 마지막으로 다중 작업 및 다중 모드 데이터를 기반으로 하는 오프라인 훈련 방법은 일반적인 사전 훈련 패러다임의 길을 열어줍니다.

온라인 사전 훈련

이전 RL 성공은 치밀하고 잘 설계된 보상 기능을 통해 달성되었습니다. 많은 분야에서 큰 발전을 이룬 전통적인 RL 패러다임은 대규모 사전 훈련으로 확장할 때 두 가지 주요 과제에 직면합니다. 첫째, RL 에이전트는 쉽게 과적합되며 복잡한 작업 보상으로 사전 훈련된 에이전트가 이전에 본 적이 없는 작업에서 좋은 성능을 달성하기 어렵습니다. 또한, 보상 기능을 설계하는 것은 일반적으로 매우 비용이 많이 들고 많은 전문 지식이 필요하므로 실제로는 의심할 여지 없이 큰 과제입니다.

보상 신호가 없는 온라인 사전 훈련은 사람의 개입 없이 보편적인 사전 지식과 지도 신호를 학습할 수 있는 솔루션이 될 수 있습니다. 온라인 사전 교육은 사람의 감독 없이 환경과의 상호 작용을 통해 사전 지식을 습득하는 것을 목표로 합니다. 사전 훈련 단계에서 에이전트는 오랫동안 환경과 상호 작용할 수 있지만 외부 보상을 받을 수는 없습니다. 비지도 학습(Unsupervised RL)이라고도 알려진 이 솔루션은 최근 몇 년 동안 연구원들에 의해 활발히 연구되었습니다.

에이전트가 감독 신호 없이 환경에서 사전 지식을 얻도록 동기를 부여하기 위한 성숙한 방법은 에이전트가 다양한 경험을 수집하거나 이전 가능한 기술을 마스터하도록 장려하고 그에 따라 보상을 설계하도록 에이전트에 대한 내재적 보상을 설계하는 것입니다. 이전 연구에서는 에이전트가 본질적인 보상과 표준 RL 알고리즘을 갖춘 온라인 사전 훈련을 통해 다운스트림 작업에 빠르게 적응할 수 있는 것으로 나타났습니다.

오프라인 사전 훈련

온라인 사전 훈련은 사람의 감독 없이 좋은 사전 훈련 결과를 얻을 수 있지만 여전히 대규모 적용에는 제한됩니다. 결국, 온라인 상호 작용은 크고 다양한 데이터 세트를 교육해야 하는 필요성과 다소 상호 배타적입니다. 이 문제를 해결하기 위해 사람들은 종종 데이터 수집과 사전 훈련 링크를 분리하고 사전 훈련을 위해 다른 에이전트나 인간으로부터 수집한 과거 데이터를 직접 사용하기를 희망합니다.

가능한 솔루션은 오프라인 강화 학습입니다. 오프라인 강화학습의 목적은 오프라인 데이터로부터 보상을 극대화하는 RL 정책을 얻는 것입니다. 근본적인 과제는 분포 이동 문제, 즉 훈련 데이터와 테스트 중에 표시된 데이터 간의 분포 차이입니다. 기존 오프라인 강화 학습 방법은 함수 근사를 사용할 때 이 문제를 해결하는 방법에 중점을 둡니다. 예를 들어, 정책 제약 방법은 데이터 세트에 표시되지 않는 조치를 취하지 않도록 학습된 정책을 명시적으로 요구하며, 값 정규화 방법은 값 함수를 일부 하한 형태에 맞춰 값 함수의 과대평가 문제를 완화합니다. 그러나 오프라인으로 훈련된 전략이 오프라인 데이터세트에서 볼 수 없는 새로운 환경으로 일반화될 수 있는지 여부는 아직 연구가 부족합니다.

아마도 RL 정책 학습을 피하고 대신 오프라인 데이터를 사용하여 다운스트림 작업의 수렴 속도나 최종 성능에 도움이 되는 사전 지식을 학습할 수 있습니다. 더 흥미롭게도 모델이 사람의 감독 없이 오프라인 데이터를 활용할 수 있다면 엄청난 양의 데이터를 활용할 수 있는 잠재력이 있습니다. 본 논문에서 연구자들은 이 설정을 오프라인 사전 훈련이라고 부르며 에이전트는 오프라인 데이터에서 중요한 정보(예: 좋은 표현 및 행동 사전 예측)를 추출할 수 있습니다.

일반 에이전트를 향하여

단일 환경 및 단일 양식에서의 사전 훈련 방법은 주로 위에서 언급한 온라인 사전 훈련과 오프라인 사전 훈련 설정에 중점을 두고 있으며 최근에는 현장에서도 단일 일반 의사 결정 모델(예: Gato [1] 및 다중 게임 DT [2])을 구축하여 동일한 모델이 다양한 환경에서 다양한 양식의 작업을 처리할 수 있도록 하는 것에 대한 연구자들 사이에서 관심이 급증했습니다. 에이전트가 다양한 개방형 작업에서 학습하고 이에 적응할 수 있도록 하기 위해 연구에서는 시각적 인식 및 언어 이해와 같은 다양한 형태의 사전 지식을 대량 활용하기를 희망합니다. 더 중요한 것은 연구자들이 다른 분야의 RL과 머신러닝 간의 가교를 성공적으로 구축하고 이전의 성공적인 경험을 결합할 수 있다면 다양한 작업을 완료할 수 있는 일반 에이전트 모델을 구축할 수 있을 수도 있다는 것입니다.

위 내용은 심층 강화 학습 사전 훈련, 온라인 및 오프라인 연구에 대한 체계적인 검토로 충분합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!