Tsinghua의 최신 '지속 학습' 검토, 연속 학습 이론, 방법 및 응용에 대한 검토를 자세히 설명하는 32페이지

일반적으로 지속적인 학습은 치명적인 망각으로 인해 분명히 제한되며, 새로운 작업을 학습하면 이전 작업의 성과가 급격히 떨어지는 경우가 많습니다.

이 외에도 최근에는 지속적인 학습에 대한 이해와 적용이 크게 확장되는 발전이 늘어나고 있습니다.

​이 방향에 대한 관심이 커지고 널리 퍼지면서 그 실질적인 중요성과 복잡성이 입증되었습니다.

문서 주소: ​​//m.sbmmt.com/link/82039d16dce0aab3913b6a7ac73deff7​​

이 글에서는 다음에 대한 포괄적인 소개를 제공합니다. 지속적인 학습 설문조사는 기본 설정, 이론적 토대, 대표적인 방법 및 실제 적용 사이의 연결을 설정하려고 시도합니다.

기존 이론 및 경험적 결과를 바탕으로 지속적인 학습의 일반적인 목표는 다음과 같이 요약됩니다. 자원 효율성의 맥락에서 적절한 안정성-가소성 절충 및 충분한 작업 내/작업 간 일반화 기능을 보장합니다.

대표적인 전략이 지속적인 학습을 다루는 방법과 다양한 응용 분야의 특정 과제에 적응하는 방법을 광범위하게 분석하는 최첨단의 상세한 분류법을 제공합니다.

​지속 학습, 교차 방향 전망 및 신경 과학과의 학제간 연결의 현재 동향에 대한 심층적인 토론을 통해 이러한 전체적인 관점이 이 분야 및 기타 분야의 후속 탐구를 크게 촉진할 수 있다고 믿습니다.

소개

학습은 지능형 시스템이 환경에 적응하는 기초입니다. 외부 세계의 변화에 ​​대처하기 위해 진화는 인간과 다른 유기체를 높은 적응력으로 만들고 지속적으로 지식을 획득, 업데이트, 축적 및 활용할 수 있게 만들었습니다[148], [227], [322]. 당연히 우리는 인공지능(AI) 시스템도 비슷한 방식으로 적응할 것으로 기대합니다. 이는 연속 학습에 대한 연구에 영감을 주었습니다. 여기서 일반적인 설정은 일련의 내용을 하나씩 학습하고 동시에 관찰된 것처럼 행동하는 것입니다(그림 1, a). 이는 새로운 기술, 기존 기술의 새로운 예, 다양한 환경, 다양한 맥락 등일 수 있으며 구체적인 실제 과제를 포함합니다[322], [413]. 평생에 걸쳐 콘텐츠가 점진적으로 제공되기 때문에 많은 문헌에서는 지속적인 학습을 증분학습 또는 평생학습이라고도 부르지만 엄밀한 구분은 없다[70], [227].

정적 데이터 분포를 기반으로 하는 기존 기계 학습 모델과 달리 지속적인 학습은 동적 데이터 분포를 통해 학습하는 것이 특징입니다. 주요 과제는 치명적인 망각[291], [292]으로 알려져 있는데, 여기서 새로운 분포에 적응하면 종종 이전 분포를 캡처하는 능력이 크게 감소합니다. 이 딜레마는 학습 가소성과 기억 안정성 사이의 균형의 한 측면입니다. 전자가 너무 많으면 후자를 방해하고 그 반대도 마찬가지입니다. 단순히 이 두 가지 측면의 "비율"의 균형을 맞추는 것 이상으로 지속적인 학습을 위한 이상적인 솔루션은 작업 내 및 작업 간의 분포 차이에 적응할 수 있는 강력한 일반화 기능을 달성해야 합니다(그림 1, b). 순진한 기준으로 모든 이전 훈련 샘플(허용되는 경우)을 재교육하면 위의 문제를 쉽게 해결할 수 있지만 엄청난 계산 및 저장 오버헤드(및 잠재적인 개인 정보 보호 문제)가 발생합니다. 실제로 지속적인 학습의 주요 목적은 모델 업데이트의 리소스 효율성을 보장하는 것입니다. 바람직하게는 새로운 훈련 샘플만 학습하는 것에 가깝습니다.

위 문제를 해결하기 위해 많은 노력이 기울여졌으며 개념적으로 5개 그룹으로 나눌 수 있습니다(그림 1, c). 기존 모델을 참조하여 정규화 용어 추가(정규화 기반 방법) 이전 데이터 배포(재생 방법 기반), 최적화 프로그램을 명시적으로 작동(최적화 기반 방법), 강력하고 일반화되는 표현 학습(표현 기반 방법) 및 적절하게 설계된 아키텍처를 사용하여 작업 적응 매개변수 구축 기반 방법). 이 분류법은 일반적으로 사용되는 분류법의 최근 발전을 확장하고 각 범주에 대한 세련된 하위 방향을 제공합니다. 이러한 방법이 제안된 일반적인 목표를 달성하는 방법을 요약하고 이론적 기초와 일반적인 구현에 대한 광범위한 분석을 제공합니다. 특히 이들 방법은 정규화와 재생 등 서로 밀접하게 연관되어 있어 궁극적으로 최적화에서 기울기 방향을 수정하며, 예를 들어 기존 모델에서 지식을 추출하여 재생 효과를 향상시킬 수 있는 등 시너지 효과가 높습니다.

실제 응용 프로그램은 장면 복잡성과 작업 특이성으로 나눌 수 있는 지속적인 학습에 특별한 과제를 제기합니다. 예를 들어, 전자의 경우 학습 및 테스트에서 oracle 작업(즉, 수행할 작업)이 누락될 수 있으며, 학습 샘플은 소규모 배치로 또는 한 번에 도입될 수 있습니다. 데이터 라벨링의 비용과 희소성으로 인해 연속 학습은 퓨샷, 준지도 또는 비지도 시나리오에서도 효과적이어야 합니다. 후자의 경우 현재 진행 상황은 주로 시각적 분류에 중점을 두고 있지만 객체 감지, 의미론적 분할, 이미지 생성과 같은 다른 시각적 분야뿐만 아니라 강화 학습(RL), 자연어 처리(NLP) 및 윤리와 같은 기타 관련 분야도 있습니다. 고려 사항)은 점점 더 많은 관심을 받고 있으며 기회이자 과제이기도 합니다.

지속적인 학습에 대한 관심이 크게 증가하고 있는 것을 고려하면, 우리는 이 최신의 포괄적인 설문조사가 후속 작업에 대한 전체적인 관점을 제공할 수 있다고 믿습니다. 비교적 광범위한 범위의 지속적인 학습에 대한 일부 초기 조사가 있지만[70], [322], 최근 몇 년간의 중요한 진전은 포함되지 않았습니다. 대조적으로, 최근 조사에서는 일반적으로 생물학적 기초[148], [156], [186], [227] 및 시각적 분류를 위한 특수 설정[85], [283], [ 289], [346] 및 NLP [37], [206] 또는 RL [214]의 확장. 우리가 아는 한, 이것은 지속적인 학습의 최근 발전을 체계적으로 요약한 최초의 설문조사입니다. 이러한 강점을 바탕으로 현재 동향, 교차 방향 전망(예: 확산 모델, 대규모 사전 훈련, 시각적 변환기, 구체화된 AI, 신경 압축 등)에 대한 지속적인 학습에 대한 심층적인 토론을 제공합니다. 신경과학과 학제간 연결.

주요 기여 사항은 다음과 같습니다.

(1) 이론, 방법 및 응용 분야의 발전을 연결하는 지속적인 학습에 대한 최신의 포괄적인 검토

(2) 기반 현재 일부 이론적, 실증적 결과는 지속적인 학습의 일반적인 목표를 요약하고 대표 전략을 세부적으로 분류합니다;

(3) 실제 응용의 특별한 과제를 장면 복잡성과 작업으로 나누어 그 특수성과 광범위하게 분석했습니다. 지속적인 학습 전략이 이러한 과제에 어떻게 적응하는지;

(4) 관련 분야의 후속 작업에 참고 자료를 제공할 목적으로 현재 연구 동향 및 개발 방향에 대한 심층 토론.

이 문서는 다음과 같이 구성됩니다. 섹션 2에서는 기본 공식, 일반적인 시나리오 및 평가 지표를 포함하여 지속적인 학습의 설정을 소개합니다. 섹션 3에서는 일반적인 목표와 함께 지속적인 학습에 대한 몇 가지 이론적 노력을 요약합니다. 섹션 4에서는 대표적인 전략에 대한 최신의 상세한 분류를 제공하고 그 동기와 일반적인 구현을 분석합니다. 섹션 5와 6에서는 이러한 전략이 장면 복잡성과 작업 특이성의 실제 문제에 어떻게 적응하는지 설명합니다. 섹션 7에서는 신경과학의 현재 동향, 교차 방향 및 학제간 연결에 대한 전망을 논의합니다.

이 섹션에서는 대표적인 연속 학습 방법(그림 3 및 그림 1, c 참조)을 자세히 분류하고 주요 동기, 일반적인 구현 및 경험적 특성을 광범위하게 분석합니다.

정규화 기반 방법

이 방향은 이전 작업과 새 작업의 균형을 맞추기 위해 명시적인 정규화 용어를 추가하는 것이 특징이며, 종종 참조용으로 이전 모델의 고정 복사본을 저장해야 합니다(그림 4 참조). 정규화의 목적에 따라 이러한 방법은 두 가지 범주로 나눌 수 있습니다.

Replay 기반 방법

오래된 데이터 분포를 근사화하고 복원하는 방법이 이 방향으로 그룹화됩니다(그림 5 참조). 재생 내용에 따라 이러한 방법은 각각 고유한 문제가 있는 세 가지 하위 방향으로 더 나눌 수 있습니다.

최적화 기반 접근 방식

지속적인 학습은 손실 함수에 추가 항(예: 정규화 및 재생)을 추가하는 것뿐만 아니라 명시적으로 설계 및 운영 최적화 절차가 구현됩니다.

Representation-based method

지속적으로 학습하는 표현의 장점을 활용하고 활용하는 방법이 이 범주에 속합니다. 메타 훈련을 통해 희소 표현을 얻는 초기 작업[185] 외에도 최근 작업에서는 자기 지도 학습(SSL)[125], [281], [335] 및 대규모 사전 훈련[295]을 결합하려고 시도했습니다. ], [380], [456] 초기화 및 진행 중인 학습의 표현을 개선합니다. 사전 훈련 데이터는 종종 거대하고 명시적으로 라벨이 지정되지 않는 반면, SSL 자체의 성능은 주로 미세 조정(일련의) 다운스트림 작업을 통해 평가되기 때문에 이 두 가지 전략은 밀접하게 관련되어 있습니다. 아래에서는 대표적인 하위 방향에 대해 논의합니다.

아키텍처 기반 접근 방식

위 전략은 주로 공유 매개변수 세트(즉, 단일 모델 및 매개변수 공간)를 사용하여 모든 증분 작업을 학습하는 데 중점을 둡니다. 주요 작업 간섭의 주요 원인. 대신 작업별 매개변수를 구성하면 이 문제를 명시적으로 해결할 수 있습니다. 이전 연구에서는 일반적으로 이 방향을 네트워크 아키텍처의 고정 여부에 따라 매개변수 격리와 동적 아키텍처로 나눕니다. 이 문서에서는 위의 개념을 매개변수 할당, 모델 분해 및 모듈식 네트워크로 확장하여 작업별 매개변수를 구현하는 방법에 중점을 둡니다(그림 8).

위 내용은 Tsinghua의 최신 '지속 학습' 검토, 연속 학습 이론, 방법 및 응용에 대한 검토를 자세히 설명하는 32페이지의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!