현대 대규모 언어 모델의 디자인, 제약 조건 및 진화를 이해하려면 이 기사의 읽기 목록을 따라가세요.
대규모 언어 모델이 대중의 관심을 끌었으며 불과 5년 만에 Transforme과 같은 모델이 자연어 처리 분야를 거의 완전히 변화시켰습니다. 또한 그들은 컴퓨터 비전 및 컴퓨터 생물학과 같은 분야에 혁명을 일으키기 시작했습니다.
Transformers가 모든 사람의 연구 과정에 큰 영향을 미친다는 점을 고려하여 이 기사에서는 기계 학습 연구자 및 실무자가 시작하는 데 도움이 되는 짧은 읽기 목록을 소개합니다.
다음 목록은 주로 일부 학술 연구 논문을 중심으로 연대순으로 확장되었습니다. 물론 그 밖에도 유용한 리소스가 많이 있습니다. 예:
Transformers 및 대규모 언어 모델을 처음 사용하는 경우 이 기사가 가장 적합합니다.
논문 1: "정렬 및 번역을 공동 학습하여 신경 기계 번역"
논문 주소: https://arxiv.org/pdf/1409.0473.pdf
이 기사에서는 순환 신경 네트워크(RNN) 주의 메커니즘은 모델의 장거리 시퀀스 모델링 기능을 향상시킵니다. 이를 통해 RNN은 더 긴 문장을 더 정확하게 번역할 수 있습니다. 이는 원래 Transformer 아키텍처 개발의 동기입니다.
이미지 출처: https://arxiv.org/abs/1409.0473
문서 2: "Attention is All You Need"
문서 주소: https://arxiv.org /abs/1706.03762
이 기사에서는 인코더와 디코더로 구성된 원래의 Transformer 아키텍처를 소개합니다. 이러한 부분은 향후 별도의 모듈로 소개될 예정입니다. 또한 이 기사에서는 여전히 현대 Transformers의 기초가 되는 스케일링 내적 주의 메커니즘, 다중 헤드 주의 블록 및 위치 입력 인코딩과 같은 개념을 소개합니다.
이미지 출처: https://arxiv.org/abs/1706.03762
논문 3: "BERT: 언어 이해를 위한 심층 양방향 변환기 사전 훈련"
논문 주소 : https://arxiv.org/abs/1810.04805
대규모 언어 모델 연구는 초기 Transformer 아키텍처를 따랐으며 이후 두 가지 방향으로 확장되기 시작했습니다. 예측 모델링 작업(예: 텍스트 분류)을 위한 Transformer와 생성을 위한 Transformer 번역, 요약 및 기타 형태의 텍스트 생성과 같은 모듈식 작업을 위한 Transformer입니다.
BERT 논문은 마스크된 언어 모델링의 원래 개념을 소개합니다. 이 연구 분야에 관심이 있다면 사전 학습 목표를 단순화하는 RoBERTa를 따라갈 수 있습니다.
이미지 출처: https://arxiv.org/abs/1810.04805
논문 4: "생성 사전 훈련을 통한 언어 이해 향상"
논문 주소: https:// www.semanticscholar.org/paper/Improving-Language-Understanding-by-Generative-Radford-Narasimhan/cd18800a0fe0b668a1cc19f2ec95b5003d0a5035
원본 GPT 논문에서는 인기 있는 디코더 스타일 아키텍처와 다음 단어 예측을 통한 사전 훈련을 소개했습니다. BERT는 마스크된 언어 모델 사전 학습 목표로 인해 양방향 변환기로 간주될 수 있는 반면, GPT는 단방향 자동 회귀 모델입니다. GPT 임베딩을 분류에 사용할 수도 있지만 GPT 방법은 ChatGPT와 같은 오늘날 가장 영향력 있는 LLM의 핵심입니다.
이 연구 분야에 관심이 있다면 GPT-2 및 GPT-3 논문에 대한 후속 조치를 취할 수 있습니다. 또한, 이 글에서는 InstructGPT 방법을 나중에 별도로 소개하겠습니다.
문서 5: "BART: 자연어 생성, 번역 및 이해를 위한 시퀀스-시퀀스 사전 훈련"
논문 주소 https://arxiv.org/abs/1910.13461.
위에서 언급했듯이 일반적으로 예측 모델링 작업에는 BERT 유형 인코더 스타일 LLM이 선호되는 반면, 텍스트 생성에는 GPT 유형 디코더 스타일 LLM이 더 좋습니다. 두 가지 장점을 모두 활용하기 위해 위의 BART 문서는 인코더와 디코더 부분을 결합합니다.
트랜스포머의 효율을 높이는 기술에 대해 더 알고 싶다면 다음 논문을 참고하세요
또한 "컴퓨팅 최적화 교육"이라는 논문도 있습니다. Large Language Models"
논문 주소: https://arxiv.org/abs/2203.15556
이 문서에서는 생성 모델링 작업에서 인기 있는 1,750억 매개변수 GPT-3 모델보다 뛰어난 700억 매개변수 Chinchilla 모델을 소개합니다. 그러나 가장 중요한 점은 현대의 대규모 언어 모델이 심각하게 훈련이 부족하다는 것입니다.
이 문서에서는 대규모 언어 모델 훈련을 위한 선형 확장 법칙을 정의합니다. 예를 들어 Chinchilla는 크기가 GPT-3의 절반이지만 1조 4천억 개(3천억 개가 아닌) 토큰으로 훈련되었기 때문에 GPT-3보다 성능이 뛰어납니다. 즉, 훈련 토큰의 개수는 모델 크기만큼 중요합니다.
정렬 - 원하는 목표와 관심 사항을 향해 대규모 언어 모델 조정
최근에는 실제 텍스트를 생성할 수 있는 상대적으로 강력한 대규모 언어 모델이 많이 등장했습니다(GPT-3 및 Chinchilla 등). 일반적으로 사용되는 사전 훈련 패러다임으로는 상한선에 도달한 것으로 보입니다.
언어 모델을 인간에게 더 유용하게 만들고 잘못된 정보와 나쁜 언어를 줄이기 위해 연구자들은 다음 논문을 포함하여 사전 훈련된 기본 모델을 미세 조정하기 위한 추가 훈련 패러다임을 설계했습니다.
이 소위 InstructGPT 논문에서 연구자들은 RLHF(Reinforcement Learning)를 사용했습니다. 인간 피드백에서). 그들은 사전 훈련된 GPT-3 기본 모델로 시작하여 지도 학습(1단계)을 사용하여 인간이 생성한 큐-응답 쌍에서 이를 더욱 미세 조정했습니다. 다음으로 보상 모델을 훈련하기 위해 모델 출력의 순위를 매기도록 인간에게 요청했습니다(2단계). 마지막으로 보상 모델을 사용하여 근위 정책 최적화를 통한 강화 학습을 사용하여 사전 훈련되고 미세 조정된 GPT-3 모델을 업데이트합니다(3단계).
그런데 이 논문은 ChatGPT의 아이디어를 설명하는 논문으로도 알려져 있습니다. 최근 소문에 따르면 ChatGPT는 더 큰 데이터 세트에서 미세 조정된 InstructGPT의 확장 버전입니다.
이 논문에서 연구자들은 정렬 아이디어를 더욱 발전시키고 A 훈련을 제안합니다. "무해한" AI 시스템을 만드는 메커니즘. 연구자들은 인간의 직접적인 감독이 아닌 (인간이 제공한) 규칙 목록을 기반으로 한 자가 훈련 메커니즘을 제안했습니다. 위에서 언급한 InstructGPT 논문과 유사하게 제안하는 방법은 강화학습 방법을 사용합니다.
이 글은 위의 테이블 배열을 최대한 단순하고 아름답게 유지하려고 노력합니다. 현대 대규모의 디자인, 한계 및 진화를 이해하려면 처음 10개의 논문에 집중하는 것이 좋습니다. 언어 모델.
더 깊게 읽고 싶다면 위 논문의 참고문헌을 참고하는 것이 좋습니다. 또는 독자가 추가로 조사할 수 있는 추가 리소스는 다음과 같습니다.
GPT에 대한 오픈 소스 대안
대안 to ChatGPT
전산 생물학의 대규모 언어 모델
위 내용은 대규모 언어 모델에 대한 포괄적인 이해를 위한 읽기 목록은 다음과 같습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
