2020년 5월 출시 이후 약 2년 반 동안 GPT-3는 마법의 텍스트 생성 기능의 축복을 받아 인간이 글을 잘 쓸 수 있도록 도울 수 있었습니다.
하지만 최종적으로 분석해 보면 GPT-3는 텍스트 생성 모델로 인간의 글쓰기 과정과는 전혀 다르다고 할 수 있습니다.
예를 들어 논문이나 작문을 작성하려면 먼저 마음 속에 틀을 구성하고 관련 정보를 확인하고 초안을 작성한 다음 이 기간 동안 텍스트를 지속적으로 수정하고 다듬을 교사를 찾아야 합니다. , 우리는 아이디어를 수정할 수도 있고 마침내 A 좋은 기사가 될 수 있습니다.
생성 모델로 얻은 텍스트는 문법 요구 사항만 충족할 수 있지만 내용 배열에 논리가 없고 자체 수정 기능이 없기 때문에 AI가 독립적으로 작성하기에는 아직 멀었습니다.
최근 Meta AI Research와 Carnegie Mellon University의 연구원들은 초안 작성부터 제안 요청부터 텍스트 편집까지 인간의 글쓰기 과정을 완벽하게 시뮬레이션하는 새로운 텍스트 생성 모델 PEER(Plan, Edit, explain, Repeat)를 제안했습니다. 거기에서 반복합니다.
논문 주소: https://arxiv.org/abs/2208.11663
PEER는 기존 언어 모델이 최종 결과만 생성하고 생성된 텍스트를 자연어 명령을 입력하여 제어할 수 없는 문제를 해결합니다. PEER 수정은 생성된 텍스트에 적용될 수 있습니다.
가장 중요한 것은 연구자들이 쓰기 과정에서 여러 링크를 채울 수 있는 PEER의 여러 인스턴스를 훈련했다는 것입니다. 이를 통해 자체 훈련 기술을 사용하여 훈련 데이터의 품질, 수량 및 품질을 향상시킬 수 있습니다. 다양성.
훈련 데이터를 생성하는 능력은 PEER의 잠재력이 에세이 작성을 훨씬 뛰어넘는다는 것을 의미합니다. PEER는 기록을 편집하지 않고도 다른 분야에서도 사용할 수 있으므로 지침을 따르고 유용한 의견을 작성하고 설명하는 능력을 점차적으로 향상시킬 수 있습니다. 행위.
자연어로 사전 학습한 후 대규모 신경망의 텍스트 생성 효과는 이미 매우 강력하지만 이러한 모델의 생성 방식은 기본적으로 결과 텍스트를 왼쪽에서 오른쪽으로 한 번에 출력하는 것입니다. , 이는 인간과 다릅니다. 글쓰기의 반복적인 과정은 매우 다릅니다.
일회성 생성에도 단점이 많습니다. 예를 들어 수정이나 개선을 위해 텍스트의 문장을 추적하는 것이 불가능하고, 텍스트의 특정 문장이 생성된 이유를 설명할 수도 없습니다. 생성된 텍스트의 정확성, 환각(환각)이 결과에 생성되는 경우가 많습니다. ) 내용, 즉 사실과 일치하지 않는 텍스트입니다. 이러한 결함은 또한 일관되고 사실에 기반한 텍스트를 요구하는 인간과 협력하여 작성하는 모델의 능력을 제한합니다.
PEER 모델은 텍스트의 "편집 내역"에 대해 훈련되어 모델이 인간의 글쓰기 과정을 시뮬레이션할 수 있습니다.
1. PEER 모델이 실행 중일 때 사용자 또는 모델은 계획(Plan)을 지정하고 일부 정보를 추가하거나 문법 오류를 수정하는 등 수행하려는 작업(action)을 자연어로 설명해야 합니다. ;
2 그런 다음 텍스트를 편집하여 이 작업을 구현합니다.
3. 모델은 자연어를 사용하고 텍스트 끝에 참조를 추가하는 등 관련 리소스를 가리킬 수 있습니다. 4. 생성된 텍스트에 더 이상 업데이트가 필요하지 않을 때까지 이 프로세스를 반복합니다.
이 반복적 접근 방식을 통해 모델은 일관되고 일관되며 사실에 근거한 텍스트를 작성하는 복잡한 작업을 보다 쉬운 여러 하위 작업으로 나눌 수 있을 뿐만 아니라 생성 프로세스의 어느 시점에서든 인간이 개입할 수 있게 되어 모델을 올바른 방향으로 안내할 수 있습니다. 방향을 정하고 사용자에게 계획과 의견을 제공하거나 직접 편집을 시작하세요.
함수 구현에서 가장 어려운 점은 Transformer를 사용하여 모델을 구축하는 것이 아니라 훈련 데이터를 찾는 것임을 메소드 설명에서 알 수 있습니다. 대규모 언어 모델을 학습하는 데 필요한 규모는 대부분의 웹사이트가 편집 기록을 제공하지 않기 때문에 데이터가 매우 어렵습니다. 따라서 크롤러를 통해 얻은 웹 페이지는 학습 데이터로 사용할 수 없습니다.
편집 기록으로 인해 동일한 웹 페이지를 다른 시간에 크롤링하는 것조차 편집을 계획하거나 설명하는 관련 텍스트가 없기 때문에 불가능합니다.
PEER는 Wikipedia를 주요 편집자 및 관련 댓글의 데이터 소스로 사용하는 이전 반복 편집 방법과 유사합니다. 왜냐하면 Wikipedia는 다양한 주제에 대한 댓글을 포함한 완전한 편집 기록을 제공하고 대규모이며 종종 기사에 포함되기 때문입니다. 인용, 관련 문서를 찾는 데 도움이 됩니다.
그러나 훈련 데이터의 유일한 소스로 Wikipedia에만 의존하는 것에는 여러 가지 단점이 있습니다.
1. Wikipedia만을 사용하여 훈련된 모델은 예상되는 텍스트 콘텐츠 모양과 예상 계획 및 편집 측면에서 Wikipedia와 유사해야 합니다. 2. Wikipedia의 댓글은 시끄럽기 때문에 많은 경우 계획이나 설명에 적합한 입력이 아닙니다.
3. Wikipedia의 많은 구절에는 인용이 포함되어 있지 않지만 이러한 배경 정보는 검색 시스템을 사용하여 해결할 수 있습니다. , 그러나 그러한 시스템조차도 많은 편집자들을 위한 지원 배경 정보를 찾지 못할 수도 있습니다.
연구원들은 댓글 편집 기록의 유일한 소스인 Wikipedia로 인해 발생하는 모든 문제를 해결할 수 있는 간단한 방법을 제안했습니다. 즉, 여러 PEER 인스턴스를 훈련하고 이러한 인스턴스를 사용하여 편집 프로세스의 다양한 측면을 채우는 방법을 배우는 것입니다. 이러한 모델은 훈련 코퍼스의 누락된 부분을 대체하기 위해 합성 데이터를 생성하는 데 사용될 수 있습니다.
4개의 인코더-디코더 모델이 최종적으로 훈련되었습니다.
1. PEER-Edit의 입력은 텍스트 x와 문서 세트이고, 모델 출력은 계획 및 편집된 텍스트입니다. 여기서 p는 계획된 텍스트입니다. .
2. PEER-Undo의 입력은 편집된 텍스트와 문서 세트이고, 모델 출력은 편집 취소 여부입니다.
3. PEER-Explain은 편집 내용에 대한 설명을 생성하는 데 사용됩니다. 입력은 소스 텍스트, 편집된 텍스트 및 관련 문서 세트입니다.
4. PEER-Document는 원본 텍스트, 편집된 텍스트 및 계획을 입력하며 모델 출력은 이 편집에서 가장 유용한 배경 정보입니다.
PEER의 모든 변형 모델은 누락된 부분을 보완하고 기존 데이터의 "낮은 품질" 부분을 대체하기 위한 훈련 데이터를 생성하는 합성 데이터를 생성하는 데 사용됩니다.
임의의 텍스트 데이터를 훈련할 수 있도록 텍스트에 편집 기록이 없더라도 PEER-Undo를 사용하여 합성 "역방향" 편집을 생성합니다. 즉, PEER-Undo는 원본 텍스트에 반복적으로 적용됩니다. 텍스트가 비어 있으면 PEER-Edit이라고 불리며 반대 방향으로 이동합니다.
계획을 생성할 때 PEER-Explain을 사용하여 코퍼스의 품질이 낮은 많은 댓글을 수정하거나 댓글 없이 텍스트를 처리할 수 있습니다. PEER-Explain의 출력에서 여러 결과를 "잠재적 계획"으로 무작위로 샘플링하고 실제 편집 가능성을 계산한 후 확률이 가장 높은 것을 새 계획으로 선택합니다.
특정 편집 작업에 관련 문서를 찾을 수 없는 경우 PEER-Document를 사용하여 편집 작업 수행에 필요한 정보가 포함된 종합 문서 세트를 생성합니다. 가장 중요한 것은 PEER-Edit이 훈련 중에만 이 작업을 수행하고 추론 단계에서는 합성 문서를 제공하지 않는다는 것입니다.
생성된 계획, 편집 및 문서의 품질과 다양성을 개선하기 위해 연구원들은 훈련 중인 모델에서 생성된 출력 시퀀스에 특정 제어 마커를 미리 설정한 다음 추론 중에 이를 사용하는 제어 메커니즘을 구현했습니다. 모델 생성 태그에는 다음이 포함됩니다.
1. 유형은 PEER-Explain에서 생성된 텍스트 유형을 제어하는 데 사용됩니다(출력은 부정사로 시작해야 함). 2. 길이, PEER-Explain의 출력 길이를 제어합니다. 선택적 값에는 s(2단어 미만), m(2-3단어), l(4-5단어) 및 xl(6 이상)이 포함됩니다.
3. PEER-Explain에 의해 생성된 단어가 편집된 텍스트와 반복될 수 있는지 여부, 선택적 값은 true 및 false입니다.
4. 소스 간 PEER-Undo를 제어하는 데 사용됩니다. 텍스트와 편집된 텍스트 사이의 서로 다른 단어 수, 선택적 값은 모두 정수
5이며 PEER-Document의 텍스트 출력에 특정 하위 문자열
PEER가 제어를 포함하지 않도록 하는 데 사용됩니다. 즉, 사용자가 모델로 해결할 수 있는 편집 작업 유형이 모델을 더 일반화한다고 가정하지 않습니다.
실험 비교 단계에서 PEER는 사전 훈련 초기화를 위해 LM-Adapted T5의 3B 매개변수 버전을 사용합니다.
일련의 계획을 따르고, 제공된 문서를 활용하고, 특히 편집 기록이 없는 도메인에서 편집을 수행하는 PEER의 능력을 평가하기 위해 다양한 텍스트 유형에 대해 자연스럽게 발생하는 편집 모음인 새로운 데이터 세트 Natural Edits가 도입되었습니다. 그리고 들판.
데이터는 Wikipedia의 백과사전 페이지, Wikinews의 뉴스 기사, StackExchange의 요리, 정원 가꾸기, 법률, 영화, 정치, 여행 및 직장 하위 포럼의 질문 등 세 가지 영어 웹 소스에서 수집되었습니다. 편집자의 의도를 자세히 설명하고 모델에 계획으로 제공하는 설명이 포함된 편집 기록입니다.
Wikinews 및 StackExchange 하위 집합의 학습에서는 실제 편집 대신 일반 텍스트 데이터만 제공하므로 편집 기록이 없는 영역에서 편집 능력을 테스트합니다.
실험 결과는 PEER가 모든 기준선을 어느 정도 능가한다는 것을 알 수 있으며, 계획과 문서는 모델이 사용할 수 있는 보완적인 정보를 제공합니다
자연 편집의 모든 하위 집합에 대해 PEER를 평가한 후에 찾을 수 있습니다. Planning은 여러 도메인에 걸쳐 큰 도움이 되었으며, 이는 Wikipedia 편집에서 계획을 이해하는 능력이 다른 도메인으로 직접 이전될 수 있음을 시사합니다. 중요한 것은 PEER의 도메인 적응형 변형이 Natural Edits의 모든 하위 집합에서 일반 PEER보다 훨씬 뛰어난 성능을 발휘한다는 것입니다. 특히 정원 가꾸기, 정치 및 영화 하위 집합(EM의 84%, 71% 및 48%)에서 큰 개선이 이루어졌습니다. Diff)는 또한 다른 도메인에 PEER를 적용할 때 합성 편집 생성의 효율성을 보여줍니다.
위 내용은 논문을 100번 수정하더라도 당황하지 마세요! Meta에서 새로운 쓰기 언어 모델 PEER 출시: 참조가 추가됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
