인간의 창작 과정을 따르는 AIGC: 자동으로 성장 스토리를 생성하는 모델 등장

오늘날 인공지능 분야에서는 인공지능 글쓰기 인공물이 속속 등장하고 있으며, 기술과 제품도 날이 갈수록 변하고 있습니다.

2년 전 OpenAI가 출시한 GPT-3가 아직 글쓰기가 조금 부족하다면, 얼마 전 ChatGPT에서 생성된 결과는 "멋진 글쓰기, 풀 플롯, 논리적 일관성"이라고 볼 수 있습니다.

어떤 사람들은 AI가 글을 쓰기 시작하면 인간과는 정말 아무 상관이 없을 것이라고 말합니다.

하지만 인간이든 AI이든 "단어수 요구 사항"이 증가하면 기사를 "통제"하기가 더 어려워집니다.

최근 중국 AI 연구 과학자 Tian Yuandong과 다른 여러 연구자들이 새로운 언어 모델인 Re^3을 출시했습니다. 이 연구는 EMNLP 2022에도 선정되었습니다.

문서 링크: ​https://arxiv.org/pdf/2210.06774.pdf​

Tian Yuandong이 Zhihu에서 이 모델을 소개한 적이 있습니다:

Re^3 아이디어 프롬프트를 디자인함으로써 대형 모델을 미세 조정할 필요 없이 일관된 스토리를 생성할 수 있습니다. 언어 모델의 단어 단위 생성의 선형 논리에서 벗어나 계층적 생성 방법을 사용합니다. 먼저 계획 단계에서 스토리 캐릭터, 캐릭터의 다양한 속성 및 개요를 생성한 다음 스토리 개요 및 초안 단계에서 역할을 수행하고 특정 단락을 반복적으로 생성하는 경우 이러한 특정 단락은 Rewrite 단계에서 필터링되어 이전 단락과 관련성이 높은 생성된 단락을 선택하고 밀접하게 관련되지 않은 단락은 삭제합니다(이에는 작은 모델 교육이 필요함). , 마지막으로 편집 단계에서 몇 가지 명백한 사실 오류를 수정합니다.

방법 소개

Re^3의 아이디어는 재귀적인 재촉과 조정을 통해 더 긴 이야기를 생성하는 것인데, 이는 인간 작가의 창작 과정에 더 부합합니다. Re^3는 인간의 글쓰기 프로세스를 계획, 초안 ​​작성, 재작성 및 편집의 4가지 모듈로 분류합니다.

계획 모듈​

아래 그림 2에서 볼 수 있듯이 계획 모듈은 스토리 전제(Premise)를 배경, 캐릭터 및 스토리 개요로 확장합니다. 첫째, 배경은 GPT3-Instruct-175B(Ouyang et al., 2022)를 사용하여 얻은 스토리 전제의 간단한 한 문장 확장입니다. 그런 다음 GPT3-Instruct175B는 전제와 배경을 기반으로 캐릭터 이름을 재생성하고 캐릭터 설명을 생성합니다. ; 마지막으로 방법은 GPT3-Instruct175B에게 스토리 개요를 작성하도록 요청합니다. 계획 모듈의 구성 요소는 프롬프트 자체에 의해 생성되며 반복해서 사용됩니다.

초안 모듈

계획 모듈에서 얻은 각 개요에 대해 초안 모듈은 계속해서 여러 스토리 단락을 생성합니다. 각 단락은 재귀적 재요청에 의해 형성된 구조화된 프롬프트에서 생성된 고정 길이 연속입니다. 초안 모듈은 아래 그림 3에 나와 있습니다.

Rewrite 모듈

생성기의 첫 번째 출력은 일반적으로 사람들이 완성하는 첫 번째 초안과 같이 품질이 낮으며, 두 번째 초안은 피드백 기사를 기반으로 다시 작성해야 할 수도 있습니다.

Rewrite 모듈은 아래 그림 4와 같이 이전 단락과의 일관성 및 현재 개요 지점과의 관련성을 기반으로 초안 모듈 출력을 재정렬하여 재작성 프로세스를 시뮬레이션합니다.

편집 모듈​

편집 모듈은 광범위한 재작성과 달리 기획, 초안, 재작성 모듈을 통해 생성된 단락을 부분적으로 편집하여 생성된 콘텐츠를 더욱 향상시킵니다. 특히, 목표는 사실적 불일치의 긴 연속을 제거하는 것입니다. 교정하는 동안 작은 사실적 불연속성을 발견하면 상위 수준의 논문 계획을 대대적으로 수정하거나 실질적인 재작성을 하기보다는 문제가 있는 세부 사항을 간단히 편집할 수 있습니다. 편집 모듈은 아래 그림 5와 같이 사실적 불일치를 감지하고 이를 수정하는 두 단계로 인간 저작 프로세스를 모방합니다.

평가

평가 단계에서 연구자는 간략한 초기 맥락을 바탕으로 스토리를 생성하는 작업을 설정했습니다. "스토리"는 규칙 기반 방식으로 정의하기 어렵기 때문에 허용 가능한 출력에 규칙 기반 제약을 적용하지 않고 대신 사람이 주석을 추가한 여러 측정항목을 통해 평가했습니다. 초기 전제를 생성하기 위해 연구원들은 GPT3-Instruct-175B를 사용하여 100개의 서로 다른 전제를 얻었습니다.

Baseline

이전 방식은 Re^3에 비해 단편에 더 중점을 두었기 때문에 직접적인 비교는 어렵습니다. 따라서 연구원들은 GPT3-175B를 기반으로 다음 두 가지 기준을 사용했습니다.

1. ROLLING, GPT3-175B를 통해 한 번에 256개의 토큰을 생성하고, 더 많은 경우 이전 상황과 이전에 생성된 모든 스토리 텍스트를 프롬프트로 사용합니다. 768 토큰보다 많으면 프롬프트가 왼쪽으로 잘립니다. 따라서 "롤링 윈도우" 최대 컨텍스트 길이는 1024이며, 이는 RE^3에 사용된 최대 컨텍스트 길이와 동일합니다. 3072개의 토큰을 생성한 후 연구원들은 RE^3과 동일한 스토리 종료 메커니즘을 사용했습니다.

2. ROLLING-FT, GPT3-175B가 먼저 최소 3000개의 토큰이 있는 WritingPrompts 스토리에서 수백 개의 단락을 미세 조정한다는 점을 제외하면 ROLLING과 동일합니다.

Indicators

연구자가 사용하는 여러 평가 지표는 다음과 같습니다.

1. 흥미롭습니다. 독자들에게 흥미를 가져라.

2. 일관성. 줄거리는 일관적입니다.

3. 관련성. 원래 상황에 충실하세요.

4. 휴머노이드. 인간이 쓴 것으로 판단됩니다.

또한, 연구자들은 생성된 이야기가 다음과 같은 측면에서 글쓰기에 문제가 있는 횟수를 추적했습니다.

1. 내러티브나 스타일의 충격적인 변화.

2. 불일치. 사실이 부정확하거나 매우 이상한 세부정보가 포함되어 있습니다.

3.혼돈. 혼란스럽거나 이해하기 어렵습니다.

4. 반복성. 높은 수준의 반복성.

5.부드럽지 않아요. 빈번한 문법 오류.

Results​

표 1에서 볼 수 있듯이 Re^3는 일관된 전체 플롯을 유지하면서 예상되는 상황을 기반으로 긴 스토리를 작성하는 데 매우 효과적입니다. 인간의 글쓰기 과정과 재귀적 재요청 생성 방법에서 영감을 받은 연구자들이 선택한 선택입니다. ROLLING 및 ROLLING-FT와 비교하여 Re^3은 일관성과 관련성을 모두 크게 향상시킵니다. 주석 작성자는 또한 Re^3의 스토리에 "중복적인 쓰기 문제가 상당히 적었다"고 표시했습니다.

Re^3은 절대적인 의미에서 강력한 성능을 보여줍니다. 주석자는 두 비교에서 Re^3 스토리의 83.3%와 80.0%가 각각 인간이 작성한 것이라고 믿습니다. 표 2는 강력한 일관성과 맥락적 관련성을 볼 수 있는 Re^3의 크게 요약된 이야기의 예를 보여줍니다.

​

그럼에도 불구하고 연구원은 여전히 ​​질적으로 관찰했습니다. 여전히 많은 여지가 있습니다. Re^3에 의한 개선.

두 가지 일반적인 문제가 표 3에 나와 있습니다. 첫째, Re^3는 거의 항상 스토리 전제를 어느 정도 따르지만 기본 스토리와 달리 전제의 모든 부분을 포착하지 못할 수 있으며 계획 모듈에서 생성된 부분 개요를 따르지 않을 수도 있습니다(예: 표 3 이야기와 개요). 둘째, 재작성 모듈, 특히 편집 모듈의 실패로 인해 여전히 혼란스러운 구절이나 모순된 진술이 있습니다. 예를 들어 표 3에서 Jaxon이라는 캐릭터는 곳곳에서 모순된 정체성을 가지고 있습니다.

그러나 롤링 윈도우 방식과 달리 Re^3의 계획 방식은 "자가 수정"이 가능하고 원래 플롯으로 돌아갈 수 있습니다. 표 3의 이야기 후반부는 이 능력을 보여줍니다.

분석

절제 실험​

연구원들은 Re^3의 각 모듈(기획, 초안 ​​작성, 재작성, 편집)의 상대적 기여도를 탐색하고 각 모듈에 대해 차례로 절제 실험을 수행했습니다. 예외는 Draft 모듈인데, 이 모듈이 없으면 시스템이 어떻게 작동할지 불분명합니다.

표 4는 인간의 계획 및 재작성 프로세스를 모방하는 "계획" 및 "재작성" 모듈이 전체 플롯 일관성 및 전제 관련성에 매우 중요하다는 것을 보여줍니다. 그러나 "편집" 모듈은 이러한 측정항목에 거의 기여하지 않습니다. 연구자들은 또한 Re^3의 최종 스토리에는 편집 모듈에서 해결되지 않았지만 주의 깊은 인간 편집자가 해결할 수 있는 일관성 문제가 여전히 많이 있음을 정성적으로 관찰했습니다.

"편집" 모듈에 대한 추가 분석​

연구원들은 통제된 환경을 사용하여 "편집" 모듈이 최소한 역할 기반의 사실적 불일치를 감지할 수 있는지 여부를 연구했습니다. 전체 편집 모듈과의 혼동을 피하기 위해 감지 하위 시스템을 STRUCTURED-DETECT라고 합니다.

표 5에 표시된 것처럼 STRUCTUREDDETECT는 표준 ROC-AUC 분류 지표에 따라 역할 기반 불일치를 감지할 때 두 기준 모두보다 성능이 뛰어납니다. ENTAILMENT 시스템의 ROC-AUC 점수는 우연한 성능(0.5)보다 거의 높지 않으며, 이는 탐지 시스템이 압도적으로 정확해야 한다는 핵심 과제를 강조합니다. 또한 STRUCTURED-DETECT는 더 긴 단락으로 확장되도록 설계되었습니다. 연구자들은 기준선에 비해 입력 시간이 길어지면 평가에서 성과 격차가 더 커질 것이라는 가설을 세웠습니다.

이렇게 단순화된 환경에서도 모든 시스템의 절대 성능은 여전히 ​​낮습니다. 또한 생성된 전체 스토리 중 다수에는 현재 장면과의 배경 불일치 등 문자 이외의 불일치가 포함되어 있습니다. 연구원들은 불일치를 감지한 후 불일치를 수정하는 GPT-3 편집 API의 기능을 공식적으로 분석하지는 않았지만 고립된 세부 사항을 수정할 수는 있지만 더 큰 변경 사항을 처리할 때 어려움을 겪는다는 사실도 관찰했습니다.

요약하자면, 감지 및 수정 하위 시스템의 복합 오류로 인해 이 연구의 현재 편집 모듈이 불필요한 변경을 동시에 도입하지 않고 수천 단어에 대한 사실적 일관성을 효과적으로 향상시키는 것이 어렵습니다.

위 내용은 인간의 창작 과정을 따르는 AIGC: 자동으로 성장 스토리를 생성하는 모델 등장의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!