AI에 맡겨서 미스터리 게임을 생성할 수 있는 「Red Ram」의 구조란? [CEDEC 2024]

CEDEC 2024의 3일째가 되는 8월 23일에 행해진 세션「거의, 풀 AI 게임. 『Red Ram』가 플레이어 좋아하는 미스터리 게임을 무한하게 생성할 수 있기 때문에 쿠리」를 소개한다.
"Red Ram"은 게임 AI를 전문으로 취급하는 개발자모리카트론가 개발한 기술 데모이며, 플레이어가 입력한 키워드를 바탕으로 마더 미스터리 스타일의 범인 게임을 자동 생성해 버리는 시도와 되어 있다.
이번 세션에서는, 동작의 자연언어 처리를 담당한 모리카트론의 리드 엔지니어미야모토 시게노리와, 시스템 설계와 클라이언트 실장을 담당한 AI 엔지니어의타카하시 역두씨에 의해, 그 생성의 구조가 풀어졌다.

리드 엔지니어·미야모토 시게노리씨(오른쪽)와 AI 엔지니어의 다카하시 역두씨(왼쪽)

게임 내에 생성 AI를 사용하여 태어나는 재미

처음에, 이 세션에 담은 메시지를 타카하시씨가 말하는 곳으로부터 스타트했다. 그것은 "생성 AI를 게임 내에서 사용하고 있는 게임이 늘어나길 바란다"는 것. AI 기술에 뛰어난 모리카트론 특유의 메시지이지만, 동사에서는 생성 AI를 게임에 살리는 것으로, 두 가지 즐거움이 탄생한다고 생각하고 있다고 한다.
하나는 바리에이션이 풍부하고 질리지 않는 것. 그리고 또 하나는 플레이어 각자의 취향에 맞는 게임 체험을 만드는 것이다. 그런 생성 AI만의 게임 체험을 연구하기 위해 만들어진 것이 이 세션에서 다루는 "Red Ram"이라고 한다.

"Red Ram"의 게임 개요

에서는 Red Ram에 의한 게임 생성은, 어떤 흐름으로 행해지고 있는 것일까.
우선 플레이어가 좋아하는 설정을 대략적으로 입력하면, 그것에 맞추어 AI가 사건의 대근이 되는 플롯을 생성한다. 계속해서 거기에 육부를 실시한 스토리 데이터가 만들어져, 그것에 근거하는 등장 인물이나 무대의 설정이 정해져 간다. 그리고 마지막으로 대화에서 대사와 인물의 이미지, 배경 이미지 등이 생성되어 이들을 조합하여 게임이 완성된다고 한다.


이 생성의 상세를 미야모토씨가 해설했다. 우선 플롯은 플레이어가 입력한 키워드를 바탕으로 LLM(대규모 언어 모델/"Red Ram"에서는 OpenAI의 GPT 3.5와 4를 사용하고 있다)를 이용한 생성이 단계적으로 이루어진다. 생성에 복잡한 조건이 필요한 경우는 고성능 GPT 4를 사용하는 구조라고 한다.
예를 들면 플레이어가 흉기로서 어울리지 않는 것을 입력했다고 해도, LLM이 거기에 맞추어 근서를 만들어 준다.


덧붙여 플롯 생성에서는 사건의 설정 뿐만이 아니라, 미스터리 집필 가이드와 진행 플로우의 만드는 방법을 프롬프트로서 입력하고 있다. 진행 흐름은 사전에 수작업으로 LLM에 생성시킨 것을 복수 준비해 두고, 랜덤하게 사용한다. 덧붙여 플롯은 굳이 형식의 제약을 주지 않고 생성시키는 편이, 질이 높은 생성물을 기대할 수 있다고 한다.


이런 식으로 플롯에서 프로그램으로 처리 할 수있는 형식으로 스토리 데이터를 생성합니다. 아래의 슬라이드와 같이, 플롯 단계에서는 보통의 문장이지만, 거기로부터 장소나 피해자라고 하는 필요한 데이터가 추출되어, 동시에 내용에도 육부가 행해진다고 하는 것.


다음은 스토리 데이터로부터 게임에 등장하는 인물, 장소, 증거품의 각각의 상세 데이터가 생성된다. 인물에서는 연령, 성격, 직업 등의 프로필 외에 특징적인 어조 등도 결정된다. 또한,이 때, 화상을 생성하기위한 프롬프트가 작성된다.


마지막으로 생성되는 것이 대화 시나리오――플레이어인 형사가 용의자에 대해 실시하는 심문(회화 대사)의 문장이다. 여기까지 생성한 데이터를 사건의 상황이나 장소에 따른 6종류의 템플릿에 꽂아 프롬프트를 작성하여 대화를 생성시킨다. 또한 대사의 문면에서 캐릭터의 감정을 LLM에 유추시켜 6 종류의 감정으로 분류. 이것을 화상 생성에 있어서의 용의자의 표정 변화에 유용하고 있다고 한다.


계속해서 화상 생성으로 이동한다. LLM에서 생성한 텍스트를 바탕으로 「Stable Diffusion」(이미지 생성 AI의 모델명)을 사용하여 이미지를 준비해 나가는 것이다. 배경과 증거품의 이미지에는 각각의 상세 데이터를 생성했을 때에 작성된 프롬프트를 사용한다. 이 때 배경 화상의 화각 조정이나 표현이 어려운 증거품은 치환하여 묘화하는 조정이 더해진다.


등장 인물의 서 그림도 마찬가지로 상세 데이터를 생성했을 때 만들어진 프롬프트를 사용한다. 정해진 위치에 정해진 크기로 묘화되도록 제약을 걸고, 배경의 투과 처리(자르기)도 이 시점에서 실시하고 있다.
또한 잘라내기에는 Semantic Segmentation(픽셀마다 라벨을 붙이는 세그먼트 분할의 방법)과, 화상의 깊이를 추정하는 기술을 사용해, 깊이가 깊은 부분만을 빼내는 것으로, 확실한 자르기를 실현하고 있다.

표정은 서 그림 생성시의 프롬프트에 최소한의 추가만 하는 것으로, 다른 사람에게 보이지 않도록 조정하고 있다고

생성 AI 게임의 과제와 미래 전망

그 결과로서 실제로 생성된 사건이 다음 슬라이드다.


우선 흉기를 「두부」로 했으므로, 사인이 질식사라고 하는 뭐 타당이라고 말해도 좋을 것이다. 무대에는 「혁신적 게임 개발 회사」를 설정했기 때문에 사무실이나 회의실 같은 장소가 생성되었다.
범행동기는 「금전 트러블」이므로, 돈의 대출을 축으로 한 인간관계가 만들어졌다. 덧붙여서 인물의 터치는 실사풍과 애니메이션풍 중 하나를 선택할 수 있다고 한다.


세션의 마지막에, 현재의 과제와 앞으로의 전망이, 다카하시씨의 입으로부터 말해졌다.
우선은 퀄리티의 문제다. 「Red Ram」에서는 캐릭터의 대화의 辻虄가 맞지 않는 경우가 있다. 예를 들어 대화의 시작이 "증거품이 발견되었다"인데 결국은 발견되지 않는다는 수수께끼 끝나는 방법이 될 수있다. 게다가 서두의 사건 설명으로, 주인공의 형사가 진상을 말해 버리는 것까지 있다고 한다.
이로써 살인사건의 해결이나 추리를 즐길 수는 없다. 즉 현상은 생성 AI의 기묘한 행동을 즐기는 게임이 되어 버리고 있다. 그것은 그것의 종류의 맛이 있고 재미 있지만, 모리카트론이 목표로하는 것은 그런 것은 아니다.


일관성 있는 시나리오를 실현하기 위해서는 시스템의 설계나 LLM에 주는 프롬프트를 더욱 고안할 필요가 있다. 그 외에도 비용과 대기 시간의 문제도 들었지만, 여기는 LLM 모델의 진화에 의해 점차 해결될 것으로 예측되고 있다.
타카하시씨에 의하면, 향후는 플레이어가 입력한 정보가 리얼타임으로 게임 세계에 반영되어 가는 체험을 만들어 가고 싶다고 하고, 2024년 7월에는 「언령의 미궁」라는 기술 데모를 공개해 있습니다.


이 데모는 던전을 공략을 목표로 하는 텍스트 어드벤처이지만, 플레이어가 입력한 단어로 아이템이 생성되는 구조로 되어 있다. 입력된 단어에 따라, 그 자리에서 아이템의 화상이나 파라미터, 맛 텍스트 등이 생성되어, 또한 그 아이템을 주인공이 활용하고 있는 모습이 묘사된다.


덧붙여 「Red Ram」에 관한 논문이나 생성예는 온라인으로 공개되고 있다. 이하의 슬라이드의 QR코드로부터 열람할 수 있으므로, 흥미를 가진 사람은 체크해 보는 것은 어떨까.

위 내용은 AI에 맡겨서 미스터리 게임을 생성할 수 있는 「Red Ram」의 구조란? [CEDEC 2024]의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!