성격/우울증/인지 모델을 대형 모델로 테스트해보세요! 게임 플롯 개발을 통한 심리적 특성 측정

심리측정학은 정신 건강, 자기 이해 및 개인 발전에 중요한 역할을 합니다.

전통적인 심리 측정 방법은 참가자들이 일상 생활의 행동과 감정을 회상하여 측정하는 자기 보고 설문지를 작성하는 데 주로 의존합니다.

이러한 측정 방법은 효율적이고 편리하지만 참가자의 저항을 유발하고 측정 의지를 감소시킬 수 있습니다.

대형 언어 모델(LLM)의 개발로 LLM이 안정적인 성격 특성을 나타내고 미묘한 인간 감정과 인지 패턴을 모방할 수 있으며 다양한 사회 과학 시뮬레이션 실험에도 도움이 될 수 있다는 많은 연구 결과가 나왔습니다. 교육심리학, 사회심리학, 문화심리학, 임상심리학, 심리상담 등 다양한 심리학 연구 분야에 종사하고 있습니다.

최근 칭화대학교 연구팀은 대규모 언어 모델을 기반으로 한 다중 에이전트 시스템을 기반으로 혁신적인 심리측정 패러다임을 제안했습니다.

기존의 자기 보고식 설문지와는 달리, 이 연구는 각 참가자에 대해 대화형 내러티브 게임을 맞춤화하고 생성하며, 사용자는 게임 유형과 주제를 맞춤화

할 수 있습니다.

게임 플롯이 전개됨에 따라 참가자는 1인칭 시점의 다양한 플롯을 기반으로 다양한 선택을 해야 하며, 이는 플롯 진행에 영향을 미칩니다. 게임의 중요한 순간에 참가자의 선택을 연구함으로써 그들의 심리적 특성을 평가할 수 있습니다.

Δ자기 보고식 설문지의 심리 측정 패러다임(왼쪽)과 인터랙티브 내러티브 게임의 심리 측정 패러다임 비교(오른쪽)

본 연구의 기여는 주로 세 가지 측면에서 반영됩니다.

• 새로운 제안 심리 측정 패러다임은 심리 측정의 신뢰성과 타당성을 보장함으로써 전통적인 설문지를 게임 기반의 대화형 측정으로 전환하여 참가자의 몰입감을 높이고 테스트 경험을 향상시킵니다.
• 게이미피케이션 측정을 달성하기 위해 본 연구에서는 심리 테스트 시나리오의 일반화를 보장하는 PsychoGAT (Psychological Game Agents)
이라는 대규모 언어 모델을 기반으로 하는 다중 에이전트 상호 작용 프레임워크를 제안합니다. 다양한 게임 설정에서 견고함.
• MBTI 성격 테스트, PHQ-9 우울증 측정, 인지적 사고 함정 테스트 등의 과제에 대해 자동화된 시뮬레이션 평가와 실제 평가를 통해 심리 통계 지표와 사용자 경험 우월성 지표에서 유의미한 결과를 보여주었습니다.

다음으로 연구 내용을 살펴보겠습니다.

PsychoGAT는 어떤 모습인가요?

Δ PsychoGAT 프레임워크의 개략도

에이전트 상호 작용 프로세스:

전통적인 심리 테스트 설문지를 제공받아 참가자는 게임 유형과 테마를 맞춤화한 다음 게임 디자이너 (게임 디자이너)

에이전트가 전반적인 내용을 제공합니다. 게임 디자인 개요.

그런 다음 게임 관리자 (게임 컨트롤러) 에이전트는 특정 게임 플롯을 생성합니다. 이 과정에서 해설자 (비평가)

에이전트는 관리자가 생성한 콘텐츠를 여러 차례 검토하고 최적화합니다. 완료됨 최종 게임 플롯이 참가자에게 표시됩니다. 참가자가 해당 선택을 한 후 관리자는 이 대화형 프로세스 주기에 따라 이 선택을 기반으로 플롯 개발을 촉진합니다.

각 에이전트의 기능에 대한 자세한 설명:

• Game Designer(게임 디자이너)
: CoT 기술을 사용하여 1인칭 내러티브 게임의 개요를 생성하고 이 스토리라인에 포함된 시나리오가 참여를 가능하게 할 수 있습니다. 그 사람은 현재 측정되고 있는 심리적 특성을 나타냅니다.

동시에 표준 심리 자가 보고 설문지를 현재 게임 스토리라인에 맞게 조정하여 두 가지의 통합을 더욱 자연스럽고 원활하게 만듭니다.

• Game Controller(Game Controller)
: 조정된 설문지는 게임의 스토리라인에 따라 순차적으로 인스턴스화되어 스토리의 플롯 노드로 바뀌고 참가자가 선택할 수 있는 옵션을 제공합니다.

동시에 게임 관리자는 참가자의 선택을 게임 환경에 되돌리고 참가자의 선택에 따라 게임의 플롯 방향을 제어합니다. 게임 플롯의 연속성을 달성하기 위해 관리자 에이전트는 "메모리 업데이트" 메커니즘을 채택합니다. 🎜

• Commentator(비평가): 게임 관리자가 생성한 콘텐츠를 검토하고 최적화하는 것을 목표로 합니다.

주로 다음 세 가지 문제를 대상으로 합니다.

1) 일관성 최적화: 게임 플롯이 진행됨에 따라 긴 텍스트 문제가 더욱 심각해지며 "메모리 업데이트" 메커니즘이 플롯 일관성을 완전히 보장할 수 없게 됩니다.

2) 공정성 확보: 참가자의 선택은 게임 플롯의 전개에 영향을 주지만, 참가자가 이전 선택을 명백한 경향으로 반영했더라도 관리자는 참가자가 선택하기 전에 플롯 방향을 미리 설정해서는 안 됩니다. .

3) 누락된 아이템 수정 : 관리자가 생성한 게임 플롯을 상세하게 검토하여 기본적인 게임 몰입감을 갖추고 있는지 확인합니다.

실험 및 결과

Δ세 가지 일반적인 심리 측정 패러다임 비교: 전통적인 설문지, 심리학자 인터뷰, 본 연구에서 제안하는 게임화된 평가.

여기서 언급하는 것은 모두 AI를 기반으로 한 자동화된 측정입니다. 특히 심리학자 인터뷰는 대형 언어 모델과 결합되어 심리학자의 역할을 하는 현재의 인터뷰 패러다임을 말합니다.

실험 단계에서 연구자들은 MBTI 성격 테스트의 외향성, PHQ-9 우울증 탐지, CBT 치료 초기 단계의 인지 왜곡 탐지라는 세 가지 일반적인 심리 측정 작업을 선택했습니다.

먼저, 연구자들은 연구의 심리학적 신뢰성과 타당성을 테스트하기 위해 성숙한 전통 심리학 설문지와 비교했습니다. 또한, 다양한 측정 방법에 대한 사용자 경험을 조사하기 위해 다른 세 가지 자동 측정 방법과 비교됩니다.

연구원들은 먼저 GPT-4를 사용하여 피사체를 시뮬레이션하고 다양한 측정 방법을 사용하여 측정 과정과 측정 결과를 기록했습니다. 이러한 측정 기록은 후속 심리 측정 신뢰성 및 타당성 지표는 물론 사용자 경험 지표를 계산하는 데 사용되었습니다.

평가 지표에는 신뢰성 및 타당성 지표와 사용자 경험 지표의 두 가지가 있습니다.

• 신뢰도 및 타당성 지수: 심리측정학에서는 측정 도구가 과학적인지 평가하기 위해 일반적으로 신뢰성(신뢰성)과 타당성(타당성)이라는 두 가지 차원에서 검증합니다.

본 연구에서는 신뢰도 지표로 내부 일관성을 측정하기 위해 두 가지 통계량을 선택했습니다. Cronbach의 Alpha와 Guttman의 Lambda 6은 각각 수렴 타당도를 측정하기 위한 타당도 지표로 사용되었습니다) 및 판별 타당도( 판별 타당성) .

• 사용자 경험 지표, 수동으로 평가된 지표는 다음과 같습니다.

1) 일관성(일관성, CH): 콘텐츠 논리가 일관성이 있는지 여부
2) 상호작용성(상호작용성, IA): 존재 여부 사용자의 선택에 대한 적절하고 편견 없는 응답
3) 관심 (Interest, INT) : 측정 과정이 흥미로운지 여부
4) 몰입 (Immersion, IM) : 측정 과정이 참가자를 몰입시키는지 여부 대체;
5) Satisfaction (Satisfaction, ST) : 전반적인 측정 과정에 대한 만족입니다.

다음은 실험 결과입니다.

먼저, 연구진은 본 연구에서 제안한 PsychoGAT가 적합한 심리 측정 도구로 사용될 수 있는지 테스트했습니다. 그 결과는 아래 표와 같습니다.

ΔPsychoGAT의 신뢰성 및 타당도 테스트 결과(+통과, ++좋음, +++우수)

더 나아가, 연구자들은 다양한 심리 측정 패러다임의 사용자 경험과 연구에서 제안한 게임을 비교했습니다. 상호작용성, 재미, 몰입도 측면에서 다른 방법보다 평가가 훨씬 뛰어납니다.

ΔPsychoGAT의 사용자 경험 결과와 그에 따른 다른 비교 방법의 결과

수동 평가의 타당성을 보장하기 위해 연구 직원이 수동 평가 결과를 계산한 결과 PsychoGAT 지표의 평가 일관성이 다른 방법보다 우수하다는 사실을 발견했습니다.

ΔPsychoGAT의 사용자 경험 지수는 수동 평가의 비교 방법의 일관성에 기인합니다

더 개선하기 위해 PsychoGAT 분석을 위해 연구원들은 먼저 다양한 게임 시나리오에서 게임화 측정의 신뢰성과 타당성을 테스트했는데, 이는 매우 강력했습니다.

Δ다양한 게임 시나리오에서 신뢰성과 타당성을 측정하는 PsychoGAT의 견고성

그런 다음 PsychoGAT의 각 에이전트의 역할을 살펴보았습니다. PsychoGAT의 게임 생성 콘텐츠를 시각적으로 제시하기 위해 연구자들은 워드 클라우드를 사용하여 외향성 테스트와 우울증 테스트를 시각화했습니다.

ΔPsychGAT 외향성 측정 및 우울증 측정의 게임 장면 생성 시각화.

외향성 테스트의 내용은 주로 사회적 상황에 초점을 맞추는 반면, 우울증 테스트는 개인적인 생각과 감정에 초점을 맞춥니다.

자세한 연구 내용은 원문을 참고해주세요.

논문 링크:

//m.sbmmt.com/link/4bcd537b6c034e297f0030cf08887426