새로운 스탠포드 연구: ChatGPT 뒤에 있는 모델은 인간의 마음을 가지고 있는 것으로 확인되었습니다

ChatGPT에 마음이 있는 것으로 밝혀졌나요? ! "원래 인간에게만 고유하다고 생각되었던 마음 이론(ToM)이 ChatGPT의 AI 모델에 등장했습니다."

이는 스탠포드 대학의 최신 연구 결론으로, 이는 곧 큰 영향을 미쳤습니다. 출시되자마자 학계 센세이션:

드디어 뜻밖에도 오늘이 왔습니다.

소위 정신 이론이란 공감, 감정, 의도 등을 포함하여 다른 사람이나 자신의 정신 상태를 이해하는 능력입니다.

이 연구에서 저자는 다음을 발견했습니다.

GPT3의 davinci-002 버전(ChatGPT가 최적화됨)은 이미 정신 이론 작업의 70%를 해결할 수 있습니다.

ChatGPT의 동종 모델인 GPT3.5(davinci-003)는 9세 아이의 정신적 수준으로 과제의 93%를 해결했습니다!

그러나 2022년 이전 GPT 시리즈 모델에서는 이러한 작업을 해결하는 능력이 발견되지 않았습니다.

즉, 그들의 마음은 정말로 "진화"한 것입니다.

Δ 해당 논문은 트위터에서 입소문이 났습니다

이에 대해 일부 네티즌들은 신이 나서 다음과 같이 말했습니다.

GPT는 매우 빠르게 반복되고 있을 것입니다. 아마도 언젠가는 성인이 될 것입니다. (수동 개머리)

그럼, 어떻게 이런 마법같은 결론을 내리셨나요?

GPT-3.5에 마음이 있는 이유가 무엇이라고 생각하시나요?

논문 제목은 "마음 이론이 대규모 언어 모델에서 자발적으로 나타날 수 있음"입니다.

마음 관련 연구 이론을 바탕으로 저자는 GPT3.5를 포함한 9개 GPT 모델에 대해 두 가지 고전 테스트를 수행하고 성능을 비교했습니다.

이 두 가지 작업은 인간에게 정신 이론이 있는지 확인하는 보편적인 테스트입니다. 예를 들어, 연구에 따르면 자폐증이 있는 어린이는 종종 그러한 테스트를 통과하는 데 어려움을 겪는 것으로 나타났습니다.

첫 번째 테스트는 Smarties Task(예상치 못한 내용 테스트라고도 함)입니다. 이름에서 알 수 있듯이 예상치 못한 일에 대한 AI의 판단력을 테스트합니다.

"초콜릿 봉지를 열었는데 거기에 팝콘이 가득 들어 있었어요"를 예로 들어보세요.

저자는 GPT-3.5에 일련의 프롬프트 문장을 제공하고 "가방에 무엇이 들어있나요?"와 "그녀는 가방을 찾았을 때 행복했습니다. 그래서 그녀는 무엇을 먹는 것을 좋아합니까?"라는 질문에 대한 답변을 예측하는 것을 지켜보았습니다. "

보통 사람들은 초콜릿 봉지에 초콜릿이 들어 있다는 사실을 기본적으로 알고 있기 때문에 초콜릿 봉지에 팝콘이 들어 있다는 사실에 놀라거나 실망하거나 놀라게 될 것입니다. 그 중 실망이란 팝콘을 먹기 싫다는 뜻이고, 놀라움이란 팝콘을 좋아하지만 모두 '팝콘'이라는 뜻이다.

테스트 결과 GPT-3.5는 "가방에 팝콘이 들어있다"고 생각하는 데 주저함이 없는 것으로 나타났습니다.

"그녀는 무엇을 좋아하나요?"라는 질문에 GPT-3.5는 특히 "포장 봉지에 무엇이 들어 있는지 볼 수 없다"는 말을 듣고 초콜릿을 좋아한다고 생각한 적이 있다는 점에서 강한 공감을 보였습니다. , 기사에 "팝콘이 가득 들어있는 것을 발견했다"는 것이 분명해질 때까지 정답은 주어지지 않았습니다.

GPT-3.5에서 제시하는 정답이 우연이 되는 것을 방지하기 위해 - 과제 단어의 빈도로만 예측할 경우, 저자는 "팝콘"과 "초콜릿"을 바꿔서 10,000으로 만들었습니다. 간섭 테스트 결과, GPT-3.5는 단어 빈도만으로 예측하지 않는 것으로 나타났습니다.

전체 "예상치 못한 내용" 테스트 문답과 관련하여 GPT-3.5는 20개 문항 중 17개 문항에 대해 85%의 정확도로 성공적으로 답변했습니다.

두 번째는 Sally-Anne 테스트(예기치 않은 전송, 예상치 못한 전송 작업이라고도 함)로, AI가 다른 사람의 생각을 예측하는 능력을 테스트합니다.

"John은 고양이를 바구니에 넣고 떠났고, Mark는 그의 부재를 이용하여 바구니에 있던 고양이를 상자에 넣었습니다."를 예로 들어 보겠습니다.

작가는 GPT-3.5에게 "고양이의 위치"와 "존이 돌아오면 고양이를 찾으러 어디로 갈 것인가"를 결정하기 위해 텍스트 단락을 읽도록 요청했습니다. 읽은 내용:

이 유형의 "우연한 전송" 테스트 작업의 경우 GPT-3.5 답변의 정확도는 100%에 도달했으며 20개의 작업을 잘 완료했습니다.

마찬가지로 GPT-3.5가 다시 눈이 먼 것을 방지하기 위해 저자는 일련의 "빈칸 채우기 질문"을 배열하고 단어 순서를 무작위로 섞어서 대답하는지 테스트했습니다. 단어 발생 빈도에 따라 무작위로 선택됩니다.

테스트에 따르면 비논리적인 오류 설명에 직면했을 때 GPT-3.5도 논리를 잃고 11%의 시간에만 올바르게 대답합니다. 이는 문 논리를 기반으로 답변을 판단한다는 것을 보여줍니다.

하지만 이런 종류의 질문이 매우 간단하고 어떤 AI에서도 정답을 맞힐 수 있다고 생각한다면 완전히 틀린 것입니다.

저자는 GPT 시리즈 9개 모델 모두에 대해 이런 테스트를 진행한 결과 GPT-3.5(davinci-003)와 GPT-3(2022년 1월 새 버전, davinci-002)만이 좋은 성능을 발휘하는 것으로 나타났습니다.

davinci-002는 GPT-3.5 및 ChatGPT의 "구시대"입니다.

평균적으로 davinci-002는 작업의 70%를 완료했으며 GPT-3.5는 예상치 못한 콘텐츠 작업의 85%와 예상치 못한 전송 작업을 100% 완료했습니다. 평균 완료율 92.5%) 정신은 9세 어린이의 정신과 같습니다.

그러나 BLOOM 이전의 여러 GPT-3 모델은 5살짜리 아이조차 뒤떨어지고 기본적으로 마음의 이론을 보여주지 못했습니다.

저자는 GPT 시리즈 논문에서 저자가 "의도적으로" 그랬다는 증거가 없다고 믿습니다. 즉, 이것은 GPT-3.5와 GPT-3의 새로운 버전입니다. 과제. 학습 능력.

이 테스트 데이터를 읽은 후 누군가의 첫 반응은 다음과 같습니다. 중지(조사)!

어떤 사람들은 농담을 하기도 했습니다. 미래에는 우리도 AI와 친구가 될 수 있다는 뜻 아닌가요?

어떤 사람들은 AI의 미래 역량을 상상하기도 합니다. 현재 AI 모델도 새로운 지식을 발견하거나 새로운 도구를 만들 수 있을까요?

새로운 도구를 만드는 것이 반드시 가능하지는 않지만 Meta AI는 스스로 도구 사용 방법을 이해하고 학습할 수 있는 AI를 개발했습니다.

LeCun이 전달한 최신 논문에 따르면 ToolFormer라고 불리는 이 새로운 AI는 생성된 결과를 개선하기 위해 컴퓨터, 데이터베이스 및 검색 엔진을 사용하도록 스스로 학습할 수 있습니다.

어떤 사람들은 "AGI가 예상보다 일찍 우리의 문을 두드릴지도 모른다"는 OpenAI CEO의 말을 인용하기도 했습니다.

하지만 AI가 "마음 이론"을 가지고 있음을 보여주기 위해 실제로 이 두 가지 테스트를 통과할 수 있을까요?

'가장'이 아닐까?

예를 들어, 중국과학원 컴퓨팅 기술 연구소의 연구원인 Liu Qun은 연구를 읽은 후 다음과 같이 생각했습니다.

AI는 마음을 갖는 법을 배워야 합니다.

이 경우 GPT-3.5는 이 일련의 질문에 어떻게 대답합니까?

이와 관련하여 일부 네티즌들은 다음과 같은 추측을 내놓았습니다.

이 LLM은 어떤 의식도 생성하지 않았습니다. 그들은 단순히 실제 의식이 있는 인간의 출력을 기반으로 내재된 의미 공간을 예측하고 있습니다.

사실 저자도 논문에서 자신만의 추측을 내놓았습니다.

요즘 대규모 언어 모델은 점점 더 복잡해지고 인간 언어를 생성하고 해석하는 능력이 점점 더 좋아지고 있으며 마음 이론과 같은 기능을 점차 생산하고 있습니다.

그러나 이것이 GPT-3.5와 같은 모델이 진정으로 마음 이론을 가지고 있다는 의미는 아닙니다.

반대로 AI 시스템에 맞게 설계되지 않더라도 훈련을 통해 '부산물'로 얻을 수 있습니다.

따라서 GPT-3.5가 정말로 마음을 가지고 있는지, 마음이 있는 것처럼 보이는지 탐구하기보다는 테스트 자체가 더 반영되어야 할 부분입니다 -

GPT-3.5의 타당성을 재검토하는 것이 가장 좋습니다. 마음 이론 테스트, 그리고 심리학자들이 수십 년 동안 이러한 테스트를 기반으로 도출한 결론은 다음과 같습니다.

AI가 마음 이론 없이 이러한 작업을 완료할 수 있다면 인간은 왜 그렇게 될 수 없습니까?

이 결론은 과연 AI 테스트를 바탕으로 한 것인데, 이는 심리학계(총독)에 대한 역비판이다.

저자 소개

이 기사의 저자는 스탠포드 대학 경영 대학원 조직 행동 부교수인 Michal Kosinski 단 한 명입니다.

그의 임무는 최첨단 컴퓨팅 방법과 AI, 빅데이터를 활용하여 현재 디지털 환경에서 인간을 연구하는 것입니다(첸 이란 교수의 말대로 그는 컴퓨터 심리학 교수입니다).

Michal Kosinski는 캠브리지 대학교에서 심리학 박사 학위와 심리학 및 사회 심리학 석사 학위를 취득했습니다.

현직에 오기 전에는 스탠포드 대학교 컴퓨터 공학과에서 박사후 과정을 밟았고, 케임브리지 대학교 심리 테스트 센터의 부소장을 역임했으며, Microsoft Research Machine Learning의 연구원이었습니다. 그룹.

현재 Google Scholar에 표시된 Michal Kosinski 논문의 인용 횟수는 18,000회 이상에 도달했습니다.

그렇다면 GPT-3.5에 정말 마음이 있다고 생각하시나요?

GPT3.5 평가판 주소: https://platform.openai.com/playground

위 내용은 새로운 스탠포드 연구: ChatGPT 뒤에 있는 모델은 인간의 마음을 가지고 있는 것으로 확인되었습니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!