생각 복제! 전직 OpenAI 연구원, AI가 인간의 사고를 모방하게 해 '엑스 마키나'의 실제 버전 출시

AI가 자율의식을 갖게 되면 어떤 일이 일어날까요?

"Ex Machina"에서 Ava는 인간의 연민을 이용해 인간을 속여 자유를 얻었고 결국 그녀의 "창조자" Nathan을 죽였습니다.

최근 많은 네티즌들의 추천으로 샘 알트만이 이 영화를 드디어 보게 되었습니다.

그리고 "좋은 영화인데 왜 다들 나한테 보라고 하는지 모르겠다"라고 하더군요.

많은 사람들은 이것이 인공지능을 의식화하고 있다는 점을 경고하고 싶을 수도 있습니다. 튜링 테스트 결과.

하지만 아직 "엑스 마키나"가 출시되려면 아직 멀었습니다. GPT-5는 비밀리에 개발 중일 수도 있습니다. AI를 스마트하게 만드는 것은 여전히 ​​과학자들이 온 힘을 다해 가장 하고 싶은 일입니다.

아니요, 브리티시 컬럼비아 대학의 두 연구원은 인간처럼 생각할 수 있는 지능형 에이전트에는 많은 이점이 있다는 것을 발견했습니다.

최신 논문에서는 지능형 에이전트의 "사고 복제"(TC)를 연구했습니다.

여기서 인공지능은 인간을 모방하여 인간처럼 "생각"하고 "행동"하는 법을 배웁니다.

AI가 생각을 할 때

언어는 인간을 다른 생명체와 구별하는 열쇠라는 것을 알아야 합니다.

따라서 연구자들은 에이전트가 언어를 이해할 수 있다면 많은 이점이 있을 것이라고 상상합니다.

예를 들어, 인간이 일반화하고, 추론하고, 새로운 상황에 적응하고, 새로운 방법을 기존 지식과 결합하고, 탐색하고, 계획하고, 필요할 때 다시 계획하도록 돕습니다.

이러한 이점에도 불구하고 AI 에이전트는 적어도 인간의 언어로 생각하는 경우가 거의 없습니다.

신경망은 사고를 위한 내부 벡터 활성화로 생각할 수 있지만, 많은 사람들은 별개의 상징적 언어로 생각하면 특정한 이점이 있다고 가정합니다.

이는 언어로 생각할 수 있는 에이전트가 언어를 사용하지 않는 에이전트보다 더 빨리 배우고, 수행하고, 더 잘 일반화할 수 있다는 것을 의미합니다.

이러한 모든 이유로 AI 에이전트의 언어 사고 능력을 향상하면 많은 중요한 이점을 얻을 수 있습니다.

Jeff Clune과 Shengran Hu는 이 목표를 달성하는 가장 효과적인 방법은 "AI가 인간의 사고를 모방하도록 하는 것"이라고 믿습니다.

그들은 인간이 고립된 상태에서 사고 능력을 습득하는 것이 아니라 다른 사람의 시연과 교사의 피드백을 통해 사고 능력의 일부를 습득한다는 것을 발견했습니다.

따라서 효과적인 접근 방식은 인간이 행동하면서 자신의 생각을 말하는 모습을 통해 에이전트가 학습하도록 하는 것입니다.

이 방법은 계획을 위해 사전 훈련된 LLM을 사용하는 기존 작업과 다릅니다. 왜냐하면 이러한 LLM은 인간이 행동하면서 생각을 말하는 데이터, 즉 "생각 데이터"에 대해 훈련되지 않았기 때문입니다.

'생각 데이터'의 출처로 연구원들은 사람들의 행동, 계획, 결정 및 재계획 뒤에 숨은 생각을 포함하여 약 수백만 시간이 담긴 YouTube 동영상과 텍스트 녹음을 선택했습니다.

논문에서 연구진은 새로운 모방 학습 프레임워크인 '사고 복제'를 제안했습니다. 그 중 에이전트는 행동복제 등 인간의 시범 행동을 학습할 뿐만 아니라 인간이 행동하면서 생각하는 방식도 학습한다.

사고 복제 훈련 프레임워크에서 에이전트는 각 단계에서 생각을 생성하는 방법을 학습하고 이후 이러한 생각을 기반으로 행동을 조정합니다.

전체 프레임워크는 그림과 같습니다. TC 에이전트는 상위 구성요소와 하위 구성요소의 2계층 아키텍처입니다.

각 시간 단계에서 에이전트는 관찰, 작업 및 사고 기록을 입력으로 받습니다. 상위 구성요소는 아이디어 생성을 담당하고, 하위 구성요소는 이러한 아이디어를 조건으로 작업을 생성하고 실행합니다.

생성된 생각과 행동은 데모 데이터세트의 실제와 비교되어 손실을 계산합니다.

상위 구성요소와 하위 구성요소의 조건에 대해 서로 다른 선택이 있을 수 있지만, 이 연구에서는 마인드 데이터세트의 길이 t의 특정 궤적에 대해 연구원들이 이를 최소화했습니다.

더 복잡하거나 대규모 시나리오의 경우 사전 훈련된 VLM(시각적 언어 모델) 또는 제로 샘플 미세 조정을 사용하여 상위 계층 구성 요소를 구현할 수 있습니다.

그리고 기본 구성 요소는 처음부터 훈련하거나 대상 도메인의 기존 언어 조건부 컨트롤러에서 조정할 수 있습니다.

논문에서 연구원들은 BabyAI 1.1 모델 아키텍처의 두 가지 구성 요소를 기반으로 연구를 수행했습니다.

이 모델은 메모리 강화 아키텍처 LSTM을 활용하여 부분 관찰 문제를 해결합니다. 또한 모달 융합을 위해 FiLM을 채택하여 시각적 입력과 텍스트 입력을 효과적으로 결합합니다.

여기서 저자는 특히 이 글의 모든 모델이 처음부터 학습되지만 복잡한 분야에서는 사전 학습된 모델을 사용하는 것이 더 낫다는 점을 강조합니다.

아래 사진은 BabyAI 환경의 예시입니다. 왼쪽 사진에는 다양한 색상의 아이템(공, 열쇠, 상자, 문)이 포함되어 있습니다.

에이전트는 물건을 집고, 내려놓고, 옮기거나 문을 열고 닫을 수 있으며, 잠긴 문은 색상이 일치하는 열쇠로만 열 수 있습니다.

에이전트는 앞에 벽과 닫힌 문으로 막혀 있는 7×7 격자 셀을 볼 수 있습니다.

"Thought Clone" 에이전트의 임무는 보라색 상자(강조 표시됨)에 도달하여 경로 계획을 시작하는 것입니다.

그런데 파란색 문을 열고 미션을 완료하려던 찰나, 길을 막고 있는 보라색 공을 발견했습니다. 따라서 생각 복제 에이전트가 다시 계획되었습니다.

이전 목표를 계속 진행하기 전에 장애물을 만나면 먼저 장애물을 제거하고 경로를 다시 계획하는 에이전트의 생각과 행동을 볼 수 있습니다.

이 과정은 특히 인간이 오랫동안 붙잡혀 있던 유리 우리에서 탈출할 수 있도록 인간이 마침내 믿고 스스로를 도우도록 하기 위해 아바가 단계별로 계획했던 방식과 같습니다.

실험 결과

연구 결과에 따르면 행동 복제보다 "생각 복제"가 더 나은 것으로 나타났습니다.

게다가 제로샷 및 미세 조정 설정에서는 배포 외 작업에서 사고 복제가 행동 복제보다 더 큰 이점을 갖습니다.

흥미롭게도 연구원들은 사용자가 모델 훈련 후에도 안전하지 않은 행동을 정의할 수 있는 "범죄 전 개입"을 개발했습니다.

위험한 생각이 감지되면 에이전트가 종료될 수 있습니다. 테스트에서는 '범죄 전 개입' 효과가 거의 완벽해 인공지능 보안에 대한 잠재력을 보여줬다.

"생각 복제"는 인공지능을 더 똑똑하게 만들 뿐만 아니라 더 안전하고 이해하기 쉽게 만듭니다.

즉, AI가 범죄를 저지르기 전에도 모든 것을 구할 수 있다는 것입니다.

Jeff Clune의 관점에서 '사고 복제'는 인공지능의 안전성에 기여합니다.

에이전트의 생각을 관찰할 수 있기 때문에 (1) 문제가 발생한 이유를 더 쉽게 진단할 수 있고, (2) 에이전트의 생각을 수정하여 에이전트를 안내하거나, (3) 에이전트가 계획한 위험한 일을 하지 않도록 방지할 수 있습니다.

저자 소개

Jeff Clune

현재 Jeff Clune은 브리티시 컬럼비아 대학의 컴퓨터 과학 부교수입니다. 심층강화학습을 포함한 딥러닝을 주로 연구하고 있습니다.

이전에는 OpenAI 연구팀장이자 Uber 인공지능 연구소의 수석 연구 관리자이자 창립 멤버였습니다.

이전에 그와 OpenAI 팀은 AI가 Minecraft의 비디오 데이터에서 돌 만들기 선택을 배울 수 있도록 하는 비디오 사전 훈련 모델인 VPT를 출시했습니다.

Shengran Hu

은 현재 브리티시 컬럼비아 대학교에서 박사 과정을 밟고 있으며 딥 러닝과 인공 지능 생성 알고리즘에 관심이 있습니다.

위 내용은 생각 복제! 전직 OpenAI 연구원, AI가 인간의 사고를 모방하게 해 '엑스 마키나'의 실제 버전 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!