즉각적인 단어가 필요하지 않습니다. Stability AI는 MindEye를 보여줍니다. 대상이 원하는 것은 무엇이든 생성할 수 있습니다.

3월 21일 뉴스에 AI 열풍이 휩쓸고 있습니다. 이전에는 "프롬프트 워드 엔지니어"가 새로운 직업 유형이 될 것이라고 생각했지만 MindEye의 출현은 이 직위가 없을 수도 있음을 보여줍니다. 값.

한때 많은 사람들은 AI 시대의 핵심은 모델 자체의 힘이 아니라 오히려 인간이 이러한 AI 모델을 효과적으로 사용하여 특정 작업을 완료할 수 있는지 여부에 있다고 믿었습니다.

따라서 "프롬프트 워드 엔지니어"라는 개념이 제안되었습니다. 그들은 더 깊은 이해 능력을 가지고 있으며 인공 지능에 대한 보다 정확한 프롬프트 단어를 제공하여 AI가 사용자 요구를 더 잘 충족할 수 있도록 돕습니다.

StabilityAI는 2023년 7월 MindEye1을 출시했고, 최근 MindEye2를 다시 출시했습니다. 이로 인해 "프롬프트 단어 엔지니어"의 가치가 크게 감소했습니다. 이 모델은 특정 프롬프트 단어에 의존하지 않고 사용자의 뇌파를 기반으로 직접 생성되며, 즉, 사용자의 두뇌가 원하는 것이 미래에 모델이 생성할 수 있는 것이 될 것입니다.

MindEye는 fMRI 뇌 활동에서 직접 이미지를 재구성하고 검색하며 2D 이미지를 3D 비디오로 변환할 수 있습니다.

기능적 자기공명영상(fMRI)은 뇌로 가는 혈류의 변화를 감지하여 뇌 활동을 측정하는 신경 영상 기술입니다. 이 기술의 주요 목적은 뇌 기능을 지도화하고, 뇌 활동을 연구하고 신경 질환에 대한 잠재적 치료법을 평가하는 데 중요한 데이터를 제공하는 것입니다. fMRI 기술을 통해 다양한 작업을 수행할 때 뇌의 활동 패턴을 심층적으로 이해할 수 있으므로 과학자들이 뇌가 어떻게 작동하는지 더 잘 이해할 수 있습니다.

MindEye는 MRI 스캐너에서 참가자의 뇌 활동을 관찰하는 데 기반을 두고 있습니다. 데이터 세트 시스템. 연구팀은 이러한 녹음 내용을 사용하여 원본 이미지를 분석 및 검색하거나 재구성된 이미지를 생성할 수 있는 시스템을 교육했습니다. 이 시스템은 참가자들이 일련의 정적 이미지를 볼 때 뇌 활동에서 본 이미지를 재구성하여 연구자에게 귀중한 통찰력과 정보를 제공할 수 있습니다. 이러한 방식으로 MindEye는 연구자들이 시각 처리 과정에서 뇌의 활동 패턴과 메커니즘을 더 깊이 이해하는 데 도움을 줄 수 있습니다. 이 기술은 신경과학 연구에 대한 가능성을 제시합니다

연구원들은 MindEye가 이미지 검색 작업에서 이전 방법보다 성능이 뛰어나 후보 이미지에서 원본 이미지를 90% 이상의 정확도로 식별한다는 것을 입증했습니다. 재구성을 위해 MindEye는 사전 훈련된 생성 모델을 사용합니다.

MindEye는 다양한 분야에 적용될 수 있습니다. 의료 분야에서 뇌 활동을 통해 시각적 인식을 재구성하는 능력은 특히 환자가 의사소통에 어려움을 겪는 상황에서 진단 및 평가 방법에 사용될 수 있습니다. MindEye의 실시간 분석 잠재력은 뇌-컴퓨터 인터페이스의 성능을 향상시킬 것을 약속합니다.

연구팀은 긴 스캔 시간, 참가자의 움직임이나 부주의로 인한 데이터 노이즈 가능성 등 데이터 수집과 관련된 제한 사항을 강조했습니다.

논문 논문 첨부

• 마음의 눈 재구성: 대조 학습 및 확산 우선순위를 사용한 fMRI-이미지
• MindEye2: 공유 주제 모델을 통해 1시간의 데이터로 fMRI-이미지 가능
• MindEye2: 공유 주제 모델을 통해 1시간의 데이터로 fMRI-이미지 변환 가능