대형 모델과 구체화된 지능의 불꽃, ICML 2024 MFM-EAI 워크숍 논문 및 챌린지 요청 개시

Overview

최근에는 CLIP, ImageBind, DALL・E 등 다중 모드 기본 모델(MFM)이 등장하고 있습니다. 3. GPT-4V, Gemini 및 Sora는 인공 지능 분야에서 가장 눈길을 끌고 빠르게 발전하는 분야 중 하나가 되었습니다. 동시에 LLaVA, LAMM, MiniGPT-4, Stable Diffusion, OpenSora 등 대표적인 오픈소스 프로젝트를 통해 MFM 오픈소스 커뮤니티도 등장했습니다.

기존 컴퓨터 비전 및 자연어 처리 모델과 달리 이 유형의 MFM은 일반적인 문제 해결 방법을 적극적으로 탐색합니다. MFM을 도입함으로써 EAI(Embodied Intelligence)는 시뮬레이터와 실제 환경에서 다양하고 복잡한 작업을 더 잘 처리할 수 있습니다. 하지만 에이전트의 장기적인 의사결정, 에이전트 동작 계획, 새로운 환경 일반화 역량 등 MFM과 EAI의 교차점에는 아직 탐구하고 해결하지 못한 문제가 많다.

이 워크숍은 다음을 포함하되 이에 국한되지 않는 몇 가지 주요 문제를 탐구하는 데 전념할 것입니다:

체화된 지능을 위한 MFM;
1. 생성 모델을 기반으로 한 세계 모델;
3. 워크샵 논문 모집

개방형 시나리오에서 MFM 교육 및 평가

체화된 에이전트 교육을 위한 데이터 수집

MFM 기반 구현 에이전트를 위한 프레임워크 설계
• 지각 및 높은 MFM으로 강화된 구체화된 에이전트의 수준 계획
• MFM으로 강화된 구체화된 에이전트의 의사 결정 및 하위 수준 제어
• 구현된 에이전트의 기능 평가
• 월드 시뮬레이터로서의 생성 모델
• EAI 강화에서 MFM의 한계
• 제출 규칙

제출 형식과 템플릿은 ICML 2024 제출 지침을 따릅니다: https://icml.cc/Conferences/2024/CallForPapers

제출 입구: https://openreview.net/group?id=ICML.cc/2024 /워크숍 /MFM-EAI

• 시간 노드

EgoPlan 챌린지

1. EgoPlan 챌린지는 실제 시나리오에서 다중 모드 대형 모델을 평가하도록 설계되었습니다. 타겟팅 일상적인 인간 활동과 관련된 실제 작업을 계획하는 능력입니다. 모델은 작업 목표 설명, 1인칭 시점 비디오 및 현재 환경 관찰을 기반으로 작업을 완료하기 위한 합리적인 조치를 선택해야 합니다.
대회 공식 홈페이지: https://chenyi99.github.io/ego_plan_challenge/

접수 방법: [구글 양식] 작성(https://docs.google.com/forms/d/e/1FAIpQLScnWoXjZcwaagozP3jXnzdSEXX3r2tgXbqO6JWP_lr_fdnp) Qw /viewform? usp =sf_link)

등록 시간: 지금부터 - 2024년 7월 1일
• 상금 설정:
• 우승: $800

• 우승: $600

  혁신상: $600
  컴포저블 일반화 에이전트 챌린지

2. 컴포저블 일반화 챌린지는 개방형 시나리오에서 계획-실행 결합 시스템의 작업 능력과 일반화 능력을 평가하는 것을 목표로 합니다. 모델은 언어 작업 설명 및 다중 모드 시각적 입력을 기반으로 작업 분해를 수행하고 컨트롤러는 분해된 하위 작업을 실행합니다.
자세한 내용은 7월에 발표됩니다.

• 월드 모델 챌린지

3. 월드 모델 챌린지는 구현된 지능 시나리오에서 월드 시뮬레이터의 적용 성능을 평가하는 것을 목표로 합니다. 모델은 구현된 작업 설명과 실시간 장면 관찰을 기반으로 작업 지침을 준수하는 비디오를 생성하고, 비디오 생성 품질과 에이전트가 작업을 완료하도록 안내하는 능력을 평가합니다.
자세한 내용은 7월에 공지됩니다

위원회 구성원

워크숍 주최자

운영위원회

워크숍 관련 문의는 imlmfmeai@gmail.com으로 문의하세요.

위 내용은 대형 모델과 구체화된 지능의 불꽃, ICML 2024 MFM-EAI 워크숍 논문 및 챌린지 요청 개시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!