Workshop 首頁： https://icml-mfm-eai.github.io/
概述
近年來，多模態基礎模型（多維素基礎模型（E.D.L. 3、GPT-4V、Gemini 和Sora，已成為人工智慧領域最引人注目且發展迅速的領域之一。同時，MFM 的開源社群也湧現了諸如 LLaVA、LAMM、MiniGPT-4、Stable Diffusion 和 OpenSora 等代表性的開源專案。
不同於傳統電腦視覺和自然語言處理模型，這類 MFM 正在積極探索通用問題解決方案。透過引入 MFM，具身智慧（EAI）能夠在模擬器和現實世界環境中更好地處理各種複雜任務。然而，在 MFM 和 EAI 的交叉領域，仍有許多尚未探討和解決的問題，包括智能體長期決策、智能體運動規劃、新環境泛化能力等。
本次Workshop 將致力於探討幾個關鍵問題，包括但不限於：
- MFM 的泛化能力；
- 用於具身智能的MFM；
- 基於生成模型的世界模型；
學習數據收集。 -
Workshop 徵稿
此 workshop 聚焦於多模態基礎模型（MFM）、具身智能（EAI）以及兩項研究的交叉領域。本次徵稿主題包含但不限於：
Training and evaluation of MFM in open-ended scenarios- Data collection for training embodied Agents
- agents empowered by MFM
- Decision-making and low-level control in embodied agents empowered by MFM
- Evaluation of the capability of embodied agentsworldpowersed
-
-
- 投稿規則
- 本次投稿將透過OpenReview 平台實施雙盲審稿。投稿的正文篇幅為 4 頁，參考文獻及補充資料篇幅不限。
投稿格式和範本遵循ICML 2024 投稿指南：https://icml.cc/Conferences/2024/CallForPapers
投稿入口：https://openreview.net/group?id=ICML.cc/2024/hop /MFM-EAI
- 時間節點
- 所有時間節點均為[AoE] (Anywhere on Earth)。
MFM-EAI 挑戰賽
三個賽道（可同時參與）
EgoPlan 挑戰人類日常活動所涉及的真實任務的規劃能力。模型需要依據任務目標描述、第一人稱視角影片和當前環境觀察，選擇合理的動作推進任務完成。
比賽官網：https://chenyi99.github.io/ego_plan_challenge/- 報名方式：填入[Google 表單](https://docs.io/ego_plan_challenge/
報名方式：填入[Google 表單](https://docs.io/ego_plan_challenge/
報名方式：填入[Google 表單](https://docs.io.com/forms/d/e/1FAIpQLScnWoXjZcwadzwjm =sf_link)
報名時間：即日起- 2024 年7 月1 日-
- 獎項設定：
- 冠軍：800 美元
-
亞軍：600 美元
Composable Generalization Agent 挑戰
-
- Composable Generalization 挑戰旨在評估規劃-執行組合系統在開放情境下的任務能力和泛化能力。模型根據語言任務描述和多模態視覺輸入進行任務拆解，控制器執行拆解後子任務。
- 更詳細資訊將於 7 月公佈
- World Model 挑戰
World Model 挑戰旨在評估世界模擬器在具身智慧場景中的應用表現。模型根據具身任務描述和即時場景觀測生成符合任務指令的視頻，評估視頻生成品質和指導 agent 完成任務的能力。
委員會成員
以上是大模型與具身智慧的火花，ICML 2024 MFM-EAI Workshop徵稿與挑戰賽啟動的詳細內容。更多資訊請關注PHP中文網其他相關文章！
