首頁 > 科技週邊 > 人工智慧 > LeCun預言AGI:大模型和強化學習都是斜道!我的「世界模型」才是新路

LeCun預言AGI:大模型和強化學習都是斜道!我的「世界模型」才是新路

WBOY
發布: 2023-04-08 20:51:01
轉載
1829 人瀏覽過

AI界當代最著名巨擘之一、Meta的AI實驗室靈魂人物Yann LeCun,長期致力於讓機器對世界的運轉理念有基礎了解,也就是讓AI獲得常識。 LeCun過去的做法,是用視訊選段訓練神經網絡,讓AI逐個像素地預測日常活動影片下一幀將會出現啥。不出人意料地,他自己承認這條途徑撞上了鐵板。在數月到一年半之間的思考後,LeCun對下一代AI有了新的想法。

LeCun預言AGI:大模型和強化學習都是斜道!我的「世界模型」才是新路

AI新路徑

在《MIT科技評論》的訪談中,LeCun勾勒出他的新研究路徑,稱如此會給機器賦予探索世界的常識基礎。對LeCun而言,這就是打造AGI(通用人工智慧)的第一步。能像人一樣思考的機器,在AI業界誕生時就是指導性願景,同時也是爭議最大的理念之一。

不過LeCun的新路徑或許還很不完備,引來的疑問可能比獲得的答案還要多。最大的疑問在於,LeCun自己承認了他還不知道如何創造自己所描述的那種AI。此路徑的核心是個能以與先前不同方法檢視、學習真實世界的神經網路。 LeCun終於放棄了讓AI逐個像素猜下一幀視頻,只讓新的神經網路學會完成任務必備的關鍵知識。

LeCun預言AGI:大模型和強化學習都是斜道!我的「世界模型」才是新路

然後LeCun打算將這個神經網路與另一個被稱為「配置器」的神經網路配對。 「配置器」專管決定哪些細節是主神經網路必須學會的、並照此來自動調節主系統。對LeCun來說,AGI是人類與未來科技互動的不可或缺部分。當然此展望和他押注全副身家搞元宇宙的東家Meta公司不謀而合。

LeCun說,在10-15年間,取代現在智慧型手機地位的將是AR眼鏡。 AR眼鏡上就必備能輔助人類日常活動的虛擬智慧助理。如果這些助手要起最大作用,那必然或多或少要跟得上人腦智能才行。

「世界模型」是AGI核心

LeCun最近熱衷的「世界模型」,按他說就是大多數動物大腦的基礎運作模式:為真實世界跑個模擬。動物從嬰兒期開始就用預估-試誤法來發展智能。幼孩們透過觀察真實世界的運動與挫折,在生命的前幾個月就發展出了智慧的基礎。

觀察一個小球掉個幾百次,普通嬰兒就算沒上過基礎物理課、學過牛頓三定律,也對重力的存在與運作有基礎認知。所以這種直覺性/默會性推理,常人稱作「常識」。人類就是透過常識來認知真實世界的大多數可能未來與不可能幻想,來預見自己的行為後果並據此做出決策。如此的人智既不需要像素級精確細節,也不需要完整的物理參數庫。就算有人沒有視力、或是個文盲,一樣可以正常發揮智能。

LeCun預言AGI:大模型和強化學習都是斜道!我的「世界模型」才是新路

但教機器學會常識就很難。當下的神經網路要被展示數千次範例後,才能開始模糊發現內含規律模式。 LeCun表示,智能的基礎是預測即刻未來的常識能力。不過在放棄讓AI逐像素預測後,LeCun表示要換個想法。 LeCun打了個比方:想像你捏根鋼筆懸空放手,常識告訴你這根鋼筆必然會墜落,但掉落的精確位置則不在人智預測範圍內。依過去的AI開發模式,AI要跑複雜的物理學模型,來預測鋼筆是否會墜落、同時求得墜落的精確位置。

現在LeCun努力讓AI只預測出鋼筆會墜落的常識結論,至於精確位置不在求解範圍內。 LeCun說這就是「世界模型」的基本模式。

LeCun預言AGI:大模型和強化學習都是斜道!我的「世界模型」才是新路

#

LeCun表示他已經創造了可以完成基礎客體辨識的「世界模型」早期版本,現在致力於訓練它學會上述常識性預測。

不過「配置器」在此中的功用,LeCun說自己還沒搞清楚。 LeCun想像中的「配置器」AI,是整個AGI系統的控制元件。它將要決定「世界模型」在任何時刻需要做出何等常識性預測、並調適「世界模型」為此該處理的細節資料。 LeCun現在堅信「配置器」必不可少,但不知道怎麼訓練一個神經網路來做到這一點。

「我們需要摸索出可行的技術清單來,而這個清單現在還不存在。」在LeCun的願景中,「配置器」和「世界模型」是未來AGI基礎認知架構的兩大核心部分,在此之上才能發展出感知世界的認知模型、驅使AI調整行為的激勵模型等等。 LeCun稱,如此神經網路就能做到每部分都在成功模擬人腦。例如「配置器」和「世界模型」起了前額葉的作用,激勵模型是AI的杏仁體,等等。 LeCun預言AGI:大模型和強化學習都是斜道!我的「世界模型」才是新路

認知架構、不同層面細節的預測模型,這些都是多年來業界既有的一派觀點。不過當深度學習成為AI業界主流後,許多這類老點子就顯得過時。現在LeCun重拾傳統智慧:「AI研究界把這些東西忘掉好多了。」

大模型與強化學習都是死路

之所以重走舊路,是因為LeCun堅信現在的業界主流路徑已經走進死胡同。關於如何做出AGI來,現在AI業界有兩種主流觀點。

一是許多研究者堅信到搞出烏龍的路徑:就像OpenAI家的GPT系列和DALL-E系列那樣,模型越大越好,大到超過臨界點,AI就覺醒人智了。

二是強化學習:不斷試錯,並按試錯結果獎懲AI。這是DeepMind家做各種棋牌AI、遊戲AI的路數。這種路徑的信徒認為,只要獎勵激勵設定對頭,強化學習終將創造出真正AGI。

Lecun表示在座的兩種人都是垃圾:「無限擴張現有大語言模型的量級,最後就能做出人類層次的AI?這種荒唐論調,我一秒鐘都沒信過。這些模型就只能單純捯鷸各種文字與圖像數據,完全沒有真實世界的直接體驗。」「強化學習要用巨量數據才能訓練模型執行最簡單任務,我不認為這種辦法有機會做出AGI來。」

LeCun預言AGI:大模型和強化學習都是斜道!我的「世界模型」才是新路

業內人對LeCun的觀點有支持也有反對。如果LeCun的願景實現,AI將會成為不亞於網路的下一代基礎高性能技術。但他的聲張並不包括自家模型的表現、激勵機制、控制機制等等。不過這些缺陷都是小事,因為不管褒貶,業內人士一致認為要面對這些短板還是久遠以後的事。因為即使LeCun也沒辦法在當下馬上做出AGI來。

Lecun自己也表示承認此形勢,他稱自己只希望為新的理論路徑播種、讓後來者於此基礎上建構出成果。 「達到這個目標,需要太多人付出太多努力。我現在提出這些,只是因為我認為這條路才是最終的正路。」就算做不到這點,LeCun也希望說服同行不要單單死盯著大模型和強化學習,最好打開思路。 「我討厭看到大家浪費時間。」

業界反應:褒貶皆有

另外一名AI界泰斗、與LeCun交情好的Yoshua Bengio表示樂見老友圓夢。 「Yann說這些已經說了有日子了,不過看到他整全性地把各種言說歸納到一處,我還是蠻高興的。然而這些只是研究方向申請而非結果呈報,大家通常只在私底下分享這些,公開聊的風險挺大。」

LeCun預言AGI:大模型和強化學習都是斜道!我的「世界模型」才是新路

#DeepMind裡牽頭開發遊戲AI AlphaZero的David Silver不贊成LeCun對自己專案的批評,不過歡迎他實現願景。

「LeCun描述的世界模式的確是個令人興奮的新點子。」加州聖菲研究所的Melanie Mitchell則贊成LeCun:「業界真的不常在深度學習社群中看到這種觀點。但大語言模型真的既缺記憶,又沒有能擔綱的內在世界模型骨幹。」

Google大腦的Natasha Jaques不同意:「大家已經看到大語言模型極具效率,也混雜了相當多人類知識。沒語言模型,我怎麼升級LeCun提出的這個世界模型?就算人類學習,途徑也不止親身經歷,還包括口耳相傳。」

#

以上是LeCun預言AGI:大模型和強化學習都是斜道!我的「世界模型」才是新路的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
最新問題
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板