今天的主角，是一對AI界相愛相殺的老冤家：
Yann LeCun和Gary Marcus
#在正式講述這次的“新仇”之前，我們先來回顧一下，兩位大神的「舊恨」。
Facebook首席人工智慧科學家和紐約大學教授，2018年圖靈獎（Turing Award）得主楊立昆（Yann LeCun）在NOEMA雜誌發表文章，回應先前Gary Marcus對AI與深度學習的評論。
先前，Marcus在雜誌Nautilus中發文，表示深度學習已經「無法前進」
Marcus此人，屬於是看熱鬧的不嫌事大的主。
一有點風吹草動，就發言「AI已死」，掀起圈內軒然大波！
先前多次發文，稱GPT-3為「Nonsense」「bullshit」。
鐵證在此：
#好傢伙，竟說「深度學習撞牆了」，看到如此猖獗的評論，AI界的大牛LeCun可坐不住了，立刻發文回應！
並表示，你想對線我奉陪！
LeCun在文中把Marcus的觀點一一懟了個遍。
我們一起看看大神是如何撰文回懟的吧~~
以下是LeCun的長文：
當代人工智慧的主導技術是深度學習（DL ）神經網路（NN），這是一種大規模的自學習演算法，擅長識別和利用數據中的模式。從一開始，批判者就過早地認為，神經網路已經撞上了「一堵不可逾越的牆」，然而每一次，它都被證明是一個暫時的障礙。
在20世紀60年代，NN還無法解出非線性函數。但這種情況並沒有持續很長時間，在20世紀80年代隨著反向傳播（Backpropagation）的出現得以改變，但是新的「不可逾越的牆」又出現了，即訓練系統十分困難。
在20世紀90年代，人類有研究出了簡化程序和標準化架構，這使得訓練更加可靠，但無論取得什麼樣的成績，好像永遠都會存在一堵「不可逾越的牆」，這次是缺乏訓練資料和計算的能力。
2012年，當最新的GPU可以在龐大的ImageNet資料集上進行訓練時，深度學習開始成為主流，輕鬆地擊敗了所有競爭對手。但隨後，就出現了質疑的聲音：人們發現了「一堵新牆」——深度學習訓練需要大量的手工標註的數據。
不過在過去的幾年裡，這種質疑變得不再有意義，因為自監督學習已經取得了相當不錯的效果，例如不需要標記資料的GPT-3。
現今似乎不可逾越的障礙是「符號推理」，即以代數或邏輯的方式操作符號的能力。正如我們小時候學到的，解決數學問題需要根據嚴格的規則一步一步地處理符號(例如，解方程式)。
《The Algebraic Mind》的作者、《Rebooting AI》的合著者Gary Marcus最近認為，DL無法取得進一步進展，是因為神經網路難以處理這種符號操作。與之相對的是，許多DL研究人員相信DL已經在進行符號推理，並將繼續改進。
這場爭論的核心是符號在人工智慧中的作用，存在著兩種不同看法：一種認為符號推理必須從一開始就被硬編碼，而另一種則認為機器可以透過經驗學習到符號推理的能力。因此，問題的關鍵在於我們應該如何理解人類智能，從而，又該如何追求能夠具有人類等級的人工智慧。
符號推理最重要的是精確:根據排列組合，符號可以有很多種不同的順序，例如「(3-2)-1和3- (2-1)」之間的差異很重要，所以如何以正確的順序執行正確的符號推理是至關重要的。
Marcus認為，這種推理是認知的核心，對於為語言提供潛在的語法邏輯和為數學提供基本操作至關重要。他認為這可以延伸到我們更基本的能力，在這些能力的背後，存在著一個潛在的符號邏輯。
而我們所熟知的人工智慧，它就是從研究這種推理開始的，通常被稱為「符號人工智慧」。但是將人類的專業知識提煉成一組規則是非常具有挑戰性的，會消耗巨大的時間成本和人力成本。這就是所謂的「知識取得瓶頸」。
雖然為數學或邏輯編寫規則很簡單，但世界本身是非黑即白的、是非常模糊的，事實證明，人類不可能編寫出控制每個模式的規則或為每一個模糊的概念定義符號。
但是，科技發展到現在，造就出了神經網絡，而神經網路最擅長的地方就是發現模式並接受模糊性。
神經網路是一個相對簡單的方程，它學習一個函數，為輸入到系統的任何東西提供適當的輸出。
例如，訓練一個二分類網絡，透過將大量的樣本資料（此處拿椅子作為例子）放入神經網絡，對其進行若干個epoch的訓練，最後實現讓該網絡成功推斷出新圖片是否是椅子。
說穿了，這不僅是單純的關乎人工智慧的問題，更本質的是，到底什麼是智慧以及人類的大腦又是如何運作的問題。 」
這些神經網路可以精確訓練，因為實現它的函數是可微的。換句話說，如果符號AI類似於符號邏輯中使用的離散token，那麼神經網路就是微積分的連續函數。
這允許透過微調參數來學習更好的表示，這意味著它可以更恰到好處的去擬合數據，而不出現欠擬合或過擬合的問題。然而，當涉及到嚴格的規則和離散token時，這種流動性帶來了新的“一堵牆”:當我們求解一個方程式時，我們通常想要確切的答案，而不是近似的答案。
這正是Symbolic AI的亮點所在，所以Marcus建議將二者簡單地結合起來:在DL模組之上插入一個硬編碼的符號操作模組。
這是很有吸引力的，因為這兩種方法可以很好地互補，所以看起來，具有不同工作方式的模組“混合”，將最大化兩種方法的優勢。
但爭論的焦點轉向了是否需要將符號操作內建到系統中，在系統中，符號和操作能力是由人類設計的，而該模組不可微的——因此與DL不相容。
傳奇的「符號推理」
這個假設是非常有爭議的。
傳統的神經網路認為，我們不需要手動進行符號推理，而是可以學習符號推理，即用符號的例子訓練機器進行正確類型的推理，可以讓它學習抽像模式的完成。簡而言之，機器可以學習操作世界上的符號，儘管沒有內建的手工製作的符號和符號操作規則。
當代大型語言模型(如GPT-3和LaMDA)顯示了這種方法的潛力。他們操縱符號的能力令人印嘆為觀止，這些模型展現了驚人的常識推理、組合能力、多語言能力、邏輯和數學能力，甚至有模仿死者的可怕能力。
但其實這樣做並不可靠。如果你讓DALL-E製作一個羅馬雕塑，一個留著鬍子、戴著眼鏡、穿著熱帶襯衫的哲學家，那它會很出色。但如果你讓它畫一隻戴著粉紅色玩具的小獵犬，去追逐一隻松鼠，有時你會得到一隻戴著粉紅色小獵犬或鬆鼠。
當它可以將所有屬性指派給一個物件時，它做得很好，但當有多個物件和多個屬性時，它就會處於懵逼狀態。許多研究人員的態度是，這是DL在通往更像人類的智慧道路上的「一堵牆」。
那麼符號化操作到底是需要硬編碼?還是可學習的呢?
這並不是Marcus的理解。
他假設符號推理是全有或全無的－因為DALL-E沒有符號和邏輯規則作為其操作的基礎，它實際上不是用符號進行推理。因此，大型語言模型的無數次失敗表明它們不是真正的推理，而只是沒有感情的機械模仿。
對Marcus來說，爬上一棵足夠大的樹是不可能到達月球的。因此，他認為目前的DL語言模型並不比Nim Chimpsky（一隻會使用美國手語的雄性黑猩猩）基更接近真正的語言。 DALL-E的問題不是缺乏訓練。它們只是系統沒有掌握句子潛在的邏輯結構，因此無法正確地掌握不同部分應該如何連結成一個整體。
相較之下，Geoffrey Hinton等人認為神經網路不需要硬編碼符號和代數推理既可以成功地操縱符號。 DL的目標不是機器內部的符號操作，而是學習從世界上的系統產生正確的符號。
拒絕將兩個模式混合並非草率的，而是基於一個人是否認為符號推理可以學習的哲學性差異。
Marcus對DL的批評源於認知科學中的相關爭論，即智慧是如何運作的，以及是什麼讓人類獨一無二。他的觀點與心理學中一個著名的「本土主義」學派一致，該學派認為認知的許多關鍵特徵是天生的——實際上，我們在很大程度上生來就知道世界是如何運作的。
這種與生俱來的感知的核心是符號操作的能力（但是這究竟是在整個自然中發現的，還是人類特有的，尚且沒有結論)。對Marcus來說，這種符號操作能力奠定了常識的許多基本特徵：遵循規則、抽象、因果推理、重新識別細節、泛化和許多其他能力。
簡而言之，我們對世界的許多理解都是自然賦予的，學習就是充實細節。
還有另一種經驗主義觀點打破了上述想法：符號操縱在自然界中是罕見的，主要是我們的古人類祖先在過去200萬年中逐漸獲得的一種學習交流能力。
從這個觀點來看，主要的認知能力是非符號學習能力，與提高生存能力有關，例如快速識別獵物，預測它們可能的行動，以及發展熟練的反應。
這個觀點認為，絕大多數複雜的認知能力都是透過一般的、自監督的學習能力而獲得的。它還假設，我們大部分的複雜認知能力不會依賴符號操作。相反，他們透過模擬各種場景並預測最佳結果。
這種經驗主義的觀點認為符號和符號操縱只是另一種習得的能力，是隨著人類越來越依賴合作行為來獲得成功而獲得的能力。這將符號視為我們用來協調團隊間合作的發明——例如文字，但也包括地圖、標誌性描述、儀式甚至社會角色。
這兩種觀點之間的差異非常明顯。對於本土主義傳統來說，符號和符號操縱原本就在頭腦中，對單字和數字的使用也源自於這種原始能力。這一觀點很有吸引力地解釋了那些源自進化適應的能力(儘管對符號操縱如何進化或為什麼進化的解釋一直存在爭議)。
從經驗主義傳統角度來看，符號和符號推理是一項有用的溝通發明，它源自於一般的學習能力和我們複雜的社會世界。這將內部計算和內在獨白等發生在我們頭腦中的象徵性事物，視為源自數學和語言使用的外在實踐。
人工智慧和認知科學領域是緊密交織的，所以這些爭鬥在這裡重現也就不足為奇了。既然人工智慧中任一觀點的成功都將部分(但僅部分)證明認知科學中的一種或另一種方法是正確的，那麼這些辯論的激烈程度也就不足為奇了。
問題的關鍵不僅在於如何正確地解決當代人工智慧領域的問題，還在於解決智慧是什麼以及大腦如何運作。
為什麼「深度學習撞牆」的說法這樣具有挑釁性？
如果Marcus是對的，那麼深度學習將永遠無法實現與人類相似的AI，無論它提出了多少新的架構，也不管它投入了多少運算能力。
為神經網路繼續增加更多的層只會讓人更加困惑，因為真正的符號操縱需要一個天生的符號操縱者。由於這種符號化操作是幾種常識能力的基礎，所以DL只會對任何東西都「不求甚解」。
相比之下，如果DL的倡導者和經驗主義者是正確的，那麼令人困惑的是插入一個用於符號操縱的模組的想法。
在這種情況下，深度學習系統已經在進行符號推理，並將繼續改進，因為它們透過更多的多模態自監督學習、越來越有用的預測世界模型以及用於模擬和評估結果的工作記憶體的擴展來更好的滿足約束。
引入符號操作模組不會創造出更像人類的AI，相反會迫使所有的「推理」操作通過一個不必要的瓶頸，這將使我們更遠離「類人智慧」。這可能會切斷深度學習最激動人心的一個方面:它能夠提出超過人類的完美解決方案。
話說回來，這些都不能證明那些愚蠢的炒作是正確的：由於當前的系統沒有意識，所以它們不能理解我們，強化學習是不夠的，你不能僅僅通過擴大規模來構建類人智能。但所有這些問題都是主要爭論的「擦邊問題」：符號操作到底是需要硬編碼?還是可學習?
#這是在呼籲停止研究混合模型(即具有不可微符號操縱器的模型)嗎?當然不是。人們應該選擇有效的方法。
但是，研究人員自20世紀80年代以來一直在研究混合模型，不過它們還沒有被證明是一種有效的方式，在許多情況下，有可能甚至遠不如神經網路。
更通俗地說，人們應該懷疑深度學習是否達到了上限。
以上是深度學習撞牆？ LeCun與Marcus到底誰捅了馬蜂窩的詳細內容。更多資訊請關注PHP中文網其他相關文章！