參考人類大腦，學會忘記會讓AI大模型變得更好？

最近，一支電腦科學家團隊研發了一種更靈活、更具彈性的機器學習模型，它們具有周期性遺忘已知資訊的能力，這是現有大型語言模式所不具備的特質。

實測表明，在許多情況下，「忘卻法」的訓練效率很高，忘卻型模型表現也會更好。韓國基礎科學研究院（Institute for Basic Sc​​ience）的AI工程師Jea Kwon說，新研究意味著AI領域有明顯進展。

「忘卻法」訓練效率很高

目前主流的AI語言引擎大多採用人工神經網路技術。這種網路結構中的每個「神經元」實際上是一個數學函數，它們之間相互連接，接收和傳遞訊息，透過多層神經元的複雜運算來實現資料處理和學習。神經網路的這種模擬方式使得AI能夠模擬人類大腦的工作方式，從而實現類似人類的智慧行為。

最開始時資訊流或多或少都是隨機的，當網路不斷與訓練資料匹配，神經元之間流動的資訊會不斷優化。例如，如果研究人員想訓練一個雙語翻譯模型，它首先要收集海量雙語文本，用文本訓練模型，它會調整神經元之間的連接，將一種語言中的文本與另一種語言中的等效單字連結起來。

上述訓練需要大量運算資源。如果模型效能不佳，或使用者需求變化，模型可能無法滿足需求。

研究人員Mikel Artetxe指出：「假設你有一個包含100種語言的模型，但其中有一種語言沒有被包含進去。如果想要將這種語言加入模型，就必須重新訓練。 」

幾年前，Artetxe和同事用1種語言訓練神經網絡，他們抹去神經網路所知的單字組成訊息，也就是所謂的「Tokens」。 Tokens儲存在神經網路的第一層，它也叫做「嵌入層」。對於其它層，不去理睬。抹去第1語言的Tokens之後，用第2種語言訓練，第2種語言新的Tokens可以填滿到嵌入層。

雖然模型包含大量不符訊息，但仍可以用第2種語言重新訓練，也就是說模型可以學習、處理第2種語言。研究人員認為，雖然嵌入層儲存了第2種語言的語匯特殊訊息，但神經網路更底層儲存了抽象訊息，它涉及到人類語言的幕後概念，正是這些概念幫助模型學習第二種語言。

研究報告作者陳一紅認為：「我們生活在同一個世界，用不同語言的詞彙來表達相同的概念。因此，在模型中會有相同程度的推理，例如一個蘋果，它是甜的、美味的，它代表著不止是一個詞彙。」

將新語言添加到已訓練模型中，採用「忘卻法」效率很高，儘管如此，還是需要重新訓練，仍然需要海量數據和強大的處理能力。有沒有更好的辦法？當然有，不需要訓練，直接抹去嵌入層，然後再訓練，也就是在初步訓練時週期性重置嵌入層。

Artetxe說：「如此一來，整個模型就能適應重置。如果你想擴展模型，讓它適應另一種語言，過程會變得更容易。」

###################################忘卻型模型表現較好######研究者用一種比較通用的大語言模型Roberta做實驗，採用周期性忘卻技術訓練，將它與那些用標準、非忘卻方法訓練的模型作比較。結果發現，在處理第1種語言時，忘卻型模型得分85.1分，傳統標準模型得分86.1分。再用第2種語言訓練，只用約500萬Tokens（第一種語言用了700億）訓練，忘卻型模型的精準度得分降至62.7分，標準模型降到53.3分。 ######再訓練時如果研究者施加計算限制，忘卻型模型的表現會更好。例如，當研究人員將訓練長度從125000步短到5000步，忘卻型模型的平均得分約為57.8分，標準模型降到37.2分，幾乎和猜測差不多。 ######因此研究者得出結論：在學習語言時，忘卻型模型表現較好一些。 ######魁北克深度學習研究中心Mila的研究人員Evgenii Nikishin認為：“因為模型在訓練時不斷忘卻，然後再重新學習，所以後面再教網絡一些新東西時會變得更容易些。”種種跡象顯示，模型理解語言時會從更深層次著眼，不只是了解單一詞彙的意思。 ###

忘卻法與人類大腦的運作模式有些相似。舊金山大學神經科學家Benjamin Levy認為：「儲存大量詳細資訊時人類記憶是相當不精準的。但人類大腦可以記住經驗要點，記住抽象訊息，並且擅長推斷。讓AI像人類一樣處理訊息，例如讓它具備忘卻能力，AI也許會更有彈性。「

Yihong Chen認為，未來也許會出現製造語言模型的工廠，這樣的工廠需要忘卻型技術，它是一個基本模型，可以快速適應新領域。 （小刀）