計算機科學家團隊近期开發出一種更敏捷更具彈性的機器學習模型，它們可以周期性忘記已知信息，而現有大語言模型不具備忘卻能力。

實測表明，在很多情況下，“忘卻法”的訓練效率很高，忘卻型模型表現也會更好。韓國基礎科學研究院（InstituteforBasicScience）的AI工程師JeaKwon說，新研究意味着AI領域取得明顯進步。

“忘卻法”訓練效率很高

今天的AI語言引擎大多都是人工神經網絡驅動的。網絡中的每一個“神經元”都是一個數學函數，它會從其它神經元接收信號，它會運算，然後通過多層神經元發送信號。

最开始時信息流或多或少都是隨機的，當網絡不斷與訓練數據匹配，神經元之間流動的信息會不斷優化。例如，如果研究人員想訓練一個雙語翻譯模型，它首先要收集海量雙語文本，用文本訓練模型，它會調整神經元之間的連接，將一種語言中的文本與另一種語言中的等效單詞聯系起來。

上述訓練會耗費大量計算力。如果模型運行時不夠出色，如果後來用戶的需求變了，模型會很難匹配。

新模型研究人員MikelArtetxe說：“假設你有一個模型，裏面包含100種語言，有1種語言沒有被覆蓋。如果你想將這種語言添加進去，那就要重新訓練。”

幾年前，Artetxe和同事用1種語言訓練神經網絡，他們抹去神經網絡所知的單詞組成信息，也就是所謂的“Tokens”。Tokens存儲在神經網絡的第一層，它也叫“嵌入層”。對於其它層，不去理睬。抹去第1語言的Tokens之後，用第2種語言訓練，第2種語言新的Tokens可以填充到嵌入層。

雖然模型包含大量不匹配信息，但仍然可以用第2種語言重新訓練，也就是說模型可以學習、處理第2種語言。研究人員認爲，雖然嵌入層存儲了第2種語言的語匯特殊信息，但神經網絡更底層存儲了抽象信息，它涉及到人類語言的幕後概念，正是這些概念幫助模型學習第二種語言。

研究報告作者YihongChen認爲：“我們生活在相同的世界，用不同語言的不同詞匯來賦予相同事物以概念。所以在模型之中會有相同等級的推理，比如一個蘋果，它是甜的，美味的，它不只是一個詞匯。”

將新語言添加到已訓練模型中，採用“忘卻法”效率很高，盡管如此，還是需要重新訓練，仍然需要海量數據和強大的處理能力。有沒有更好的辦法？當然有，不需要訓練，直接抹去嵌入層，然後再訓練，也就是在初步訓練時周期性重置嵌入層。

Artetxe稱：“如此一來，整個模型就能適應重置。如果你想擴展模型，讓它適應另一種語言，過程會變得更容易。”

忘卻型模型表現更好

研究人員用一種比較通用的大語言模型Roberta做實驗，採用周期性忘卻技術訓練，將它與那些用標准、非忘卻方法訓練的模型作比較。結果發現，在處理第1種語言時，忘卻型模型得分85.1分，傳統標准模型得分86.1分。再用第2種語言訓練，只用約500萬Tokens（第一種語言用了700億）訓練，忘卻型模型的精准度得分降至62.7分，標准模型降到53.3分。

再訓練時如果研究人員施加計算限制，忘卻型模型的表現會更好。例如，當研究人員將訓練長度從125000步短到5000步，忘卻型模型的平均得分約爲57.8分，標准模型降到37.2分，幾乎和猜測差不多。

因此研究人員得出結論：在學習語言時，忘卻型模型表現更好一些。

魁北克深度學習研究中心Mila的研究人員EvgeniiNikishin認爲：“因爲模型在訓練時不斷忘卻，然後再重新學習，所以後面再教網絡一些新東西時會變得更容易些。”種種跡象顯示，模型理解語言時會從更深層次着眼，不只是了解單個詞匯的意思。

忘卻法與人類大腦的運行模式有些相似。舊金山大學神經科學家BenjaminLevy認爲：“存儲大量詳細信息時人類記憶是相當不精准的。但人類大腦可以記住經驗要點，記住抽象信息，而且擅長推斷。讓AI像人類一樣處理信息，比如讓它具備忘卻能力，AI也許會更有彈性。“

YihongChen認爲，未來也許會出現制造語言模型的工廠，這樣的工廠需要忘卻型技術，它是一個基本模型，可以快速適應新領域。

---

標題：參照人類大腦，學會忘記會讓AI大模型變得更好？

地址：https://www.utechfun.com/post/344303.html