Do Language Models Plan for Future Tokens?

 別讓 Yann LeCun發現了Transformer的隱藏能力!?

這段有趣的Ｘ對話把我上次跟大家分享的觀點: Next Token Prediction還能走多久？呼應上了。

這篇題為《Do Language Models Plan for Future Tokens?》的論文,我們可以深入探討語言模型是否像人類一樣對未來的token進行預先的規劃和思考。這個問題十分有趣,因為大量的語言學研究已經表明人類在說話時會預測即將出現的詞彙、片語甚至句子,但目前主流的語言模型在生成每個token時分配的計算資源是固定的,尚不清楚是否也存在類似的前瞻性機制。

該論文的作者是三個學校的博士生，作者提出了"預緩存"(pre-caching)和"麵包屑"(breadcrumbs)兩種可能的機制來解釋transformer模型如何將過去的信息傳遞到未來。:一是pre-caching,即模型在當前時間步有意地計算一些與當前任務無關但對未來有幫助的特徵;二是breadcrumbs,即對當前最相關的特徵恰好也是對未來最有用的,模型只是在當前的前向傳播過程中"無意地"留下了這些線索。為了區分這兩種解釋,作者提出了近視(myopic)模型的概念,它在每個時間步只優化當前的loss而不考慮未來。如此一來,近視模型只能通過breadcrumbs機制將過去的訊息傳遞到未來。通過比較原版模型和近視模型的性能差距,就可以定量地衡量pre-caching的程度。

在一個精心設計的合成資料集上,作者發現transformer確實學會了pre-caching,表明當模型必須預先計算一些資訊才能最小化損失時,它們確實能這樣做。但在真實的語言建模任務中,近視訓練的實驗結果更支持breadcrumbs假說。這啟示我們,在自然語言資料上,模型可能並沒有刻意地為未來做準備,而更多是透過捕捉語言的固有結構將資訊在時間上傳遞。研究還發現,原版transformer和近視版transformer在不同位置上的損失函數值相差不大,進一步說明在語言資料上貪婪地最佳化當前預測,與兼顧未來預測之間可能不存在顯著的權衡。語言的規律性使得對當前最有利的特徵通常也有利於未來預測。

這項工作為深入分析transformer的行為提供了新的研究範式。透過構造具有特定性質的資料集並觀察模型的適應情況,我們可以更細緻地探究語言模型的能力邊界。在實驗方法上,本文運用了線性探針和近視訓練等技術來探測模型學到的語言表徵中蘊含的訊息。不過在解讀實驗結果時仍需謹慎,線性探針的可解釋性有其侷限,近視訓練也可能改變模型學習的表徵。

儘管如此,這項研究無疑加深了我們對語言模型處理長文依賴的認識。它啟示我們,儘管語言模型展現出了驚人的能力,但其行為模式與人類的預測性語言處理還有一定差距。語言模型更多是利用了語言訊號的自相關性,而非主動地對未來進行高層規劃。這提示我們在改進語言模型時,除了增強其對長距離依賴的建模,可能更需要融入結構性的先驗知識來引導其學習。

https://arxiv.org/pdf/2404.00859.pdf

以下幾點整理:

1. 語言模型確實能夠將一些有助於未來預測的資訊編碼在當前的隱藏狀態中,並在之後加以利用。這種能力讓語言模型在一定程度上展現出對未來token的"預見"能力。

2. 透過比較原版transformer和近視版transformer的性能,我們發現這種對未來規劃的能力在合成資料集上比較明顯,但在真實的語言建模任務中似乎並不顯著。這啟示我們語言模型對未來token的考量可能沒有想像中那麼強。

3. 該論文提出的pre-caching和breadcrumbs兩種假說對理解語言模型的行為提供了很好的視角。在合成資料集上,pre-caching佔主導;但在自然語言任務中,breadcrumbs假說似乎更有解釋力。這表示語言模型主要還是透過捕捉語言的固有結構將訊息在時間維度上傳遞,而非刻意地為未來做準備。

4. 實驗發現,原版transformer和近視版transformer在不同位置的損失函數值相差不大,進一步說明在語言資料上貪婪地最佳化當前預測與兼顧未來預測之間可能不存在太大矛盾。語言的規律性使得對當前最有利的特徵通常也有利於未來預測。

5. 論文中設計的合成資料集和數學化的假設檢驗為深入分析transformer的行為提供了新的研究範式。類似地構造具有特定性質的資料集,並觀察模型的適應情況,可以幫助我們更細緻地理解語言模型的能力邊界。

6. 在實驗方法上,本文使用了線性探針和近視訓練等技術,這些方法有助於我們探測模型學到的語言表徵中蘊含的訊息。不過在解讀實驗結果時仍需謹慎,線性探針的可解釋性有其侷限,近視訓練也可能改變模型學習的表徵。

我認為有必要在更大規模的資料集和模型上驗證本文的發現,畢竟許多語言現象只有在資料達到一定的覆蓋度時才會顯現。此外,我們可以嘗試將pre-caching的思想應用到模型設計中,探索是否能賦予語言模型對未來更強的規劃能力。同時,類似的分析方法也可以推廣到其他類型的序列模型中,幫助我們理解它們的規劃和決策機制。