擴張注意力: 改良的注意力機制

 擴張注意力技術(Dilated Attention)可以將Transformer模型的上下文窗口擴展到10億個token。

擴張注意力是一種改良的注意力機制。它讓模型可以關注輸入序列中更遠的部分,且計算成本不會大幅增加。這個概念借鑑了卷積神經網路中的擴張卷積。 

在標準的Transformer模型中,自注意力機制讓輸入序列中的每個token都能關注其他所有token,導致計算複雜度為O(N^2),其中N是序列長度。

當嘗試擴展到非常長的序列(例如10億個token)時,由於計算和記憶體的限制,平方複雜度變得不可行。

擴張注意力引入了一個擴張因子,它改變了token相互關注的模式。其理念是讓token以越來越大的距離關注其他token,跳過中間的token。

擴張注意力的運作方式

1. 擴張因子: 這是一個超參數,決定了被關注的token之間的距離。例如,擴張因子為2意味著每個token關注序列中間隔一個的其他token。

2. 多層結構: 通過堆疊具有不同擴張因子的多個層,模型可以從各種距離收集信息,創建更全面的表示。

3. 稀疏連接: 這導致注意力矩陣中的稀疏連接,將複雜度從O(N^2)降低到更易處理的程度,例如O(N log N)甚至是線性複雜度,具體取決於擴張模式。

擴張注意力如何實現10億token的上下文

1. 記憶效率: 擴張注意力大大減少了記憶體需求,允許處理更長的序列。

2. 計算效率: 通過降低複雜度,它使得在合理的計算時間內處理更大的序列成為可能。

3. 保持長距離依賴: 儘管降低了複雜度,擴張注意力仍然允許捕捉文本中的長距離依賴關係,這對許多NLP任務至關重要。

與HuggingFace或其他框架整合

在流行的深度學習框架中實現擴張注意力通常需要定制注意力層。您可能需要修改現有的注意力機制以納入擴張因子、更新遮罩,並確保正確處理反向傳播。

總之,擴張注意力表示著將基於注意力的模型擴展到處理極長序列的重要一步。通過引入擴張因子並利用稀疏連接,它使得處理高達10億個token的上下文成為可能,在大幅降低計算要求的同時保持了注意力的本質。

擴張注意力與稀疏注意力的區別

擴張注意力和稀疏注意力都是降低Transformer中注意力機制計算複雜度的機制,但它們通過不同的方式實現這一目標。讓我們探討一下兩者的區別:

稀疏注意力選擇性地只關注序列中的一部分token,創建一個許多條目為零的稀疏矩陣。

稀疏模式可以是固定的或學習的,它定義了哪些token關注哪些其他token。常見的模式包括帶狀、滑動窗口或其他預定義的結構。(滑動窗口是Swinformer使用的變體)

根據稀疏模式的不同,稀疏注意力可能無法確定地捕捉長距離依賴。

1.相似性: 兩者都旨在降低計算複雜度,並允許模型處理更長的序列。

2.區別:

- 模式: 擴張使用規則的跳躍模式,而稀疏可以使用各種模式,包括學習的模式。

- 靈活性**: 稀疏注意力在定義注意力模式方面提供了更大的靈活性,而擴張注意力具有更剛性、規則的結構。

-覆蓋範圍: 由於規則的跳躍,擴張注意力可能會錯過一些更精細的局部細節,而稀疏注意力捕捉依賴關係的能力取決於所使用的特定模式。

- 實現複雜度: 稀疏注意力通常需要專門的算法和硬件來進行高效的稀疏矩陣乘法,而擴張注意力可以用標準的稠密矩陣運算來實現。

總之,儘管這兩種機制實現了相似的目標,但它們採用了不同的策略、權衡和最適合的應用。擴張注意力提供了一種實現長距離依賴的直接方式,但會損失一些粒度,而稀疏注意力可以允許更複雜和特定於任務的注意力模式,但通常代價是更大的實現複雜度。

為什麼語言Transformer需要從視覺Transformer引入擴張?

LONGNET中的擴張注意力

- 應用: 專為序列建模設計,將Transformer擴展到極長序列(如10億個token)。

- 概念: 隨著距離的增長,關注區域呈指數擴張,使模型能夠捕捉序列中的長距離依賴關係。

- 複雜度: 同時保持線性複雜度,使模型能夠處理極長的序列而不犧牲性能。

- 整合: 可作為Transformer模型中標準注意力的直接替代,可應用於一般語言任務。

視覺Transformer與語言Transformer在任務特性和序列長度上有所不同,這導致它們在注意力機制的設計上採取了不同的方法。以下是視覺Transformer的擴張注意力在語言Transformer中的應用動機:

1. 序列長度的差異:

   - 視覺Transformer通常處理較短的序列,如圖像分塊後的序列。

   - 語言Transformer需要處理更長的序列,如整篇文章或對話。

2. 捕捉長距離依賴的需求:

   - 在圖像任務中,相鄰片段間的局部關係通常足以捕捉關鍵信息。

   - 在語言任務中,捕捉詞語或句子之間的長距離語義依賴至關重要。

3. 計算效率的考量:

   - 視覺Transformer的序列較短,採用稠密注意力計算代價相對較小。

   - 語言Transformer面臨更長序列,需要更高效的注意力機制來控制計算成本。

4. 跨領域知識借鑑:

   - 擴張注意力最初在視覺任務中展現出優越性能,吸引了NLP研究者的興趣。

   - 將擴張注意力引入語言Transformer,有望在保持計算效率的同時提升模型性能。

儘管視覺和語言任務在序列特性上有所不同,但它們在注意力機制設計上有著共通的目標:捕捉關鍵的依賴關係,同時兼顧計算效率。語言Transformer借鑑並改進了視覺Transformer的擴張注意力,以更好地滿足語言任務的特定需求。這種跨領域的知識融合和創新,推動了Transformer架構在不同任務上的進一步發展和應用。

人工智慧技術的發展常常需要跨領域的思想碰撞和借鑑。視覺和語言雖然是不同的領域,但它們在底層的模型架構和算法設計上往往有許多共通之處。擴張注意力從視覺Transformer到語言Transformer的演進過程,正是這種跨領域融合創新的一個絕佳例證。