跳到正文
Hugging Face Blog·· 2024-11-25精選AI 評分61

如何逐步推導 Transformer 的 RoPE 位置編碼

You could have designed state of the art positional encoding

AI 導讀

這篇教程逐步拆解 Transformer 位置編碼的設計,從整數、二進制及正弦方案推導至 RoPE。文章解釋 RoPE 如何對 query 和 key 向量的分量成對旋轉,令注意力點積帶入相對位置資訊,同時不改變向量範數。文中也介紹如何分開處理各維度的位置資訊,以延伸至多維資料。

推薦理由

文章從位置編碼的設計需求出發,逐步比較整數、二進制與正弦方案,並推導 RoPE 如何以旋轉在注意力計算中表達相對位置。

正文 · 繁體中文
Gall 定律
能運作的複雜系統,必定是從能運作的簡單系統演化而來。
John Gall

本文會帶你逐步推導 Transformer 模型中最先進的位置編碼方法。我們會不斷改良位置編碼方式,最終得到旋轉位置編碼(Rotary Postional Encoding,RoPE);近期 LLama 3.2 版本和大部分現代 Transformer 都採用了此方法。本文盡量降低閲讀所需的數學基礎,但仍預期讀者具備一些線性代數、三角學和自注意力機制的基本知識。

問題陳述

觀其友而知其人。
John Rupert Firth

和所有問題一樣,最好先確切理解我們要達成甚麼目標。Transformer 的自注意力機制用來理解序列中 token 之間的關係。自注意力是一種集合運算,因此具有置換等變性。如果不為自注意力加入位置資訊,許多重要關係便無法判斷。

以下例子最能説明這一點。

引例

看看這句話,同一個詞出現在不同位置:

The dog chased another dog \text{The dog chased another dog}

直覺上,兩個「dog」分別指向不同個體。看看如果先將句子分詞,把 token 映射至 Llama 3.2 1B 的實際 token 嵌入,再傳入 torch.nn.MultiheadAttention,會發生甚麼事。

import torch
import torch.nn as nn
from transformers import AutoTokenizer, AutoModel

model_id = "meta-llama/Llama-3.2-1B"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModel.from_pretrained(model_id)

text = "The dog chased another dog"
tokens = tok(text, return_tensors="pt")["input_ids"]
embeddings = model.embed_tokens(tokens)
hdim = embeddings.shape[-1]

W_q = nn.Linear(hdim, hdim, bias=False)
W_k = nn.Linear(hdim, hdim, bias=False)
W_v = nn.Linear(hdim, hdim, bias=False)
mha = nn.MultiheadAttention(embed_dim=hdim, num_heads=4, batch_first=True)

with torch.no_grad():
    for param in mha.parameters():
        nn.init.normal_(param, std=0.1) # Initialize weights to be non-negligible

output, _ = mha(W_q(embeddings), W_k(embeddings), W_v(embeddings))

dog1_out = output[0, 2]
dog2_out = output[0, 5]
print(f"Dog output identical?: {torch.allclose(dog1_out, dog2_out, atol=1e-6)}") #True

可以看到,沒有位置資訊時,自注意力(多頭)運算的輸出會對不同位置上的相同 token 完全相同,儘管這些 token 明顯代表不同個體。讓我們開始設計一種為自注意力加入位置資訊的方法,令它能根據詞語的位置判斷彼此關係。

理想的位置編碼方案應有甚麼特性?

理想特性

讓我們試着定義一些理想特性,令優化過程盡可能簡單。

特性 1:每個位置都有唯一編碼(跨序列一致)

每個位置都需要唯一且一致的編碼,不受序列長度影響:位於位置 5 的 token,無論目前序列長度是 10 還是 10,000,都應有相同編碼。

特性 2:兩個已編碼位置之間存在線性關係

位置之間的關係應該在數學上簡單易算。如果知道位置 pp 的編碼,就應能輕易計算位置 p+kp+k 的編碼,令模型更容易學會位置模式。

想像一下數線上的數字表示方式,就容易理解 5 與 3 相距 2 步,或 10 與 15 相距 5 步。我們的編碼也應有同樣直觀的關係。

特性 3:能推廣至比訓練時更長的序列

為提升模型在現實世界中的實用性,它們應能泛化至訓練分佈以外。因此,編碼方案需要足夠靈活,可處理未預期的輸入長度,同時不違反其他理想特性。

特性 4:由模型可學習的確定性過程生成

理想情況下,位置編碼應由確定性過程產生,讓模型能有效學會編碼方案背後的機制。

特性 5:可延伸至多個維度

多模態模型日漸普及,我們的位置編碼方案必須能自然地由 1D1D 延伸至 nDnD。如此,模型便能處理圖像或腦部掃描等資料,分別屬於 2D2D 和 4D4D。

瞭解理想特性(下文簡稱 PrnPr_n)後,現在開始設計並逐步改良編碼方案。

整數位置編碼

第一個可能想到的方法,是把 token 位置的整數值加到 token 嵌入的每個分量,數值範圍由 0→L0 \rightarrow L,其中 LL 是目前序列的長度。

在上方動畫中,我們根據索引建立 token chased\color{#699C52}\text{chased} 的位置編碼向量,並將它加到 token 嵌入。此處的嵌入值取自 Llama 3.2 1B 的實際數值。我們看到它們集中在 0 附近。這有助避免訓練期間出現梯度消失或爆炸,因此希望模型全程維持這個特性。

顯然,目前這種直觀但簡單的方法會帶來問題。位置值的量級遠高於輸入的實際數值,代表訊噪比很低,模型難以分辨語意資訊和位置資訊。

瞭解這一點後,自然會想到以 1N\frac{1}{N} 正規化位置值。這樣可將數值限制在 0 至 1 之間,但也會帶來另一個問題:若把 NN 設為目前序列的長度,不同長度的序列便會有完全不同的位置值,違反 Pr1Pr_1。

有沒有更好的方法,確保數字介乎 0 和 1? 如果我們仔細思考一會,或許會想到由十進制改用二進制。

二進制位置編碼

我們不把(可能已正規化的)整數位置加到嵌入的每個分量,而是將其轉換成二進製表示,然後把數值伸展至與嵌入維度相同,如下所示。

我們把目標位置 (252) 轉換成二進製表示 (11111100),再把每個位元加到 token 嵌入中相應的分量。最低有效位(LSB)會在每個後續 token 之間於 0 和 1 循環;最高有效位(MSB)則每隔 2n−12^{n-1} 個 token 循環一次,其中 nn 是位元數。下方動畫展示不同索引的位置編碼向量 [1][^1]。

我們已解決數值範圍問題,也有了在不同序列長度之間保持一致的唯一編碼。如果繪製低維度的 token 嵌入,並觀察不同數值的二進制位置向量加上去後的變化,會看到甚麼?

可以看到結果非常「跳躍」(離散的二進制數值確實會如此)。優化過程偏好平滑、連續而可預測的變化。我們知道哪些函數有相近的值域,而且平滑連續嗎?

稍作探索就會發現,sin⁡\sin 和 cos⁡\cos 都符合條件!

正弦位置編碼

上方動畫顯示位置嵌入的每個分量,如何交替取自 sin⁡\sin 和 cos⁡\cos 函數,同時波長逐漸增加。與前一段動畫比較,兩者相似之處十分明顯!

這就推導出正弦嵌入,最初見於論文 Attention Is All You Need。 看看它的方程式:

PE(pos,2i)=sin⁡(pos100002i/d)PE(pos,2i+1)=cos⁡(pos100002i/d) PE_{(pos,2i)} = \color{#58C4DD}\sin\left(\color{black}\frac{pos}{10000^{2i/d}}\color{#58C4DD}\right)\color{black} \\ \quad \\ PE_{(pos,2i+1)} = \color{#FC6255}\cos\left(\color{black}\frac{pos}{10000^{2i/d}}\color{#FC6255}\right)\color{black} \\

其中 pospos 是 token 的位置索引,ii 是位置編碼向量中的分量索引,而 dd 是模型維度。10,00010,000 是基礎波長(下文簡稱 θ\theta);我們會按分量索引調整其伸縮比例。建議你代入一些實際數值,感受一下這個等比級數。

乍看之下,這個方程式有幾處令人困惑:作者如何選出 10,00010,000?為甚麼偶數和奇數位置分別使用 sin⁡\sin 和 cos⁡\cos?

使用 10,00010,000 作為基礎波長,似乎是經實驗決定的 [2][^2]。要理解為何同時使用 sin⁡\sin 和 cos⁡\cos,過程較複雜,卻是逐步理解此方法的關鍵。此處的核心是我們希望兩個編碼位置之間呈線性關係(Pr2Pr_2)。要理解同時使用 sin⁡\sin 和 cos⁡\cos 如何產生這種線性關係,就要深入探討一些三角學。

考慮一組正弦和餘弦函數對,每組對應一個頻率 ωi\omega_i。我們要找出一個線性轉換矩陣 M\mathbf{M},將這些正弦函數平移固定偏移量 kk:

M⋅[sin⁡(ωip)cos⁡(ωip)]=[sin⁡(ωi(p+k))cos⁡(ωi(p+k))] \mathbf{M} \cdot \begin{bmatrix} \sin(\omega_i p) \\ \cos(\omega_i p) \end{bmatrix} = \begin{bmatrix} \sin(\omega_i(p + k)) \\ \cos(\omega_i(p + k)) \end{bmatrix}

頻率 ωi\omega_i 按維度索引 ii 遞減,形成等比級數,定義如下:

ωi=1100002i/d \omega_i = \frac{1}{10000^{2i/d}}

要找出這個轉換矩陣,我們可先用包含未知係數 u1u_1、v1v_1、u2u_2 和 v2v_2 的一般 2×2 矩陣表示:

[u1v1u2v2]⋅[sin⁡(ωip)cos⁡(ωip)]=[sin⁡(ωi(p+k))cos⁡(ωi(p+k))] \begin{bmatrix} u_1 & v_1 \\ u_2 & v_2 \end{bmatrix} \cdot \begin{bmatrix} \sin(\omega_i p) \\ \cos(\omega_i p) \end{bmatrix} = \begin{bmatrix} \sin(\omega_i(p + k)) \\ \cos(\omega_i(p + k)) \end{bmatrix}

對等式右邊套用三角函數的和角公式,可將它展開為:

[u1v1u2v2]⋅[sin⁡(ωip)cos⁡(ωip)]=[sin⁡(ωip)cos⁡(ωik)+cos⁡(ωip)sin⁡(ωik)cos⁡(ωip)cos⁡(ωik)−sin⁡(ωip)sin⁡(ωik)] \begin{bmatrix} u_1 & v_1 \\ u_2 & v_2 \end{bmatrix} \cdot \begin{bmatrix} \sin(\omega_i p) \\ \cos(\omega_i p) \end{bmatrix} = \begin{bmatrix} \sin(\omega_i p)\cos(\omega_i k) + \cos(\omega_i p)\sin(\omega_i k) \\ \cos(\omega_i p)\cos(\omega_i k) - \sin(\omega_i p)\sin(\omega_i k) \end{bmatrix}

比對係數後,這個展開式會得出以下聯立方程式:

u1sin⁡(ωip)+v1cos⁡(ωip)=cos⁡(ωik)sin⁡(ωip)+sin⁡(ωik)cos⁡(ωip)u2sin⁡(ωip)+v2cos⁡(ωip)=−sin⁡(ωik)sin⁡(ωip)+cos⁡(ωik)cos⁡(ωip) \begin{align} u_1\sin(\omega_i p) + v_1\cos(\omega_i p) &= \cos(\omega_i k)\sin(\omega_i p) + \sin(\omega_i k)\cos(\omega_i p) \\ u_2\sin(\omega_i p) + v_2\cos(\omega_i p) &= -\sin(\omega_i k)\sin(\omega_i p) + \cos(\omega_i k)\cos(\omega_i p) \end{align}

比對等式兩邊的 sin⁡(ωip)\sin(\omega_i p) 和 cos⁡(ωip)\cos(\omega_i p) 項後,就能求出未知係數:

u1=cos⁡(ωik)v1=sin⁡(ωik)u2=−sin⁡(ωik)v2=cos⁡(ωik) \begin{align} u_1 &= \cos(\omega_i k) & v_1 &= \sin(\omega_i k) \\ u_2 &= -\sin(\omega_i k) & v_2 &= \cos(\omega_i k) \end{align}

這些解得出最終的轉換矩陣 Mk\mathbf{M_k}:

Mk=[cos⁡(ωik)sin⁡(ωik)−sin⁡(ωik)cos⁡(ωik)] \mathbf{M_k} = \begin{bmatrix} \cos(\omega_i k) & \sin(\omega_i k) \\ -\sin(\omega_i k) & \cos(\omega_i k) \end{bmatrix}

如果你曾寫過遊戲程式,可能會覺得我們推導出的結果似曾相識。沒錯,這正是旋轉矩陣! [3][^3]。

Noam Shazeer 在 Attention Is All You Need 設計的位置編碼方案,早在 2017 年已透過旋轉編碼相對位置!儘管旋轉早已是可行方案,從正弦編碼發展到 RoPE 卻再花了4 年……

絕對位置與相對位置編碼

既然知道旋轉在此很重要,現在回到引例,為下一輪設計尋找一些直觀理解。

01234The dog chased another dog-2-1012The dog chased another dog \begin{align*} &\hspace{0.7em}0 \hspace{1.4em} 1 \hspace{2em} 2 \hspace{2.6em} 3 \hspace{2.4em} 4\\ &\text{The dog chased another dog} \\ \\ &\hspace{0.3em}\text{-2} \hspace{1.4em} \text{-1} \hspace{1.7em} 0 \hspace{2.6em} 1 \hspace{2.4em} 2\\ &\text{The dog \color{#699C52}chased \color{black}another dog} \end{align*}

上圖顯示 token 的絕對位置,以及由 chased\color{#699C52}\text{chased} 至其他每個 token 的相對位置。正弦編碼會生成一個獨立向量表示絕對位置,再透過一些三角學技巧編碼相對位置。

理解這些句子時,這個詞是本文第 2157 個詞,真的重要嗎?還是它與附近詞語的關係更重要?詞語的絕對位置很少影響意思,重要的是詞語彼此的關係。

從上下文理解位置編碼

從現在開始,必須在自注意力的上下文中考慮位置編碼。重申一次,自注意力機制令模型能衡量輸入序列中不同元素的重要性,並動態調整它們對輸出的影響。

Attn(Q,K,V)=softmax(QKTdk)V \text{Attn}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V

在之前每一輪嘗試中,我們都會生成獨立的位置編碼向量,並加到 token 嵌入,然後才進行 QQ、KK 和 VV 投影。直接把位置資訊加進 token 嵌入,會令位置資訊污染語意資訊。我們應該在不改變範數的情況下編碼資訊。關鍵是由加法轉為乘法。

以字典作比喻:在字典(鍵)中查找一個詞(查詢)時,附近的詞語應比遠處的詞語有更大影響。一個 token 對另一個 token 的影響,由 QKTQK^T 點積決定,因此位置編碼正應該在這裏着手!

a⃗⋅b⃗=∣a⃗∣∣b⃗∣cos⁡θ \vec{a} \cdot \vec{b} = |\vec{a}| |\vec{b}| \cos \theta

上方的點積幾何詮釋帶來一個重要啟示。我們只要增大或縮小兩個向量之間的夾角,就能調整點積結果。此外,旋轉向量完全不會影響其範數,而範數承載着 token 的語意資訊。

現在我們知道該把注意力放在哪裏,也從另一個角度看到旋轉可能是編碼位置資訊的合理「通道」,那就把所有部分結合起來吧!

Rotary Postional Encoding

Rotary Postional Encoding(RoPE)由 RoFormer 論文提出(Jianlin Su 亦曾在自己的網誌獨立設計,並於此處介紹)。若只看最終結果,可能會覺得它像魔法;但在自注意力(更具體而言是點積)的上下文中思考正弦編碼,就能看出各部分如何結合。

與正弦編碼相似,我們會把向量 q\mathbf{q} 或 k\mathbf{k}(而非投影前的 x\mathbf{x})拆成二維配對/區塊。相較於直接加上從低頻正弦函數取值的向量來編碼絕對位置,我們會編碼相對位置,方法是以旋轉矩陣乘上每一對分量。

假設 q\mathbf{q} 或 k\mathbf{k} 是位置 pp 的輸入向量。我們會建立區塊對角矩陣,其中 Mi\mathbf{M_i} 是對應分量組合所需的旋轉矩陣:

R(q,p)=(M1M2⋱Md/2)(q1q2⋮qd) R(\mathbf{q}, p) = \begin{pmatrix} \mathbf{M_1} & & & \\ & \mathbf{M_2} & & \\ & & \ddots & \\ & & & \mathbf{M_{d/2}} \end{pmatrix} \begin{pmatrix} q_1 \\ q_2 \\ \vdots \\ q_d \end{pmatrix}

與正弦編碼相似,Mi\mathbf{M_i} 只需定義如下:

Mi=[cos⁡(ωip)sin⁡(ωip)−sin⁡(ωip)cos⁡(ωip)] \mathbf{M_i} = \begin{bmatrix} \cos(\omega_i p) & \sin(\omega_i p) \\ -\sin(\omega_i p) & \cos(\omega_i p) \end{bmatrix}

實際上,由於矩陣非常稀疏,直接進行矩陣乘法來計算 RoPE 的效率很低。相反,我們可利用運算中的規律,直接對每組分量獨立套用旋轉:

RΘ,pdq=(q1q2q3q4⋮qd−1qd)⊗(cos⁡pθ1cos⁡pθ1cos⁡pθ2cos⁡pθ2⋮cos⁡pθd/2cos⁡pθd/2)+(−q2q1−q4q3⋮−qdqd−1)⊗(sin⁡pθ1sin⁡pθ1sin⁡pθ2sin⁡pθ2⋮sin⁡pθd/2sin⁡pθd/2) R_{\Theta,p}^d q = \begin{pmatrix} q_1 \\ q_2 \\ q_3 \\ q_4 \\ \vdots \\ q_{d-1} \\ q_d \end{pmatrix} \otimes \begin{pmatrix} \cos p\theta_1 \\ \cos p\theta_1 \\ \cos p\theta_2 \\ \cos p\theta_2 \\ \vdots \\ \cos p\theta_{d/2} \\ \cos p\theta_{d/2} \end{pmatrix} + \begin{pmatrix} -q_2 \\ q_1 \\ -q_4 \\ q_3 \\ \vdots \\ -q_d \\ q_{d-1} \end{pmatrix} \otimes \begin{pmatrix} \sin p\theta_1 \\ \sin p\theta_1 \\ \sin p\theta_2 \\ \sin p\theta_2 \\ \vdots \\ \sin p\theta_{d/2} \\ \sin p\theta_{d/2} \end{pmatrix}

就這麼簡單!在點積之前,將旋轉套用到 q\mathbf{q} 和 k\mathbf{k} 的二維區塊,並由加法改為乘法,評估效能便可大幅提升 [4][^4]。

將 RoPE 延伸至 nn 維

我們已探討 RoPE 的 1D1D 情況,希望此時你已對 Transformer 中這個不太直觀的組件有了直觀理解。最後,讓我們看看如何將它延伸至更高維度,例如圖像。

第一個自然想到的方法,可能是直接使用圖像中的 [xy] \begin{bmatrix} x \\ y \end{bmatrix} 座標配對。這聽起來很合理,畢竟之前配對分量時幾乎沒有固定規則。然而,這樣做並不正確!

在 1D1D 情況下,我們透過旋轉輸入向量中的數值配對,編碼相對位置 m−nm - n。對 2D2D 資料而言,則需要分別編碼水平和垂直方向的相對位置,例如 m−nm - n 和 i−ji - j。RoPE 的巧妙之處,在於它能處理多個維度。我們不會嘗試以單一旋轉編碼所有位置資訊,而是在同一維度內配對並旋轉分量,否則 xx 和 yy 的偏移資訊就會混在一起。讓每個維度獨立處理,便能保留空間的自然結構,而且可推廣至所需的任意維度!

位置編碼的未來

RoPE 會是位置編碼的最終形式嗎?DeepMind 在這篇近期論文中深入分析 RoPE,並指出一些根本問題。簡而言之:RoPE 並非完美方案,而且模型大多着重較低頻率;但論文顯示,Gemma 2B 若移除最低頻率(而非旋轉它們),表現會有所提升!

我期待未來能有一些突破,例如從訊號處理取經,採用小波或階層式實作等概念。隨着模型愈來愈常以量化方式部署,我也預期位置編碼方案會有所創新,令它們在低精度算術下仍保持穩健。

總結

在 Transformer 中,位置編碼一直被視為事後才考慮的項目。我認為我們應該改變看法:自注意力有一個反覆修補的致命弱點。

希望這篇文章讓你看到,即使最初覺得不直觀,你也能逐步推導出最先進的位置編碼方法。後續文章中,我希望探討 RoPE 的實際實作細節,進一步提升效能。

本文最初於此發表。

參考資料

[^1]:二進制和正弦動畫改編自這段影片中的動畫。

[^2]:使用 θ=10000\theta = 10000,可得到 2π⋅10000 2 \pi \cdot 10000 個唯一位置;理論上,上下文長度上限約為 63,000。

[^3]:本文部分內容參考了這篇精彩文章,作者是 Amirhossein Kazemnejad。

[^4]:如需實證資料,請參閲 EleutherAI 撰寫的這篇精彩文章。

來源:Hugging Face Blog · huggingface.co