如何逐步推導 Transformer 的 RoPE 位置編碼

這篇教程逐步拆解 Transformer 位置編碼的設計，從整數、二進制及正弦方案推導至 RoPE。文章解釋 RoPE 如何對 query 和 key 向量的分量成對旋轉，令注意力點積帶入相對位置資訊，同時不改變向量範數。文中也介紹如何分開處理各維度的位置資訊，以延伸至多維資料。