FlashAttention 以分塊減少注意力記憶體開銷

2026年10月19日，DEV Community 發文介紹 FlashAttention 的運作方式：它以分塊及 online softmax 重排注意力計算，讓資料在 SRAM 重用，避免將中間的 N × N 矩陣寫入及讀取較慢的 HBM。報道指出，這種做法不近似注意力，也不降低數學精度，並把記憶體複雜度由 O(N^2) 降至 O(N)。反向傳播時，FlashAttention 會重新計算注意力分數；儘管 FLOPs 增加，實際執行時間仍縮短 2x 至 4x。標題提及「快 10 倍」，但正文提供的執行時間幅度為 2x 至 4x。

AI 根據報道生成 · 3 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。