Transformer 自注意力與規則處理建議

2026年10月30日，DEV Community 一篇文章討論 Transformer 自注意力對「DO NOT」規則的影響。文章指出，單獨出現的否定規則可能令注意力轉向其所禁止的行為，因此作者建議每項限制同時配上明確的正向指令。文章亦指出，冗長規則在長對話中容易被忽略；若在 60 輪對話中注入 4,200 個固定 token，便會消耗 252,000 個輸入 token。作者提出把自然語言規則預先編譯為按範圍及階段劃分的 ANIR tuples。

AI 根據報道生成 · 2 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。