Ahead of AI· Sebastian Raschka, PhD·· 2026-05-16AI 評分53
近期 LLM 架構發展聚焦 KV 共享、mHC 與壓縮注意力
Recent Developments in LLM Architectures: KV Sharing, mHC, and Compressed Attention
AI 導讀
Sebastian Raschka 梳理 Gemma 4、Laguna XS.2、ZAYA1-8B 和 DeepSeek V4 的架構改動，聚焦降低長上下文處理成本的設計。
來源：Ahead of AI · magazine.sebastianraschka.com