轻量化复刻大模型 Linear Attention 与 Sparse Attention 梳理

作者在掘金上发布了一篇系统梳理 Linear Attention 与 Sparse Attention 的压缩原理、发展脉络和系统级对比。文章以 KIMI K3、DeepSeek V4 为例，详细说明了两种注意力压缩轴及其优缺点。适合对模型压缩感兴趣的技术人员阅读，无需额外投入。文中未提及风险。