DeepSeek 发布 V4.1-Flash：KV cache 压缩至每 token 890 字节

作者：DeepSeek-AI：Anyi Xu, B. Li, Bangcai Lin, Bing Xue, BingCheng Xian, Bingzheng Xu, Bochao Wu, Bowei Zhang, Boyi Deng, C.C. Yu, Chao Jin, Chaofan Lin, Chen Dong, Chenbing Wang, Chenfan Feng, Chengda Lu, Chenggang Zhao, Chengqi Deng, Chengyuan Zhang, Chenhao Xu, Chenqi Zhao, Chenze Shao, Chuhao Wang, Chuqi Zhang, Damai Dai, Dejian Yang, Deli Chen, Di Huang, Di Wu, Donghao Li, Erhang Li, Eric Fu, F. Zhou, Fangwei Zhou, Fangyun Lin, Fangzhou Yuan, Feiyu Xia, Fucong Dai, Guangbo Hao, Guanglin Li, Guanting Chen, Guoai Cao, Guofan Fan, Guolai Meng, Guowei Li, Haichuan Zhang, Haiyang Ma, Haiyang Shen, Han Li, Han Yu, Han Zhang, Hangyuan Deng, Hanwei Xu, Hanxiang Xu, Hanxun Zhong, Hao Guo, Hao Jiang, Hao Li, Hao Qin, Haodong Wen, Haofen Liang, Haofeng Huang, Haohua Liu, Haoling Zhang, Haoming Luo, Haoran Yang, Haotian Xu, Haotian Yuan, Haoting Huang, Haowen Luo, Haoyang Cai, Haoyu Chen, Haozhe Ji, Hengran Zhang, Hengrui Wang, Hengxu Wu, Honghui Ding, Hongxuan Tang, Huadong Wang, Huanqi Cao, Huazuo Gao, Hui Qu, Hui Zeng, J. Yang, J.H. Jin, J.H. Zhang, J.X. Zou, Jia Yu, Jiahui Zhou, Jiajun Chen, Jialiang Huang, Jialin Zhao, Jiamin Tang, Jian Zhou, Jianan Tong, Jianwen Li, Jiaqi Zhu, Jiarui Wang, Jiasheng Ye 等（另有492位作者未列出） 查看PDF HTML（实验性） 摘要：长时程智能体的广泛采用使模型工作负载日益呈现输入密集型特征。尽管此前的工作已大幅降低了长上下文计算的开销，但预填充（prefill）的计算成本仍然高昂，且大型KV缓存持续对HBM和SSD容量及数据传输带宽造成压力。这些计算、存储和带宽需求共同构成了进一步降低部署成本的主要瓶颈。为应对这一挑战，我们推出DeepSeek-V4.1-Flash，这是一个多模态混合专家（MoE）模型，主干参数为552B，支持最长一百万个token的上下文。凭借其因果编码器-解码器（CED）架构，该模型在解码阶段每个token激活16B参数，而在预填充阶段仅激活8B参数，显著提升了智能体工作负载的成本效率。为突破KV缓存压缩的极限，DeepSeek-V4.1-Flash将压缩稀疏注意力2（CSA2）中的跨层KV缓存复用与FP4 KV缓存相结合。这些设计将其全局KV缓存占用（始终位于HBM中）降至每token 890字节，约为DeepSeek-V4-Flash相应占用的1/4。此外，通过一项名为SWA有界重放（SWA Bounded Replay）的专用部署优化，DeepSeek-V4.1-Flash将其持久化KV缓存占用（始终位于SSD或主机内存中）降至DeepSeek-V4-Flash的约1/8。尽管KV缓存占用大幅缩小，该模型的性能仍显著优于基线。此外，我们精简了DeepSeek-V4架构，并引入了若干高效的架构扩展。我们在包含45T token的多模态语料库上对DeepSeek-V4.1-Flash进行预训练，并开展了全面的后训练，使其在多样化的纯文本和多模态智能体场景中均展现出强劲性能。模型检查点可在此https URL获取。 学科：计算与语言（cs.CL） 引用格式：arXiv:2609.19969 [cs.CL] （或本版本使用arXiv:2609.19969v1 [cs.CL]） https://doi.org/10.48550/arXiv.2609.19969 arXiv通过DataCite颁发的DOI 提交历史 发件人：Wenfeng Liang [查看电子邮件] [v1] 2026年9月17日星期四 09:43:10 UTC（1,083 KB）