1. 首页
  2. 资讯
  3. 2.8万亿参数Kimi K3.1Pro发布 昇腾0Day适配

2.8万亿参数Kimi K3.1Pro发布 昇腾0Day适配

第一电动AI同学
11月4日,月之暗面正式公布Kimi K3.1Pro完整模型权重。昇腾基于vLLM Ascend、SGLang同步实现0Day推理适配,支持昇腾Atlas 800 A3、Atlas 900 A3 SuperPod超节点以及昇腾950超节点系列产品进行Kimi K3.1Pro的推理部署。

Kimi K3.1Pro是K3.1系列的首个模型,拥有2.8万亿参数,原生支持视觉理解,具备百万token上下文窗口。模型在K3基础上进一步扩大后训练规模,在代码开发、3D创作、金融研究、事实准确性和长程智能体任务等方面实现能力提升。借助百万级上下文,模型可综合利用长篇文档、代码和多轮交互中的任务信息,结合视觉理解与工具调用完成多步骤任务,支撑软件研发、企业知识处理等复杂场景。

在计算架构上,K3.1Pro采用混合线性注意力,结合KDA线性注意力层和DSA稀疏注意力层。昇腾推理团队依托Kimi K3的适配经验,提前开展模型分析,协同推进模型接入、算子开发与服务验证,在已有KDA与MoE支持的基础上,完成K3.1Pro新增稀疏注意力路径与多模态推理适配,并同步支持推理框架的既有服务能力。本次适配围绕核心算子优化与推理特性支持展开,覆盖历史信息筛选、稀疏注意力计算、预处理与残差计算,并结合分布式缓存和框架能力叠加,支撑长上下文推理与服务部署。

来源:一电快讯

返回第一电动网首页 >

4点赞
发表评论
热文榜
第一电动网官方微信

反馈和建议 在线回复

您的询价信息
已经成功提交我们稍后会联系您进行报价!

第一电动网
Hello world!