华为昇腾0 Day支持Kimi K3.1 Pro推理部署

AI 驱动中国 顾川 513次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

华为昇腾在月之暗面公布Kimi K3.1 Pro模型权重当日完成0 Day推理适配,基于vLLM Ascend与SGLang支持Atlas 800 A3等多款硬件部署这一2.8万亿参数大模型,覆盖稀疏注意力与百万级上下文需求。

驱动中国11月5日消息,华为昇腾计算业务宣布,已完成对月之暗面最新大模型Kimi K3.1 Pro的0 Day推理适配,支持相关硬件产品在该模型发布首日即开展部署与应用验证。

2026年11月4日,月之暗面正式公开Kimi K3.1 Pro的完整模型权重。昇腾方面基于vLLM Ascend与SGLang两套推理框架,同步实现对该模型的0 Day适配,覆盖昇腾Atlas 800 A3、Atlas 900 A3 SuperPod超节点以及昇腾950超节点系列产品。

Kimi K3.1 Pro是K3.1系列的首个模型,参数规模达2.8万亿,原生具备视觉理解能力,上下文窗口支持百万token级别。该模型在K3的基础上进一步扩大后训练规模,在代码开发、3D创作、金融研究、事实准确性及长程智能体任务等方面实现能力提升。

在计算架构层面,Kimi K3.1 Pro采用混合线性注意力设计,结合KDA线性注意力层与DSA稀疏注意力层。围绕模型新增的稀疏注意力、百万级上下文及推理服务需求,昇腾开展算子与框架的协同优化,以发挥该架构的计算优势。

昇腾推理团队依托此前Kimi K3的适配经验,提前开展模型分析,协同推进模型接入、算子开发与服务验证工作。在已有KDA与MoE支持的基础上,团队完成K3.1 Pro新增稀疏注意力路径与多模态推理适配,并同步支持推理框架的既有服务能力。

本次适配围绕核心算子优化与推理特性支持展开,覆盖历史信息筛选、稀疏注意力计算、预处理与残差计算等环节,并结合分布式缓存与框架能力叠加,支撑长上下文推理与服务部署。

在应用层面,借助百万级上下文窗口,Kimi K3.1 Pro可综合利用长篇文档、代码及多轮交互中的任务信息,结合视觉理解与工具调用完成多步骤任务,适用于软件研发、企业知识处理等复杂场景。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/528598.html
本文价值 ★★★★★ 5 1 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友