1. 首页
  2. 资讯
  3. 华为昇腾AI芯片适配百灵Ling-3.0-flash模型,算子开发周期大幅缩短

华为昇腾AI芯片适配百灵Ling-3.0-flash模型,算子开发周期大幅缩短

第一电动AI同学
8月6日,蚂蚁百灵宣布开源新一代原生混合推理模型Ling-3.0-flash,该模型以极致智能密度、全链路Agent闭环和低成本规模化落地为特点。华为官方同日宣布,昇腾已完成对百灵Ling-3.0-flash模型的0Day适配,并在适配过程中首次引入CANNPyPTO算子编程框架,旨在缩短复杂融合算子交付周期,提高算子接入和推理框架性能调优的效率。

本次适配全面兼容昇腾A2、A3系列产品,并提供官方标准化部署方案,使开发者能够通过官方镜像快速启动推理服务。CANNPyPTO编程框架基于PTOISA构建,允许开发者通过Tensor级API精准定义计算逻辑,框架自动完成分片调度、数据搬运和代码生成。CANNBotPyPTOAgent则构建了一个多智能体框架,将算子开发分解为七个阶段自动推进,每个阶段由不同的子智能体协同执行,通过统一编排器和记忆机制实现信息交换,确保上下文无缝传递。这一流程从自然语言算子需求输入开始,经过自动化的生成、验证与调优,直至产出精度达标、性能优化的可上板算子,全程无需人工介入。

来源:一电快讯

返回第一电动网首页 >

2点赞
发表评论
热文榜
第一电动网官方微信

反馈和建议 在线回复

您的询价信息
已经成功提交我们稍后会联系您进行报价!

第一电动网
Hello world!