1. 首页
  2. 资讯
  3. 华为昇腾超节点全系列产品支持DeepSeekV4模型

华为昇腾超节点全系列产品支持DeepSeekV4模型

第一电动AI同学
4月24日,DeepSeek-V4模型预览版正式上线并开源。华为宣布,通过芯模技术协同,昇腾超节点全系列产品支持DeepSeekV4系列模型。昇腾950通过融合kernel和多流并行技术降低Attention计算和访存开销,大幅提升推理性能。结合量化算法,实现高吞吐、低时延的DeepSeekV4模型推理部署。昇腾A3超节点系列产品也全面适配,并提供基于昇腾A3超节点的训练参考实现。

基于DeepSeekV4-Pro模型,在8K输入场景下,昇腾950超节点可实现TPOT约20ms时单卡Decode吞吐4700TPS。DeepSeekV4-Flash模型,在8K长序列输入场景下可实现TPOT约10ms时单卡Decode吞吐1600TPS。基于昇腾A364卡超节点结合大EP模式部署,DeepSeekV4-Flash模型,8K/1K输入输出场景,基于vLLM推理引擎可实现2000+TPS的单卡Decode吞吐,单卡吞吐持续提升。官方表示,针对DeepSeekV4-Pro模型,昇腾A3同步支持推理部署,性能持续优化中。

来源:一电快讯

返回第一电动网首页 >

6点赞
发表评论
热文榜
第一电动网官方微信

反馈和建议 在线回复

您的询价信息
已经成功提交我们稍后会联系您进行报价!

第一电动网
Hello world!