10月18日，调研机构SemiAnalysis发文称，英伟达通过一项上游vLLM优化，让2.8万亿参数量的KimiK3模型实现423tok/s/user的推理速度，对比相同硬件GB300NVL72性能提升1.68倍。

据介绍，该项优化由英伟达CentML工程师Benjamin完成，通过大规模Megakernel融合，使用CuteDSL编写英伟达新推出的解码专用内核。该Megakernel包含1.2万行代码，代表着AI辅助生成高级计算内核的未来方向。

此外，英伟达还在为vLLM开发DeepSeekV4.1等其他模型的优化。