DeepSeek开源真香，vLLM/SGLang连夜性能反超，推理速度卷出新高度

还得是「源神」D老师，真是妙啊！

自家推理引擎DeepInfer发布还没满一周，开源社区已经迅速给出了反馈。

真是一鲸“落”万物生，首批开源成果已经亮相：

立志学习DeepSeek、成为DeepSeek、赶超DeepSeek。（开玩笑的）

vLLM、SGLang这些成熟的推理框架率先迎来了T0级更新包——

在各自公布的测试环境下，性能已经接近甚至在某些方面超过了DeepInfer。

不错不错！DeepInfer最初基于vLLM构建，设计上也参考了SGLang的理念。

现在DeepSeek把优化后的实现公开，这两家又接着吸收、继续改进。

这帮人真是把开源玩出了新花样。

还有一些受DeepInfer启发的个人开发者项目也陆续上线，涉及硬件适配、推理加速到部署优化，各有特色。

但效果出奇一致：全都更强了！

这下DeepInfer一开源，社区顿时热闹起来。

推理竞速进入白热化阶段，好戏开场了～

开源社区玩转DeepInfer

先看vLLM。

这次交出的成绩，已经从「追上DeepInfer」一路扩展到了整机架部署。

通过集成DeepSeek的开源内核，并对预填充和解码阶段进行了大量优化，vLLM现在的性能曲线已经可以和DeepInfer持平。

在相同解码配置（131K上下文、每轮3个草稿token）下，vLLM使用GB200测得的吞吐量，在批大小从8到256的范围内，与DeepInfer的差距仅为6%。

预填充方面，新增token的吞吐量也提升了35.6%到43.9%。

再把部署规模拉到NVIDIA GB300 NVL72机架。

结合预填充与解码分离、扩大专家并行，vLLM在SemiAnalysis AgentX测试中的每卡吞吐高达95.4万tokens/s，是此前单节点结果的7.9倍。

同一个DeepSeek，还真被他们继续压榨出了速度。。。

这些提升怎么实现的？团队几乎在每个细节上都下了功夫。

比如处理输入时，稀疏注意力需要从一批候选中筛选出值得关注的内容，这就涉及top-k选择。

之前的一条路径，会先把DeepGEMM输出的BF16分数转换成FP32，再进行筛选。

新的实现则直接让DeepSelect处理BF16数据，省掉了中间那次转换。

少启动一道计算，看似只是个小改动，但在对应的算子测试中，这部分top-k处理速度能达到原来的约3.7倍。

vLLM团队还自己另外设计了一套CPU通信方式，采用递归倍增等方法交换信息，减少同步所需的轮次。

对应Agent常用的小批量解码，vLLM也选择单独支持DSpark草稿生成，并使用完整CUDA Graph执行专用解码路径。

SGLang紧接着交出的答卷，则走得更远，把输入、输出两个阶段都覆盖到了。

SGLang分别在4张B300、4张GB300上测试预填充，最高吞吐比DeepInfer高出约4%。

解码测试时，同样使用64张GB300。

每卡256个请求时，DeepInfer每步耗时31.19毫秒，SGLang为28.88毫秒，单步时间缩短约7.4%；每卡8个请求时，两者则基本持平。

具体操作中，SGLang先是将Mega内核（MegaMoE、MegaAttention、Mega-mHC、MegaGate）、SWA有界重放以及Engram优化全部集成。

达到对标DeepInfer的性能后，再继续迭代，引入更多内核融合方案。

随后通过支持可拆分CUDA图，实现高效预填充。

最终对比DeepInfer的开源版本，SGLang更为完整，额外补充了关键的服务组件，包括KV缓存系统、预填充/解码分离架构以及负载均衡模块。

值得一提的是，SGLang为了更严谨地对比，还在GB300和B300上，将DeepInfer重新跑了一遍。

结果不跑不知道，DeepInfer部分配置的吞吐，比原先公布的成绩还高。。。

好家伙！原来D老师真是老实人，测试成绩相当实在！

推理加速循环

开发者Eric Zhang又把玩法往前推了一步。

此前他一直在开发一套用于搭建大模型推理引擎的实验性积木库——Resin。

它把多个模型都会用到的部分做成公共底座，比如调度器、KV缓存管理等。再由用户自行补上特定模型、特定硬件需要的计算实现，就能组合出一个独立引擎。

Eric自述，最近一周他受DeepInfer启发，成功让不少功能和并行机制跑了起来。

根据测试结果，在DeepSeek-V4.1-Flash上，Resin的性能与DeepInfer相差约5%到10%，同时具备HTTP服务、前缀缓存和指标等功能。

接着，他又给这个底座配了个Skill。

任务是教会AI如何基于Resin实现模型，再把Codex放上去通宵运行。

据他披露，Agent完成了支持MTP的GLM-5.3-Flash引擎；在B200、EP4配置下，输入吞吐最高达到6万tokens/s，输出吞吐最高达到1.6万tokens/s。

而且！Resin依旧开源。

感动了，大肥鱼，这开源盛世如你所愿。

DeepInfer从开源中来，又回归开源。成熟框架接着继续集成和优化，个人开发者也得以吸收其中的设计，接力开源。

So，大肥鱼才是真正领悟了可持续开源的真谛～

本文来自微信公众号“量子位”，作者：关注前沿科技，36氪经授权发布。