SuSu_酥酥👅
@NFT_Chen
🤯炸了！本地开源 27B，把 JevBench 打成实时赛！
同样是 Open-Jev-27B，同一张 NVIDIA B300，231 个公开任务一个接一个发，HTTP、预热后、按真实延迟 1× 重放：
🔹左侧 Open-Jev（jev.server + FLA）
还在 65 / 231，全跑完要 59.5 秒
🔸右侧 OpenJev-Fast
9.7 秒全部打完，6.1 倍。
平均延迟从
同样是 Open-Jev-27B，同一张 NVIDIA B300，231 个公开任务一个接一个发，HTTP、预热后、按真实延迟 1× 重放：
🔹左侧 Open-Jev（jev.server + FLA）
还在 65 / 231，全跑完要 59.5 秒
🔸右侧 OpenJev-Fast
9.7 秒全部打完，6.1 倍。
平均延迟从
0:13SuSu_酥酥👅@NFT_Chen · Sep 28🔥真牛哇！深度融合Jev的大模型来了！Open-Jev-27B 以 17.3ms 一把梭，6倍推理还不量化！
给决策模型换上专用 CUDA 内核后，大模型不仅判断的快，跑的也更快，open-jev-fast 是 jev.server 的即插即用加速后端，融合内核 + 前缀树 + CUDA Graphs，bf16 原精度。
核心亮点：
🔹示例推理：103.7ms →
给决策模型换上专用 CUDA 内核后，大模型不仅判断的快，跑的也更快，open-jev-fast 是 jev.server 的即插即用加速后端，融合内核 + 前缀树 + CUDA Graphs，bf16 原精度。
核心亮点：
🔹示例推理：103.7ms →
Open quoted post →
15 172