SuSu_酥酥👅
@NFT_Chen
😱什么？！单次推理时间从 600ms 暴降至 50ms，把 Jev 决策压成眨眼级！
开源引擎 vllm-jev 把 System One 推理从一次 600ms 砍到约 50ms，官方基准常见 5×–50×，并发最高约 43×，候选答案 + 概率，一次前向给出，不生成长文本。
核心亮点
🔹原生挂上 vLLM：调度、批处理、KV cache、编译全吃到
开源引擎 vllm-jev 把 System One 推理从一次 600ms 砍到约 50ms，官方基准常见 5×–50×，并发最高约 43×，候选答案 + 概率，一次前向给出，不生成长文本。
核心亮点
🔹原生挂上 vLLM：调度、批处理、KV cache、编译全吃到
SuSu_酥酥👅@NFT_Chen · Sep 28💥疯狂！Sonnet 5.5 + Jev 简直王炸组合 ，同一任务，加 6 行 CLAUDE.md，工作流直接 4x！
关键不是更贵，是终于不拿顶级模型当 if 语句：
🔸Jev 70–500ms 做路由：选 profile、定 model、锁 effort 🔸Sonnet 5.5 只干该干的编码，medium 够用就不上高档
🔸第二只 Claude 只在你点名时做独立审查
关键不是更贵，是终于不拿顶级模型当 if 语句：
🔸Jev 70–500ms 做路由：选 profile、定 model、锁 effort 🔸Sonnet 5.5 只干该干的编码，medium 够用就不上高档
🔸第二只 Claude 只在你点名时做独立审查
0:18 9 138