⚡ NPU Speed Console Qwen3.8-27B · 单卡 昇腾 910B4 · vLLM Ascend

检测中…

对话终端

实时速度

--tok/s
TTFT 首字延迟
--
已生成 token
0
总耗时
0.0s
结算 tok/s
--
Prompt tokens
--
正文字符
0
链路:speed.marlin-phone.me (CF Worker) → new-api → Tailscale/frp → NPU:8023(vLLM Ascend)
流式中显示“实时估算”(按字符÷系数),结束后用 usage 的 completion_tokens 结算真实 tok/s(含思考 token)。MTP 投机解码可能让流式 chunk ≠ token,故以结算为准。

并发压测

每个请求发同样 prompt,统计单路速度与聚合吞吐(多个序列共享同一次权重读取,单流 47 → 并发 4 路 ~120 tok/s)。