云体育整理如下:
一个永远不可能成功的请求,被系统标成了"服务器临时故障"。
客户端看到这个信号,按规矩重试;
重试一次,失败一次;
再重试,再失败。
整个过程里,GPU 什么都没算出来,但请求量翻了几倍。
NVIDIA Dynamo v1.
6.
2(标签日期 2026-11-05)是 v1.
6.
1 之上的补丁版本。
代码改动很小,运维影响不小。
两处变化值得盯:一是 TensorRT-LLM 后端遇到超过引擎 max_num_tokens 的提示词时,返回码从 HTTP 500 api_error 改成 HTTP 400 invalid_request_error,同时 worker 继续运行;
二是 SGLang 的 decode 与 aggregated worker 多了一个可选的 --freeze-gc-after-init 开关(环境变量 DYN_SGL_FREEZE_GC_AFTER_INIT),目标是减少长跑 worker 的流式卡顿。
后端版本与 v1.
6.
1 保持一致:SGLang v0.
5.
21、TensorRT-LLM v1.
3.
0rc29、vLLM v0.
31.
0。
状态码不是装饰 用户和 GPU 之间的每一层,都靠状态码决定下一步动作。
4xx 的含义是:这个请求本身有问题,别原样再发。
5xx 的含义是:服务器出错了,再试一次也许能成。
在 1.
6.
2 之前,TensorRT-LLM 后端上一个超长的非流式 /v1/messages 请求会返回 500。
v1.
6.
0 的发布说明把它列为已知问题,且没有绕行方案。
一个注定失败的请求,被贴上了"瞬时故障"的标签。
任何把 5xx 当作可重试的错误策略,都会把同一个必然失败的请求反复送上去。
算一笔简单的账。
假设客户端库允许对 5xx 重试 3 次,一个超长提示词就变成 4 次打到前端的尝试。
如果每秒有 50 个超长请求——一个配置错误的 agent 循环把整个代码仓库塞进上下文,就是很现实的来源——那就是每秒 200 次纯浪费的尝试;
换成 400,这个数字是 50。
倍数由你的重试策略决定,不由 Dynamo 决定。
还有第二笔成本。
错误率看板和 SLO 燃烧告警通常把 5xx 算成服务方的失败,把 4xx 算成调用方的问题。
超长提示词引发的 api_error 尖峰,会把值班工程师叫起来处理一件根本不是故障的事。
改成 400,信号才落进正确的桶里。
升级前后怎么验 这个契约可以直接测。
构造一个故意超长的提示词,看返回什么状态码。
端点、模型名和尺寸都按你自己的部署替换。
用 httpx 向 /v1/messages 发一个内容为重复单词的请求,词数设为引擎 max_num_tokens 的两倍。
记录状态码、错误类型和耗时。
在 1.
6.
2 加 TensorRT-LLM 上,预期是 400 invalid_request_error;
在 1.
6.
0/1.
6.
1 上,是 500 api_error,属于已记录的已知问题。
然后检查前端那几层。
有三个地方会在 5xx 上重试,而很多人不记得它们存在:客户端 SDK 的内置重试(不少默认对 5xx 重试若干次)、API 网关或服务网格 sidecar 的重试策略、以及你自己那个遇到非 2xx 就重新入队的队列消费者。
按请求 id 记录一天的尝试次数。
如果超长提示词表现为反复尝试,光升级还不够。
在网关加一道便宜的预检查,把超出 token 预算的提示词挡在 GPU worker 之前,并把这个预算做成共享配置值,而不是复制进三个仓库的数字。
还有一个细节来自 v1.
6.
0 的已知问题清单:worker 拒绝请求时,前端返回的是通用错误,不带 worker 的消息。
1.
6.
2 的说明把 v1.
6.
0 的已知问题一并继承,只除掉了超长提示词这一条。
所以在 1.
6.
2 上,你应该期待状态码类别正确,但响应体不一定有用。
别写解析错误文本的客户端逻辑。
GC 冻结开关到底做什么 第二处改动针对 SGLang decode 与 aggregated worker 里的 Python 垃圾回收。
发布说明把目标描述为减少长跑 worker 的流式卡顿,并明确它默认关闭,建议在大范围启用前先拿一个对照 worker 比较内存占用。
它依托的是标准 CPython 机制。
循环回收器会周期性遍历被跟踪的容器对象,寻找引用环。
在一个启动时加载了大量 Python 状态的 worker 里(配置对象、分词器结构、调度表),每次完整回收都有很多东西要扫,而一次长扫描就是一次停顿,停的可能正是往流里喂 token 的那个线程。
Python 提供 gc.
freeze(),把当前被跟踪的对象全部移进永久代,后续回收直接跳过。
代价也写在这个机制里。
被冻结的对象永远不会被回收,所以它们
关注云体育,了解更多体育资讯。



