起点
我在家用两张GPU运行角色聊天服务,模型是GLM-5.3-Flash的3bit GGUF,使用llama-server,配置4个槽位。
为了帮助“不知道下一句说什么”的用户,我加了回复草稿功能。按下按钮,就能生成用户一方的回复,包括动作描写和台词,再用箭头切换候选。
最初的实现很慢。优化时,遇到了一个之前不了解的提示词缓存规则。
测量日期是2026年11月12日。以下结果只对应这套模型、服务器配置,以及相关缓存可用时的情况。每个条件只试了1〜2次,不是通用的延迟保证。
第一版:单独拼一份短上下文
我原先认为,带完整历史会很重,还可能让会话缓存分叉。因此,单独拼了“角色设定开头 + 最近8行”的提示词,做一次性调用,不保存到会话中。
| 会话 | 提示词 | 复用缓存 | 耗时 |
|---|---|---|---|
| 每轮较短 | 1,511 token | 0 | 5.2秒 |
| 每轮较长 | 5,410 token | 0 | 8.7秒 |
每次都从头做prefill。“只有8行”也可能是每行最多900字符,再加2,000字符的设定。长篇角色扮演很容易超过5,000 token。
而“完整历史会破坏缓存”,只是未经测量的前提。
试一下:直接接在会话末尾
我用和正常会话完全相同的方式构造提示词,然后追加一条user消息:从这里开始是剧情外的任务,请写出用户的下一句回复。用一段虚构会话测试,公共前缀约5,100 token。
| 调用 | 新计算 | 缓存 | 耗时 |
|---|---|---|---|
| 正常一轮 | 11〜56 token | 约5,100 | 0.8〜1.7秒 |
| 末尾追加草稿请求 | 82〜131 token | 约5,150 | 1.6〜2.2秒 |
几乎全部命中。它和正常的下一轮一样,只是在缓存末尾继续延伸。
真正的问题在之后。草稿指令和输出不会写入历史,因此下一轮真实对话需要回退到草稿之前。
| 同一会话状态下请求草稿的次数 | 下一轮重新计算 | 耗时 |
|---|---|---|
| 1次 | 15 token | 1.0秒 |
| 2次 | 632 token | 1.4秒 |
| 3次 | 655 token | 1.6秒 |
| 4次 | 5,169 token,几乎全部 | 5.9秒 |
调用一次没有问题。我把最后一行理解成了“第4次会坏”。这个判断错了。
边界不是第4次
重新执行同样的4次调用,下一轮只重算了631 token。原因不是次数本身。
我在llama-server日志里追踪恢复的检查点位置:
restored context checkpoint (pos_min = 5229, ...) ← 第2〜4次草稿
restored context checkpoint (pos_min = 4557, ...) ← 下一轮,较好的那次
restored context checkpoint (pos_min = 8, ...) ← 下一轮,全部重算的那次
较好的那次回退到4,557,较差的那次退到了8。原本在5,100或5,140附近的检查点,两次都已经消失。
相关源码位于 tools/server/server-context.cpp 的 create_checkpoint:
// evict checkpoints within min-step of a previous checkpoint, unless they were
// created by the current task
for (auto it = slot.prompt.checkpoints.begin(); it != slot.prompt.checkpoints.end(); ) {
if (it->id_task != id_task && last >= 0 && it->n_tokens <= last + params_base.checkpoint_min_step) {
it = slot.prompt.checkpoints.erase(it);
continue;
}
last = it->n_tokens;
++it;
}
调查的本地源码中,n_ctx_checkpoints = 32,checkpoint_min_step = 8192。对应的上游文件是服务器实现和公共参数定义。本地版本为 2c0d4071e6b05e99946dcc363c764df880a1eed1;链接指向持续更新的分支,后续行为可能改变。
规则是:
- 每个槽位最多保存32个检查点。这次不是数量超限。
- 创建新检查点时,会删除距离前一个保留下来的检查点不超过8,192 token、且属于其他请求的检查点。
- 在这条请求路径中,最后一条user消息的开头和提示词末尾附近会创建检查点。属于当前请求的检查点不受这轮清理影响。
对应到草稿调用:
- 第一次: 在“会话末尾,也就是草稿指令开头”建立检查点。下一轮真实对话可以回到这里。
- 第二次: 创建新检查点时,第一次留下的会话边界检查点被清理。
- 真实下一轮: 只能恢复到更早、仍然存在的检查点。
全部重算的那一次,槽位中恰好还留着来自另一份提示词、位于第8个token的检查点,它作为最早的检查点保留了下来。
关键在第二次调用,不是第四次。回退多远,要看前面还剩什么。8,192是本次配置的间距规则,不能当作重新计算量的严格上限;实际还取决于可用检查点和槽位状态。
带图片的前缀也一样。一张角色立绘、约7,200 token的条件下,调用一次后,下一轮重算15 token;调用两次后,变成2,207 token。
变成产品设计
- 每轮只调用一次。 一次生成5条草稿并流式返回,页面只切换已经收到的候选。
- 不做同一轮的“再来一组”。 在本次测量里,第二次及后续调用会增加下一轮的重算,有时多等几秒。
- 不缩小清理间距。 缩小间距可能降低重复调用的代价,但这套配置里每个检查点约145 MiB,多保留会加重内存压力。大小因模型和配置而异。
实现上,直接复用正常会话的提示词构造函数,只替换输出schema和长度设置。单独写一套构造逻辑,很容易引入差异,缩短公共前缀;尤其改动靠近开头时,会失去大段可复用缓存。
生产环境里,一次草稿提示词达到39,172 token的会话留下了这样的记录:
purpose=voice_reply_draft prompt=39172 cached=38854 new=318 ms=7872
purpose=voice_turn prompt=38894 cached=38854 new=40 ms=20341
草稿调用新算318 token并生成5条候选,随后真实一轮只新算40 token。这证明的是缓存复用,不代表生产环境也只需2秒。ms 包含输出生成,实际耗时分别约7.9秒和20.3秒。
附带效果:给下一轮预热
以前试过用户进入会话时预热提示词,但没效果,就撤掉了。原因是真实一轮在预热前缀的末尾之前就发生了分叉。
这次草稿的分叉点就是会话末尾。如果缓存冷了,草稿调用先支付prefill成本,便能减少真实下一轮的prefill。但有时只是把等待移到草稿这一侧,不保证整个交互更快。
带走的结论
- 缓存可用时,把辅助指令追加到原会话的相同提示词后面,可以复用几乎整个前缀。
- 在这套配置里,每轮一次辅助调用能保留有用的回退点;第二次可能把它清理掉。
- 原因是
checkpoint_min_step,而不是32个检查点的数量上限,也不是缓存落盘。 - 一次实验不足以解释机制。重复同样步骤,结果变了,我们才去读源码。
每个条件只做了1〜2次,耗时只能作为参考。换模型、llama.cpp版本或并发负载时,应把公共前缀、辅助调用和真实下一轮作为一组重新测量。
