Kotonia
登录立即开始

Kotonia Articles

把llama-server回复草稿从5秒降到2秒后,第二次调用却踩了坑

把辅助指令接在原会话末尾,回复草稿就能复用缓存,耗时降到1.6〜2.6秒。但连续调用两次,会丢掉下一轮需要的回退点。一次关于检查点稀疏保留规则的调查。

作者 3分钟阅读
#llm#llamacpp#提示词缓存#性能优化#独立开发

起点

我在家用两张GPU运行角色聊天服务,模型是GLM-5.3-Flash的3bit GGUF,使用llama-server,配置4个槽位。

为了帮助“不知道下一句说什么”的用户,我加了回复草稿功能。按下按钮,就能生成用户一方的回复,包括动作描写和台词,再用箭头切换候选。

最初的实现很慢。优化时,遇到了一个之前不了解的提示词缓存规则。

测量日期是2026年11月12日。以下结果只对应这套模型、服务器配置,以及相关缓存可用时的情况。每个条件只试了1〜2次,不是通用的延迟保证。

第一版:单独拼一份短上下文

我原先认为,带完整历史会很重,还可能让会话缓存分叉。因此,单独拼了“角色设定开头 + 最近8行”的提示词,做一次性调用,不保存到会话中。

会话提示词复用缓存耗时
每轮较短1,511 token05.2秒
每轮较长5,410 token08.7秒

每次都从头做prefill。“只有8行”也可能是每行最多900字符,再加2,000字符的设定。长篇角色扮演很容易超过5,000 token。

而“完整历史会破坏缓存”,只是未经测量的前提。

试一下:直接接在会话末尾

我用和正常会话完全相同的方式构造提示词,然后追加一条user消息:从这里开始是剧情外的任务,请写出用户的下一句回复。用一段虚构会话测试,公共前缀约5,100 token。

调用新计算缓存耗时
正常一轮11〜56 token约5,1000.8〜1.7秒
末尾追加草稿请求82〜131 token约5,1501.6〜2.2秒

几乎全部命中。它和正常的下一轮一样,只是在缓存末尾继续延伸。

真正的问题在之后。草稿指令和输出不会写入历史,因此下一轮真实对话需要回退到草稿之前。

同一会话状态下请求草稿的次数下一轮重新计算耗时
1次15 token1.0秒
2次632 token1.4秒
3次655 token1.6秒
4次5,169 token,几乎全部5.9秒

调用一次没有问题。我把最后一行理解成了“第4次会坏”。这个判断错了。

边界不是第4次

重新执行同样的4次调用,下一轮只重算了631 token。原因不是次数本身。

我在llama-server日志里追踪恢复的检查点位置:

restored context checkpoint (pos_min = 5229, ...)   ← 第2〜4次草稿
restored context checkpoint (pos_min = 4557, ...)   ← 下一轮,较好的那次
restored context checkpoint (pos_min = 8, ...)      ← 下一轮,全部重算的那次

较好的那次回退到4,557,较差的那次退到了8。原本在5,100或5,140附近的检查点,两次都已经消失。

相关源码位于 tools/server/server-context.cpp 的 create_checkpoint:

// evict checkpoints within min-step of a previous checkpoint, unless they were
// created by the current task
for (auto it = slot.prompt.checkpoints.begin(); it != slot.prompt.checkpoints.end(); ) {
    if (it->id_task != id_task && last >= 0 && it->n_tokens <= last + params_base.checkpoint_min_step) {
        it = slot.prompt.checkpoints.erase(it);
        continue;
    }
    last = it->n_tokens;
    ++it;
}

调查的本地源码中,n_ctx_checkpoints = 32,checkpoint_min_step = 8192。对应的上游文件是服务器实现和公共参数定义。本地版本为 2c0d4071e6b05e99946dcc363c764df880a1eed1;链接指向持续更新的分支,后续行为可能改变。

规则是:

  • 每个槽位最多保存32个检查点。这次不是数量超限。
  • 创建新检查点时,会删除距离前一个保留下来的检查点不超过8,192 token、且属于其他请求的检查点。
  • 在这条请求路径中,最后一条user消息的开头和提示词末尾附近会创建检查点。属于当前请求的检查点不受这轮清理影响。

对应到草稿调用:

  1. 第一次: 在“会话末尾,也就是草稿指令开头”建立检查点。下一轮真实对话可以回到这里。
  2. 第二次: 创建新检查点时,第一次留下的会话边界检查点被清理。
  3. 真实下一轮: 只能恢复到更早、仍然存在的检查点。

全部重算的那一次,槽位中恰好还留着来自另一份提示词、位于第8个token的检查点,它作为最早的检查点保留了下来。

关键在第二次调用,不是第四次。回退多远,要看前面还剩什么。8,192是本次配置的间距规则,不能当作重新计算量的严格上限;实际还取决于可用检查点和槽位状态。

带图片的前缀也一样。一张角色立绘、约7,200 token的条件下,调用一次后,下一轮重算15 token;调用两次后,变成2,207 token。

变成产品设计

  • 每轮只调用一次。 一次生成5条草稿并流式返回,页面只切换已经收到的候选。
  • 不做同一轮的“再来一组”。 在本次测量里,第二次及后续调用会增加下一轮的重算,有时多等几秒。
  • 不缩小清理间距。 缩小间距可能降低重复调用的代价,但这套配置里每个检查点约145 MiB,多保留会加重内存压力。大小因模型和配置而异。

实现上,直接复用正常会话的提示词构造函数,只替换输出schema和长度设置。单独写一套构造逻辑,很容易引入差异,缩短公共前缀;尤其改动靠近开头时,会失去大段可复用缓存。

生产环境里,一次草稿提示词达到39,172 token的会话留下了这样的记录:

purpose=voice_reply_draft prompt=39172 cached=38854 new=318 ms=7872
purpose=voice_turn        prompt=38894 cached=38854 new=40  ms=20341

草稿调用新算318 token并生成5条候选,随后真实一轮只新算40 token。这证明的是缓存复用,不代表生产环境也只需2秒。ms 包含输出生成,实际耗时分别约7.9秒和20.3秒。

附带效果:给下一轮预热

以前试过用户进入会话时预热提示词,但没效果,就撤掉了。原因是真实一轮在预热前缀的末尾之前就发生了分叉。

这次草稿的分叉点就是会话末尾。如果缓存冷了,草稿调用先支付prefill成本,便能减少真实下一轮的prefill。但有时只是把等待移到草稿这一侧,不保证整个交互更快。

带走的结论

  • 缓存可用时,把辅助指令追加到原会话的相同提示词后面,可以复用几乎整个前缀。
  • 在这套配置里,每轮一次辅助调用能保留有用的回退点;第二次可能把它清理掉。
  • 原因是 checkpoint_min_step,而不是32个检查点的数量上限,也不是缓存落盘。
  • 一次实验不足以解释机制。重复同样步骤,结果变了,我们才去读源码。

每个条件只做了1〜2次,耗时只能作为参考。换模型、llama.cpp版本或并发负载时,应把公共前缀、辅助调用和真实下一轮作为一组重新测量。

Kotonia 将语音 AI、AI 聊天、图像生成和团队协作整合到一个 AI 工作区中。

试用 Kotonia