はじめに
自宅のGPU 2枚でローカルLLM(GLM-5.3-Flashの3bit GGUF、llama-serverの4スロット)を動かして、キャラクターチャットのサービスを運営している。
「何を返せばいいか分からない」人のために、利用者側の返信を代筆する機能を足した。ボタンを押すと、地の文と台詞を含む返信の案が出て、矢印でめくれる。
最初の実装は遅かった。直す過程で、llama-serverのプロンプトキャッシュについて、知らなかった規則を1つ踏んだ。その記録を書く。
計測日は2026年11月12日。以下は、このモデル・サーバー構成とキャッシュが利用できた条件での観測だ。各条件の試行は1〜2回で、一般的なレイテンシ保証ではない。
最初の実装: 短い文脈で別に組む
会話の全履歴を付けると重いし、会話側のキャッシュを途中で分岐させそうだったので、「キャラの設定の冒頭 + 直近8行」だけで別のプロンプトを組んだ。保存もしない単発の呼び出しにした。
実測はこうだった。
| 会話 | プロンプト | キャッシュ再利用 | 所要 |
|---|---|---|---|
| 短めのターンの会話 | 1,511 tok | 0 | 5.2秒 |
| 長文のターンの会話 | 5,410 tok | 0 | 8.7秒 |
毎回ゼロからprefillしている。「直近8行だけ」でも、1行900字まで × 8行 + 設定2,000字なので、長文で遊ぶ会話では5,000トークンを超える。
しかも「全履歴を付けるとキャッシュを壊す」は、測っていない前提だった。
測ってみる: 末尾に足すとどうなるか
会話とまったく同じプロンプトを組み、その末尾に「ここからは物語の外の作業。利用者の次の返信を書け」というuserメッセージを足す。これを架空の会話(プレフィックス約5,100トークン)で試した。
| 呼び出し | 新しく計算 | キャッシュ | 所要 |
|---|---|---|---|
| 通常のターン | 11〜56 tok | 約5,100 | 0.8〜1.7秒 |
| 下書き(末尾に足す) | 82〜131 tok | 約5,150 | 1.6〜2.2秒 |
ほぼ全部当たる。考えてみれば当然で、通常の次のターンと同じく「キャッシュの末尾からの延長」だからだ。
気になるのは、その後だ。下書きの指示と出力は履歴に残さない。だから本当の次のターンは、下書きの手前まで巻き戻る必要がある。
| その会話で下書きを頼んだ回数 | 次のターンの再計算 | 所要 |
|---|---|---|
| 1回 | 15 tok | 1.0秒 |
| 2回 | 632 tok | 1.4秒 |
| 3回 | 655 tok | 1.6秒 |
| 4回 | 5,169 tok(全部) | 5.9秒 |
1回なら問題ない。ここで自分は「4回目で壊れる」と読んだ。これは間違いだった。
「4回目で壊れる」は読み違いだった
同じ手順で4回呼び直すと、次のターンは631トークンで済んだ。回数の問題ではない。
llama-serverのログで、復元したチェックポイントの位置を追った。
restored context checkpoint (pos_min = 5229, ...) ← 下書き2〜4回目
restored context checkpoint (pos_min = 4557, ...) ← 本当の次のターン(うまくいった回)
restored context checkpoint (pos_min = 8, ...) ← 本当の次のターン(全部計算し直した回)
うまくいった回は4,557まで戻り、だめだった回は8まで戻っている。5,100や5,140にあったはずのチェックポイントは、どちらの回でも消えていた。
ソース(tools/server/server-context.cpp の create_checkpoint)を読むと、こうなっていた。
// evict checkpoints within min-step of a previous checkpoint, unless they were
// created by the current task
for (auto it = slot.prompt.checkpoints.begin(); it != slot.prompt.checkpoints.end(); ) {
if (it->id_task != id_task && last >= 0 && it->n_tokens <= last + params_base.checkpoint_min_step) {
it = slot.prompt.checkpoints.erase(it);
continue;
}
last = it->n_tokens;
++it;
}
調査したローカルのソースでは n_ctx_checkpoints = 32、checkpoint_min_step = 8192 だった。参照箇所は llama.cpp のサーバー実装と共通パラメータ定義。手元のリビジョンは 2c0d4071e6b05e99946dcc363c764df880a1eed1 で、上のリンクは更新されるため挙動が変わる可能性がある。
つまりこうだ。
- 1スロットが持てるチェックポイントは32個。数で溢れたわけではない
- 新しいチェックポイントを作るとき、手前のチェックポイントから8,192トークン以内にある、別のリクエストが作ったものを消す
- 今回の経路では、最後のuserメッセージの頭とプロンプトの末尾付近にチェックポイントが作られた。同じリクエストが作ったものは、この間引きの対象にならない
下書きに当てはめる。
- 1回目: 「会話の末尾 = 下書きの指示の頭」にチェックポイントができる。次の本当のターンはちょうどそこへ戻れる
- 2回目: 新しいチェックポイントを作るとき、1回目が作った「会話の末尾」のものが間引かれる
- その後の本当のターン: 残っている中で一番近い、もっと手前のものまで戻る
「全部計算し直した回」は、たまたまスロットに別のプロンプト由来の、先頭8トークン地点のチェックポイントが残っていて、それが「一番手前の1個」として生き残っていただけだった。
境目は4回目ではなく2回目で、戻る距離は手前に何が残っているか次第。今回の間引き幅は8,192トークンだが、これを再計算量の厳密な上限とは扱えない。戻れる位置は、残っているチェックポイントとスロットの状態に依存する。
画像入りのプレフィックス(立ち絵1枚、約7,200トークン)でも同じだった。1回なら次のターンは15トークン、2回だと2,207トークン。
設計に落とす
- 1ターンにつき呼び出しは1回だけ。 1回の呼び出しで5本をストリーミングし、画面は届いた分をめくるだけにする
- 「もっと」の頼み直しは作らない。 今回の測定では、2回目以降に次のターンの再計算が増え、数秒遅くなる場合があった
- 間引き幅は触らない。 8,192を小さくすれば2回目も安くなるが、今回の構成ではチェックポイント1個が約145MiBあり、保持数を増やすとメモリ圧迫を強める。サイズはモデルや構成によって変わる
実装は、通常のターンと同じプロンプト組み立ての関数をそのまま通し、出力の形(JSON schema)と長さだけを差し替えた。組み立てを別に書くと差分が入りやすく、共通プレフィックスが短くなる。特に先頭付近が変われば、再利用できる範囲を大きく失う。
本番で、39,172トークンの会話に当てた結果がこれだ。
purpose=voice_reply_draft prompt=39172 cached=38854 new=318 ms=7872
purpose=voice_turn prompt=38894 cached=38854 new=40 ms=20341
下書きは318トークンの再計算で5本を書き、続く本当のターンは40トークンの再計算で済んでいる。これはキャッシュ再利用の確認だ。ms は出力生成も含む呼び出し全体の所要時間で、下書き約7.9秒・本当のターン約20.3秒だった。約3.9万トークンの本番会話まで「2秒になった」とは言えない。
副産物: ウォームアップを兼ねる
以前、入室時にプロンプトを流してキャッシュを温める仕組みを入れて、効かずに撤去したことがある。本番のターンが、温めた末尾の手前で分岐していたからだ。
今回の下書きは、分岐点が末尾そのものになる。会話が冷えていれば、下書きの呼び出しがprefillを先に払い、次の本当のターンで払うprefillを減らせる。ただし待ち時間を下書き側に移すだけの場合もあり、処理全体の短縮を保証するものではない。狙っていなかったが、同じ形のウォームアップになっている。
まとめ
- 会話の横で走らせる補助の呼び出しは、会話と同じプロンプトの末尾に足すと、ほぼ全部キャッシュに当たる
- ただし1ターンに1回まで。2回目は「会話の末尾」のチェックポイントを間引く
- 原因は上限(32個)でも退避でもなく、
checkpoint_min_step(8,192)の間引き規則 - 1回の試行から仕組みを言い切らない。同じ条件をもう1回やると、だいたい外れている
試行は各条件1〜2回なので、数字は目安として読んでほしい。別モデルや別のllama.cppの版、並列負荷のある環境では、同じプレフィックス・補助呼び出し・本当の次ターンを一組にして測り直す必要がある。
