Kotonia
ログイン今すぐ始める

Kotonia Articles

llama-serverの返信案を5秒から2秒にしたら、2回目の呼び出しに罠があった

短い別プロンプトより、会話の末尾に補助指示を足すほうが速かった。返信案を1.6〜2.6秒にしたキャッシュ再利用と、2回目に巻き戻り先を失うチェックポイント間引きの調査記録。

著者 4分で読める
#llm#llamacpp#プロンプトキャッシュ#パフォーマンス#個人開発

はじめに

自宅のGPU 2枚でローカルLLM(GLM-5.3-Flashの3bit GGUF、llama-serverの4スロット)を動かして、キャラクターチャットのサービスを運営している。

「何を返せばいいか分からない」人のために、利用者側の返信を代筆する機能を足した。ボタンを押すと、地の文と台詞を含む返信の案が出て、矢印でめくれる。

最初の実装は遅かった。直す過程で、llama-serverのプロンプトキャッシュについて、知らなかった規則を1つ踏んだ。その記録を書く。

計測日は2026年11月12日。以下は、このモデル・サーバー構成とキャッシュが利用できた条件での観測だ。各条件の試行は1〜2回で、一般的なレイテンシ保証ではない。

最初の実装: 短い文脈で別に組む

会話の全履歴を付けると重いし、会話側のキャッシュを途中で分岐させそうだったので、「キャラの設定の冒頭 + 直近8行」だけで別のプロンプトを組んだ。保存もしない単発の呼び出しにした。

実測はこうだった。

会話プロンプトキャッシュ再利用所要
短めのターンの会話1,511 tok05.2秒
長文のターンの会話5,410 tok08.7秒

毎回ゼロからprefillしている。「直近8行だけ」でも、1行900字まで × 8行 + 設定2,000字なので、長文で遊ぶ会話では5,000トークンを超える。

しかも「全履歴を付けるとキャッシュを壊す」は、測っていない前提だった。

測ってみる: 末尾に足すとどうなるか

会話とまったく同じプロンプトを組み、その末尾に「ここからは物語の外の作業。利用者の次の返信を書け」というuserメッセージを足す。これを架空の会話(プレフィックス約5,100トークン)で試した。

呼び出し新しく計算キャッシュ所要
通常のターン11〜56 tok約5,1000.8〜1.7秒
下書き(末尾に足す)82〜131 tok約5,1501.6〜2.2秒

ほぼ全部当たる。考えてみれば当然で、通常の次のターンと同じく「キャッシュの末尾からの延長」だからだ。

気になるのは、その後だ。下書きの指示と出力は履歴に残さない。だから本当の次のターンは、下書きの手前まで巻き戻る必要がある。

その会話で下書きを頼んだ回数次のターンの再計算所要
1回15 tok1.0秒
2回632 tok1.4秒
3回655 tok1.6秒
4回5,169 tok(全部)5.9秒

1回なら問題ない。ここで自分は「4回目で壊れる」と読んだ。これは間違いだった。

「4回目で壊れる」は読み違いだった

同じ手順で4回呼び直すと、次のターンは631トークンで済んだ。回数の問題ではない。

llama-serverのログで、復元したチェックポイントの位置を追った。

restored context checkpoint (pos_min = 5229, ...)   ← 下書き2〜4回目
restored context checkpoint (pos_min = 4557, ...)   ← 本当の次のターン(うまくいった回)
restored context checkpoint (pos_min = 8, ...)      ← 本当の次のターン(全部計算し直した回)

うまくいった回は4,557まで戻り、だめだった回は8まで戻っている。5,100や5,140にあったはずのチェックポイントは、どちらの回でも消えていた。

ソース(tools/server/server-context.cpp の create_checkpoint)を読むと、こうなっていた。

// evict checkpoints within min-step of a previous checkpoint, unless they were
// created by the current task
for (auto it = slot.prompt.checkpoints.begin(); it != slot.prompt.checkpoints.end(); ) {
    if (it->id_task != id_task && last >= 0 && it->n_tokens <= last + params_base.checkpoint_min_step) {
        it = slot.prompt.checkpoints.erase(it);
        continue;
    }
    last = it->n_tokens;
    ++it;
}

調査したローカルのソースでは n_ctx_checkpoints = 32、checkpoint_min_step = 8192 だった。参照箇所は llama.cpp のサーバー実装と共通パラメータ定義。手元のリビジョンは 2c0d4071e6b05e99946dcc363c764df880a1eed1 で、上のリンクは更新されるため挙動が変わる可能性がある。

つまりこうだ。

  • 1スロットが持てるチェックポイントは32個。数で溢れたわけではない
  • 新しいチェックポイントを作るとき、手前のチェックポイントから8,192トークン以内にある、別のリクエストが作ったものを消す
  • 今回の経路では、最後のuserメッセージの頭とプロンプトの末尾付近にチェックポイントが作られた。同じリクエストが作ったものは、この間引きの対象にならない

下書きに当てはめる。

  1. 1回目: 「会話の末尾 = 下書きの指示の頭」にチェックポイントができる。次の本当のターンはちょうどそこへ戻れる
  2. 2回目: 新しいチェックポイントを作るとき、1回目が作った「会話の末尾」のものが間引かれる
  3. その後の本当のターン: 残っている中で一番近い、もっと手前のものまで戻る

「全部計算し直した回」は、たまたまスロットに別のプロンプト由来の、先頭8トークン地点のチェックポイントが残っていて、それが「一番手前の1個」として生き残っていただけだった。

境目は4回目ではなく2回目で、戻る距離は手前に何が残っているか次第。今回の間引き幅は8,192トークンだが、これを再計算量の厳密な上限とは扱えない。戻れる位置は、残っているチェックポイントとスロットの状態に依存する。

画像入りのプレフィックス(立ち絵1枚、約7,200トークン)でも同じだった。1回なら次のターンは15トークン、2回だと2,207トークン。

設計に落とす

  • 1ターンにつき呼び出しは1回だけ。 1回の呼び出しで5本をストリーミングし、画面は届いた分をめくるだけにする
  • 「もっと」の頼み直しは作らない。 今回の測定では、2回目以降に次のターンの再計算が増え、数秒遅くなる場合があった
  • 間引き幅は触らない。 8,192を小さくすれば2回目も安くなるが、今回の構成ではチェックポイント1個が約145MiBあり、保持数を増やすとメモリ圧迫を強める。サイズはモデルや構成によって変わる

実装は、通常のターンと同じプロンプト組み立ての関数をそのまま通し、出力の形(JSON schema)と長さだけを差し替えた。組み立てを別に書くと差分が入りやすく、共通プレフィックスが短くなる。特に先頭付近が変われば、再利用できる範囲を大きく失う。

本番で、39,172トークンの会話に当てた結果がこれだ。

purpose=voice_reply_draft prompt=39172 cached=38854 new=318 ms=7872
purpose=voice_turn        prompt=38894 cached=38854 new=40  ms=20341

下書きは318トークンの再計算で5本を書き、続く本当のターンは40トークンの再計算で済んでいる。これはキャッシュ再利用の確認だ。ms は出力生成も含む呼び出し全体の所要時間で、下書き約7.9秒・本当のターン約20.3秒だった。約3.9万トークンの本番会話まで「2秒になった」とは言えない。

副産物: ウォームアップを兼ねる

以前、入室時にプロンプトを流してキャッシュを温める仕組みを入れて、効かずに撤去したことがある。本番のターンが、温めた末尾の手前で分岐していたからだ。

今回の下書きは、分岐点が末尾そのものになる。会話が冷えていれば、下書きの呼び出しがprefillを先に払い、次の本当のターンで払うprefillを減らせる。ただし待ち時間を下書き側に移すだけの場合もあり、処理全体の短縮を保証するものではない。狙っていなかったが、同じ形のウォームアップになっている。

まとめ

  • 会話の横で走らせる補助の呼び出しは、会話と同じプロンプトの末尾に足すと、ほぼ全部キャッシュに当たる
  • ただし1ターンに1回まで。2回目は「会話の末尾」のチェックポイントを間引く
  • 原因は上限(32個)でも退避でもなく、checkpoint_min_step(8,192)の間引き規則
  • 1回の試行から仕組みを言い切らない。同じ条件をもう1回やると、だいたい外れている

試行は各条件1〜2回なので、数字は目安として読んでほしい。別モデルや別のllama.cppの版、並列負荷のある環境では、同じプレフィックス・補助呼び出し・本当の次ターンを一組にして測り直す必要がある。

Kotonia は音声AI、AIチャット、画像生成、チーム共有をひとつにまとめたAIワークスペースです。

試してみる