一番驚いたこと
キャラチャットの本番で使っているGLM-5.3-Flashは、もともと96 GBのGPUを2枚使って動かしていた。画像生成AIも同じマシンに載せていて、GPUの配置や空き容量を見ながら運用していた。
それが、Project Mayaを使うとGPU1枚で動いた。量子化方式は変わっている。それでも、チャットを実際に触っていて、実用上の速度低下を感じなかった。LoRAありの固定短文試験でも約72 tokens/sが出た。
これが今回、一番驚いたことだった。
同じハードウェアでも、研究と実装の進歩によって、できることが増える。今までLLMが使っていたGPUの領域を画像AIや次の実験に使えるようになり、プロダクトの自由度が広がった。
この記事では、その驚きから始めて、LoRA、会話キャッシュ、実アプリとの接続を整え、本番のキャラチャットを切り替えるまでを記録する。実測は2026年11月15〜16日のもの。
出発点は、2枚にまたがるLLM
作っているのは、キャラクターとテキストや音声で会話するサービスだ。LLMの応答には、本文に加えて地の文や発話者などを含む構造化データを使い、画像の入力や生成も扱う。
今回のマシンは次の構成だった。
| 項目 | 構成 |
|---|---|
| CPU | Ryzen 7 9700X |
| ホストRAM | OSから見て約60 GiB |
| GPU | RTX PRO 6000 Blackwell Max-Q 96 GB × 2 |
| GPU0の接続 | CPU直結のPCIe x16 |
| GPU1の接続 | PCIe x2 |
| ストレージ | NVMe SSD |
移行前はllama.cppでGLM-5.3-FlashのUD-Q3_K_XLを動かし、重みを両GPUに分けていた。画像AIのHiDreamはGPU0に同居していた。音声系は別マシンへ移行済みだった。
LLMが両方のGPUに載っていると、画像側の構成を変えたり別モデルを試したりする際にも、LLMとの配置を考える必要がある。ここを整理できると、今後の開発がずっとやりやすくなる。
「GPU1枚」を成立させるVRAMとRAMの分担
使ったのはProject Maya。今回の固定バージョンはv1.1.63で、ソースの基点は7e68a30f2f208056195352129188661fb6b94445。モデルはMaya向けGLM-5.3-FlashのMaya-M IQ2_Sを選んだ。
Mayaは、MoEモデルの専門家をGPU、RAM、NVMeに分けて扱う仕組みを持つ。今回の「1枚」は、GPU1枚とホストRAM、NVMeを組み合わせた推論を指す。
実際のログでは、dense部分のVRAMが約6.86 GiB、GPUのexpert poolが約83.61 GiB、RAM側のexpert tierが約19.87 GiBだった。GPU使用量のピークは約93 GiB。推論中の専門家のディスク読込みが0だった試験もあり、RAM側の専門家が転送を支えていた。起動時のモデル読込みや会話キャッシュのI/Oは別に発生する。
GPU0を選んだ理由もここにある。RAMからGPUへデータを動かす経路には、手元で帯域の広いx16側を使いたかった。
研究・実装の土台を作ったのはGLMやProject Mayaの開発者たちだ。MayaはPeasant Smith氏を中心に開発されている。こうした成果を手元で試せて、実際のサービスへ持っていけることに、公開されたモデルと実装の強さを感じる。
速度はどうだったか
最初の驚きは速度だった。ただし、「GPUを半分にして、すべての性能が同じになった」とまでは言えない。今回の構成変更には、次の差がある。
| 項目 | 移行前 | 移行後 |
|---|---|---|
| 推論エンジン | llama.cpp | Maya+手元の追加パッチ |
| 量子化 | UD-Q3_K_XL | Maya-M IQ2_S |
| LLMに使うGPU | 2枚 | 1枚 |
| 同時生成枠 | 4 | 2 |
| 文脈容量 | 共有256K、各枠上限128K | 各枠128K |
「触っていて遅くなった感じがしなかった」という実感と、固定条件のベンチマークは分けて残しておきたい。
LoRA対応後、同じ短いプロンプトから128 tokensをgreedy生成した試験は次の結果だった。各条件は慣らし1回と計測2回で、表は計測の中央値。MTPによる生成加速は使っていない。
| 条件 | 生成速度 |
|---|---|
| Maya、LoRAなし | 72.85 tok/s |
| Maya、LoRA scale 0.5 | 72.0 tok/s |
| Maya、LoRA scale 1 | 71.6 tok/s |
この試験は、Maya上でLoRAを付けても短文生成の速度が大きく崩れなかったことを確認したものだ。旧構成との同条件A/Bや、量子化変更後の会話品質の同等性を証明する数字ではない。
長い入力も確認した。約64Kの合成会話記録をLoRAありで初めて読むと、最初の本文まで約24.9秒。同じ会話の続きでは、約64K tokensを再利用して約0.17秒だった。約128Kの別入力も、LoRAなしで初回約52.5秒、続きは約0.17秒。
長文の初回読込みと、履歴がキャッシュにある会話の続きでは、待ち時間が大きく違う。短文のtok/sと合わせて、この差もサービスの運用では大切だった。
本番のキャラチャットに必要だったもの
普段のチャット経路には、LoRA、画像入力、構造化応答、ストリーミングが必要だった。
まず、既存のLoRAをMayaの推論経路へ追加した。今回対応したのは、attention出力とshared expertへのrank-one補正で、38対象のadapterだ。すべてのLoRAを扱う汎用対応ではなく、手元で使っていたadapterへ範囲を絞っている。
リクエストごとにscaleを変え、通常の会話とLoRA付きの会話を同時に流せるようにした。キャッシュもscaleを区別する。ある設定で作った状態を、別の設定の会話に再利用しないためだ。
次に、構造化応答へ文法制約を追加した。アプリは返ってきたJSONから発話や地の文を取り出すので、JSONが崩れると会話の表示にも影響する。思考がある場合は、その終了後に本文へ文法制約をかけ、本文を逐次配信するようにした。
LoRAと文法制約、後述の会話アーカイブ、リクエストごとの思考予算には、今回の環境用の追加実装が含まれる。ここでの結果は、Mayaの上記固定バージョンへそれらを重ねた構成のものだ。
会話キャッシュをRAMとNVMeに分ける
もう一つ気になったのが、会話を切り替えたときの状態保存だった。
長い会話を毎回最初から読み直すと、待ち時間が伸びる。生成中の状態を退避しておき、戻ってきた会話で再利用できると都合がよい。
そこで、最近の状態をRAMに置き、古い状態をNVMeへ退避する構成にした。本番の予算はRAM 10 GiB、NVMe 64 GiB。これは会話状態の退避領域で、専門家のRAMキャッシュとは別だ。
書込みは、GPUの処理完了を待ってホスト側へ状態を取り出し、その不変なスナップショットを別スレッドからNVMeへ保存する。GPUの待機やメモリコピーは引き続き同期処理で、NVMeからの復元読込みも同期のまま。
この検証では、仮説を修正した場面もあった。
当初、保存に約2.2秒かかった記録と、本文配信の最大間隔が約3.36秒になった記録が気になっていた。ところが処理を分けて測り直すと、約128Kの状態を保存する処理は約0.2秒で、以前の大きな遅延は再現しなかった。
同じ合成入力で比較した本文の最大配信間隔も、従来のディスク方式が1.330秒、RAM+NVMe方式が1.308秒。各1回の比較で、この差から大きな高速化は主張できない。
一方、RAM枠を超える76会話の試験では、通常・LoRA付きの会話をRAMとNVMeの両方から復元できた。最近の会話をRAMから戻す場合の本文開始は約0.16〜0.17秒、約128Kの状態をNVMeから戻す場合は約0.745秒だった。
このキャッシュは再起動後に引き継ぐ仕組みにはしていない。会話履歴そのものはアプリのDBに保存し、推論用の状態はプロセスの終了で破棄する。
本番へ切り替える
本番のバックエンドが使う接続先とモデル名は維持した。互換APIを既存ポートに置き、その先でMayaを動かす。アプリから届くschema指定やLoRA指定をMayaへ渡し、Maya側に対応物がないキャッシュ指定は互換層で扱う。
配置はGPU0にMaya、GPU1に画像AIとした。起動用の実行ファイルとPythonコードは固定リリースへコピーし、systemdで常駐させる。起動確認を待ってから本番APIを開き、元のllama.cppへ戻す設定も残した。
切替では、停止済みunitへのreset-failedがエラーになるケースと、MayaのCLIの既定ポートが設定ファイルの指定より優先されるケースを踏んだ。後者は起動コマンドでポートを明示して修正した。ここは事前の常駐テストで拾うべきだった。
最終確認では、実アプリのチャット経路をdev DBの専用アカウントから動かした。6ターンすべてで構造化応答の検査に通り、ストリーミングと会話履歴の引継ぎも確認できた。
画像生成とチャットの同時動作も通った。画像は2048×2048、12 stepsで約7.9秒、画像側の割当てピークは約13.0 GiB。その生成画像をMayaに渡すと、赤いカップを正しく認識した。画像品質や50 steps時の生成時間の評価は、この確認には含めていない。
設定は再起動後の自動起動経路にも反映した。この記事を書いている時点では、実機の再起動テストと長期稼働の確認はこれからになる。
1枚に集約できたことで、次に試せることが増えた
GPU1には画像AIが動いている。そのうえで、LLMが常時占有していた分の領域に余裕ができた。
これは個人開発では大きい。
別モデルを評価する、画像側の構成を変える、補助的な推論を試す。そういう実験を考えるときの選択肢が増える。まだ実施していないものも多いが、今後のプロダクトを考える際の制約が一つ緩んだ。
もちろん、今回の記録は96 GBのGPUと約60 GiBのホストRAMを使った、このモデル・量子化・設定での結果だ。ほかのGPUでの再現、全キャラの品質、混雑時の待ち時間、アーカイブが満杯になった状態での画像AIとの同時負荷は、別に確認する必要がある。
それでも、同じようにローカルLLMをサービスへ組み込み、GPUの使い方に悩んでいる人には、一つの具体例になると思う。モデル名とGPU枚数に加えて、RAMの使い方、長文の初回読込み、会話キャッシュ、アプリが要求するAPIまで含めると、採用の判断がしやすくなる。
研究と実装の進歩が、手元のマシンでそのまま「次にできること」に変わった。今回の一番うれしいところは、そこにある。
