最让我惊讶的事
生产环境中的角色聊天使用GLM-5.3-Flash,原本需要跨两张96 GB GPU运行。图像生成AI也在同一台机器上,因此日常运维要留意GPU上的模型布局和剩余显存。
换用Project Maya后,LLM可以只用一张GPU运行了。量化方式确实变了,但实际使用聊天时,我没有感觉到明显变慢。启用LoRA的固定短文本测试也达到了约72 tokens/s。
这是整个过程中最让我惊讶的地方。
研究和实现上的进步,让同一套硬件能做更多事。原来被LLM占用的GPU容量,现在可以交给图像生成和后续实验,产品的发展空间也随之扩大。
这篇文章从这个惊喜出发,记录补齐LoRA、会话缓存、应用集成,直到切换生产角色聊天的过程。测量时间为2026年11月15日至16日。
起点:跨两张卡运行的LLM
我在开发一个与角色进行文字和语音对话的服务。LLM的响应使用结构化数据,包含台词、旁白和说话人等信息。应用也处理图像输入与生成。
这次使用的机器配置如下。
| 项目 | 配置 |
|---|---|
| CPU | Ryzen 7 9700X |
| 主机RAM | 操作系统可见约60 GiB |
| GPU | RTX PRO 6000 Blackwell Max-Q 96 GB × 2 |
| GPU0连接 | CPU直连PCIe x16 |
| GPU1连接 | PCIe x2 |
| 存储 | NVMe SSD |
迁移前,我用llama.cpp运行GLM-5.3-Flash的UD-Q3_K_XL量化版本,把权重分布在两张GPU上。HiDream图像生成与LLM的一部分共享GPU0。语音服务此前已经迁到了另一台机器。
当LLM同时占着两张卡时,调整图像生成方案或评估另一个模型,也需要考虑如何与LLM共存。把各自的职责分开,后续开发就容易安排得多。
用VRAM和RAM的分工实现单GPU推理
使用的是Project Maya。这次固定为v1.1.63,源码基点为7e68a30f2f208056195352129188661fb6b94445。模型选择了Maya版GLM-5.3-Flash中的Maya-M IQ2_S。
Maya能够把MoE模型的专家分布到GPU显存、RAM和NVMe中。这里的“单GPU”,指的是一张GPU配合主机RAM与NVMe完成推理。
实际引擎日志显示,显存中的dense部分约6.86 GiB,GPU expert pool约83.61 GiB,RAM中的expert tier约19.87 GiB。GPU内存使用峰值约93 GiB。有一组测试中,推理期间的专家磁盘读取量为0,由RAM层提供需要传输的专家。启动时加载模型、读写会话缓存所产生的I/O仍然另外存在。
这也是我选择GPU0的原因:从RAM向GPU传输数据时,优先使用带宽更宽的x16连接。
这些工作的基础来自GLM和Project Maya的开发者。Maya由Peasant Smith主导开发。能够在自己的机器上尝试公开的模型与实现,再把它们接进真实服务,确实能体会到这些成果的价值。
速度究竟如何
速度是最初的惊喜。不过,迁移前后有几项条件发生了变化。
| 项目 | 迁移前 | 迁移后 |
|---|---|---|
| 推理引擎 | llama.cpp | Maya加本地补丁 |
| 量化 | UD-Q3_K_XL | Maya-M IQ2_S |
| LLM使用的GPU | 2张 | 1张 |
| 并发生成槽位 | 4 | 2 |
| 上下文容量 | 共享256K,每槽位上限128K | 每槽位128K |
“实际聊天时没有感觉到明显变慢”属于使用感受,应当与固定条件下的基准结果分别记录。
加入LoRA支持后,我用同一个短提示词进行128 tokens的greedy生成。每种条件预热1次、测量2次,表中是测量结果的中位数。没有启用MTP生成加速。
| 条件 | 生成速度 |
|---|---|
| Maya,不使用LoRA | 72.85 tok/s |
| Maya,LoRA scale 0.5 | 72.0 tok/s |
| Maya,LoRA scale 1 | 71.6 tok/s |
这项测试确认了,在该条件下给Maya加入LoRA,没有显著拉低短文本生成吞吐。它不是与旧引擎进行的严格同条件A/B,也不能证明改变量化后对话质量完全等同。
长输入也做了测试。启用LoRA后,首次读取约64K tokens的合成对话记录,到首段正文出现约需24.9秒。同一会话继续时,复用了约64K tokens,正文约0.17秒就开始输出。另一份约128K tokens的输入在不使用LoRA时,冷启动读取约52.5秒,续聊约0.17秒。
首次读取长输入,与继续一个已经命中缓存的会话,等待时间差异很大。除了短文本的tok/s,运营服务时也需要关注这一点。
生产角色聊天还需要哪些能力
日常聊天链路需要LoRA、图像输入、结构化响应和流式输出。
首先,我把现有LoRA接进了Maya的推理路径。这次支持的是attention输出与shared expert上的rank-one修正,覆盖手头adapter的38个目标。实现范围限定在这个adapter,没有扩展为对所有LoRA的通用支持。
每个请求可以指定不同的scale,普通会话和启用LoRA的会话能够同时处理。缓存匹配条件也包含scale,避免把一种配置下产生的状态复用到另一种配置的会话。
接着,为结构化响应加入文法约束。应用会从返回的JSON中提取台词和旁白,JSON损坏会直接影响聊天展示。如果模型进行思考,就在思考结束后对正文启用文法约束,并逐步流式输出正文。
LoRA、文法约束、下文的会话归档,以及每个请求独立的思考预算,都包含针对这套环境的追加实现。本文结果来自固定版本的Maya与这些补丁的组合。
把会话缓存分到RAM与NVMe
另一个关注点,是切换会话时的推理状态保存。
如果每次都从头重新读取长对话,等待就会增加。把生成状态暂存起来,回到该会话时便能复用之前的计算。
于是我把最近的状态放在RAM里,把较旧的状态移到NVMe。生产配置的预算为RAM 10 GiB、NVMe 64 GiB。这些是会话状态的暂存空间,与专家的RAM缓存分别计算。
保存时,先等待GPU处理完成,把状态捕获到主机内存,再由另一个线程把不可变快照写入NVMe。GPU同步与内存复制仍然是同步操作,从NVMe恢复冷状态时的读取也仍然同步。
这部分验证还让我修正了早期假设。
最初有一次保存耗时约2.2秒的记录,也有正文流最大间隔达到约3.36秒的记录。把各阶段拆开重新测量后,保存约128K tokens状态的处理约为0.2秒,之前的大延迟没有复现。
使用同一组合成输入比较,旧磁盘方案的正文流最大间隔为1.330秒,RAM加NVMe方案为1.308秒。每种配置只运行1次,不能据此宣称出现了大幅提速。
另一方面,在超过RAM预算的76个会话测试中,普通会话与LoRA会话都能从RAM和NVMe成功恢复。最近的会话从RAM恢复后,正文约0.16至0.17秒开始输出;约128K tokens的状态从NVMe恢复,到正文出现约0.745秒。
这套缓存没有设计成跨进程重启保留。对话历史本身保存在应用数据库中,推理状态随进程退出而丢弃。
切换生产环境
我保留了后端原有的API地址和模型名。在原有端口放一个兼容API,由它转发给Maya:转换schema请求,传递LoRA配置,并处理Maya没有对应实现的旧缓存参数。
模型布局调整为GPU0运行Maya,GPU1运行图像AI。可执行文件和Python代码复制到固定的release目录,由systemd常驻管理。等待引擎就绪后才开放生产API,同时保留原来的llama.cpp配置供回滚。
切换时踩到了两个坑:对已停止的unit执行reset-failed可能返回错误;Maya的CLI默认端口会优先于配置文件中的端口。后者通过在启动命令中明确传入端口修复。这些问题本应在切换前的常驻运行演练中发现。
最终应用检查通过dev数据库的专用账号,调用真实聊天路由。6个轮次全部通过结构化响应检查,流式输出和对话历史复用也正常。
图像生成与聊天的并发运行也通过了检查。实际图像输出为2048×2048、12 steps,耗时约7.9秒,图像侧分配峰值约13.0 GiB。再把生成的图片交给Maya,它正确识别出了红色杯子。这次检查没有评估图像质量,也没有测量50 steps时的生成时间。
配置也已经接入重启后的自动启动路径。写作时,整机重启测试与长期运行仍有待确认。
推理集中到一张卡后,下一步能尝试的事情变多了
现在GPU1运行着图像AI,同时也腾出了过去被LLM常驻占用的那部分容量。
对独立开发来说,这个变化很大。
评估另一个模型、调整图像生成方案、试验辅助推理——规划这些实验时,可选方案增加了。很多还只是想法,但产品未来发展的一项限制已经放宽。
当然,这些结果来自一张96 GB GPU、约60 GiB主机RAM,以及本文使用的模型、量化和配置。其他GPU上的复现、所有角色的质量、拥堵时的等待时间,以及归档满载时与图像生成叠加的负载,都需要另行测试。
即便如此,对于把本地LLM接入服务、又受限于GPU资源的人,这仍是一个具体案例。除了模型名称与GPU数量,把RAM用法、长输入首次读取耗时、会话缓存、应用要求的API一起记录下来,会更容易判断是否适合采用。
研究与实现的进步,直接变成了现有机器上“接下来可以做的事”。这是这次工作最让我高兴的地方。
