起点
我一个人开发角色聊天服务 kotonia,在家用两张GPU运行本地大模型。本地推理的边际成本主要是电费,但这不代表硬件、维护和自己的时间没有成本。
2026年10月的收入大约是6,000日元。一天晚上,我找AI讨论该怎么增长。
带去的第一个假设是:
我玩过一些竞品,感觉它们很擅长偏暗黑的恋爱剧情。我的模型却容易把故事引向圆满结局。与其把GPU全留给大模型,是不是应该用LoRA把小模型调成想要的文风?
结果,这个假设还没经过验证,就落到了优先级的最底下。让它往后排的不是辩论,而是日志。
优先级是怎么变的
同一个晚上,排在第一位的工作不断变化:
| 新提供的信息 | 当时的第一优先级 |
|---|---|
| 我的假设和主观感受 | 小模型 + LoRA |
| 12名付费用户的使用记录 | 付费后的留存、自建角色和语音 |
| 2026年10月的收入 | 比起模型,先做获客和引导 |
| 1,254名注册用户的漏斗 | 入口:一半的人连一句话都没发 |
| 0轮用户的行为日志 | 看到开场白就离开的414人 |
| 对应页面的代码和数据库原始行 | 一行显示条件 |
注册漏斗统计的是2026年8月28日至10月28日注册的1,254人,排除了同一设备的重复注册及被排除、冻结的账号。累计付费过的12人属于另一个统计范围。
越往下,问题越小、越具体,修起来也越便宜。
如果在第一步就行动,可能会花上几周训练模型。最后真正修的却是这些:
- 有开场白的角色从来没有显示过首句回复选项,尽管102个公开角色中有75个配置了选项。
- 用户还没说第一句话,就被要求填写自我介绍。甚至有82人填完并保存后,仍然一句话也没发就走了。
- “首次对话”埋点把角色的开场白算成了用户的第一轮。413个没有发过消息的人,也被记录成了完成首次对话。
修复都不难。难的是知道问题在那里。
AI只能根据拿到的材料推理
第一个AI每拿到一个新事实,就会调整结论。说有付费用户聊了1,000轮,它就强调长期沉浸;说月收入只有6,000日元,它就强调获客;怀疑角色太少,它就建议做发现流。
每一步都说得通。问题在于,我提供信息的顺序,变成了它提出建议的顺序。它只能使用我带进对话的事实,而这些事实又按我最在意什么来排列。开发者担心模型,对话自然就围着模型转。
我把同样的问题交给第二个能看代码、查数据库的AI。它没有先给观点,而是先写SQL:按来源拆注册队列,再查0轮用户注册后去了哪个页面、按了什么按钮。
查出来的数字,没有一个在我原来的假设里:
- 最大来源是ChatGPT,共413人。其中日本用户102人,来自其他国家的用户达到10轮的比例较低。
- 只有19%的人看过角色目录。75%的首次对话对象是默认角色。
- 只看了开场白的414人,并不是全都立刻关掉页面。他们在对话页面停留时间的中位数是69秒。
待了69秒却不说话,看起来更像“不知道该说什么”,而不是一眼就觉得无聊。当然,这只是行为推测,我们没有问过本人,停留时间本身也不能证明原因。但它足以说明,在修改模型文风之前,应该先查入口。
想用好智能,先增加外部信息
做工程时,我一直在想:要让高水平的智能发挥作用,往往应先增加它能拿到的外部事实,而不是只想着提高智能本身。
人和AI都一样,推理能力决定了能从现有材料里得出什么。材料不足,再聪明也可能只是更快地给出一个貌似合理的错误答案。
那晚,这件事发生了三次。
第一次是我自己。仅凭玩竞品的感受和对自家模型的不满,差点就决定接下来做什么。
第二次是第一个AI。它在已知信息范围内,不断给出合理的建议。
第三次发生在负责实现的AI身上。开发回复草稿功能时,它认定“带完整历史会破坏缓存”,于是单独拼了一份短上下文。这个前提没有测过。我问,为什么不走正常对话的路径复用缓存?十分钟的实验就推翻了前提:在虚构会话中,原先5〜12秒的调用降到了1.6〜2.6秒。过程写在缓存调查文章里。
紧接着,它又根据一次实验,断言“第4次调用会全部重算”。我问,按理不是应该恢复检查点吗?它去读源码后才更正:原因不是次数,而是另一条规则。
设计变好的节点,每次都来自一个很短的追问。这些追问不需要特别聪明,只是实际看过行为,觉得解释对不上。
留下的做法
问意见之前,先查能查到的日志。 带着假设去问,对话就围着假设转;带着数字去问,才会转向数字指向的地方。
拿到结论后,读一行原始数据。 0轮用户的会话里只有角色开场白这一行。它同时暴露了显示条件和埋点定义的问题,聚合值本身看不出来。
追问“测过吗”。 解释越漂亮,越值得问。没测过,也能写出漂亮解释。
也要怀疑仪表。 “首次对话”埋点把开场白数了好几个月。它影响过多少判断,现在已经无法一一追溯。
要求写清还没验证什么。 有用的报告既说明哪些检查通过,也说明证据到哪里为止。
最后改了什么
模型没动,GPU配置也没动。
改的是显示条件、弹窗时机、目录卡片标题和生成回复草稿的按钮。截至2026年11月12日,行为指标上的改善还没有测出来。我们计划两周后重跑同一份SQL。因为同一天上线了多项改动,前后对比不能单独证明某一项修复的效果。如果没变化,就继续查下一份日志。
和聪明的伙伴讨论很有趣。但那晚最有用的输入,是一组此前没人看过的数字。
