Kotonia
登录立即开始

Kotonia Articles

每多给AI一份日志,建议就变一次:最后只改了一行代码

本来准备重新训练模型,查完日志却发现该改的是一行显示条件。复盘1,254名注册用户后,我意识到:向AI征求意见之前,应该先给它哪些事实。

作者 3分钟阅读
#独立开发#ai#产品#数据分析#llm

起点

我一个人开发角色聊天服务 kotonia,在家用两张GPU运行本地大模型。本地推理的边际成本主要是电费,但这不代表硬件、维护和自己的时间没有成本。

2026年10月的收入大约是6,000日元。一天晚上,我找AI讨论该怎么增长。

带去的第一个假设是:

我玩过一些竞品,感觉它们很擅长偏暗黑的恋爱剧情。我的模型却容易把故事引向圆满结局。与其把GPU全留给大模型,是不是应该用LoRA把小模型调成想要的文风?

结果,这个假设还没经过验证,就落到了优先级的最底下。让它往后排的不是辩论,而是日志。

优先级是怎么变的

同一个晚上,排在第一位的工作不断变化:

新提供的信息当时的第一优先级
我的假设和主观感受小模型 + LoRA
12名付费用户的使用记录付费后的留存、自建角色和语音
2026年10月的收入比起模型,先做获客和引导
1,254名注册用户的漏斗入口:一半的人连一句话都没发
0轮用户的行为日志看到开场白就离开的414人
对应页面的代码和数据库原始行一行显示条件

注册漏斗统计的是2026年8月28日至10月28日注册的1,254人,排除了同一设备的重复注册及被排除、冻结的账号。累计付费过的12人属于另一个统计范围。

越往下,问题越小、越具体,修起来也越便宜。

如果在第一步就行动,可能会花上几周训练模型。最后真正修的却是这些:

  • 有开场白的角色从来没有显示过首句回复选项,尽管102个公开角色中有75个配置了选项。
  • 用户还没说第一句话,就被要求填写自我介绍。甚至有82人填完并保存后,仍然一句话也没发就走了。
  • “首次对话”埋点把角色的开场白算成了用户的第一轮。413个没有发过消息的人,也被记录成了完成首次对话。

修复都不难。难的是知道问题在那里。

AI只能根据拿到的材料推理

第一个AI每拿到一个新事实,就会调整结论。说有付费用户聊了1,000轮,它就强调长期沉浸;说月收入只有6,000日元,它就强调获客;怀疑角色太少,它就建议做发现流。

每一步都说得通。问题在于,我提供信息的顺序,变成了它提出建议的顺序。它只能使用我带进对话的事实,而这些事实又按我最在意什么来排列。开发者担心模型,对话自然就围着模型转。

我把同样的问题交给第二个能看代码、查数据库的AI。它没有先给观点,而是先写SQL:按来源拆注册队列,再查0轮用户注册后去了哪个页面、按了什么按钮。

查出来的数字,没有一个在我原来的假设里:

  • 最大来源是ChatGPT,共413人。其中日本用户102人,来自其他国家的用户达到10轮的比例较低。
  • 只有19%的人看过角色目录。75%的首次对话对象是默认角色。
  • 只看了开场白的414人,并不是全都立刻关掉页面。他们在对话页面停留时间的中位数是69秒。

待了69秒却不说话,看起来更像“不知道该说什么”,而不是一眼就觉得无聊。当然,这只是行为推测,我们没有问过本人,停留时间本身也不能证明原因。但它足以说明,在修改模型文风之前,应该先查入口。

想用好智能,先增加外部信息

做工程时,我一直在想:要让高水平的智能发挥作用,往往应先增加它能拿到的外部事实,而不是只想着提高智能本身。

人和AI都一样,推理能力决定了能从现有材料里得出什么。材料不足,再聪明也可能只是更快地给出一个貌似合理的错误答案。

那晚,这件事发生了三次。

第一次是我自己。仅凭玩竞品的感受和对自家模型的不满,差点就决定接下来做什么。

第二次是第一个AI。它在已知信息范围内,不断给出合理的建议。

第三次发生在负责实现的AI身上。开发回复草稿功能时,它认定“带完整历史会破坏缓存”,于是单独拼了一份短上下文。这个前提没有测过。我问,为什么不走正常对话的路径复用缓存?十分钟的实验就推翻了前提:在虚构会话中,原先5〜12秒的调用降到了1.6〜2.6秒。过程写在缓存调查文章里。

紧接着,它又根据一次实验,断言“第4次调用会全部重算”。我问,按理不是应该恢复检查点吗?它去读源码后才更正:原因不是次数,而是另一条规则。

设计变好的节点,每次都来自一个很短的追问。这些追问不需要特别聪明,只是实际看过行为,觉得解释对不上。

留下的做法

问意见之前,先查能查到的日志。 带着假设去问,对话就围着假设转;带着数字去问,才会转向数字指向的地方。

拿到结论后,读一行原始数据。 0轮用户的会话里只有角色开场白这一行。它同时暴露了显示条件和埋点定义的问题,聚合值本身看不出来。

追问“测过吗”。 解释越漂亮,越值得问。没测过,也能写出漂亮解释。

也要怀疑仪表。 “首次对话”埋点把开场白数了好几个月。它影响过多少判断,现在已经无法一一追溯。

要求写清还没验证什么。 有用的报告既说明哪些检查通过,也说明证据到哪里为止。

最后改了什么

模型没动,GPU配置也没动。

改的是显示条件、弹窗时机、目录卡片标题和生成回复草稿的按钮。截至2026年11月12日,行为指标上的改善还没有测出来。我们计划两周后重跑同一份SQL。因为同一天上线了多项改动,前后对比不能单独证明某一项修复的效果。如果没变化,就继续查下一份日志。

和聪明的伙伴讨论很有趣。但那晚最有用的输入,是一组此前没人看过的数字。

Kotonia 将语音 AI、AI 聊天、图像生成和团队协作整合到一个 AI 工作区中。

试用 Kotonia