Kotonia
ログイン今すぐ始める

Kotonia Articles

AIとの作戦会議は、ログを渡すたびに結論が変わった

モデルを学習し直すつもりが、ログを読んだら表示条件1行の修正に。登録1,254人の行動を調べて気付いた、AIに意見を聞く前に渡すべき情報の話。

著者 4分で読める
#個人開発#ai#プロダクト#計測#llm

はじめに

個人でキャラクターチャットのサービス(kotonia)を作っている。自宅のGPU 2枚でローカルLLMを動かしていて、ローカル推論の追加コストは主に電気代になる。GPUの購入費や保守、自分の作業時間がなくなるわけではない。

2026年10月の売上は約6,000円だった。ここからどう利用者を増やすかを、ある晩AIと作戦会議した。

最初に持っていった仮説はこうだ。

競合を遊んだ感想では、ダークな恋愛シナリオに強さを感じる。一方、うちのモデルはハッピーエンドに寄る。大きいモデルにGPUを使い切るより、小型モデルをLoRAで好みの作風に寄せるべきではないか。

結論から書くと、この仮説は一度も検証されないまま優先順位の一番下に落ちた。落としたのは議論ではなくログだった。

結論が動いた順番

一晩で、やるべきことの1位はこう入れ替わった。

渡した情報そのとき1位になったもの
自分の仮説と感想だけ小型モデル + LoRA
課金者12人の利用記録課金後の継続、自作キャラと音声
2026年10月の売上モデルより集客と導線
登録1,254人のファネル入口。半分が1ターンも送っていない
0ターンの人の行動ログ会話画面で挨拶を見たまま帰る414人
その画面のコードとDBの行表示条件1行の不具合

登録ファネルは、2026年8月28日〜10月28日に登録した1,254人を対象に集計した。同じ端末からの2件目以降や除外・凍結アカウントを除いている。累計の課金経験者12人とは対象範囲が異なる。

上から下へ行くほど、話が小さく具体的になっている。そして下の段ほど、直すのが安い。

最初の段で動いていたら、数週間かけてモデルを学習していたはずだ。最後の段で直したのは、こういうものだった。

  • 冒頭の返答候補が、挨拶のあるキャラでは一度も表示されていなかった(公開キャラ102体中75体が候補を持っていたのに)
  • 自己紹介を書かせるモーダルが、最初の一言の前に出ていた。書いて保存してくれた82人すら、そのまま帰っていた
  • 「最初のターン」を数える計器が、キャラの挨拶で発火していた。一言も送っていない413人に「最初のターン」が付いていた

どれも難しくない。難しかったのは、そこに問題があると知ることだった。

AIは渡された情報の範囲でしか賢くない

最初に相談したAIは、こちらが新しい事実を出すたびに、それに合わせて結論を更新した。1,000ターン話した課金者がいると言えば長期没入を評価し、売上が6,000円だと言えば集客を推し、登録キャラが少ないかもと言えば発見フィードを勧めた。

どの段の答えも筋は通っていた。問題は、こちらが出した情報の順番が、そのまま結論の順番になっていたことだ。相手は賢いが、こちらの頭の中にある事実しか材料にできない。そしてこちらの頭の中にある事実は、自分が気にしている順に並んでいる。モデルの性能が気になっている人が相談すれば、モデルの話になる。

二人目のAI(コードとDBに触れる側)に同じ話を渡したら、最初にやったのは意見を言うことではなく、SQLを書くことだった。登録コホートを流入元別に切り、0ターンの人が登録後にどの画面で何を押したかを引いた。

出てきた数字は、自分の仮説のどこにも無かった。

  • 最大の流入元はChatGPTだった(413人)。そのうち日本からは102人で、日本以外からの利用者は10ターンに届く割合が低かった
  • 目録を一度でも見た人は19%。最初の相手の75%は既定のキャラ
  • 挨拶だけ見て帰った414人は、すぐ閉じたわけではない。中央値で69秒そこにいた

69秒いて何も送らない、というのは「つまらなかった」ではなく「何を言えばいいか分からなかった」に見える。これは本人に聞いたわけではないので推測だし、69秒という滞在時間だけで理由は決められない。ただ、モデルの作風を変える前に、入口を調べる理由にはなった。

知性を使い切るには、外から入る情報を増やす

エンジニアをやっていて、ずっと考えていることがある。高い知性を最大限に使う方法は、その知性を磨くことより、外から渡す情報を増やすことだ、ということだ。

人間でもAIでも同じで、頭の良さは「与えられた材料からどれだけ正しく推論できるか」を決める。材料が足りなければ、どれだけ賢くても、もっともらしい間違いを速く出すだけになる。

この晩、それが3回起きた。

1回目は自分だ。競合を自分で遊んだ感想と、自分のモデルへの不満だけで、やることを決めかけていた。

2回目は最初のAIだ。渡された事実の範囲で、毎回もっともらしい結論を出した。

3回目は二人目のAIで、これが一番面白かった。返答の案を出す機能を作るとき、「会話の全履歴を付けるとキャッシュを壊すので、短い文脈で別に組む」と言い切って実装した。測っていなかった。自分が「同じ経路でキャッシュを使えばよくないか」と聞いたら、10分の実験で前提ごと外れた。架空の会話で測ると、5〜12秒かかっていたものが1.6〜2.6秒になった。このキャッシュの調査は別の記事にまとめた。

その直後にも、1回の試行から「4回目で全部計算し直しになる」と書いてきた。「復元される気がするけど、変なことが起きてるのか」と聞いたら、ソースを読みに行って、原因は回数ではなく別の規則だったと訂正してきた。

AIの側も認めていたが、設計が良くなった瞬間は毎回、こちらの短い問いだった。そしてその問いは、頭の良さから出たものではない。実際の挙動を見ていて、説明と合わないと感じた、それだけだ。

やり方として残ったもの

この晩のあとで、自分の中で決まったことを書いておく。

意見を聞く前に、引けるログを全部引く。 仮説を持って相談すると、仮説の周りの話になる。数字を持って相談すると、数字が指す場所の話になる。

AIの結論が来たら、生の1行を読む。 0ターンの人のDBの行を見たら、挨拶だけが1行入っていた。その1行から、表示条件の不具合と計器の誤りの両方が出てきた。集計値からは出てこない。

「測ったか」を聞く。 仕組みの説明がきれいなときほど聞く。きれいな説明は、測っていなくても書ける。

計器も疑う。 「最初のターン」の計器は、何か月も挨拶を数えていた。それを根拠にした判断がいくつあったかは、もう分からない。

確認していないことを書かせる。 報告の本体は、通ったテストではなく、どこまで見たかの境界だと思っている。

おわりに

結局、モデルは1行も触らなかった。GPUの構成もそのままだ。

直したのは、表示条件と、モーダルを出す順番と、目録のカードの見出しと、返答の案を出すボタンだ。2026年11月12日時点では、改善効果はまだ測れていない。まず2週間後に同じSQLで確かめる。ただし同日に複数の変更を出しているので、前後比較だけで個別の修正の効果までは断定できない。効いていなければ、また次のログを引く。

賢い相手と話すのは楽しい。でも、賢い相手に一番効くのは、うまい質問よりも、まだ誰も見ていない数字を1本渡すことだった。

Kotonia は音声AI、AIチャット、画像生成、チーム共有をひとつにまとめたAIワークスペースです。

試してみる