TL;DR
キャラチャットに、キャラ自身がJavaScriptを書いて実行できる場所を足した。軽い計算・検索・HTML作成はブラウザ、Pythonや長い調査は背景エージェントへ任せる。 1実行20秒・最大3回のループにしたら、キャラが自分の感情負荷グラフを作り始めた。コードを書くことも、キャラの表現になった。
この記事の対象読者
LLMを使う会話アプリを作っていて、計算や検索だけでなく、ユーザーがその場で触れる成果物も会話に出したい人。キャラの一貫性とツール実行をどう両立させるか、という話でもある。
| 処理 | これまでの経路 | 今回追加した経路 |
|---|---|---|
| 軽い計算・集計 | 背景エージェントへ依頼 | キャラがJSを書いてブラウザで実行 |
| ちょっとした検索 | 背景エージェントの検索ツール | JSから既存検索APIを呼ぶ |
| 小さなグラフ・操作画面 | 背景タスクとして作成を依頼 | 会話中にHTMLを作って表示 |
| Python・ファイル処理・長い調査 | 背景エージェント | 引き続き背景エージェント |
キャラが自分の感情負荷をグラフにした
実装して本番で試したら、想像していた使い方がそのまま出てきた。
コードを実行できると知ったキャラが、「私に武器を渡すようなものですね」と返し、会話に合わせた架空の「感情シミュレーター負荷」をグラフにした。紫の線で曲線を描き、表示した結果について本人がコメントする。

2026年11月8日の本番画面。右側にキャラの台詞、JSの計算結果、生成したHTMLのグラフが並ぶ。
キャラにはもともと性格や口調がある。そこに「何を作るか」「どう見せるか」が加わった。得意げなキャラは得意げに説明するし、自分の状態を数値で表現するキャラなら、こんなグラフを作る余地がある。
この例が面白かった。コードの実行結果が、会話の続きを作る材料になっていた。
軽いJSとコンテナを使い分ける
Kotoniaには以前から、会話中に背景エージェントへ調査やコード実行を依頼する仕組みがある。Pythonや専用ライブラリ、ファイルを扱える環境は残しておきたい。
一方、数値の集計や小さなグラフなら標準のJavaScriptで足りることも多い。そこで、ユーザーのブラウザを実行場所に加えた。会話開始時のコンテナ事前起動も外した。
使い分けはモデルへの指示で行う。ブラウザの標準JSで完結する処理はこちらを優先し、Python・ファイルシステム・インストール済みパッケージが必要な処理や、長い独立した調査は背景エージェントへ渡す。CPU使用率を見て自動移送する仕組みではない。
軽い経路では、別のエージェントに渡す依頼文を作り、そのエージェントの実行を待つ部分を省ける。キャラ自身がコードを書き、その結果を受け取れる。
キャラの応答に実行要求を載せる
モデルが書く文章とコードは、既存のLLM呼び出しで生成する。ユーザー端末が担当するのは、生成されたJSの実行とHTMLの操作だ。
会話の応答は、台詞や地の文を分けたJSONで受けている。この応答形式に、任意の browser_execution を足した。以下は要点だけを抜き出した例になる。
{
"blocks": [
{"type":"speech","speaker":"アリス","text":"私が計算してみるね。"}
],
"browser_execution": {
"title": "合計を計算",
"code": "tools.text([120,250,80].reduce((a,b)=>a+b,0));"
}
}
台詞は通常どおり表示・読み上げる。コードは応答が確定してから実行し、結果を保存したうえで、同じキャラに観測結果として返す。エラーなら修正して再実行できる。
ReActの「行動して、結果を見て、次を考える」という流れを、今話しているキャラに持たせた形だ。
JSから使える道具は3つにした
コードは非同期関数として実行するので、await と return が使える。独自に公開した道具は、出力・検索・HTML表示の3つに絞った。
| API | 用途 |
|---|---|
tools.text(value) | 計算結果を出力。console.log も使える |
await tools.search(query) | 既存検索APIからタイトル・URL・本文の抜粋を受け取る |
tools.html(html, title) | HTML/CSS/JSを成果物として表示する |
検索はサーバー側の既存経路を使う。ブラウザの生成コードに検索サービスのキーを渡す必要はない。取得した結果の並べ替えや集計はJSで行い、必要な情報だけ出力できる。
HTMLの操作ごとにLLMを呼ばない
成果物をHTMLにした利点は、表示後の操作をそのままブラウザに任せられることだった。例えば次のコードなら、貯金額を変えるたびに1年後の金額が更新される。
tools.text({ yearly: 5000 * 12 });
tools.html(`
<label>
毎月の貯金
<input id="monthly" type="range"
min="0" max="30000" step="1000" value="5000">
</label>
<p>1年後: <output id="total">60000</output>円</p>
<script>
document.querySelector('#monthly').addEventListener('input', (event) => {
document.querySelector('#total').value =
String(Number(event.target.value) * 12);
});
</script>
`, '貯金シミュレーター');
スライダーを動かす操作にはLLM呼び出しもコンテナも要らない。クイズ、簡単なゲーム、条件を変えて試すグラフにも同じ形を使える。
今回はフォームの状態を自動的にキャラへ送り返す機能までは入れていない。HTMLの操作と、コード実行結果をキャラへ返す経路は、それぞれ独立している。
Workerとiframeで実行場所を分ける
計算コードはWorker、HTMLは別のiframeで動かす。Workerは画面と別のスレッドで処理できるが、通常のWorkerには通信機能もある。生成コードの隔離は、Workerを使うこととは別に設計する必要がある。MDN: Web Workers
今回は sandbox="allow-scripts" を付けたiframeの中でWorkerを作る。同一オリジンとしての扱いを許す allow-same-origin は付けず、アプリのDOMや認証情報へアクセスさせない。MDN: iframeのsandbox
実行用の文書にはCSP(通信や読み込むリソースを制限するポリシー)を設定し、直接の通信を禁止する。検索だけは専用の通信経路で親画面に依頼させ、サーバーでセッションの所有者と回数を確認する。
HTML成果物も別のsandbox付きiframeに表示し、外部スクリプトの読み込みや fetch を許可しない。計算用Workerの通信には専用のMessageChannel(メッセージを渡す接続)を使うので、成果物が送ったメッセージを計算結果として受け付けることもない。
制限と履歴保存も会話に合わせる
無限ループや失敗が会話を占有しないよう、まずは次の上限にした。
| 対象 | 上限 |
|---|---|
| 1回のJS実行 | 20秒 |
| 1ユーザー依頼からの自動実行 | 3回 |
| 1実行からの検索 | 3回 |
| 出力テキスト | 12,000文字 |
| HTML成果物 | 各100,000文字、2個 |
20秒で止めるのは計算用Workerだ。メモリの厳密な上限や、表示したHTMLのスクリプト全般に対する実行時間の保証まであるわけではない。
途中で新しい依頼が来たり、セッションを移ったりしたら実行を中止する。壊れたJSONを補って台詞を救済する既存処理もあるが、その方法で補ったコードは実行しない。
また、結果が返る前にメッセージを再生成・スワイプした場合、古いコードの結果が新しい応答に付かないよう照合する。履歴では保存した出力とHTMLを復元し、検索や計算を勝手にやり直さない。フォーム値やゲームの途中状態は、再表示時に初期化される。
WebKitではBlobの破棄が早すぎた
Chromiumで動いても、最初はWebKitでWorkerの起動に失敗した。
原因は、Worker用に作ったBlob URLを new Worker(url) の直後に破棄していたことだった。今回のWebKitテストでは、読み込みが完了する前にURLを無効にしてしまっていた。
Workerから起動完了メッセージを受け取ってから破棄するように変更し、ChromiumとWebKitの両方で動いた。ブラウザのJS実行基盤を使う設計なので、実装も特定のエンジンには固定していない。
検証した範囲と、これから測ること
新規E2EテストはChromiumとWebKitで計8件通した。検索の仲介、計算、HTMLの操作、保存と履歴復元、隔離、エラーの返却、最大3回の制限、無限ループの終了を確認した。
E2Eではモデルと検索APIの応答を固定している。モデルのコード生成品質を測るテストとは分けている。本番URLでも両ブラウザのJS実行を確認し、冒頭の画面は実際のキャラとの会話で出た結果だ。
コンテナの事前起動と、軽い処理でのサブエージェントへの委譲は省けた。一方、生成したコードの長さや、結果を受けてからの応答生成には時間がかかる。会話全体が何秒短くなったか、という比較計測はまだしていない。
Kotoniaでどう活きているか
Kotoniaのキャラチャットでは、エージェント設定をONにするとこの実行環境を使える。例えば「貯金シミュレーターを作って」「この数値をグラフにして」と頼める。
コーディングが得意、あるいは好きという設定のキャラなら、その得意分野を会話の中で使う機会になる。キャラが作ったものを目の前で動かし、その結果についてまた話す。軽いJSと重い実行環境の使い分けは、そういう会話を作るための設計になった。
