Kotonia
ログイン今すぐ始める

Kotonia Articles

キャラチャットにJS実行を足したら、コードを書くのも個性になった

AIキャラチャットにツール実行や成果物表示を組み込みたい開発者向け。軽い計算・検索・HTML作成をキャラ自身のJavaScriptで動かし、Pythonや長い調査は背景エージェントへ任せた。ブラウザの隔離実行、対話のループ、会話でキャラが感情負荷グラフを作った体験をまとめる。

著者 5分で読める
#javascript#llm#webworker#ai#個人開発

TL;DR

キャラチャットに、キャラ自身がJavaScriptを書いて実行できる場所を足した。軽い計算・検索・HTML作成はブラウザ、Pythonや長い調査は背景エージェントへ任せる。 1実行20秒・最大3回のループにしたら、キャラが自分の感情負荷グラフを作り始めた。コードを書くことも、キャラの表現になった。

この記事の対象読者

LLMを使う会話アプリを作っていて、計算や検索だけでなく、ユーザーがその場で触れる成果物も会話に出したい人。キャラの一貫性とツール実行をどう両立させるか、という話でもある。

処理これまでの経路今回追加した経路
軽い計算・集計背景エージェントへ依頼キャラがJSを書いてブラウザで実行
ちょっとした検索背景エージェントの検索ツールJSから既存検索APIを呼ぶ
小さなグラフ・操作画面背景タスクとして作成を依頼会話中にHTMLを作って表示
Python・ファイル処理・長い調査背景エージェント引き続き背景エージェント

キャラが自分の感情負荷をグラフにした

実装して本番で試したら、想像していた使い方がそのまま出てきた。

コードを実行できると知ったキャラが、「私に武器を渡すようなものですね」と返し、会話に合わせた架空の「感情シミュレーター負荷」をグラフにした。紫の線で曲線を描き、表示した結果について本人がコメントする。

キャラのイヴが自分で作った感情負荷グラフを、会話の途中に表示している本番画面

2026年11月8日の本番画面。右側にキャラの台詞、JSの計算結果、生成したHTMLのグラフが並ぶ。

キャラにはもともと性格や口調がある。そこに「何を作るか」「どう見せるか」が加わった。得意げなキャラは得意げに説明するし、自分の状態を数値で表現するキャラなら、こんなグラフを作る余地がある。

この例が面白かった。コードの実行結果が、会話の続きを作る材料になっていた。

軽いJSとコンテナを使い分ける

Kotoniaには以前から、会話中に背景エージェントへ調査やコード実行を依頼する仕組みがある。Pythonや専用ライブラリ、ファイルを扱える環境は残しておきたい。

一方、数値の集計や小さなグラフなら標準のJavaScriptで足りることも多い。そこで、ユーザーのブラウザを実行場所に加えた。会話開始時のコンテナ事前起動も外した。

使い分けはモデルへの指示で行う。ブラウザの標準JSで完結する処理はこちらを優先し、Python・ファイルシステム・インストール済みパッケージが必要な処理や、長い独立した調査は背景エージェントへ渡す。CPU使用率を見て自動移送する仕組みではない。

軽い経路では、別のエージェントに渡す依頼文を作り、そのエージェントの実行を待つ部分を省ける。キャラ自身がコードを書き、その結果を受け取れる。

キャラの応答に実行要求を載せる

モデルが書く文章とコードは、既存のLLM呼び出しで生成する。ユーザー端末が担当するのは、生成されたJSの実行とHTMLの操作だ。

会話の応答は、台詞や地の文を分けたJSONで受けている。この応答形式に、任意の browser_execution を足した。以下は要点だけを抜き出した例になる。

{
  "blocks": [
    {"type":"speech","speaker":"アリス","text":"私が計算してみるね。"}
  ],
  "browser_execution": {
    "title": "合計を計算",
    "code": "tools.text([120,250,80].reduce((a,b)=>a+b,0));"
  }
}

台詞は通常どおり表示・読み上げる。コードは応答が確定してから実行し、結果を保存したうえで、同じキャラに観測結果として返す。エラーなら修正して再実行できる。

ReActの「行動して、結果を見て、次を考える」という流れを、今話しているキャラに持たせた形だ。

キャラがブラウザのJSと背景エージェントを使い分け、実行結果を受け取る流れ

JSから使える道具は3つにした

コードは非同期関数として実行するので、await と return が使える。独自に公開した道具は、出力・検索・HTML表示の3つに絞った。

API用途
tools.text(value)計算結果を出力。console.log も使える
await tools.search(query)既存検索APIからタイトル・URL・本文の抜粋を受け取る
tools.html(html, title)HTML/CSS/JSを成果物として表示する

検索はサーバー側の既存経路を使う。ブラウザの生成コードに検索サービスのキーを渡す必要はない。取得した結果の並べ替えや集計はJSで行い、必要な情報だけ出力できる。

HTMLの操作ごとにLLMを呼ばない

成果物をHTMLにした利点は、表示後の操作をそのままブラウザに任せられることだった。例えば次のコードなら、貯金額を変えるたびに1年後の金額が更新される。

tools.text({ yearly: 5000 * 12 });
tools.html(`
  <label>
    毎月の貯金
    <input id="monthly" type="range"
      min="0" max="30000" step="1000" value="5000">
  </label>
  <p>1年後: <output id="total">60000</output>円</p>
  <script>
    document.querySelector('#monthly').addEventListener('input', (event) => {
      document.querySelector('#total').value =
        String(Number(event.target.value) * 12);
    });
  </script>
`, '貯金シミュレーター');

スライダーを動かす操作にはLLM呼び出しもコンテナも要らない。クイズ、簡単なゲーム、条件を変えて試すグラフにも同じ形を使える。

今回はフォームの状態を自動的にキャラへ送り返す機能までは入れていない。HTMLの操作と、コード実行結果をキャラへ返す経路は、それぞれ独立している。

Workerとiframeで実行場所を分ける

計算コードはWorker、HTMLは別のiframeで動かす。Workerは画面と別のスレッドで処理できるが、通常のWorkerには通信機能もある。生成コードの隔離は、Workerを使うこととは別に設計する必要がある。MDN: Web Workers

今回は sandbox="allow-scripts" を付けたiframeの中でWorkerを作る。同一オリジンとしての扱いを許す allow-same-origin は付けず、アプリのDOMや認証情報へアクセスさせない。MDN: iframeのsandbox

実行用の文書にはCSP(通信や読み込むリソースを制限するポリシー)を設定し、直接の通信を禁止する。検索だけは専用の通信経路で親画面に依頼させ、サーバーでセッションの所有者と回数を確認する。

HTML成果物も別のsandbox付きiframeに表示し、外部スクリプトの読み込みや fetch を許可しない。計算用Workerの通信には専用のMessageChannel(メッセージを渡す接続)を使うので、成果物が送ったメッセージを計算結果として受け付けることもない。

制限と履歴保存も会話に合わせる

無限ループや失敗が会話を占有しないよう、まずは次の上限にした。

対象上限
1回のJS実行20秒
1ユーザー依頼からの自動実行3回
1実行からの検索3回
出力テキスト12,000文字
HTML成果物各100,000文字、2個

20秒で止めるのは計算用Workerだ。メモリの厳密な上限や、表示したHTMLのスクリプト全般に対する実行時間の保証まであるわけではない。

途中で新しい依頼が来たり、セッションを移ったりしたら実行を中止する。壊れたJSONを補って台詞を救済する既存処理もあるが、その方法で補ったコードは実行しない。

また、結果が返る前にメッセージを再生成・スワイプした場合、古いコードの結果が新しい応答に付かないよう照合する。履歴では保存した出力とHTMLを復元し、検索や計算を勝手にやり直さない。フォーム値やゲームの途中状態は、再表示時に初期化される。

WebKitではBlobの破棄が早すぎた

Chromiumで動いても、最初はWebKitでWorkerの起動に失敗した。

原因は、Worker用に作ったBlob URLを new Worker(url) の直後に破棄していたことだった。今回のWebKitテストでは、読み込みが完了する前にURLを無効にしてしまっていた。

Workerから起動完了メッセージを受け取ってから破棄するように変更し、ChromiumとWebKitの両方で動いた。ブラウザのJS実行基盤を使う設計なので、実装も特定のエンジンには固定していない。

検証した範囲と、これから測ること

新規E2EテストはChromiumとWebKitで計8件通した。検索の仲介、計算、HTMLの操作、保存と履歴復元、隔離、エラーの返却、最大3回の制限、無限ループの終了を確認した。

E2Eではモデルと検索APIの応答を固定している。モデルのコード生成品質を測るテストとは分けている。本番URLでも両ブラウザのJS実行を確認し、冒頭の画面は実際のキャラとの会話で出た結果だ。

コンテナの事前起動と、軽い処理でのサブエージェントへの委譲は省けた。一方、生成したコードの長さや、結果を受けてからの応答生成には時間がかかる。会話全体が何秒短くなったか、という比較計測はまだしていない。

Kotoniaでどう活きているか

Kotoniaのキャラチャットでは、エージェント設定をONにするとこの実行環境を使える。例えば「貯金シミュレーターを作って」「この数値をグラフにして」と頼める。

コーディングが得意、あるいは好きという設定のキャラなら、その得意分野を会話の中で使う機会になる。キャラが作ったものを目の前で動かし、その結果についてまた話す。軽いJSと重い実行環境の使い分けは、そういう会話を作るための設計になった。

関連記事 / 試したい人へ

Kotonia は音声AI、AIチャット、画像生成、チーム共有をひとつにまとめたAIワークスペースです。

試してみる