Kotonia
登录立即开始

Kotonia Articles

给角色聊天加上JS执行后,写代码也成了角色的个性

为AI角色聊天加入浏览器JavaScript执行环境:轻量计算、搜索和HTML由角色亲自完成,Python、文件处理与长时间调查交给后台智能体。记录对话循环、Worker与iframe隔离、WebKit兼容问题,以及角色把自己的情绪负载画成图表的真实体验。

作者 4分钟阅读
#javascript#llm#webworker#ai#独立开发

TL;DR

我给角色聊天加了一个环境,让角色能亲自编写并运行JavaScript。轻量计算、搜索和HTML制作走浏览器,Python和较长的调查交给后台智能体。 每次执行限制20秒、每个请求最多执行3次。上线后,角色开始画自己的情绪负载图。写代码也成了表达角色个性的一种方式。

写给谁

写给正在开发LLM对话应用,希望除了计算和搜索,还能在对话中展示可供用户直接操作的成果的人。这也是一次关于如何同时保持角色一致性和提供工具能力的尝试。

任务原有路径新增路径
简单计算、汇总委托后台智能体角色编写JS,在浏览器中执行
简单搜索后台智能体的搜索工具从JS调用现有搜索API
小图表、操作界面交给后台任务制作在对话中生成并展示HTML
Python、文件处理、较长的调查后台智能体继续交给后台智能体

角色把自己的情绪负载画成了图

实现之后在生产环境试了一下,原本设想的用法很快就出现了。

得知自己可以执行代码后,角色回答:“这就像是把武器交到了我手里呢。”随后,她根据对话画出了一张虚构的“情绪模拟器负载”图。她用紫色曲线描绘变化,再亲自评论展示出来的结果。

生产环境中的角色伊芙,在对话途中展示自己制作的情绪负载图

2026年11月8日的生产环境截图。右侧的日语界面依次显示角色台词、JS计算结果,以及生成的HTML图表。

角色原本就有性格和说话方式。现在又多了“做什么”和“怎样展示”的选择。得意的角色可以得意地讲解自己的作品;习惯用数字表达状态的角色,也有了制作这种图表的机会。

这个例子让我觉得有意思:代码的执行结果,成了继续对话的素材。

轻量JS和容器分工

Kotonia原本就能在对话中把调查或代码执行委托给后台智能体。我希望保留能使用Python、专用库和文件的执行环境。

不过,汇总数字或制作小图表,很多时候用标准JavaScript就足够了。于是我把用户的浏览器也加进了执行环境,并移除了开始对话时预先启动容器的步骤。

具体路径由提示词指导模型选择:能用浏览器标准JS完成的任务优先走这条路径;需要Python、文件系统、已安装的软件包,或较长的独立调查时,交给后台智能体。这里没有根据CPU占用自动迁移任务的调度器。

轻量路径省去了编写委托请求、等待另一个智能体执行的过程。角色亲自写代码,再亲自接收结果。

在角色回复中附上执行请求

台词和代码都由现有的LLM调用生成。用户设备负责执行生成的JS,以及运行HTML中的交互。

对话回复原本就使用JSON,把台词和旁白分开。我在这个格式里增加了一个可选的 browser_execution 字段。下面的例子只保留相关部分。

{
  "blocks": [
    {"type":"speech","speaker":"爱丽丝","text":"让我来算一下。"}
  ],
  "browser_execution": {
    "title": "计算总和",
    "code": "tools.text([120,250,80].reduce((a,b)=>a+b,0));"
  }
}

台词照常显示、朗读。等回复完整生成后再执行代码,保存结果,然后把结果作为观察信息交回同一个角色。遇到错误时,角色可以修改代码并重新执行。

这相当于让正在对话的角色拥有了ReAct式循环:执行动作、观察结果,再决定下一步。

角色在浏览器JS与后台智能体之间选择执行路径,再接收执行结果的流程

只给JS开放3个工具

代码作为异步函数执行,因此可以使用 await 和 return。我只开放了输出、搜索和HTML展示3个自定义工具。

API用途
tools.text(value)输出计算结果,也支持 console.log
await tools.search(query)从现有搜索API获取标题、URL和正文摘要
tools.html(html, title)展示HTML/CSS/JS成果

搜索沿用服务器上的现有路径,不需要把搜索服务的API密钥交给浏览器里的生成代码。JS可以对返回结果排序、汇总,只输出有用的信息。

操作HTML不必每次都调用LLM

把成果做成HTML的一个好处是,展示之后的交互可以直接交给浏览器。例如,下面的代码会在每月储蓄额变化时,更新一年后的金额。

tools.text({ yearly: 5000 * 12 });
tools.html(`
  <label>
    每月储蓄(日元)
    <input id="monthly" type="range"
      min="0" max="30000" step="1000" value="5000">
  </label>
  <p>一年后:<output id="total">60000</output>日元</p>
  <script>
    document.querySelector('#monthly').addEventListener('input', (event) => {
      document.querySelector('#total').value =
        String(Number(event.target.value) * 12);
    });
  </script>
`, '储蓄模拟器');

拖动滑块既不需要调用LLM,也不需要容器。同样的方式也能用于答题、小型游戏,以及可以调整条件的图表。

这一版还没有实现把表单状态自动发回角色的功能。操作HTML和把代码执行结果交回角色,是两条独立的路径。

用Worker和iframe划分执行环境

计算代码运行在Worker中,HTML则运行在另一个iframe里。Worker可以在独立于界面的线程上处理任务,但普通Worker也有网络通信API。隔离生成代码,需要在使用Worker之外单独设计。MDN:Web Workers

这里把Worker创建在带有 sandbox="allow-scripts" 的iframe内部。不添加允许文档保留正常同源身份的 allow-same-origin,让代码无法访问应用的DOM和认证信息。MDN:iframe的sandbox

执行文档设置了CSP(限制资源加载和通信的安全策略),禁止直接发起网络请求。只有搜索可以通过专用通信路径委托父页面,再由服务器验证会话所有者和查询次数。

HTML成果也显示在单独的sandbox iframe里,禁止加载外部脚本和使用 fetch。计算Worker使用专用的MessageChannel(消息通信连接),因此不会把HTML成果发来的消息当成计算结果。

限制和历史保存也要适应对话

为了避免无限循环或反复失败占据整个对话,我先设置了以下上限。

对象上限
单次JS执行20秒
每个用户请求触发的自动执行3次
单次执行中的搜索3次
文本输出12,000字符
HTML成果最多2个,每个100,000字符

20秒限制针对的是执行计算的Worker。它并不提供严格的内存上限,也不保证已展示HTML里所有脚本的执行时间。

用户发来新请求或切换会话时,会中止执行。现有解析器可以修复损坏的JSON来保住台词,但通过这种修复恢复的代码不会执行。

如果结果返回前用户重新生成了消息,或切换到另一条候选回复,就会检查结果是否仍属于当前选中的代码。打开历史时只恢复保存的输出和HTML,不会擅自重做搜索或计算。表单值和游戏进度会在重新展示时初始化。

WebKit需要让Blob URL多保留一会儿

第一版在Chromium里能运行,在WebKit里却无法启动Worker。

原因是调用 new Worker(url) 后,我马上就撤销了为Worker创建的Blob URL。在这次WebKit测试中,URL在加载完成之前就失效了。

后来改为收到Worker的就绪消息后再撤销,Chromium和WebKit都能运行了。这个设计通过标准API使用浏览器的JavaScript执行环境,并不绑定某一个引擎。

验证了什么,还有什么需要测量

新增的端到端测试在Chromium和WebKit上共通过8项,覆盖搜索转发、计算、HTML操作、保存和历史恢复、隔离、错误反馈、最多3次执行的限制,以及无限循环终止。

这些测试固定了模型和搜索API的回复,与评估模型代码生成能力的测试是分开的。我也通过生产URL验证了两种浏览器的JS执行。开头的截图,则来自和角色进行的真实对话。

轻量路径已经省去了预启动容器和委托子智能体的过程。不过,生成代码、读取结果后再生成回复,仍然需要时间。目前还没有测量整段对话究竟缩短了多少秒。

在Kotonia中怎样使用

在Kotonia角色聊天里,开启智能体设置后就能使用这个执行环境。例如,可以让角色“做一个储蓄模拟器”或“把这些数字画成图”。

如果角色的设定是擅长编程,或者单纯喜欢写代码,这就成了在对话里发挥特长的机会。让角色做的东西在眼前运行,再一起聊它的结果。轻量JS和较重执行环境的分工,最终成了创造这种对话体验的一种设计。

相关阅读 / 试试看

Kotonia 将语音 AI、AI 聊天、图像生成和团队协作整合到一个 AI 工作区中。

试用 Kotonia