AgentBench 通用智能代理评测基准

AgentBench 是一套评估大语言模型作为智能代理执行交互任务的基准。它让模型进入可操作的环境，接收目标、观察环境反馈，再决定下一步动作；任务可能需要多轮执行，而不是读一道题后直接作答。原始论文于 2023 年公开，后发表于 ICLR 2024。本文以论文首版和官方 AgentBench v0.2 文档为依据，讨论其原始基准设计，不把后续仓库版本混入旧结果。

这个名字容易让人想到一个现成的“智能体产品”。其实 AgentBench 本身主要是测试任务、环境、接口和计分工具：被测模型或代理负责提出动作，评测框架负责把动作送进环境、返回观察，并判断任务是否完成。它也不是一个只测聊天回答的问答集。核心问题是：模型能否在有限信息和交互轮数下理解目标、选择有效动作、利用反馈并走到可核验的结果。

原始版本包含八种文本交互环境。操作系统（OS）让模型在隔离的 Ubuntu 终端里运行 Bash，既有查询类问题，也有修改文件或系统状态的操作；数据库（DB）要求模型对真实数据库执行 SQL，处理查询、插入或更新，而不只是把自然语言翻译成 SQL。知识图谱（KG）让模型使用查询工具逐步查找实体与关系，图谱无法一次全部放进提示，所以任务具有部分可观测性，模型要边查边规划。

游戏类任务包括数字卡牌游戏、横向思维谜题和家庭环境。卡牌游戏采用简化的 Aquawar 回合制对战，模型根据鱼类卡牌能力与局面决定动作；谜题由主持程序回答“是”“否”或“无关”，模型通过提问逐步还原情境；家庭任务基于 ALFWorld，模型按环境给出的可用动作完成诸如把物品放到指定位置的目标。它们分别观察策略选择、提问与假设更新，以及把语言目标落实为一串环境动作的能力。

网页类任务分为 WebShop 购物和 Mind2Web 浏览。WebShop 是模拟商店，模型通过搜索和点击逐步找到符合属性要求的商品；Mind2Web 则把网页元素与点击、输入、选择等操作整理成文本交互，让模型根据页面观察执行高层指令。两者都带有“用网页做事”的外观，但一个偏商品筛选，一个关注跨网页任务中的元素定位与操作步骤。

这些任务并不共享一个完全相同的动作空间。有的接受 Bash 或 SQL，有的暴露专门的图谱查询工具，有的要求从房间动作列表中选择，网页环境则要求指定目标元素和操作。因此，跨任务比较的是一组能力画像，而不是把八种环境误当成同一道题的八个版本。论文称其中五种是为该工作新建的任务，另外三种由 ALFWorld、WebShop 与 Mind2Web 等公开数据集改编。

任务结果由环境检查而非只看动作字符串决定。原论文中的 OS 样本可通过检查脚本验证答案或系统状态；DB 的只读查询会核对答案，插入或更新类任务则比较执行后的数据库状态。这样能把“说对了”与“确实完成操作”区分开，但检查脚本、数据初始化和允许操作也因此成为评测定义的一部分。

这种组合有意把“会回答”扩展为“能操作并根据结果调整”。OS 和 DB 既包含读出正确答案的任务，也包含必须改变环境状态的操作；KG 把复杂问题拆成工具调用序列；游戏和家庭任务则让动作结果改变后续可见状态。网页环境也不只考查理解用户意图，还要求将意图映射到正确控件及输入内容。因而，失败轨迹可能暴露的不是一种能力：错误答案、非法动作、规划中断、没读懂反馈，或环境接口适配问题，都可能令一项任务失败。

原始框架把模型服务、任务环境与调度客户端拆开。任务服务器托管不同环境，控制器分配样本并把交互请求转交给对应的任务工作进程；Agent Server 暴露模型推理接口；客户端协调任务、模型和并发配置。论文的架构通过 HTTP 连接各组件，使用 start_sample 开始样本、取得初始任务描述，再用 interact 提交模型输出并接收环境反馈。一个测试轨迹因此是“任务说明—动作—反馈—下一动作”的循环。

提示中通常要求模型同时给出简短思路和一个动作，但动作语法由具体任务决定。操作系统任务可执行合法 Bash 命令，数据库任务提交 SQL，知识图谱任务选择查询工具；网页浏览任务则是选择页面中的候选 HTML 元素，再指定 Click、Type 或 Select 一类操作。环境会检验动作格式与合法性，执行成功后返回新的页面、终端输出、数据库结果或游戏状态。若动作格式错误、任务超出轮数，或模型没有完成目标，都会影响最终成绩。

复现时要固定数据切分、任务配置、模型接口、提示模板、解码参数、最大轮数和环境依赖。原论文为可重复性设置了特定推理流程，包括多轮历史处理、截断长对话历史的规则，以及大多数任务采用贪心解码；这些都是结果的一部分，不是可以忽略的实现细节。若给一个模型接入更强的外部规划器、浏览器或代码执行器，测到的也就是“模型加代理栈”在该配置下的表现，不能和裸模型测试混称。动作格式本身也会影响评测：模型即使有合适的意图，如果没有按环境要求输出结构、选择合法操作，执行端就无法产生预期状态。这个结果反映完整交互链路中的格式遵循与工具适配能力，而非仅凭自然语言回答推断推理水平。原论文与官方 v0.2 文档描述的是早期接口。官方仓库主分支后来加入了 Function Calling 版本，因此新旧接口、提示格式或部署方式不能仅凭同一个项目名视为一致。报告结果时应注明仓库版本或提交、任务集合和运行配置。

AgentBench 为不同任务使用不同指标：OS、DB 与家庭任务主要看成功率；知识图谱看答案 F1；卡牌游戏看胜率；横向思维谜题看游戏进度；WebShop 看奖励分；Mind2Web 浏览主要看单步成功率（Step SR）。这些指标观察的环节不一样。比如 Mind2Web 的单步成功表示某一步选择了正确页面元素并执行了对应操作，不等同于整段网页任务全部完成；论文采用它作为主要指标，是因为当时端到端任务成功率较低。

论文还构造了 overall score。由于不同任务的原始分数尺度和难度差异很大，作者以每个任务在参评模型群体中的平均分的倒数作为该任务权重，再计算加权总体分。因此总体分是依赖该评测模型群体与该版任务定义的汇总指标，不是直接的成功百分比，也不自动形成跨版本、跨论文的绝对能力刻度。只要任务集、参评模型或计分方式有变化，这类总体分就可能不再可比。解读时应先看分项分数、失败类型和测量口径，再看总体分。

单项指标也需要结合任务定义。成功率通常是被检查器判定为完成的样本比例；数据库任务还会根据不同操作类型采用答案或表状态校验；KG 的 F1 衡量答案集合与标准答案的重合；游戏胜率会受对手策略和局面生成方式影响；谜题进度表达轮数结束时已猜中的关键情节比例；WebShop 的奖励依赖商品属性与目标匹配；Mind2Web 的 Step SR 只表示某一步动作正确。把这些分数都换算成百分比，并不会令它们含义一致。跨领域汇总适合发现偏科或筛选需要深挖的环境，不能代替对轨迹的检查。

八个环境的结果也不能直接推出模型已经能安全地处理真实终端、数据库、购物网站或家庭设备。这里的环境是受控的任务实例，动作和检查规则由基准预先限定；现实系统的权限、数据变化、网络状态、异常恢复和用户确认边界都可能不同。分数说明的是模型在相应配置下通过了哪些基准检查，而不是部署许可或现实任务保证。八类环境虽覆盖多种交互场景，但仍只是对真实工作的一组抽样；论文也把扩展更多场景作为持续研究方向。因此，“多环境”描述的是这套基准的设计范围，不能解读为对通用智能的完备认证。论文中的模型比较反映其当时实验设置，也不应直接当成今天的模型排名。

AgentBench 评的是被测模型或代理在一组环境中的交互表现，本身不是具备记忆、规划器、浏览器或外部工具的代理产品。一个代理产品可以接入 AgentBench 做测试，但产品本身、模型、工具调用框架与基准分数是不同对象。类似地，其他“Agent”评测可能只覆盖代码仓库修复、网页操作、视觉界面或某一种环境。比较结果前要对齐任务、观察形式、允许动作、成功条件、数据版本和运行配置；名字里都出现“agent”并不代表测量范围相同。

把 AgentBench 当作诊断面板比当作排行榜更有用：终端操作失败，可能涉及命令选择或执行反馈；数据库任务失败，可能源于 SQL、数据理解或状态变更；网页任务则要区分找错元素、动作参数错误与多步执行中断。逐环境检查轨迹，才能知道问题出在推理、指令遵循、动作格式、工具适配还是环境边界。

• Xiao Liu 等，〈AgentBench: Evaluating LLMs as Agents〉，arXiv 首版，2023-08-07；发表于 ICLR 2024。arXiv v1 论文全文；论文记录与发表信息
• THUDM，AgentBench 官方 v0.2 仓库及版本说明。v0.2 仓库
• THUDM，AgentBench 官方英文介绍文档 v0.2，含八种任务与 Server–Client 接口说明。Introduction_en.md
• THUDM，AgentBench 官方配置文档 v0.2，介绍任务、模型和并发等配置。Config_en.md
• THUDM，AgentBench 官方仓库主分支 README（检查于 2026-10-08；其中记录 2025-10-10 发布的 Function Calling 版本说明）。README