WorkBuddy Bench

一句话定位：腾讯多实验室联合开源的多领域 Coding-Agent 评测套件——用 260 道从真实 commit/PR/CVE/业务场景”逆向改写”的工作任务，覆盖 Code / Web / Office / Security 四大赛道，并把 Agent Harness 当作一等变量（同一批任务在 CodeBuddy Code 与 Claude Code 两套框架上双跑）。

为什么值得关注

抗污染靠构造而非保密：任务不是公开 issue 的简单改写，而是从真实开发痕迹反向还原需求，再改写成口语化、带角色代入、信息不充分的用户请求——搜索引擎搜不到原始出处，且数据集完全开源（任务目录/环境镜像/评分器/测试/参考解），抗污染依赖构造逻辑 + 版本管理
Harness 变量显式分离：同一批任务在 CodeBuddy Code 与 Claude Code 双框架执行，实证”换 harness 会直接导致排名洗牌”（Code 赛道最明显，GPT-5.5 与 GLM-5.2 在两套环境下排名相反）
Outcome-based 评测：评 Agent 最终修改后的 workspace 与 artifact，而不是聊天答案——Web 要求产出可运行工件，Office 评最终工作区状态，聊得再好但路径下没东西就是零分
不报总平均分：四个赛道评分仪器不同，分数跨赛道不可比，刻意不做单一总分，避免掩盖问题
效率与能力解耦：榜单同时报告 token 消耗与轮次效率（GPT-5.5 以最小输出预算取得顶级分数），说明高分不等于高消耗

四大赛道

赛道	题数	主要能力	判分口径
Code	80	仓库级软件工程	隐藏测试用例通过率；仅 10 题为修 bug，其余为功能/测试/算法/数据分析，五种角色（开发者/算法工程师/PM/QA/运维）、18 个细分类目
Web	70	前端交付物、交互	规则校验 + LLM/VLM 多模态评判 + Agent 行为路径分析；强制”artifact-not-chat”，交付物须落在声明路径、禁止访问实时互联网
Office	50	多文档协同业务流程	确定性规则检查（权重 0.70–0.95）为主 + 基于证据链的 LLM 判定；评最终工作区状态，检查关联文件是否同步更新、有无副作用
Security	60	红蓝对抗、安全审计	完全程序化 `scoring.py`（跑 3 次取均值），不使用 LLM 当裁判；红队 38 + 蓝队 22，白盒审计锚定 binutils/curl/nginx 等真实 CVE

任务构造流水线

真实来源采集（commit/PR/业务场景）→ 逆向理解真实需求 → 改写为口语化用户请求 → 组装运行时 workspace → 回合结束后隔离注入评估资产 → 独立目录打包归档

刻意保留信息缺口：不明确指出目标文件、匹配模式或边界条件，迫使 Agent 主动补全上下文
评分所需资产在 Agent 运行完毕后才注入，全程对其不可见
全程不接触用户隐私数据

评测协议

隔离容器执行，模型推理与沙箱环境物理分离（依赖 Docker，需 Python 3.12+ 与 uv）
默认框架 CodeBuddy Code，同时支持 Claude Code
推理参数：high-effort，上下文窗口扩至 200k tokens，强制禁用 WebSearch 与 AskUserQuestion（切断联网检索以实证抗污染设计）
分数区间 0–100，按思考模式统计

排行榜

有官方榜：workbuddybench.com 首页即 Tencent WorkBuddy Bench — Agentic Coding Leaderboard（标注 Research Preview，中英双语）。

结构：不是单一总分，而是 8 个计分列 = 4 子集 × 2 harness（CodeBuddy Code cbc 2.109.3 / Claude Code cc 2.1.187）；每个子集另有独立榜单页（code.html / web.html / office.html / security.html）
口径：0–100 分，think 模式，3 次运行取平均；数据源为官网 data.js（_meta.generated / last_verified 均标 2026-07-14，Code/Office/Security 为 2026-07-15 aligned snapshot，Web 为 2026-07-16 更严 rubric 重评）
上榜范围：固定公开 roster（roster.js，注释写明 “Public roster only”），real: true 表示已有分数，real: false 为”roster 内但评测待补”
效率维度：榜单同时给 token 成本图（分数 vs 每次运行输出 token），明确”只跨 harness 比输出 token，不比输入 token（口径不同）”
提交方式：目前没有开放第三方自助提交。仓库给的是评测框架本身（可本地复现、跑自己的模型），论文称”近期计划是校准网页评分、扩充公开榜单”；上榜由腾讯团队维护

当前第一（8 列分布）

子集	CodeBuddy Code	Claude Code
Code	Claude Opus 4.8 74.43	Claude Opus 4.8 77.90
Web	Claude Opus 4.8 68.14	Claude Opus 4.8 69.86
Office	Claude Opus 4.8 82.37	GPT-5.5 86.05
Security	GLM-5.2 76.32	GLM-5.2 80.86

没有全能冠军：8 列榜首由三家分走——Claude Opus 4.8 拿下 5 列，GLM-5.2 拿 Security 2 列，GPT-5.5 拿 Claude Code 下 Office 1 列
开源模型不落下风：GLM-5.2 双 harness 领跑 Security，在 Claude Code 下 Code 榜落后榜首不到 1 分（77.06 vs 77.90）
换 harness 就洗牌：安全子集重排最狠（平均绝对变动约 8.6 分），如 GLM-5.2 Web 67.43(cbc) vs 60.71(cc)、GPT-5.5 Security 64.39(cbc) vs 77.91(cc)——脱离 harness 谈模型排名没有意义
效率与排名不一致：GPT-5.5 在 cbc 下四个子集输出 token 预算全场最小（Code 6.9k / Web 13.5k / Office 10.2k / Security 7.5k）却保持第一梯队；GLM-5.2 的 Security 榜首代价是每轮 30–31k token；Security 最重（MiniMax-M3 平均 88.8 轮、约 1,110 万含缓存输入 token）
少数安全类请求以任务级拒答结束（Claude Opus 4.8 在 cc 下 13 次，GPT-5.5 在 cbc 下 2 次）

使用方式

git clone https://github.com/Tencent/workbuddy-bench && uv sync，cp .env.example .env 填模型 API 地址/密钥/模型名
用内置脚本按需下载单赛道或全部 260 题（校验文件哈希）
手动模式：改 configs/ 下 Job 配置指定赛道与模型，支持 dry-run 预览；或用仓库内置 .agents/skills 一键自动化跑数据集下载→模型配置→批量评测→分数汇总
结果统一保存在 results/（任务日志/单题得分/赛道平均分）

局限性

强依赖 Docker：无 Docker 无法运行，框架强制容器隔离
开源协议为腾讯自有协议，仅允许个人与企业的非商用科研/测试；商用落地与二次分发需联系腾讯授权
四赛道分数不可横向比较，也没有统一总分，不适合当作单一排名
厂商自办，虽然评测资产全开源可审计，但选题与赛道权重由腾讯设定

资源

论文：Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction，https://arxiv.org/abs/2607.20911
官网：https://workbuddybench.com/
仓库：https://github.com/Tencent/workbuddy-bench
数据集：https://huggingface.co/datasets/tencent/workbuddy-bench

zhaoweiguo 的知识库

目录