本目录沉淀「让 Agent 像人一样操作软件」这一类技术：从只操作网页的 browser use，到能操作整台电脑的 computer use，以及支撑它们的驱动、沙箱、评测与安全边界。
一句话区分
Browser use 是 computer use 的一个子集。 两者都在跑同一个循环——观察界面、决定动作、执行、再验证——区别在于操作面的深度：
| 维度 | Browser Use | Computer Use |
|---|---|---|
| 操作对象 | 网页与 Web 应用 | 整台桌面：浏览器、原生应用、终端、文件系统 |
| 主要观察 | DOM / CDP、页面截图 | 无障碍树、窗口截图、桌面状态 |
| 主要动作 | 点击、输入、导航、抓取 | 鼠标、键盘、窗口、应用、终端、API 混合 |
| 环境 | 通常为 headless 或真实浏览器 | 本地主机、容器、VM、云沙箱 |
| 典型风险 | Prompt injection、登录态、风控 | 上述风险 + 不可逆系统操作、凭据、越权 |
| 代表项目 | browser-use | cua |
本专题页面
- computer-use — 概念页：Computer Use Agent 的定义、三层操作面、观察-决策-执行循环、运行环境、安全与评测
- browser-use — browser-use/browser-use：浏览器自动化 Agent，自然语言 task 驱动真实浏览器，103k stars
- cua — trycua/cua：Computer Use 基础设施 monorepo，Driver + SDK + 跨 OS 沙箱 + 评测 + 专用决策模型，29.9k stars
建议阅读路径
- 先读 computer-use 建立操作面与环境的概念框架。
- 如果任务只在 Web 内，读 browser-use，对照 playwright-mcp 这类确定性浏览器工具。
- 如果任务跨应用、跨窗口或需要整机环境，读 cua，理解驱动、沙箱与评测如何分层。
- 需要评测或训练闭环时，继续看 harbor、agentenv、cloudflare-computer。
技术栈的公共部分
无论 browser use 还是 computer use，一个可用的系统通常都要回答同样五个问题：
| 能力 | 要解决的问题 | 常见做法 |
|---|---|---|
| 观察 | Agent 怎么知道界面现在长什么样 | DOM/CDP、无障碍树、截图 + 视觉模型 |
| 决策 | 下一步做什么 | 通用 LLM、专用 CUA 模型、规则与模型混合 |
| 执行 | 怎么把动作落到真实界面 | 浏览器协议、系统输入 API、应用自动化接口 |
| 环境 | 在哪里跑、怎么隔离 | 本地、容器、microVM、云沙箱 |
| 验证 | 怎么知道任务真的完成 | 独立 oracle、截图复核、DOM/状态断言、reward |
这五层也是判断一个项目定位的标尺：多数项目只覆盖其中一两层，cua 的价值在于把驱动、环境与评测都做进了一个 monorepo。
什么时候选哪一种
- 网页任务且流程固定：优先确定性脚本或 playwright-mcp，不需要 LLM 每步决策。
- 网页任务但路径不固定：browser use 类 Agent 更合适，代价是每步调用模型，慢且贵。
- 跨应用、跨窗口、需要原生软件：需要 computer use，例如 cua。
- 需要大规模并行、快照、训练数据：关注 sandbox 与 rollout 基础设施，如 agentenv、harbor。
- 需要桌面级安全边界：先看权限模式、策略文件与审批设计，再谈模型能力。
相关页面
- computer-use — 本专题的概念主干
- browser-use — 浏览器侧代表项目
- cua — 整机侧基础设施代表项目
- playwright-mcp — 浏览器 MCP，对照 Agent 式操作与结构化工具
- agentenv — 面向 agentic RL 的分布式沙箱平台
- harbor — Agent 评测与 rollout 编排框架
- agent-harness-anatomy — 从 harness 分层理解驱动、工具与模型边界