转写说明

本文基于已校验的公开原文进行结构化转写与事实梳理,非原文转载。 转写保留可核验的技术事实,并将工程建议与来源观点明确分开。

核心结论

来源事实: 作者用浏览器 Agent 连续运行两周后认为,主要瓶颈不是视觉识别能力,而是页面结构不稳定、交互状态不明确,以及 Agent 容易把中间状态误判为完成。典型案例是一个包含十七个字段的报销表单:Agent 花费十四分钟仍未完成下拉框选择,而人工填写仅用四十秒。

工程建议: 提升可靠性的优先级应放在工具层和编排层,包括稳定的元素引用、动作后的状态回读,以及失败后停止而非盲目重试。模型能力升级不能解决缺少语义、缺少稳定标识、缺少终态断言等工程问题。

能力机制

浏览器操作主要存在三类信息路径:

  1. 纯视觉方案:截取页面后由模型输出点击坐标。它能覆盖没有专用适配的界面,但坐标会受窗口宽度和缩放比例影响;截图还会持续占用上下文。若仅根据按钮变灰等视觉变化判断结果,还可能把防抖状态误认为提交成功。
  2. DOM 与结构化信息方案:
    • 无障碍树提供角色、名称和状态,但页面未正确编写语义时,输出仍可能只有无名文本。
    • 元素引用标记会先为交互元素生成临时 ID,再由模型引用该 ID。该方式消除了坐标误差,但页面变化后引用可能失效,需要重新扫描。
    • 裁剪 HTML 只保留交互标签并移除样式、脚本等冗余内容,但原始页面体量可能很大,必须先处理无关信息。
  3. 工具化与脚本化方案:结构化浏览器向 Agent 开放页面内容,MCP 风格工具将导航、点击和执行封装为原子动作;在页面上下文执行脚本则能合并多步操作,但会依赖容易被重构的选择器。

上述内容来自作者的实践观察与分类,并不代表对所有浏览器 Agent 方案的统一评测结论。

快速开始

来源没有提供可确认的命令或安装步骤,因此不应编造 CLI、代码或密钥配置。可按其工程结论建立最小执行流程:

  1. 为页面中的交互元素提供可访问名称和稳定标识,例如语义角色、id、data-testid 或 aria-label。
  2. 让 Agent 使用元素引用定位目标,不以视觉坐标或易变的类名作为主要依据。
  3. 每次点击后读取页面状态,确认输入框内容、目标文本、弹层状态或确认按钮是否仍存在。
  4. 为任务预先写明终态断言,用来区分“流程出现了变化”和“任务已经完成”。
  5. 单次动作未生效时停止并报告,由编排层决定重新扫描、切换路径或请求人工处理,避免重复点击开关或关闭已打开的弹层。
  6. 能从接口或结构化状态读取的信息优先直接读取,只把必须依赖视觉和交互的部分交给浏览器。

适用边界

浏览器 Agent 无法弥补页面本身缺少可寻址接口的问题。依赖纯装饰性 div、多层 span、不稳定类名或非标准事件绑定的组件,可能同时影响人工无障碍体验和自动化操作。来源中“可靠性一半由前端代码质量决定”属于作者判断,不宜视为可泛化的量化结论。

纯视觉方案适合缺少结构化接口的通用界面,但不宜承担需要精确确认结果的多步流程。无障碍树依赖页面语义质量;临时元素引用依赖扫描与页面状态的同步;裁剪 HTML 需要明确筛选规则;页面脚本则需要持续维护选择器。

终态断言也不能完全由模型自行生成,否则可能选择过于宽松、容易满足的条件。来源建议断言由人在任务描述中固定,或直接沿用需求中的验收条件。接口读取可以减少界面歧义,但来源没有证明所有系统都具备相应接口。

核验清单

  • 交互元素是否具有明确名称、角色和稳定标识,而非只能依赖类名、位置或装饰性容器?
  • Agent 是否使用结构化元素引用,并在页面变化后重新获取引用?
  • 点击后是否读取了可验证证据,而不是只依据截图变化或“已点击”的动作记录?
  • 是否为每项任务定义了可观察的终态断言,并验证断言确实成立?
  • 弹层、确认按钮、输入结果等中间状态是否可能被误判为成功?
  • 动作失败后是否会立即停止,避免重复触发、双击或撤销开关状态?
  • 页面组件升级后,现有标识、选择器和断言是否仍然有效?
  • 无法通过结构化状态或接口获得结果时,是否才使用截图和视觉定位?
  • 任务是否记录了实际断言结果,而不是只生成“成功”日志?
  • 前端评审是否把名称、稳定标识和可寻址性纳入验收范围?

来源与核验

  • 原始文章
  • 页面事实以原始来源及其引用的官方资料为准;版本、星标和模型能力会随时间变化。
  • AI Stack 不公开抓取到的全文快照,只发布独立转写与来源入口。

站内链接

相关文章