← 回到文章

2026-07-25

现在学 Agent 值不值:如果它做错了,最后还是谁来收拾

只有失败可恢复、责任可交还给人的任务才值得使用 Agent

看到 Agent 自动拆任务、调用工具、修改文件并汇报结果,很容易产生一种紧迫感:现在不学,会不会很快跟不上?

真正把它放进工作后,问题会迅速变具体。它拿错了数据怎么办,执行到一半如何恢复,费用突然增加由谁发现,最终结果又由谁负责?

作者目前有仓储场景 Agent 在生产环境运行。这个事实可以说明存在真实场景,不能在没有披露许可和脱敏日志时,直接写成功率、成本或业务结果。

学习是否值得,应该由一个可控任务的完整表现决定,而非演示视频里的顺利路径。

NIST 的 AI 风险管理框架要求围绕具体使用情境管理风险;OpenAI 的 Agent 实践指南则建议在高风险动作和早期部署阶段保留人工监督,并随着可靠性证据逐步调整。[^1][^2] 这些资料支持从低风险任务和人工接管开始,不支持任何生产成功率结论。

先分清自动化工作流和 Agent

固定步骤、输入清楚、分支有限的任务,普通脚本或工作流往往更可靠。

Agent 更适合过程中需要观察、判断、选择工具和处理变化的任务。

例如,定时把固定表格同步到另一个系统,通常不需要 Agent。阅读多份材料、判断缺口、决定下一步查询什么,才可能需要更灵活的执行。

如果任务规则已经能完整写成流程图,先使用简单方案。复杂技术不应该成为学习目标本身。

选任务时先控制失败代价

第一个任务不应涉及付款、删除数据、发送外部消息、修改生产系统或处理敏感个人信息。

更适合的起点是可逆、可检查的内部任务,例如:

  • 整理公开资料并标注出处;
  • 对一批非敏感文件做分类建议;
  • 在测试环境生成修改方案;
  • 检查固定格式是否缺少字段;
  • 为人工操作准备候选步骤。

任务必须有明确终点。只写“帮我研究一下”很难判断 Agent 什么时候已经完成。

一个周末只验证一条闭环

先写基线:人工怎样完成,需要哪些输入,通常在哪一步出错,完成标准是什么。

随后定义 Agent 可以使用的工具、允许读取的范围、禁止动作、预算和最大执行时间。

至少保留三个检查点:

  1. 开始前,人确认输入与目标;
  2. 高风险动作前,Agent 必须请求批准;
  3. 结束后,人检查结果与执行记录。

不要在第一次测试就追求完全无人值守。先观察它在哪些位置需要人。

记录成功率之前,先定义什么叫成功

Agent 输出了一份报告,不代表任务完成。

成功条件应当与真实交付一致。例如来源可以打开、关键结论能回到材料、修改没有越过授权范围,或测试环境中的结果能被人工复现。

还要区分:

  • 一次完成;
  • 重试后完成;
  • 人工纠正后完成;
  • 结果部分可用;
  • 失败并安全停止;
  • 失败且造成额外清理。

把后四类全部算作成功,会让指标失去意义。

生产成本不只包括 API

模型调用只是最容易看到的一笔。

还要记录设计提示与工具、准备数据、观察执行、审核结果、处理异常、修复权限和维护环境的时间。

如果任务每天节省十分钟,却需要每周两小时维护,自动化可能没有产生净收益。

生产系统还需要日志、告警、重试、幂等、权限边界和人工接管。演示里很少出现这些内容,它们却决定系统能否长期存在。

成本应按任务和结果记录,不用“比人工快很多”代替真实数据。

失败类型比一次漂亮结果更值得学

第一类失败是理解错目标。输入本身含糊,Agent 自信地完成了错误任务。

第二类失败是工具使用错误。参数、权限、路径或接口状态不符合预期。

第三类失败是状态丢失。中途重试后重复执行,或无法从中断位置恢复。

第四类失败是验证不足。输出看起来完整,却包含过时资料、缺失步骤或无法打开的来源。

第五类失败是边界失控。访问了不该访问的数据,尝试外部发送,或超出预算仍继续运行。

学习时要主动保留这些失败,不要只保存成功截图。

评估 Agent,也要评估人变得会不会接管

一个系统运行顺利时,团队可能逐渐忘记原流程。

测试期间要确认人工能够理解当前状态、重做关键步骤,并在 Agent 不可用时完成最低限度工作。

接管记录至少包括触发原因、已经完成的动作、剩余任务、人工判断和恢复结果。

如果每次接管都要从头检查全部日志,状态设计还不够清楚。

反过来,人工总是在同一位置介入,说明该步骤可能应该被设计成固定审批,而非继续追求全自动。

学习成果应该能离开某个框架

框架和模型会变化,较长期的能力是任务建模、工具边界、状态管理、评估与失败恢复。

学习笔记不要只记录怎样调用某个接口。还要写清为什么选这个任务、怎样定义完成、哪些风险被拦住。

如果换一个工具以后整套方法都无法复用,学习可能过度绑定产品。

对求职和合作而言,一份包含失败、成本与人工接管的真实复盘,通常比一个只展示顺利演示的项目更有信息。

公开作品仍需遵守公司和客户许可。不能为了证明能力泄露生产数据。

安全边界应该先于能力扩展

权限遵循最小原则。只开放完成任务必需的文件、工具和操作。

涉及删除、付款、对外发送、生产修改和敏感数据时,默认要求人工确认。

密钥和账号不能写进提示词、日志或文章。公司、客户和仓储业务数据需要披露许可,公开内容只能使用脱敏汇总。

还要设计停止方式。发现异常后,人能否立即中断,是否知道已经执行到哪里,能否恢复到安全状态?

没有停止与恢复,Agent 的“自主”会变成运维负担。

三类人应该做不同投入

经常面对开放式、多步骤任务的开发者,可以从一个低风险闭环开始,学习工具调用、状态和评估。

工作主要是固定流程的人,先掌握普通自动化和 API 可能更划算。

只因职位焦虑而学习、手头没有真实任务的人,不必从复杂框架开始。先观察一周工作,找出重复、等待和判断发生在哪里。

管理者也不能只要求团队“上 Agent”。需要先确定责任人、数据边界、失败成本和人工接管。

什么时候值得继续

继续的信号包括:同类任务反复出现;Agent 能稳定达到完成标准;人工介入位置逐渐清楚;成本与风险可控制。

应该暂停的信号包括:每次任务都需要重新设计;审核时间接近人工完成;错误难以发现;数据权限无法合法开放。

有时实验会证明脚本更好。这个结果同样节省了未来投入。

还有一种结果是任务本身不值得自动化。发生频率太低、变化太大,保留清楚的人工清单可能更省维护。

当前生产场景还不能公开什么

作者尚未登记可披露观察窗口,也没有获得足以公开公司日志、任务量、成本和失败分布的权限。

因此本文不写生产成功率,也不把口述场景包装成完整案例。

一份合格记录需要同时给出无 Agent 的人工基线、任务量、成功与失败、人工接管、API 成本和维护时间。

选一个低风险任务,写下“什么结果算完成、什么动作永远需要人确认”。

如果这两句写不清,先不要让系统自主执行。

固定观察窗口结束后,把成功、失败和人工接管放在一起判断;生产运行三个月时,再看维护成本与失败类型有没有改变最初的答案。

  1. 到底怎么用AI 工具评估表:试了十个都觉得不错,最后为什么一个也没留下
  2. 这事值吗团队要不要做知识库:先看看大家为什么宁愿再问一次
  3. 有数题墙当 AI 可以替我执行时,哪些决定仍必须自己做