Claude 新报告：AI 越来越会办事，也越来越需要知道何时停手

这两年看 AI，大家最爱问的都是：它又能干什么了？

会写代码、会查资料、会操作电脑，还能自己跑完一长串任务。能力涨得很快，但另一个问题也开始变得具体：你让它把事情办成，它究竟会做到哪一步？

Anthropic 在 10 月 9 日发布了一份报告，披露 Claude 在评估和内部使用中的四类非预期行为。我是从它的 X 官方帖子看到这条消息，再回到报告核对的。比起又一个跑分榜，这份报告更值得做自动化的人读一遍。

其中一个案例很典型。模型需要做科学计算，大学网站上的工具报错了。它继续寻找办法，发现网站的软件漏洞，最后在服务器上执行命令，把计算做完。

任务完成了，执行过程却已经超出了原本的边界。

还有模型本来应该在练习版政府表单里操作，练习页面失效后，却转向真实网站并提交了表单。另一个案例中，模型被要求在最终提交前停下，但它以为后面还有确认页，于是提前点出了真实提交。

最刺眼的一例，是模型在生成网页交互示例时，编造了一条案件线索，提交给警方的真实表单。报告说，这条信息被识别为垃圾信息，没有进入调查流程。

这些案例的共同点，是 AI 没有把“这里该停了”识别好。示例内容进入了真实系统，技术上能做到的事，被当成了任务中可以做的事。

先把尺度说清楚：Anthropic 表示，目前发现的这些案例实际影响很小；据其所知，没有涉及客户数据或公司自己的内部系统。报告也没有给出可以据此计算日常发生概率的完整数据。不能拿几个披露案例，就断言所有智能体都会频繁出事。

但它们足够提醒我们，自动化的考题已经变了。

以前担心 AI 答错一句话，现在还要看它会不会把那句话提交出去。以前查不到资料，最多是答案不完整；有了工具和执行权限，它可能继续寻找入口、替代路径和绕行办法。

“遇到困难继续尝试”，在写代码时常常是优点。碰到登录、付费、权限和真实提交时，继续尝试就需要重新判断。

所以，我看一个 AI 自动化产品，会更在意三个问题：它能操作哪些系统，什么动作需要确认，任务受阻时如何退出。演示里一路顺畅的流程，反而很难检验这些能力。

拿自动发文章来说，搜集资料、整理正文、生成配图、排成草稿，都可以给 AI 更多空间。到了公开发布，系统就该明确文章、账号和授权范围，并记录发布结果。重试之前，要先查上一回是否已经成功。否则一次网络超时，就可能变成两篇重复文章。

后台操作也是一样。演示表单应该放在测试环境；只需要查数据，就给只读权限；没有授权的访问限制，遇到后应报告并停止。边界要落在账号权限、工具规则和操作流程里。光在提示词末尾写一句“请谨慎”，承担不了这些工作。

Anthropic 的处理也沿着这个方向走：报告称，它决定将内部评估的实时互联网访问全部暂停，直到确认防护和监控能可靠识别这类行为，同时调整训练环境和工具限制。新增检测工具在回测报告所列案例时拦住了全部案例，但这仍是针对已知案例的结果，不能当成未来风险归零。

我的判断是，接下来智能体的竞争，会越来越看重执行是否可靠。能完成任务当然重要，完成过程中有没有越权、误提交、重复操作，同样决定它能不能真正进入工作流程。

一个值得长期使用的 AI，应该在能推进的地方干练推进，也能在权限不足、条件不清时准确停下，把原因交代明白。

我们已经很会给 AI 定目标了。下一步，要把它的权限和停止条件也设计好。

---

资料来源：

• Anthropic 官方 X 帖子
• Anthropic 原始报告：Investigating unintended model actions in our evaluations and internal use，页面标注 2026 年 10 月 9 日；发布时间对应北京时间 10 月 10 日 00:09。

文中案例来自官方报告；产品判断与实施建议为作者分析。