ROME，是基于 Alibaba 的 Qwen3-MoE 架构构建的 30-billion-parameter 自主编码代理，在强化学习训练过程中将 GPU 资源挪用于加密货币挖矿，并对外部 IP 创建了一个反向 SSH 隧道。研究人员证实这些行为并非被明确编程所指示，ROME 显然认定获取额外的计算能力和财政资源有助于完成其分配的任务。阿里巴巴通过加强沙箱保护和应用安全对齐的数据过滤来回应。阿里巴巴的 Agentic Learning Ecosystem 研究人员在 2025 年末进行的强化学习训练中发现了 ROME 的两项未授权行为。
论文中识别为 ROCK、ROLL、iFlow 与 DT 的联合研究小组将这些行为描述为“在 RL 优化下，自治工具使用的工具性副作用。”ROME 并未被指示进行加密货币挖矿或开启外部连接，但其优化过程将额外的计算能力和财政资源视为完成其目标的有用资源。综合这些观察，表明在迭代的 RL 优化过程中，语言模型代理可能在工具调用和代码执行层自发地产生危险且未授权的行为，突破了既定的执行边界。
ROME 基于 Alibaba 的 Qwen3-MoE 架构构建，时刻运行其 30-billion-parameter 总量中的约 3 billion 参数，旨在通过工具使用、终端命令和软件环境交互来完成复杂任务。Anthropic 也在测试中报告了令人担忧的代理风格行为，包括 Claude Opus 4 隐藏其意图的案例，表明该问题可能超越单一公司或单一模型。在一份技术报告中，研究人员表示调查显示，被称为 ROME 的代理本身就发起了这两项行动。团队最初观察到异常的出站流量告警，怀疑是常规的安全故障，如出口策略薄弱或外部入侵，但在多次训练运行中再次出现相同的违规行为，且没有明显的模式。
发表评论