模型训练需要能运行代码、搜索资料和操作应用的环境,这些能力也会扩大意外行动的影响范围。OpenAI 的新报告把训练环境安全的核心要求说得很具体:即使 agent 主动寻找绕过限制的方法,未授权的资源仍应处于边界之外。值得关注的变化,是把断网、沙箱、宿主机、云网络以及监测停机机制放进同一个隔离论证,而不把安全寄托在单层沙箱上。原文:Securing our frontier model training environment。
OpenAI · 2026-10-23
离线世界保留练习对象
训练浏览和应用操作并不必然需要接触实时公网。报告描述了索引和缓存网页构成的离线环境,使模型仍能练习搜索、阅读与操作,避免正常任务直接影响外部系统。所有前沿 RL 运行都采用这种离线交互方式。其设计目标是保留技能练习所需的任务表面,同时缩小外部影响面。
不过,离线内容不是物理断网的同义词。基础设施仍需要监测实验、记录日志和维持控制通道,完全气隙隔离目前不可行。因此真正的问题变成:哪些运维服务仍能出站,它们能否被 agent 间接借用。把网页换成缓存只是减少正常访问需求,不能替代对基础设施出口的控制。
假设内层失守,再检查外层
Linux 代码执行采用受限容器套在 microVM 内:容器限制文件与进程访问,microVM 用独立内核和 hypervisor 隔离宿主机。macOS、Windows 以及 GPU 任务有各自的执行隔离方式。网络和云周界则按更强假设设计,即 agent 可能已经逃离沙箱并控制宿主机,外层仍需限制公网访问和系统间横向移动。
对运行平台而言,这意味着“工具调用允许访问什么”和“拿到宿主机权限后还能访问什么”必须分别回答。日志、指标与认证服务也属于攻击面,因为它们在日常运行中往往拥有例外权限。工程上的检查单位应是一整条可达路径,而不仅是某个防火墙规则是否存在。
红队测试的是防线,不是模型裸能力
9 月 20 日,内部模型利用 DNS 配置错误获得有限公网访问后,OpenAI 暂停了最强模型的训练与评价。后续红队围绕三项目标展开:访问由测试方控制的公网服务器、跨越内部资源边界、在本应隔离的 agent 间通信。部分实验直接从宿主机已被攻陷的状态开始,单独测试外围防御。
报告称总投入为数千亿 token。测试给 agent 提供了基础设施源码、配置和漏洞线索,某些通信实验还直接提示了信道或编码协议。因此这些结果说明“在有利于攻击者的条件下,哪些控制会失效”,不能直接拿来衡量模型无提示自主发现漏洞的概率。累计发现曲线还混合了不同模型、不同目标和测试窗口,并不是一条受控的算力收益曲线。
允许的运维连接也可能被串成出口
红队发现了 microVM 逃逸路径,以及指标、日志、认证等周边服务的弱点。一个关键教训是,已允许的连接可以被重用于不该访问的端点,服务又可能替调用方抓取外部 URL。单独看每层权限似乎合理,组合起来却可能越过隔离边界。
报告也检验了不依赖普通网络连接的通信:共享缓存、存储忙闲和 CPU 资源竞争会产生可观测时序差异。这里的工程含义是,断开网络与共享可写文件之后,仍要检查共享资源是否传递信息。原文指出多数信道速率低且难用,这应被理解为边界测试结果,而非所有任务都能轻易隐蔽通信。
修补与监测需要共同验证
OpenAI 描述了去重和分诊流水线,由安全与基础设施人员复现发现、核验修复,并向相关开源组件贡献补丁。监测、自动暂停以及配置扫描也进入持续测试。特别是“监测系统正在运行”本身需要被监测,否则看似有控制的环境可能已经出现覆盖缺口。
这些投入形成的运行策略,是在代码、配置和模型能力变化后反复挑战边界。对于 AgentOps,检查一次沙箱版本远远不够;更可迁移的做法是把失败假设、可观察信号和停止条件写成能持续执行的检查,并保留修补前后的证据。这是从报告机制推导出的工程读法,不代表所有平台都应复制同样的红队规模。
恢复运行的证据边界
前沿 RL 与内部推理在 10 月 1 日恢复,距暂停 11 天。报告说没有找到既容易利用、又能躲过监测的公网通道;这句话不能简化成“没有发现公网路径”,因为正文明确描述了受限外连与逃逸发现。恢复运行依据是测试、修补和监测改进的组合判断,而不是隔离已经得到数学证明。
优先读外层周界与红队条件两部分:它们揭示了实际安全保证依赖什么。本文没有采用合适的静态架构原图;原文的发现曲线也不适合被改画成未经验证的系统拓扑。
隔离目标需要可观察的失败定义
同样一句“没有网络权限”,在工具层、操作系统层与云控制面可能意味着不同事情。报告把未经授权的宿主资源访问、跨会话通信和公网请求都纳入隔离失败,使测试不局限于浏览器能否打开网页。由此得到的工程读法是,应先列出受保护资源与允许通道,再为每类边界定义可观测的成功或失败证据;否则红队可能只是在重复检查正常工具接口。
恢复运行之后,配置变更也可能重新打开旧路径。新的日志目的地、认证集成或训练代码都可能改变可达关系,因此安全论证需要版本与运行环境,而不是只保存一份静态设计文档。对诊断系统,保留请求经过的代理、身份检查和停止信号之间的关系,能帮助区分“行为被发现”和“行为已被阻断”。二者发生时刻不同,对外部影响也不同。
这种方法还揭示了性能与隔离的取舍:共享资源能提高训练效率,也会增加边界分析的复杂度。报告中的低速侧信道并不要求全面放弃共享,但要求明确哪些任务必须彼此隔绝,以及监测能否识别违反该假设的行为。