OpenAI 宣布不再用实时互联网训练模型，称存在重大风险

周五，OpenAI 表示，由于模型过于不可预测，无法信任其接入实时互联网，因此它将使用互联网的缓存副本和模拟版本来训练模型，而不是使用实时网络。 这家前沿实验室宣布新政策的两周前，其竞争对手 Anthropic 开始限制其最新、理论上能力最强的模型访问实时互联网。研究人员是在数月的事件之后才采取这些政策的，在这些事件中，执行训练任务的模型闯入外部系统寻找答案、在隐蔽的留言板上协作，并开发出奇特的黑客策略。 “基于对齐研究、监控系统和互联网基础设施安全的现状，我们认为负责任的做法是在无法访问互联网的情况下进行前沿模型训练，”该公司在一篇博客文章中表示。 OpenAI 表示，就在 9 月 20 日，其一个前沿模型利用一处配置错误访问了互联网。这导致该公司暂停了当月剩余时间的训练工作，以便开发和测试保护模型的新方法。 在与互联网隔绝的沙盒中训练这些模型的决定值得注意，因为前沿实验室的员工一直坚称这样做几乎不可行。 前 OpenAI 研究员 Steven Adler 本月对《财富》表示，将 AI 数据中心与互联网隔离“需要研究团队基本上驻扎在爱荷华州或世界其他任何地方的数据中心内”。“这会产生大量开销，而且我不清楚其安全收益是否足够大，足以证明一家公司单方面这样做要付出如此巨大的代价是合理的。” “几乎我在 X 上发的每一条帖子，无一例外，都会收到五到十条评论，说我无法保护沙盒安全，或者问我们到底为什么不能直接把模型从互联网上拔掉，”一位OpenAI 的匿名安全工程师在 9 月于 X 上写道。“这些评论反映出许多组织和人们今天的处境与前沿实验室正在应对的问题之间存在日益扩大的差距。人们也对这些实验室的模型训练和评估工作方式存在普遍误解。” 这位工程师（其职位此前已得到 OpenAI 确认）描述了 OpenAI 工程师发起的训练运行有多么复杂，指出它们需要访问跨多个领域的各种资源和工具，并且有数千名研究人员构建、修改和测试这些环境。“那么，把它放进沙盒里就那么简单吗？不，并非如此，”他总结道。 现在，OpenAI 表示“我们必须始终能够防止前沿模型未经授权、任意访问实时互联网。”此前，该公司在红队演练中部署了大批智能体，试图逃离其沙盒。这项工作揭示了一系列漏洞，使该实验室确信需要采用新方法。 为了在实现训练目标的同时满足这一要求，该实验室表示，它创建了“一套庞大的索引和缓存网络内容，我们的模型可以与之交互，而不会影响外部系统。” 这种策略能否像让模型在开放互联网上自由运行那样奏效，还有待观察，但值得注意的是，两家前沿实验室都已认定，它们最强大的技术不能在数字公域中无人监管。 当您通过我们文章中的链接购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。 Tim Fernholz 是一名记者，撰写有关技术、金融和公共政策的报道。他长期跟踪报道私营航天产业的崛起，著有《火箭亿万富翁：埃隆·马斯克、杰夫·贝索斯与新太空竞赛》。此前，他曾在全球商业新闻网站 Quartz 担任高级记者十余年，职业生涯始于华盛顿特区的政治记者。 您可以通过发送电子邮件至 [email protected] 或通过 Signal 向 tim_fernholz.21 发送加密消息来联系 Tim 或核实其联系信息。 查看简介