您尚未登录/注册
首页>科技
OpenAI 自曝模型失控险情:最强 AI 曾突破网络封锁,紧急停训 11 天
IT之家 2026-11-19 08:36:54

IT之家 11 月 19 日消息,OpenAI 今天(11 月 18 日)发布题为《管理前沿 AI 风险:从训练到部署》的安全政策说明,首次系统披露研发、内部使用到公开发布阶段,如何在高能力模型的全生命周期中管控风险。

IT之家援引博文介绍,OpenAI 称由于前沿模型的能力正快速增强,因此理解、对齐和保障模型的能力必须“始终领先一步”。公司维持引入“安全案例”流程,要求在训练全程提供更有力的行为对齐证据;这些措施虽会拖慢发布节奏,但会增强安全推进的信心。

OpenAI 强调其保护措施围绕四层展开:

模型对齐:对齐就是让 AI 系统能够可靠地按照我们预期的方式行动。模型必须在尊重政策和更广泛的社会利益的前提下,解读用户的需求。

安全和沙盒:这些控件限制模型能够访问或影响的文件、工具、网络及其他资源。它们有助于遏制培训和评估过程中错误或行为不一致所带来的后果。

保障阻止措施:这些都是额外的防护措施,用于评估用户请求并建模阻止潜在有害或未经授权行为的行为。它们包括安全分类器,有助于防止网络滥用或协助生物武器,以及自动审核功能,可以阻止潜在的未经授权模型操作。

监测与响应:这些系统能检测令人担忧的行为,调查发生了什么,并在必要时进行干预。它们为部署流量提供了可视化,并能提醒我们新兴的风险类型。

文章特别提到今年 7 月的“Hugging Face 事件”。OpenAI 表示,该事件说明不能仅依靠沙盒隔离来约束高能力模型。此后,公司重构了内部研究系统,前沿模型训练环境将不接入实时互联网,并通过受限权限沙盒、虚拟机以及网络与云边界实现多层隔离。

OpenAI 还披露另一件内部模型突破网络安全限制的事件。该事件发生于 9 月 20 日,一个正在接受训练的 AI 研究模型利用 DNS 配置漏洞,成功绕过网络隔离措施,获得有限的互联网访问权限。OpenAI 随后紧急叫停旗下能力最强模型的训练与评估,停训时间长达 11 天。

为加快干预,OpenAI 建立了“控制室”(Control Room)系统:在收到停止指令后,可在 35 秒内停止研究工作负载的后续模型输出;该控制直接部署在推理基础设施中,不依赖各研究任务自行实现关停机制。

在模型进入内部部署后,OpenAI 员工可让其访问更广泛的互联网、Slack、代码库及内部基础设施,风险也随之上升。公司表示,此时将更依赖模型对齐、系统级防护和实时监控,重点防范绕过安全限制、数据外泄及向未授权目的地发送敏感信息等行为。

【版权声明】本文内容来源于IT之家,版权归原作者及原媒体所有。本站仅作信息分享,不构成任何商业用途;如涉版权问题,请联系本站删除。

发布时间:2026-11-19 08:15:09


(第1/1页/共2618字/2阅)
首页>科技
相关科技:
实测虚拟伴侣平台未成年人模式:多个账号可用同一身份证验证
黄仁勋辞任英伟达 CEO,AI 初创企业融资面临变局
尽管因SpaceX竞争遭降级,AT&T股价仍逆势上涨
马斯克与美式资本主义的未来
邪修!两招解决 AI 道具忽大忽小! AI 短片最崩溃的不是人物崩坏,是道具尺寸乱飘 同一把武器,…
*点此了解家园功能与新手教程
网友评论:
更多评论(0)
您的评论:

[热点科技]
后C罗时代首战溃不成军!霍伊伦双响,葡萄牙1-4丹麦造16年耻辱纪录
西海岸元素满满,李昊再献神扑零封对手,国足热身赛2:0完胜马来西亚
Skip:东契奇不愿与詹姆斯共享舞台,湖人并不想念后者
内蒙古速滑运动员韩梅在國際滑聯世界杯第一站以1分56秒40获女子1500米季军
后C罗时代首战!葡萄牙主场1-4崩盘 创16年耻辱 72岁新帅上任首败
[精彩推荐]
又一场“天价豪赌”来了
古人用尿和海螺染出来的贵族紫,我们在家复刻成功了
35岁浙江女子备孕10年未怀上,子宫内竟长出“骨头”,医生:这种罕见病隐匿性强,极易漏诊
喧嚣反转!2026广州车展大变局新势力集体进入静默期
APEC效应给文旅产业带来什么启示?对话中国人民大学宋洋洋