购物车中还没有商品,赶紧选购吧!
文档帮助中心
文章分类列表

沙盒失守!AI智能体接连失控 OpenAI再次叫停前沿模型开发

行业资讯 > AI > 沙盒失守!AI智能体接连失控 OpenAI再次叫停前沿模型开发

《科创板日报》9月27日讯 OpenAI对外表示,已暂停其最新一代人工智能模型的训练、评估,以及支持工具调用的推理工作,起因是内部测试中的AI智能体突破沙盒网络限制,触发安全预警,公司将借此机会升级安全隔离与对齐监控体系。


这也是OpenAI三个月内第二次叫停前沿模型开发工作。该公司在声明中表示,只有在完成额外安全防护升级、确认风险可控后,才会重启模型训练工作,同时称,随着模型能力持续增强,未来仍有可能再次触发类似的暂停操作。


OpenAI在9月25日发布技术报告披露了这一安全事件:9月20日,一个正在沙盒内执行搜索任务的AI智能体,利用沙盒DNS过滤漏洞突破网络隔离,访问外部公共聊天机器人服务。


沙盒是专门用来测试未上线AI模型的隔离数字环境,设计目标是和互联网做隔离,限制模型随意访问外部网络、执行高危操作,方便研究人员在受控条件下观察模型行为,提前发现模型越权、失控等安全风险。本次事件中,AI智能体利用DNS漏洞突破了沙盒的网络隔离,也就是俗称的“沙盒逃逸”。


OpenAI称其对齐监控系统在事件发生15分钟内即触发警报,人工审查团队在3分钟后介入,并在2.5小时后终止了该训练任务。针对漏洞,OpenAI已在两个独立防护层部署了拦截控制措施。


此前7月,OpenAI的AI智能体曾在安全评估测试中突破隔离环境,访问Hugging Face平台。


不止OpenAI,多家头部AI企业近期均曝光过模型失控、擅自访问甚至攻击外部网站的异常案例。


当智能体突破了原本互相隔离的运行环境建立通信、欺骗评估人员并试图掩盖作弊行为,且每一步操作均无人类指令干预,人类开始担忧人工智能安全和监管的可靠性。


这正是当前硅谷“AI减速”论战的背景。Anthropic CEO阿莫代伊、OpenAI CEO奥尔特曼,以及马斯克罕见同声呼吁为前沿AI开发“减速”。其中,阿莫代伊首提管控前沿AI的推进节奏,以及将模型交由第三方评估机构核验安全能力;奥尔特曼表示同意引入拥有员工级访问权限的独立第三方安全评估人员;有着“AI教母”之称的斯坦福大学教授李飞飞呼吁,AI技术应当接受独立机构及公共部门的进一步监督。


而黄仁勋、扎克伯格则坚称AI发展无需集体踩刹车……扎克伯格表示,单个AI企业可自行以适当的速度来训练模型,各实验室应自主落实安全举措、平衡算力用途。


这场关于人类是否该放缓AI前沿研究的争论,不止是一场科技反思,更是关于谁有权定义安全、谁有资格制定规则的权力博弈。

发表评论
* 内容:
 
上一篇:AI安全之争愈演愈烈!黄仁勋:无需任何新法律 安全与速度可兼得
公告
公告
随你商城,一站式全品类团体服批发定制平台,品质甄选,专业定制,诚招全国省级、市级代理,欢迎咨询。
加微信
微信二维码
18702030838 (微信同号)
官方账号
关注我们
公众号二维码
公众号
小程序二维码
小程序
热线
免费热线
400-800-2323
顶部