您尚未登录/注册
首页>科技
全球最大IPO落地引发AI安全讨论 专家:评估大模型安全的体系还不成熟
红星新闻 2026-11-20 19:17:15

当地时间11月19日,开发Claude语言大模型的美国人工智能企业Anthropic公司,在美国纳斯达克交易所挂牌上市,首次公开募股融资金额超810亿美元,超过Space X在今年6月创下的750亿美元的历史最高纪录,成为全球最大IPO。

从成立之初,Anthropic就强调自己与其他AI公司的不同之处在于“安全和责任”,将自己塑造为把公共利益置于商业利益之上的AI公司。

Anthropic在提交美国证券交易委员会(SEC)的IPO招股书中,也将AI安全列为公司的核心公共利益使命,承诺负责任地开发和维护先进AI,使其长期造福人类。

就在Anthropic上市前三天,美国加利福尼亚州总检察长罗布·邦塔16日宣布,正式对美国人工智能企业OpenAI提起诉讼,指控该公司违反多部法律,制造了网络攻击事件并对公共安全构成威胁。

随后OpenAI宣布已邀请第三方机构的独立安全研究人员,根据各项安全措施评估OpenAI的模型。

在人工智能迅猛发展的当下,人工智能公司在策略和技术上是否能够真正平衡安全、公共利益和商业利益?红星新闻记者专访了主要研究方向为人工智能大模型安全的浙江大学计算机科学与技术学院百人计划研究员、博导郑天航。

▲11月19日,Anthropic公司在美国纳斯达克交易所挂牌上市

Anthropic能否守住安全承诺

对于Anthropic在上市后是否能够守住“安全承诺”,郑天航向红星新闻记者表示,Anthropic上市之后,在盈利和维持股价的需求下,发布的通用大模型版本肯定还是会以性能为先。

郑天航认为,从技术角度,安全本身会带来一些技术上的限制,无论怎么做安全对齐,都不可能完全避免过度拒答(False Positive)的问题。例如在代码这一几家大模型厂商都在竞争的核心赛道,假设一个计算机安全研究人员,希望模型帮助检查本地系统的漏洞,这种需求本身是正当的,但在一个安全对齐程度很高的模型上,就有可能被拒绝。

另外,安全对齐还有可能影响模型在Token开销方面的竞争力。如果要做安全对齐,模型可能需要在思维链中加入安全判断的过程,这样就会增加Token开销,也可能导致模型运行速度变慢。

因此,无论从效用还是效率来看,安全对齐程度更高的模型,“在市场竞争中不见得具有优势”。

同时,郑天航也提出,在智能体(Agent)场景中,安全可能会体现出一定的优势。对于真正能够控制自己系统、执行实际操作的大模型,用户对安全性的需求会更高。

郑天航认为,上市公司的决策者如果需要考虑股东、董事以及其他各方面的利益,那么有可能针对不同应用场景推出不同安全对齐程度的模型。

大模型安全评估体系还不成熟

对于目前OpenAI等人工智能企业邀请第三方机构独立安全研究人员的做法,郑天航表示,这套机制偏向于一种道德约束,而不是根本性的法律约束。如果评估机构发现了一些问题,之后又能怎么样?目前并不明确。

在技术层面,郑天航认为,外部评估机构的基础能力能不能达到OpenAI整条技术流水线的水平,“我个人是存疑的”,从技术层面讲,评估机构的技术能力大概率不如OpenAI。

他分析称,评估一个系统需要首先对整条技术流水线非常熟悉,甚至可能需要比被评估企业做得更好,才有可能发现整条流水线上每一个可能出现的漏洞和问题,但目前无论是学界还是工业界,针对大模型的安全评估技术都还处在发展阶段,并没有形成特别成熟的体系。郑天航认为,评估大概率“根本发现不了一些关键性问题”。

另外,即便评估机构发现了安全问题,是否能够保持完全中立,或者能够给企业带来怎样的实际影响,也都存疑。在评估范围和人员都受到限制的情况下,技术能力更强的企业完全有可能隐藏一些自己不希望被发现的信息。

郑天航强调,无论从技术层面还是非技术层面,目前阶段想要实现全面、系统的大模型安全评估,可能性都很低。安全评估技术的发展,更多是取决于公共利益的需求,但在没有实际经济利益的前提下,也很难与在利益驱动下迅猛发展的模型能力竞争。

红星新闻记者 卿滢

编辑 邓旆光 审核 任志江

【版权声明】本文内容来源于红星新闻,版权归原作者及原媒体所有。本站仅作信息分享,不构成任何商业用途;如涉版权问题,请联系本站删除。

发布时间:2026-11-20 18:04:10


(第1/1页/共2432字/2阅)
首页>科技
相关科技:
国模“断电期”,Fable 5.2得分已是DeepSeek 2倍
全程回顾|微软Ignite2026:Copilot成工作新操作系统,Office全面内嵌
Agentic Infra落地提速:国产操作系统向工业、能源、具身智能延伸
WPIC联合创始人Jacob Cooke接受三里河采访时表示,他今年已经9次来到中国,WPIC已扎…
10万亿的产业目标下,AI的机会藏在哪一环
*社区管理员带你玩转QQ家园
网友评论:
更多评论(0)
您的评论:

[热点科技]
后C罗时代首战溃不成军!霍伊伦双响,葡萄牙1-4丹麦造16年耻辱纪录
西海岸元素满满,李昊再献神扑零封对手,国足热身赛2:0完胜马来西亚
Skip:东契奇不愿与詹姆斯共享舞台,湖人并不想念后者
内蒙古速滑运动员韩梅在國際滑聯世界杯第一站以1分56秒40获女子1500米季军
后C罗时代首战!葡萄牙主场1-4崩盘 创16年耻辱 72岁新帅上任首败
[精彩推荐]
又一场“天价豪赌”来了
古人用尿和海螺染出来的贵族紫,我们在家复刻成功了
35岁浙江女子备孕10年未怀上,子宫内竟长出“骨头”,医生:这种罕见病隐匿性强,极易漏诊
喧嚣反转!2026广州车展大变局新势力集体进入静默期
APEC效应给文旅产业带来什么启示?对话中国人民大学宋洋洋