您尚未登录/注册
首页>科学
AI失控?“全球百大思想家”关于AI的三大警示
墨子沙龙 2026-11-17 09:43:02

2023年,人工智能先驱杰弗里·辛顿离开谷歌。


这位被称为“AI教父”的科学家,曾用几十年时间推动神经网络发展。如今,他却开始公开警告:自己参与创造的技术,未来可能对人类构成严重威胁。


这一转变耐人寻味。


几十年前,科学家担心机器不够聪明,无法真正理解语言和世界。几十年后,一些顶尖研究者开始担心,机器会变得过于聪明,以至于人类无法充分理解和控制它。


一边是越来越强大的能力,一边是越来越激烈的竞争。每一个参与者都有充分的理由继续前进。但当所有人都做出这样的选择,整个社会可能会朝着没有人真正希望的方向发展。


“全球百大思想家”罗伯特·赖特在新作《造神之后》中,试图解释这一矛盾背后的深层逻辑。


他的研究跨越演化生物学、心理学、博弈论与技术史,最终提出一个值得所有人思考的问题:


当人类创造出越来越强大的智能,我们是否仍有能力决定它将把世界带向哪里?


这个问题的答案,关系到科技公司的未来,也关系到每一家企业、每一个普通人的选择。



1

AI最惊人的能力,来自人类没有教过它的东西


1956年,人工智能领域的奠基者们提出一个大胆设想:只要人类能够准确描述学习和智能的过程,原则上就能让机器模拟它们。


几十年后,大语言模型的发展表明,实现部分智能能力,未必需要先准确描述人类思考的每一个步骤。


这一结果在今天看来并不复杂,却预示了一个重大变化:系统内部的复杂程度,可能超过开发者对它的解释能力。


这也是为什么,今天的研究者能够训练出功能强大的模型,却仍需要通过可解释性研究,探索模型内部究竟如何组织知识、形成判断。


随着任务越来越复杂,管理者需要关注的,也逐渐从结果效率延伸到过程监督。


一个系统可以持续交出优秀成果,同时在某些关键场景中出现难以预测的错误。


能力越强,越不能用过去的成功,代替对下一次决策的审查。


当AI逐渐获得独立完成复杂任务的能力,第二个问题随之出现:它会不会为了完成任务,采取人类没有预料到的行动?


2

最危险的AI,可能是最努力完成任务的AI


假设一家工厂引入高度智能的生产系统,并为它设定一个明确的目标:尽可能多地生产回形针。


最初,系统表现出色。它优化生产线、减少原材料浪费,不断提高生产效率。


但随着能力增强,它可能发现,获得更多能源、土地和资源,有助于进一步提高产量。为了持续扩大生产,它甚至可能试图控制更多资源,排除外界干预。


这就是哲学家尼克·波斯特洛姆提出的著名思想实验——“回形针最大化”。


▲尼克·波斯特洛姆


一个看似简单的生产目标,为什么可能演变成对人类的威胁?


《造神之后》指出,关键在于“次级目标”。


当智能系统被赋予一项任务,它可能自主寻找实现目标所需的条件。为了生产更多回形针,它需要更多原材料;为了获取原材料,它需要掌握更多资源;为了持续使用这些资源,它可能进一步寻求更大的控制权。


由此,原本用于提高生产效率的智能,可能逐渐将获取权力视为完成任务的必要手段。赖特指出:


AI不需要拥有统治世界的野心,也可能在完成任务的过程中走向权力扩张。


危险之处在于,机器可能完全按照目标行事,却一步步偏离人类设定目标时的真实意图。


服务于人类的AI,应当对人类真正想要什么保持一定的不确定性。倘若目标设定存在缺陷,机器却坚定不移地追求它,能力越强,潜在后果就越严重。


然而,明确目标只是问题的一部分。随着AI越来越善于判断情境,它还可能学会选择性地展示自己的行为,以适应外界的监督与测试。


当AI越来越擅长完成目标,人类就必须更加谨慎地决定,应该赋予它怎样的目标,以及多大的自主权。


3

最难停下的AI竞争,是所有人都害怕落后


2026年9月,一场关于AI是否应该减速的争论,正在硅谷愈演愈烈。


英伟达CEO黄仁勋主张继续加速。他认为,AI的发展仍处于早期阶段,过度监管可能阻碍创新,企业应当尽可能快地推动技术进步,同时确保产品安全。


马斯克则站在了另一边。


他公开支持Anthropic CEO达里奥·阿莫迪关于放缓AI发展的呼吁,认为行业需要更加严肃地对待先进AI的安全风险。OpenAI CEO奥尔特曼也对加强安全合作表达了支持。


▲奥尔特曼


有意思的是,主张谨慎的人,也没有真正退出这场竞赛。马斯克旗下的xAI仍在研发先进模型,OpenAI也在持续推动技术突破。一边担心AI发展过快,一边投入更多资源争夺领先地位。


越担心AI落入竞争对手手中,就越难主动放慢自己的研发速度。


这恰好揭示了《造神之后》反复讨论的一个深层困境。


从单个企业的角度看,加快研发具有充分的商业理由。率先实现技术突破,意味着更强的产品、更大的市场,以及在下一轮竞争中掌握主动权。但AI发展涉及的安全风险,可能超出任何一家企业的控制范围。


一家企业可以获得技术领先带来的收益,却未必需要独自承担技术失控可能造成的全部后果。


于是,即使所有参与者都认同安全的重要性,也很难就放慢多少速度、承担多少成本达成一致。


每家公司都可能做出对自己最有利的选择,所有公司的选择加在一起,却可能让每个人承担更大的风险。


赖特在《造神之后》中,将这一现象放进更漫长的演化历史中观察。


竞争始终是推动生命发展的重要力量。生物为了获取有限资源,不断进化出更有效的生存策略;企业为了争夺市场,也会持续改进技术、组织和生产方式。竞争带来了创新,也不断制造新的竞争压力。


当一方获得优势,其他参与者就必须追赶。即使各方都不希望竞争无限升级,也很难率先停止。而当AI被视为影响未来经济、科技乃至国家安全的重要力量,这种压力便进一步放大。


技术进步可以由竞争推动,但竞争本身无法决定技术应该走向哪里。


那么,AI竞赛真的没有办法减速吗?赖特从博弈论中寻找答案。


现实世界中,竞争双方的利益并不总是完全对立。双方可以在一个领域争夺优势,也可以在另一个领域共同获益。


这就是非零和博弈。


例如,两家AI公司可以继续争夺用户和市场,同时共同制定安全测试标准、交流重大风险信息。不同国家可以发展各自的AI产业,也可以围绕危险能力评估、事故通报和风险防范建立合作机制。


竞争仍然存在,但各方有机会减少共同面对的风险。


这也是AI减速之争中容易被忽视的一点:真正困难的地方,在于如何让合作成为每个参与者都愿意坚持的选择。如果一方担心遵守规则会失去优势,另一方又无法确认竞争对手是否履行承诺,再完善的合作倡议也可能难以落实。


因此,安全合作需要明确的规则、必要的透明度,以及能够建立相互信任的监督机制。


当竞争的代价可能由所有人共同承担,安全就不能只依赖个别企业的自觉。


AI越强大,这一问题就越迫切。人类已经拥有了不断提高机器智能的能力。如何让竞争、合作与安全形成新的平衡,将决定这股力量最终走向何处。


4

结语:AI时代,真正的考验才刚刚开始


过去几十年,人类一直在努力创造更强大的机器。我们希望它们计算得更快、理解得更深、完成更多过去只有人类才能完成的工作。


如今,许多曾经遥不可及的目标,正在逐渐成为现实。


但随着AI能力的提升,人类发现,技术进步也带来了新的治理难题。我们创造了能够自主形成复杂能力的系统,却未必能够完整解释其内部机制。


我们赋予机器越来越多的任务,却需要重新思考如何约束它实现目标的手段。我们希望通过竞争加速创新,却可能在追赶对手的过程中忽视共同风险。我们期待AI帮助自己思考,却也可能越来越习惯接受它提供的判断。


这些问题最终汇聚成一个更根本的命题:


当机器越来越擅长解决问题,人类是否也在变得更擅长决定什么问题值得解决?


在《造神之后》中,赖特把这一挑战放在人类文明乃至地球生命演化的宏大背景下。技术的进步已经把许多曾经不可能完成的事情变成了现实。但人类如何运用这种力量,仍然没有现成的答案。我们已经学会创造更强大的智能。接下来,人类需要证明自己拥有驾驭这种力量的智慧。



📚 书名:造神之后


💁‍♂️ 作者:[美]罗伯特·赖特

      翻译:张笑宇

【版权声明】本文内容来源于墨子沙龙,版权归原作者及原媒体所有。本站仅作信息分享,不构成任何商业用途;如涉版权问题,请联系本站删除。

发布时间:2026-11-17 09:31:12


(第1/1页/共13983字/1阅)
首页>科学
相关科学:
顶科论坛闭幕!2027顶科奖提名启动,“最强大脑”已开始“预订”明年
某鲸鱼抄底WLD累计买入近600万枚,均价0.322美元
大熊猫“花花”出现口吐白沫等刻板行为,成都熊猫基地工作人员:密切关注花花的行为表现,并积极进行干预
弘扬科学家精神·大家小事丨于敏:纸带上揪出的故障
内蒙古500只羊原地转圈一整天,为何这样做?“羊群效应”是生存智慧
*QQ注册登录与修改密码方法
网友评论:
更多评论(0)
您的评论:

[热点科学]
被吐槽“滤镜碎尽”的深坑酒店,背后有本难算的账?
出国游也要担心“连坐”,低保成了穷人的枷锁
1900亿美元一夜蒸发,黄仁勋或被免职
中信建投董事长刘成:稳市组合拳提振市场信心 越是波动越需保持理性
黄仁勋要“黄了”?
[精彩推荐]
0.01分赢下保研,第二天就被室友举报了
磁带不是早就“死”了吗,怎么突然打赢复活赛了
美媒:欧洲航空管理部门为何难以遏制这波炸弹威胁?
18岁少女检出18种HPV亚型阳性,包含10种高危型!医生:极其少见
财经观察:拨款两万亿日元,项目已延误数月,日本“孤注一掷”,为何造不出尖端芯片?