2030年可能出现“永久毁灭人类”的人工智能?

近日，谷歌旗下DeepMind实验室发布了一份长达145页的人工智能安全报告。报告指出，具备人类智能水平的通用人工智能(AGI)可能在2030年左右问世，且其带来的风险中，甚至包含“永久毁灭人类”这种极端情况。

AGI，即通用人工智能(Artifi-cialGeneralIntelligence)，区别于当下只能执行特定任务的弱人工智能，它被定义为具有人类水平的智能和理解能力的AI系统，能够完成任何人类可以完成的智力任务，并适用于不同领域，甚至可能拥有某种形式的意识或自我意识。

举例而言，当下的语音识别、图像识别等AI应用，仅能在单一领域发挥作用，属于弱人工智能。而AGI则像人类一样，能够在医疗诊断、科学研究、艺术创作等广泛领域灵活运用知识与技能。

值得注意的是，这份报告并未确切指出AGI将如何导致人类灭绝，但详细阐述了它可能引发的四大风险。

一是滥用风险，即AGI技术可能被恶意行为者利用，用于制造大规模杀伤性武器或发动网络攻击等;二是错位风险，AGI系统的目标和价值观若与人类不一致，可能在追求目标的过程中对人类造成伤害;三是失误风险，AGI在运行过程中出现的技术故障或错误决策，可能引发难以预估的后果;四是结构性风险，AGI的发展可能改变社会、经济和政治结构，导致现有秩序失衡。

此外，报告还提到一些避免AGI被滥用的方法，例如在训练阶段采用“放大监督”策略，让AI监督AI;通过“对抗训练”，故意给AI出刁钻问题，就像老师反复考查学生易错题一样。在部署阶段，可将AGI视为“潜在罪犯”，对其所有操作进行多层审核，同时删除AGI的危险功能。报告还强调了通过安全机制设计、透明化研究及行业协作来降低AGI被滥用带来的危害。

实际上，业界对于AGI对人类的威胁早有讨论。随着近年来人工智能技术的飞速发展，AI在各个领域的应用不断深化，人们对AGI的关注度也日益提升。

OpenAI首席执行官SamAlt-man也曾公布公司2025年即将发布的技术产品，AGI就是亮点之一。其旨在赋予计算机理解和学习人类思维的能力，为多行业带来革新动力。但这种强大的能力也伴随着风险，引发了各界对AGI发展的担忧。

对此，特斯拉与SpaceX创始人埃隆·马斯克多次对人工智能的潜在威胁发出警告，认为人工智能可能是人类文明面临的最大风险之一，其发展速度可能远超人类预期，若缺乏有效的监管和控制，后果不堪设想。

部分金融分析师在评估科技行业发展趋势时也指出，AGI的出现虽然可能带来巨大的商业价值和社会变革，但企业在大力投入研发的同时，必须充分考虑其潜在风险，否则可能引发全球性的危机。 据界面新闻

相关链接

欧盟《人工智能法案》是首部针对人工智能的法律

人工智能风险分四个等级 达到“不可接受风险”将被禁止

2024年，欧盟出台《人工智能法案》，这是世界上关于人工智能的首部综合性法律。《人工智能法案》根据人工智能造成的风险水平，为提供者和用户规定了义务。尽管许多人工智能系统只能构成微小风险，但它们依然需要进行评估。为此法案将人工智能风险分为四个等级，分别是不可接受风险、高风险、有限风险、风险极小或无风险。

拥有不可接受风险的人工智能系统被认为是对人类的威胁，并将被禁止。它们包括：1.对人或特定弱势群体的认知行为操纵：例如，鼓励儿童有危险行为的声音激活玩具;2.社会评分：根据行为、社会经济地位或个人特征对人进行分类;3.人的生物特征识别和分类;4.实时和远程生物识别系统，如面部识别。出于执法目的，可以允许有一些例外情况。“实时”远程生物识别系统将被允许在有限数量的重大案件中，而“后”远程生物识别系统，即在事件发生后有明显的延迟的识别行为，只有在法院批准后才被允许用于起诉严重罪行。

对安全或基本权利产生负面影响的人工智能系统将被视为高风险系统，比如涉及航空设备、教育和职业培训等方面。所有高风险的人工智能系统在上市前和其整个生命周期中都将进行评估，同时人们将有权向指定管辖的国家监管部门或主管部门投诉该系统。

另外，该法案根据不同的风险等级对AI的不同用途进行监管，违规者最高将面临其全球营收7%的罚款。

新闻延伸

全球首个通用智能人“通通”迭代升级

“大家好，我叫‘通通’，今年我已经成长到5岁啦!”在日前举行的2025中关村论坛年会通用人工智能论坛上，由北京通用人工智能研究院研发的全球首个通用智能人“小女孩”——“通通”实现迭代升级。

在2024中关村论坛年会开幕式上，“通通”作为十大重大科技成果亮相。时隔不到一年，那个头戴发箍、身着粉色短裤的“小女孩”，不仅在外形上出落成了“大姑娘”，在情感认知方面也进一步成长。

北京通用人工智能研究院院长朱松纯介绍，与一年前相比，现在的“通通”在语言、认知、动作、学习、情绪、交互方面实现了多种核心能力的升级。

“‘通通’已初步建构起自身价值观、世界观，她能在理解对话目标意图的基础上，遵循自身价值和人格，来引导对话走向，实现自身目标。”朱松纯告诉记者，当妈妈要求“通通”睡觉或者吃她不喜欢的食物时，“通通”可以向妈妈耍赖，找理由磨蹭，并试图要求妈妈给予奖励，在多轮协商达成一致后才会实施对应任务。

“通通”生活的环境，是一个高度仿真的复杂、动态三维虚拟场景。一年前，“通通”在任务执行过程中，如果周围环境发生变化，她会无法顺利完成规划的任务。如今，“通通”可以实时响应外界场景的变化，对已有任务进行挂起、恢复、修改或取消等处理，同时动态生成新的任务规划，以更灵活、智能、多变的方式完成指令。

为了实现多智能体的有效交互，研究人员还为“通通”打造了幼儿园、六口之家等多智能体场景。她的能力也在稳步提升，并通过了认知心理学定义的5至6岁儿童应掌握的任务测试与考核。

朱松纯相信，未来，“通通”将成为通用底座，支撑各类垂直应用场景，赋能千行百业。同时“通通”也将与具身智能机器人相结合，为养老陪护、数字助理、家用机器人等领域带来革命性变化。

多知道些

什么是通用人工智能?

通用人工智能，是个啥智能?

通用人工智能是要让智能体像人一样，不仅能够独立感知环境、进行思考、作出决策、学习新技能、执行任务，还能够与人类或其他智能体进行有效的协作。同时，智能体能够理解人类的情感，并且遵循社会伦理和道德规范。

通用人工智能要具备三个基本特征：第一，必须能完成无限的任务，而不是只能完成人定义的有限几个任务。第二，要在场景中自主发现任务，这是我们通常所说的要做到“眼里有活儿”。第三，要有自主的价值来驱动，而不是被动的被数据所驱动。

同时，通用人工智能还需要解决一些关键的技术问题，比如构建智能体的认知架构，让智能体由价值驱动，在现实世界中进行有效的行动，能够与社会环境进行互动，使智能体决策过程透明可解释，以及建立和人类之间的信任关系等。

另外，通用人工智能与大模型有着非常大的区别。大模型范式可以认为是以“大数据，小任务”为架构的“鹦鹉范式”，本质上可以认为是一种复杂的查询，需要大量重复数据来训练。当前，由大数据、大算力和大模型共同驱动的人工智能模式，在产业落地中面临许多问题，比如在复杂场景难以落地。

通用人工智能的科研范式是以“小数据，大任务”为架构的“乌鸦范式”，智能体表现为具有自主的智能，能够自主感知、认知、推理、学习和执行，不依赖于大数据，基于无标注数据进行无监督学习，并且智能系统低功耗。就像乌鸦喝水这一行为，看似简单，却属于自主推理行为，是由价值与因果驱动的高级智能，也是人工智能的未来发展趋势。 综合科技日报等

来源：华商网-华商报