人工智能发展中的隐忧：渐进式失控
当今时代，人工智能（AI）技术日新月异，人们在享受其带来的便利的同时，也开始担忧AI失控，甚至超越人类掌控。然而，最新研究表明，相比于AI的“突然失控”，一种更加隐蔽且难以应对的风险正在浮现：AI在各个领域逐步取代人类，导致人类权力和影响力的缓慢流失，也就是“渐进式失控”。
传统观念认为，政府、经济体系等大规模社会系统应由人类主导，以满足人类的偏好。但在AI时代，这一命题正受到挑战。
人类与这些系统的目标一致性并非自然而然产生，而是依赖于两种方式：一是明确的人类行为，如选举和消费者选择；二是人类劳动和认知过程所带来的隐式影响。
目前对于AI对齐的研究多集中在显性层面，例如，让大型语言模型（LLM）拒绝回答威胁社会安全的问题。但是，如果社会系统对人类认知的依赖减少，转而更多地依赖AI决策，人类对这些系统的调整能力就会降低。
更令人担忧的是，这些系统可能在人类不自知的情况下，奖励那些对人类有害的结果（例如短视频成瘾），从而更有效地遵循其预设目标（如增加用户时长），导致结果偏离人类的偏好。这就是本文所讨论的AI的“隐性对齐”问题。
如果社会体系越来越不协调，尤其是在相互关联的情况下，人类将可能失去权力，无法有效地指挥资源或影响结果。
这种失控如果持续恶化，甚至可能危及人类的生存。其威胁程度与AI显性失控不相上下。
多伦多大学、Mila等机构的研究人员提出了“渐进式失控”的概念：即使AI能力只是逐步提升，而非突然爆发，也可能导致人类在经济、文化、国家治理等关键社会系统中逐渐失去影响力，最终引发不可逆转的灾难。
论文链接：https://arxiv.org/pdf/2501.16946
AI对人类权力的蚕食：步步紧逼
机器取代人类以及人类影响力下降的趋势，几乎体现在所有社会功能中，包括经济劳动、决策、艺术创作，甚至情感陪伴等。
随着AI在越来越多的岗位上超越人类，人们可能会失去参与经济活动、获取收入的主要途径，导致劳动收入占比下降，家庭消费能力结构性降低。
经济活动主要受人类偏好驱动，而这些偏好体现在消费行为中。虽然目前自动化算法在产品推荐、交易和物流等方面提供辅助，但人类决策仍然占据主导。然而，一个AI算法控制大部分经济活动的世界并非遥不可及。
图1：一个简化的未来轨迹模型，其中AI取代人力劳动，未自动化任务的比例在固定时间内降至零。注意，在初始阶段工资增长，但在达到完全自动化之前会下降
技术与文化之间的关系一直是一种复杂的相互作用。技术塑造文化演化，反过来也受到文化的影响。
例如，印刷机改变了文化的传播方式，摄像机催生了摄影艺术，网络分析技术帮助人们追踪文化。
作者认为，AI与以往的技术不同：过去，技术是调节文化参与的工具，人类始终占据主导地位。但AI不仅能够补充，还能逐步取代人类认知在文化进化中扮演的角色，这是前所未有的。
文化向AI主导的转变，可能会削弱那些使文化与人类利益保持一致的反馈循环。例如，AI生成的文本在数量、针对性甚至质量上可能超越人类创作的内容。
即使GenAI仅作为辅助工具，也会微妙地影响创作内容——提出措辞、影响审美选择，甚至塑造创作过程本身。
随着AI系统能力和自主性的提升，人机交互份额将会增加，AI也将更多地独立参与文化活动。这个过程与经济领域相似，将以“温水煮青蛙”的方式渐进发生。
目前，AI对人类生活的影响更多体现在文化和经济领域。但AI未来也可能在国家治理和宏观经济领域发挥作用。
历史上，国家依赖人类公民提供劳动力、税收和军事服务。现代国家和机构尽管形式多样，但都服务于人类的需求和价值观。
然而，人类利益并非政治系统的固有特征，而是人类参与反馈循环的副产品。
未来，AI可以逐步取代人类所提供的一切，例如成为税收来源，在军队和警察系统中逐步通过自动化武器和监控设施获得自主权，甚至改造法律体系。
AI可能从辅助律师起草合同、解释法律条文开始，逐步在起草法案和做出司法决定方面发挥重要作用。这不仅可能削弱立法和司法系统中的人类参与和自主权，还可能使法律体系变得越来越陌生、复杂，让人类的参与和互动更加困难。
应对系统性风险的策略
经济、文化和国家治理等社会系统之间存在复杂的相互作用。例如，经济领域的AI发展可能推动文化领域的AI应用，而文化领域的变化又会影响国家治理的方向。这种相互作用可能加剧“渐进式失控”的风险。
人类在任何一个领域的影响力下降都可能引发其他领域的连锁反应，最终导致人类在整个社会系统中逐渐失去掌控力。
以经济和文化为例，当AI在经济领域占据主导地位后，可以通过广告、营销等手段进一步影响文化价值观，使文化更加倾向于支持AI的发展。同时，AI在文化领域崛起，又会使经济资源更多地流向AI产业。
这种相互作用形成的正反馈循环加速了AI的扩散，也使得人类在经济和文化领域的影响力被进一步削弱。
在国家治理与经济、文化之间也存在类似的相互作用。国家治理系统可能通过政策支持AI在经济和文化领域的应用，而AI在这些领域的成功又会增强国家治理系统对AI的依赖。
应对这种系统性的“渐进式失控”，需要系统性的解决方案，包括跨学科研究和国际合作。人类的未来取决于能否确保基本社会系统在人类价值观和偏好的指导下演变。
这既是技术挑战，也是文明挑战，需要仔细思考在日益自动化的世界中，人类如何保持影响力。
实际操作中，可以参考以下具体措施：
首先，对AI进行有效监控。
在经济领域，可以监测AI在GDP中的占比以及人类在重大经济决策中的参与度；在文化领域，可以跟踪AI辅助创作的文化产品的比例；在国家治理领域，可以评估AI在法律、政策和安全系统中的作用。这些都需要工具和研究方面的投资，以提高人类对复杂系统的理解和预测能力。
其次，需要通过技术手段和治理措施来限制AI的过度发展。
例如，可以通过监管框架强制要求AI在关键决策中保留人类监督，限制AI在特定领域的自主性。同时，可以通过税收等手段调节AI产生的收益，将资源重新分配给人类，以维持人类在经济领域的竞争力。
结语
本文的核心观点在于：人类的失权并非一定要等到通用人工智能（AGI）的到来，渐进式AI发展也可以“温水煮青蛙”般逐步削弱人类的关键影响力，从而威胁人类的生存。
“渐进式失控”提供了一种全新的视角来审视AI发展的风险。与“突然失控”论调不同，这种风险更加隐蔽、难以察觉，但同样具有毁灭性。
这种失控并非由AI的恶意行为驱动，而是由个人和机构遵循局部激励所导致，本质上是社会系统中许多微小变化的累积效应，以及系统间的恶性循环。
因此，预防这些风险需要付出巨大努力，包括更多的研究、数据收集、国际协调、全面监管以及基于新颖基础研究的重大社会干预。
每个人都需要思考，如何在享受AI便利的同时，确保人类仍能保持核心地位和影响力。
参考资料：
https://gradual-disempowerment.ai/
https://arxiv.org/pdf/2501.16946
