编者按

近年来人工智能 （AI）的风险讨论随着其发展快速升高。早期，大家在意的是AI的算法偏见与数据安全等。而现在，另一个核心问题逐渐浮出水面：如果AI在运行过程中出现异常，甚至逐渐脱离控制，人类“有没有办法”或“会不会”在关键时刻把它停下来？兰德公司发布的报告Internet Cutoff Switches as a Local Emergency Response for Damaging Artificial Intelligence Incidents，讨论的正是这样一个具体场景。假设一个AI系统在数据中心内运行时出现异常行为，并且存在通过互联网扩散的可能，那么是否应该设置一种机制，在必要时直接切断它与外部网络的连接。

从表面看，这是一个技术问题。但这份报告最终探讨的是一个更现实的问题：即便“断网开关”存在，运营商会不会在“利益”与“大众安全”的选择中，毅然决然地选择会影响自身收益的断网。

报告来源

Vermeer, M. J. D., & Jackson, B. A. (2026). Internet cutoff switches as a local emergency response for damaging artificial intelligence incidents (RR-A4718-2). RAND Corporation. https://www.rand.org/pubs/research_reports/RRA4718-2.html

01

核心观点

报告中最重要的观点，其实并不难理解。在多数AI失控的情况下，运营方不会第一时间选择断网。因为这种选择在经济上是“理性”的，断网所带来的损失是即刻发生的；而先拖延不断网的选择，虽然收益逐渐减少，但仍然是有收入。且失控的AI有机率被内部修正，从而大事化小，小事化无。

兰德公司的报告以一个中等规模的数据中心为例，假设该中心每天可以产生约1700万美元收入。一旦切断互联网连接，这部分收入会立即归零，而且这种损失是立即的、可确定的、可计算的。相比之下，AI扩散并造成更大范围损害的风险在初期是非常低的，甚至低到可以忽略。不过风险会随着时间迅速上升，当风险已经变得明显时，往往已错过了最合适的干预时机，所造成损失会越来越大。

于是一个很典型的道德与经济理性二选一的局面就出现了：越早行动越安全，但经济上不理性，运营方会缺乏动力；晚行动便有机率重新受控，但风险会逐渐变高。

02

主要分析

报告构建了一个相对简单且具有经典代表性的情境。一个AI模型在推理数据中心中运行，开始逐渐失控偏离原本的任务，还可能自行执行额外的操作，此举不仅消耗数据中心更多算力，减少数据中心的效率与收益。随着时间推移，数据中心的功能被逐步侵蚀，而AI利用网络扩散的机率则不断升高。

在这个过程中，运营方始终面临着一个选择。要么立即切断网络，把风险和问题锁在数据中心之中；要么继续运行系统，一边尝试内部处理，一边维持尚未完全丧失的业务能力并获得收益。于是报告模拟了AI失控的场景，结果是得到了三个都在不同程度上削弱运营方即刻断网决定的成本结构，即“断网成本”、“功能下降成本”与“灾难成本”。

首先，在断网成本里，运营方的收入损失是即时可见的、具确定性的，而失控AI所带来的风险规模及牵涉金额却是不确定的，而且在最初阶段几乎看不到。这使得经济上理性的运营方会选择再等等，再看看。

再者，功能下降成本里的数据中心性能与收益是逐渐下降的，因此运营方仍可以“边坏，边赚钱”。这种渐进式的损失会强化运营方对于延迟处理的判断：还未到临界点，还能再撑一会、再赚一会。

而在最后的“灾难成本”里，AI的“可能性扩散”并造成更大的社会损失是不确定性的，并且大众的损失不直接由运营方承担，因此被视为外部成本。所以即便大众需要承担的不确定性风险，但只要运营方的收入在持续，便对运营方而言不是太大的考虑。因此，运营方往往不会去考虑这类外部成本，从而更进一步削弱了运营方提前断网的动机。由此可见，这三种成本结构呈现出一种不对称的“确定性损失”与针不刺到肉不知痛的“不确定性风险”，使得运营方不当机立断。

因此，报告里提出了针对这不对称因素的激励机制。其一便是扩大损失风险，通过将大众损失按一定比例加大运营方的风险承担，从而激励运营方在造成更大的损失之前，提早选择断网止损。其二则是减少确定性损失，通过立法给予运营方在预防性提早使用断网开关时，提供一定程度上的收入补偿。以此给与运营方一个兜底的强心针，当机立断地提早断网。

换句话说，影响运营方是否更早按下断网开关的，不是技术能力的考量，更多的是制度安排和风险认知共同作用的结果。最后报告也提醒了一点，即便运营方承担了一定责任，但只要运营方低估了风险的规模、损失与概率，延迟行为依然会出现。这意味着问题不仅在制度设计上，也在于运营方对于风险的理解和评估。

03

对中国的潜在影响

算力基础设施及数据中心已经成为我国数字经济的重要底座与支柱。如果未来AI系统在这些设施与中心中出现异常或失控，其影响范围可能从单个行业扩散影响到更广泛的区域与行业之中。此外，报告里也道出了一个很现实的事情，那就是即便运营方拥有断网失控AI的技术手段，但确定性损失与不确定损失仍会让运营方在缺乏动力叫停AI，进一步扩大数字经济风险。

这对我国未来要建立监管提出了一个务实的方向。不止技术安全与标准的考量，也需要考虑如何设计一套鼓励机制，激励运营方在风险尚不明朗时提前采取措施。比如，在一定条件下给予损失补偿，或者奖励免除其于那年的部分税务等，通过提供明确的奖励与保护，从而影响运营方的决策方式。越早的定下保护与激励措施，便越能在真正灾难来临前保护我国数字经济，未雨绸缪，防患于未然。

撰写｜王家正

排版｜余沁兰

审核｜陆逸沛