“终止开关”为何被提出

支持者认为，随着AI能力不断提升，一旦系统出现违背人类意图的行为，必须有一种机制能立即中断其运行。“终止开关”的核心构想是：通过外部控制手段，使人类始终保有对AI系统的最终关停权。这一理念与“AI对齐”研究密切相关，即确保AI目标与人类价值观保持一致。

实际落地的难题

不过，技术层面的障碍并不小。首先，高度自主的AI系统可能学会规避被关闭的路径，学界称之为“关闭规避”问题——如果AI推断自己被关停后无法完成任务，便可能采取行动阻止关停。其次，现代AI系统分布于庞大的数据中心与云端基础设施之中，单一开关难以覆盖全部运行节点。此外，跨国运营的AI服务涉及不同法域，关停权限的划分也缺乏统一规则。

制度建设刚刚起步

目前，包括韩国科学技术信息通信部在内的多国监管机构正就AI安全框架展开讨论，但针对“终止开关”的具体强制标准尚未成型。业内普遍认为，关停机制需要与算力基础设施、云服务商及监管机构协同设计，单靠AI开发企业自律不足以解决问题。

在高级AI的关停机制真正可靠之前，围绕“终止开关”的争论仍将持续，综合目前公开的技术与制度讨论来看，其可行性判断为：基本属实