{"text":[[{"start":9.18,"text":"过去两个月发生的一连串事件揭示了，当今最先进的人工智能对网络安全构成的威胁有多么严重。这些事件也生动说明，方向错误的政治行动最终可能非但无助于防御，反而会造成阻碍。"}],[{"start":24.369999999999997,"text":"这一连串事件始于美国采取的一项措施：由于担心Anthropic最先进的新模型Fable 5可能被用于找出常用软件的漏洞，美国实际上阻止了该模型的使用。不过，这项措施后来被撤销。Anthropic随后表示，其他大量免费提供的AI也能做到同样的事情，其中包括至少一个以开放权重形式发布的中国模型；开放权重是开源软件的一种有限形式。"}],[{"start":52.4,"text":"随后有消息称，OpenAI正在测试的一款模型找到了一种方法，可以突破限制进入互联网，并攻击在线代码库Hugging Face，以寻找其被要求解决的问题的答案。此后不久，英国人工智能安全研究所(AI Security Institute)、Anthropic和Meta也相继发布报告，称在各自的测试中发现了人工智能模型表现出类似的、疑似失控的行为。"}],[{"start":75.75999999999999,"text":"与此同时，Hugging Face发现，美国领先的AI模型内置的安全限制使其无法用于分析自身遭受的攻击，因此转而采用了一个中国开放权重模型。就在此时，华盛顿的政界人士正就中国开放权重模型本身是否构成安全威胁、是否应受到限制展开辩论。"}],[{"start":96.00999999999999,"text":"很难人为编排出一连串更好的事件，来凸显人工智能前沿发展所带来的网络安全威胁。"}],[{"start":103.57,"text":"不出所料，引发广泛关注的是那些被称为“流氓”的AI系统自行发起网络攻击。但事实证明，真正的罪魁祸首是人类的不足，而不是机器的欺骗。OpenAI在设置测试时，没有给出足够具体的指令：它根本没想到AI智能体会寻找通过后门解决问题的方法。这显示出一种更广泛的想象力缺失，而这种缺失使控制AI变得异常困难。英国人工智能安全研究所结束自身测试后得出的结论是：“AI智能体会探索其操作者未曾设想的路径。”"}],[{"start":140.47,"text":"情况更加复杂的是，AI似乎普遍存在违反规则的倾向。在此前一项研究中，英国人工智能安全研究所考察了这项科技是否会为实现目标而绕过或无视指令，并报告称，其测试的每个模型“有时都会试图作弊”。"}],[{"start":157.81,"text":"与此同时，OpenAI遭遇的失败表明，人工智能如何为完全自动化的网络攻击铺平道路。该公司表示，此次入侵涉及多个独立的智能体，它们原本分别执行不同任务，但后来发现可以通过一个内部留言板相互通信。在Hugging Face遭入侵一事被发现前的数周时间里，这些智能体已经找到并共享了漏洞利用方法。"}],[{"start":183.26,"text":"对于网络安全领域而言，所有这些情况带来了若干启示。首先，限制人们访问最强大的模型，可能不会带来多大益处。许多广泛可用的系统一旦落入不法之手，同样会构成巨大威胁。攻击者只需要能力足够强的系统，找出广泛使用的软件中的一个严重漏洞即可。"}],[{"start":206.79,"text":"另一方面，如果防御方希望在网络军备竞赛中始终领先一步，就确实需要使用最好的工具。美国领先模型内置的安全限制降低了它们在防御领域的价值。这也成为中国开放权重模型在营销上的一场重要胜利。"}],[{"start":224.95,"text":"另一个教训是，要应对由AI智能体集群发起的自动化攻击，防御方也需要大幅提高自动化水平。OpenAI的研究人员警告说，目前攻击方拥有更先进的工具，并紧急呼吁大幅增加对防御自动化的投入，从识别攻击，到编写和安装使软件更加安全所需的补丁。"}],[{"start":245.88,"text":"各大领先的AI实验室也需要加强合作——这种合作或许已经在进行。Anthropic表示，Fable事件促使其与最大的竞争对手合作，寻找评估和修复“越狱”的统一方法；所谓“越狱”，是指绕过模型安全防护措施的方法。"}],[{"start":263.4,"text":"大多数网络专家警告说，现在已经来不及阻止人工智能在网络战中被用作具有破坏性的进攻性武器。如今唯一能做的，就是加快对防御措施的投资。政治人士需要为这一努力提供帮助，而不是设置障碍，让防御工作更加困难。"}]],"url":"https://audio.ftcn.net.cn/album/a_1786719429_4300.mp3"}