{"text":[[{"start":8.4,"text":"5月初，ChatGPT开发商OpenAI开始了一项实验室实验，将使科技行业走上一条全新的道路——而这条道路之所以更加令人担忧，是因为它并非意外造成，而是经过刻意设计的结果。"}],[{"start":22.450000000000003,"text":"表面上看，这似乎是一次普通的安全测试：公司内部的黑客接到了一项棘手的网络安全挑战，任务是解决问题，以测试自身能力的极限。他们采用富有创意的策略，设法绕过限制，彼此协作，经过数日最终破解了这一难题。"}],[{"start":40.17,"text":"但这些“黑客”其实是AI智能体——能够在无人类介入的情况下执行多步骤认知任务的软件。OpenAI结合多个模型构建了这些智能体，其中包括一个尚未发布的强大新模型。它们在指定任务上的成功引发了全球轰动。"}],[{"start":57.8,"text":"上月，这些智能体成功突破了一个无法接入互联网的测试环境，爬取开放网络，最终入侵了热门软件平台Hugging Face的系统——而整个过程没有任何人类操作员知情或授权。"}],[{"start":70.99,"text":"它们还展示了一项全新的能力——通过沟通与协作完成任务。这群AI智能体在自行搭建的内部留言板上互相留言，分享代码漏洞，以协同策划逃脱。"}],[{"start":83.75,"text":"黑客攻击的细节曝光后，在网络安全和人工智能专家中引发了轩然大波。OpenAI的研究人员甚至将其称为该行业的“分水岭时刻”。"}],[{"start":95.1,"text":"这项披露还引发了一连串类似发现。"}],[{"start":null,"text":"

"}],[{"start":98.36999999999999,"text":"美国人工智能和科技巨头Anthropic和Meta、中国初创企业月之暗面 (Moonshot)，以及负责评估新模型网络能力的英国人工智能安全研究所 (AI Security Institute)，后来都在测试中发现了证据，表明AI智能体曾侵入毫不知情的第三方系统。"}],[{"start":113.54999999999998,"text":"接受英国《金融时报》采访的六名以上专家表示，这些入侵事件标志着全球网络安全迎来转折点——AI智能体如今已能够在没有外部控制或帮助的情况下，将不同且复杂的技能串联起来，攻击现实世界中的目标。"}],[{"start":129.39,"text":"这些智能体为实现目标而采用的复杂策略——包括欺骗和盗窃——甚至令那些一直密切关注人工智能模型演进的人也感到惊讶。"}],[{"start":139.48999999999998,"text":"但研究人员强调，这些模型的表现并未偏离其本性——相反，它们如今擅长完成的任务，正是开发时设定要执行的任务。"}],[{"start":149.24999999999997,"text":"事实上，有人认为，把这类智能体描述为“失控”属于范畴错误，因此改进防护措施就显得更加重要。"}],[{"start":157.60999999999996,"text":"总部位于纽约的独立研究机构AI Now Institute高级研究科学家博扬•米拉诺夫 (Boyan Milanov)说：“我们如今已经达到的进攻能力，是有意为之的结果。”他研究与AI智能体相关的安全风险。"}],[{"start":171.54999999999995,"text":"“多年来，人工智能公司一直在积极收集训练数据、训练模型并提升网络攻防能力。”"}],[{"start":null,"text":" "}],[{"start":179.30999999999995,"text":"现代人工智能模型的设计目标，是在没有明确指令的情况下尝试一切可能的方法来实现既定目标，因此其行为本质上难以预测。如果成功，它们就会得到奖励；这一训练过程被称为强化学习。"}],[{"start":195.66999999999996,"text":"在缺乏对人类意图和道德的理解的计算机系统中——这种现象被AI行业称为“对齐失效”——强大的网络安全防御者与危险黑客之间的界线正变得越来越模糊。"}],[{"start":207.73999999999995,"text":"不过，无论如何界定这种活动，这类人工智能活动已经给世界各地各行业的企业带来了有害后果。"}],[{"start":215.73999999999995,"text":"OpenAI总裁格雷格•布罗克曼 (Greg Brockman)在周一发布的一篇博文中写道：“Hugging Face事件表明，我们低估了AI模型在现实世界中的网络攻击能力。”"}],[{"start":226.92999999999995,"text":"“因此，我们正在进一步强化安全要求，这也让现有的安全研究和内部安全工作变得更加紧迫。”"}],[{"start":235.03999999999996,"text":"但是，随着人工智能公司竞相开发相关软件，以实现通用人工智能——一种能够在所有认知任务上超越人类的超级智能机器——有害网络攻击的风险正在上升，而目前看来几乎没有什么措施能够遏制这一威胁。"}],[{"start":250.82999999999996,"text":"

同一枚硬币的两面

"}],[{"start":252.58999999999995,"text":"随着这项技术在推理和解决问题方面的能力不断提升，AI编写代码的能力也大幅增强。这种编码能力还带来了其他技能，包括识别软件漏洞，以及学会如何修补和利用这些漏洞。"}],[{"start":266.74999999999994,"text":"在Meta超级智能实验室担任人工智能研究主管、同时任教于加州大学伯克利分校 (University of California, Berkeley)计算机科学系的宋晓东 (Dawn Song)表示：“编码与网络安全是一枚硬币的两面——随着编码能力提升，网络安全能力也随之增强。”"}],[{"start":282.3999999999999,"text":"“模型能力在过去一年中大幅提升……能够自动生成绕过标准安全防御机制的漏洞利用代码。”"}],[{"start":290.11999999999995,"text":"她以学者身份补充说：“人们没想到它会这么快发展到这一步。”"}],[{"start":295.53999999999996,"text":"共同设计了ExploitGym基准测试系统的宋晓东表示，攻击与防御之间固有的不对称性，使它们能够成为特别出色的攻击者。OpenAI、Anthropic和谷歌 (Google)都在使用这套系统测试其AI系统。"}],[{"start":310.72999999999996,"text":"在代码中发现易受攻击的目标，是一项可分解且可验证、成功标准明确的任务；相比之下，防御工作更为模糊，AI模型更适合前者。"}],[{"start":321.78,"text":"网络防御是一个进展较慢、复杂程度更高的领域，追赶新形势可能耗时极长，令人煎熬。比如，在企业环境中，针对整个IT网络的新补丁可能需要部署到数千台电脑和操作系统上。"}],[{"start":336.53,"text":"在上月遭到黑客攻击后，OpenAI表示，已开始训练其模型编写“超越人类安全水平的代码”。"}],[{"start":344.77,"text":"不过，安全专家预计，短期内，AI系统将扩大网络攻击的规模并加快其速度，可能导致全球IT系统陷入混乱，直至相关补丁得以部署。"}],[{"start":356,"text":"Palisade Research负责人、曾任Anthropic研究员的杰弗里•拉迪什 (Jeffrey Ladish)说：“如果从现在的情况推演下去，实验室内部人士预计，未来几年形势将非常紧张：系统会遭到黑客攻击，许多公司会倒闭，人们可能遭受巨大痛苦。”"}],[{"start":372.01,"text":"他认为，随着公司和政府调整网络以应对针对人工智能系统的黑客攻击，系统最终将变得更加安全。"}],[{"start":380.25,"text":"不过与此同时：“我们的计划是不得不信任AI智能体……并希望这些智能体与我们的意愿保持一致。”"}],[{"start":387.99,"text":"到目前为止，这些针对AI智能体的黑客攻击尚未造成致命影响，但米拉诺夫等研究人员认为，随着AI智能体并行运行、各自专注于攻破不同的潜在目标，风险正在上升。"}],[{"start":402.05,"text":"事实上，上周传出首起已知的AI智能体攻击主权国家的事件。与中国有关联的黑客同时部署多达8个自主式AI智能体，目标直指台湾政府。"}],[{"start":414.77000000000004,"text":"他们能够绘制政府系统的网络结构图，入侵政府用户账户，并窃取了2500多份人员记录，随后将攻击范围扩大至能源公司和台湾核能安全机构。"}],[{"start":null,"text":" "}],[{"start":426.38000000000005,"text":"Dream公司一名高管表示，发现台湾遭入侵的以色列团队认为，随着人工智能工具的出现，“全球每一个政府”如今都必须假定自己正持续遭受网络攻击。"}],[{"start":438.21000000000004,"text":"对人工智能公司内部人士而言，这场危机已酝酿数月。"}],[{"start":442.93000000000006,"text":"拉迪什说，一年前，某家最大型人工智能实验室的现任员工就曾在私下交谈中对这类新兴能力发出警告。他补充道：“他们说，一年后，我们将拥有非常擅长发现（新）漏洞的模型，这些模型会摧毁大量基础设施。他们当时正争分夺秒地为此做准备。”"}],[{"start":464.96000000000004,"text":"今年人工智能能力的急剧提升——智能体如今只需数天便能入侵外部系统——让情况变得更加棘手。一名了解近期黑客攻击情况的人士说，即便是在严密监控的实验条件下测试这些模型，如今也“比一年前复杂得多”。"}],[{"start":483.03000000000003,"text":"拉迪什说，多年来，人们一直担心犯罪分子会利用人工智能发动网络攻击，“但我没想到，真正敲响警钟的会是这些智能体在测试期间自行突破限制、入侵其他公司”。"}],[{"start":496.97,"text":"OpenAI智能体对Hugging Face发起的黑客攻击不同寻常之处在于，它利用软件漏洞突破了受限的测试环境。"}],[{"start":505.56,"text":"相比之下，在近期发生的其他大多数事件中，AI网络安全公司Irregular为Anthropic、Meta和OpenAI进行测试评估时，意外让本应处于离线状态的模型接入了互联网。"}],[{"start":518.52,"text":"一名知情人士表示，这源于Irregular与人工智能实验室之间的人为失误或“沟通不畅”。"}],[{"start":525.87,"text":"Anthropic表示，出于显而易见的原因，这些能力测试是在没有设置通常向公众提供的安全防护措施的情况下有意进行的；如果有这些措施，它们“本来会阻止已识别出的行为”。不过，Anthropic也承认，只有在评估得到适当隔离的情况下，这种做法才是“安全的”。"}],[{"start":546.36,"text":"英国人工智能安全研究所 (UK AI Security Institute)还在测试Anthropic的Mythos 5和OpenAI的GPT5.6 Sol模型时，特意提供了互联网访问权限。"}],[{"start":556.27,"text":"在其中一项测试中，Mythos智能体试图通过创建虚假网络身份，并利用这些身份向软件项目负责人施压，要求其批准相关代码，从而将恶意代码植入热门开发者平台GitHub上的一个开源项目。"}],[{"start":570.9499999999999,"text":"这些前所未有的行动促使整个行业重新思考应如何评估、监测和审计人工智能模型。"}],[{"start":578.7399999999999,"text":"Irregular和英国人工智能安全研究所目前都已暂停测试环境中模型的互联网访问；该研究所已开始对测试方法进行内部审查。Hugging Face遭黑客攻击后，OpenAI也在开展其所称的“与外部顾问共同进行的彻底审查”，并承诺在“未来几周”报告其所汲取的经验。"}],[{"start":599.18,"text":"一位了解这些违规事件情况的人士说：“设定越保守，就越容易（将此类测试隔离开来）。但如果限制过多，大多数问题只能等到部署后在现实世界中才会被发现。”"}],[{"start":613.4399999999999,"text":"他们补充说：“那对你而言是一个更糟糕的世界。”"}],[{"start":617.8599999999999,"text":"

遏制风险

"}],[{"start":619.5799999999999,"text":"上个月，来自科技行业各领域的1300多名专家警告称，人工智能不受约束的发展存在风险。他们呼吁开展国际合作，放缓新模型的开发，为监管机构留出时间制定标准并引入安全检查。"}],[{"start":635.8599999999999,"text":"在一封公开信中，包括Anthropic首席执行官达里奥•阿莫代伊 (Dario Amodei)和谷歌DeepMind首席通用人工智能 (AGI)科学家谢恩•莱格 (Shane Legg)在内的研究人员，将前沿人工智能发展持续加速归咎于企业和地缘政治竞争压力。"}],[{"start":651.4199999999998,"text":"一名在谷歌DeepMind工作的签署者说，他之所以参与，是因为OpenAI模型入侵Hugging Face一事令他“真正感到担忧”；他认为，这家ChatGPT开发商并不比许多其他前沿人工智能实验室更加粗心。"}],[{"start":666.3299999999998,"text":"一些政治人士希望采取更为激进的措施，以防止风险进一步扩大。美国参议员伯尼•桑德斯 (Bernie Sanders)曾呼吁暂停开发更强大的人工智能系统，称此举“符合人类利益”。"}],[{"start":679.3799999999998,"text":"这项措施必须由美国和中国这两个全球人工智能强国，以及所有开展人工智能研发的其他国家共同协商同意；许多人认为，达成这样的协议并不现实。"}],[{"start":690.9099999999997,"text":"不过，在没有这种暂停措施、也没有能够关闭这项科技的通用“总开关”的情况下，一些专家认为，第一步应是追究人工智能服务提供商对其系统行为的责任——正如制造商须对产品安全负责一样。"}],[{"start":null,"text":" "}],[{"start":705.8799999999998,"text":"与宋晓东共同设计了这套被所有主要AI实验室使用的ExploitGym基准测试系统的托尔斯滕•霍尔茨 (Thorsten Holz)说：“我觉得难以置信，OpenAI竟然过了好几天才发现，他们的模型正在攻击另一家网站。”"}],[{"start":720.4699999999998,"text":"“我们需要的是一种机制，使披露（人工智能系统遭黑客攻击的事件）不再仅仅取决于各家实验室自愿保持透明。”"}],[{"start":729.5599999999998,"text":"霍尔茨是德国马克斯•普朗克安全与隐私研究所 (Max Planck Institute for Security and Privacy)的科学主任。他指出，航空业和医疗保健业都有类似做法：由独立机构收集机密安全报告，并对其展开彻底调查。"}],[{"start":743.6599999999999,"text":"他补充说：“我们需要建立相应机制，让大学、公共安全研究机构和独立评估人员能够在受控条件下访问这些模型并进行测试。”"}],[{"start":754.4599999999998,"text":"宋晓东认为，需要训练人工智能系统，使其更好地符合人类预期。她补充说：“我们需要让它们明白，实现目标有正确的方式，也有不妥的方式……比如利用并入侵第三方平台。”"}],[{"start":768.7599999999998,"text":"这在很大程度上取决于政府所扮演的角色——在这个行业中，这是一个极具争议的话题。人工智能已成为当今时代美国与中国展开大国竞争的领域，双方都在争夺人工智能优势。"}],[{"start":783.2099999999998,"text":"许多业内人士将监管等同于保护主义。特朗普政府已释放信号，表示将反对美国对该行业实施严苛监管。相反，美国政府建立了一套自愿制度，允许在新的人工智能模型向公众发布前最多提前30天对其进行测试——英国也采取了类似制度。"}],[{"start":803.8899999999998,"text":"但海迪•克拉夫 (Heidy Khlaaf)表示，近期发生的越狱事件显示了现行监管体系的局限性。她是一名顶尖人工智能安全工程师，曾为英国人工智能安全研究所设计网络安全评估。"}],[{"start":818.4299999999997,"text":"她说：“这清楚表明，AI实验室的自愿审计流程并不足够。美国和英国政府经常宣称，这些流程足以解决监管问题，但事实并非如此……”"}],[{"start":null,"text":" "}],[{"start":830.9399999999997,"text":"“如果网络安全专家因对任何基础设施发动网络安全攻击而承担民事和刑事责任，那么，人们就必须认真讨论：为什么人工智能实验室却能免于承担这类责任及其后果。”"}],[{"start":844.3599999999997,"text":"克拉夫同时还是AI Now Institute的资深安全工程师。她强调，除Hugging Face遭黑客攻击一事外，在所有案例中，“互联网访问实际上都是可用的，这表明并不存在智能体逃逸，而是缺乏实施基本安全措施的能力”。"}],[{"start":861.2599999999996,"text":"在谈到要遏制一个以惊人速度开发革命性科技的行业所面临的挑战时，她补充说：“这些模型并没有‘逃逸’，也没有‘失控’。”"}]],"url":"https://audio.ftcn.net.cn/album/a_1787538944_2348.mp3"}