OpenAI新任董事会高官：失去对AI系统控制的风险已“十分严峻”

{"text":[[{"start":11.45,"text":"OpenAI已任命一名美国政府高级官员担任其基金会董事会成员。此前，这名官员曾警告称，如果不采取更有力的安全保障措施，先进版本的人工智能可能会杀死“大多数人”。"}],[{"start":26.439999999999998,"text":"美国商务部AI标准与创新中心(Center for AI Standards and Innovation)负责测试模型安全的保罗•克里斯蒂亚诺(Paul Christiano)周三在社交平台X上表示，失去对AI系统控制的风险“目前已十分严峻”，需要开展更多工作，使其与人类利益保持一致。"}],[{"start":41.809999999999995,"text":"他在宣布出任OpenAI新职务时说：“如果我们在没有更强有力的对齐机制的情况下构建超级智能，我预计我们将永远失去对它的控制。如果这种情况发生，大多数人可能会死亡。我认为，我们需要在国内和国际层面开展协调，以确保全球一致性，并将风险降低到可接受的水平。”"}],[{"start":64.39999999999999,"text":"克里斯蒂亚诺此前负责Caisi的人工智能安全工作。他设计并开展了针对领先公司前沿人工智能模型的政府测试，并评估这些模型是否构成国家安全风险。"}],[{"start":77.57,"text":"他的任命正值外界批评OpenAI处理其AI智能体对人工智能模型和数据存储库初创企业Hugging Face发起的网络攻击之际。与此同时，从硅谷到华盛顿的多位有影响力人士——包括白宫顾问戴维•萨克斯(David Sacks)和Meta首席执行官马克•扎克伯格(Mark Zuckerberg)——警告称，前沿实验室可能导致监管俘获。"}],[{"start":100.30999999999999,"text":"这家总部位于旧金山的公司周三表示，克里斯蒂亚诺仍担任人工智能标准与创新中心的高级技术顾问，但将回避处理所有涉及OpenAI的事务，包括对其模型进行评估。"}],[{"start":113.63999999999999,"text":"该公司补充说：“保罗为攸关OpenAI使命的治理决策带来了独特且扎实的技术视角。”"}],[{"start":120.99999999999999,"text":"克里斯蒂亚诺将加入该公司非营利基金会的董事会。该基金会控制着公司的营利性业务，克里斯蒂亚诺还将以观察员身份参与该业务的治理。"}],[{"start":132.83999999999997,"text":"克里斯蒂亚诺在公告中写道：“我现在认为，人工智能能力的快速提升在极短期内导致灾难性且不可逆失控的风险是实实在在存在的。”"}],[{"start":143.81999999999996,"text":"他补充说：“我认为，包括OpenAI在内的整个人工智能行业目前都没有走在将这一风险降至可接受水平的轨道上。我之所以加入，是因为我相信，如果OpenAI能够迎难而上，我们就可以大幅降低风险。”"}],[{"start":160.25999999999996,"text":"克里斯蒂亚诺被AI界许多人视为安全研究领域的先驱，并于2021年创立了对齐研究中心(Alignment Research Center, ARC)。对齐研究中心分拆出的非营利机构模型评估与威胁研究(Model Evaluation & Threat Research)上月发布了首份针对OpenAI对Hugging Face发动攻击的独立审计报告。"}],[{"start":177.62999999999997,"text":"2010年代中期，他还曾与Anthropic首席执行官达里奥•阿莫代伊(Dario Amodei)合租。当时，两人都在OpenAI工作，并参与有效利他主义运动。此后，他成为Claude开发商长期利益信托(Long-Term Benefit Trust)的受托人。2024年，克里斯蒂亚诺加入美国人工智能标准与创新中心，并离开了这家OpenAI主要竞争对手的治理机构。"}],[{"start":null,"text":"

"}],[{"start":201.86999999999998,"text":"克里斯蒂亚诺的任命表明，继引发政府干预呼声的多起备受关注的网络安全事件后，人工智能实验室正越来越多地从学术界和政策团体招募人才，以增强其在安全与监管方面的专业能力。"}],[{"start":216.37999999999997,"text":"这轮大规模招聘正值各人工智能实验室迅速增加政治支出、并不断扩大其对公民社会影响力之际。"}],[{"start":224.53999999999996,"text":"专家对人工智能公司的政策专业人士招聘可能如何影响未来监管表达了担忧。"}],[{"start":231.35999999999996,"text":"Dean Ball曾任白宫顾问，去年曾协助起草唐纳德•特朗普(Donald Trump)总统的《人工智能行动计划》(AI Action Plan)，并于今年7月以政策职务加入OpenAI。这家ChatGPT开发商还聘用了克里斯•莱恩(Chris Lehane)——比尔•克林顿(Bill Clinton)时任总统时期的前助理——以及英国前财政大臣乔治•奥斯本(George Osborne)。"}],[{"start":251.17999999999995,"text":"Anthropic随后于2月任命克里斯•里德尔(Chris Liddell)加入其董事会。里德尔曾在特朗普第一届政府任白宫办公厅副主任；英国前首相里希•苏纳克(Rishi Sunak)则担任顾问。"}],[{"start":263.78999999999996,"text":"周一，英国风险投资家Matt Clifford辞去英国政府高级研究与发明局(Advanced Research and Invention Agency, ARIA)主席一职，此前他已入职Anthropic。此前，英国议员强烈批评他同时担任两职构成利益冲突。"}],[{"start":277.71,"text":"克里斯蒂亚诺一直是评估该行业安全保障措施是否充分的受尊重独立声音之一，其中包括对OpenAI和Anthropic的审视。他此前曾主张，对人工智能实验室施加外部压力，促使其落实负责任的政策至关重要。"}],[{"start":295.09,"text":"他将加入OpenAI基金会董事会。该基金会是OpenAI的非营利部门，负责开展慈善活动，以实现“确保人工智能造福人类”的公司使命。基金会通过持有大量股权，以及有权任免该营利性业务董事，控制着这家营利性公益公司。"}],[{"start":314.79999999999995,"text":"克里斯蒂亚诺还将加入OpenAI安全与安保委员会，该委员会负责管理这家人工智能实验室的相关做法，并成为OpenAI公益公司董事会的“无投票权观察员”。"}],[{"start":326.91999999999996,"text":"2017年至2021年，他在OpenAI安全团队工作，并在人类反馈强化学习方面做出了奠基性贡献。这项技术是当前这一代人工智能系统的核心。"}],[{"start":339.36999999999995,"text":"乔治•哈蒙德(George Hammond)旧金山、马杜米塔•穆尔贾(Madhumita Murgia)伦敦补充报道"}]],"url":"https://audio.ftcn.net.cn/album/a_1789014471_1170.mp3"}