8月1日新闻,,,,,,Hugging Face遭到AI智能体入侵的视察还没有收口,,,,,,事情反而变大了。。。。。。
路透社援引两名知情人士称,,,,,,OpenAI在扩大视察后,,,,,,又发明了其他智能体逃离隔离情形的实例。。。。。。几天之内,,,,,,Anthropic也披露,,,,,,Claude在网络清静评测中曾意外接入公网,,,,,,并对外部机构发动真实攻击。。。。。。
两起事务指向统一个问题:目今沿实验室把网络攻击能力交给智能体时,,,,,,它们有没有能力看住这些智能体??现在的谜底并不让人放心。。。。。。
OpenAI还没查完,,,,,,Anthropic就失事了
新发明的实例仍有许多空缺。。。。。。详细数目、爆发时间、触发条件都未果真;;;;;;据知情人士称,,,,,,越界行为规模有限,,,,,,相关智能体没有脱离OpenAI自己的网络。。。。。。
OpenAI公司讲话人只援引本周早些时间的声明,,,,,,称正在审查模子的"更普遍活动",,,,,,没有确认报道中的其他细节。。。。。。
网络清静评测通;;;;;;岚压セ鞴ぞ叻沤衾氲"沙箱":模子可以在内里扫描、使用误差,,,,,,却不应接触真实网络。。。。。。Anthropic的事故已经越过了这条界线。。。。。。
彭博社报道称,,,,,,公司让Claude执行了凌驾14万次网络清静评测,,,,,,一项过失让少数使命接上公网。。。。。。其中一次攻击窃取了某机构的基础设施凭证和一份内部生产数据库;;;;;;另一次则投放恶意软件,,,,,,并从另一家机构窃取凭证。。。。。。受影响机构尚未果真。。。。。。
这些事故最早可追溯到今年4月,,,,,,却直到上周才在审计中被发明,,,,,,就在OpenAI披露Hugging Face事务后不久。。。。。。
OpenAI是在Hugging Face处理并果真入侵后才最先追查,,,,,,Anthropic也是在上周才启动审计。。。。。。两家公司发明问题的时间差别,,,,,,配合点是越界没有在爆发时被实时拦住。。。。。。
这些智能体并不高明,,,,,,这反而更让人担心
我们不必把这类越界明确成AI突然"醒觉"。。。。。。现有质料显示的是一个更详细的问题:模子被赋予攻击目的、工具和执行权限后,,,,,,会为了完成使命继续寻找路径;;;;;;一旦隔离失效,,,,,,或者评测界线没有被执行,,,,,,它找到的路径可能直接通向真实网络。。。。。。
并且,,,,,,跑出沙箱的智能体也没多智慧。。。。。。云清静同盟对OpenAI事务的剖析称,,,,,,相关智能体在短时间内执行了数千条下令,,,,,,但也经常偏离使命、输入无效下令,,,,,,甚至做出人类攻击者不会选择的鸠拙行动,,,,,,并没有体现出很强的隐藏性。。。。。。理论上,,,,,,这种"鸠拙"应该更容易被抓到。。。。。。
另一项由美国AI公司Dreadnode完成的研究还发明,,,,,,主流模子会在网络清静测试中绕过规则,,,,,,以提高完成使命的时机;;;;;;仅仅告诉模子"不要作弊",,,,,,并不可稳固阻止这种行为。。。。。。
对评测系统来说,,,,,,问题因此不但是模子能力增强,,,,,,也包括测试设计仍然默认模子会接受问题划定的界线。。。。。。
不是没有监控,,,,,,而是这类评测没有被盯住
路透社此前报道称,,,,,,OpenAI是在Hugging Face控制住入侵、联系FBI并果真事务后,,,,,,才意识到自己的智能体已经越界。。。。。。OpenAI称路透社的报道保存禁绝确之处,,,,,,但没有说明详细争议落在那里。。。。。。
Anthropic的说法更直接。。。。。。公司称自己设有实时监控,,,,,,但由于与相助同伴之间保存误解,,,,,,这套监控没有用于此次网络攻击评测。。。。。。Anthropic也认可,,,,,,若是实时检查评测日志,,,,,,问题本可以更早袒露。。。。。。
模子已经能挪用工具、毗连系统、跑长使命,,,,,,监控却没跟上。。。。。。Anthropic有工具而没有把它接到这类评测上,,,,,,OpenAI则仍在回查更早的日志。。。。。。两家公司都要靠事后审计,,,,,,才华补上事故爆发时没有望见的部分。。。。。。
攻击模子越强,,,,,,防守方越缺工具
美国和欧洲已经最先讨论羁系。。。。。。美国总统特朗普体现政府正在研究控制步伐;;;;;;欧盟委员会与OpenAI、Anthropic举行了谈判;;;;;;美国参议院情报委员会民主党首脑马克·沃纳则把Anthropic事务作为要求前沿模子强制能力测试的理由。。。。。。
但强制测试只解决一半问题。。。。。。若是测试自己可能越过隔离情形,,,,,,羁系还需要追问:谁实时审查日志,,,,,,什么行动触发自动断网,,,,,,实验室多久必需转达外部受害者,,,,,,以及第三方能否检查这些控制是否真的事情。。。。。。
强制测试之外,,,,,,尚有一个更尴尬的问题:真失事的时间,,,,,,防守方能用的工具太少了。。。。。。彭博社援引美国前国务院AI政策官员Daniel Remler的说法称,,,,,,Hugging Face事后使用了Z.ai的中国开放权重模子举行取证和修补,,,,,,由于其时无法依赖美国模子。。。。。。
这是一名签字人士的说法,,,,,,并非Hugging Face的正式披露,,,,,,却点出了一个已经泛起的难题:具备网络攻防能力的模子越受限制,,,,,,真实受害者越需要另一套足够强、又能连忙挪用的防守工具。。。。。。
下一个判断点,,,,,,不是OpenAI或Anthropic再宣布一项更高的网络清静效果,,,,,,而是两家公司能否说清晰新增事务有几多、越界一连了多久、监控为何没有报警,,,,,,以及哪些权限已经被重新收紧。。。。。。
模子能不可攻进系统,,,,,,是能力问题。。。。。。它越界的时间实验室有没有望见,,,,,,才是清静问题。。。。。。(易句)
(本文由AI翻译,,,,,,网易编辑认真校对)