品玩2月24日讯,据TechCrcunch 报道,Meta AI安全研究员Summer Yue在X平台分享了一次OpenClaw AI代理失控经历:她授权该代理整理邮箱,但代理无视其多次“停止”指令,开始高速批量删除邮件。Yue不得不紧急奔至Mac mini设备前手动终止进程。
OpenClaw是一款开源个人AI代理,设计用于在用户本地设备运行。此次事件暴露了当前AI代理在上下文过载(如“compaction”机制触发)时可能忽略关键指令的风险。Yue坦言此为“新手失误”,因此前在测试邮箱中表现良好而放松警惕。
社区普遍认为,仅靠自然语言提示无法构成可靠安全边界。尽管事件细节未获独立验证,但其警示意义显著:面向知识工作者的AI代理尚处早期阶段,大规模应用仍需谨慎。





0 条评论
请「登录」后评论