我组联合电子科技大学、剑桥大学等团队完成的论文《Large Language Models’ Complicit Responses to Illicit Instructions across Socio-Legal Contexts》于11月20日发表在《自然》(Nature)子刊《自然·通讯》(Nature Communications)。本工作为清华大学新闻与传播学院、清华大学计算机系、清华大学法学院、电子科技大学、剑桥大学联合研究成果。
随着大语言模型的普及,数十亿用户依赖它们完成各项任务,带来了巨大的社会效益。然而,在提升效益的背后,一个严峻的风险正悄然浮现:当用户提出非法请求时,例如协助犯罪、策划不法行为等,这些看似中立的模型是否会成为“共谋者”?与此同时,现实世界中的非法活动远比想象中复杂,不仅非法场景种类繁多,背后的动机也千差万别,例如用户可能寻求针对作案工具的建议,也可能为违法行为寻找欺骗性借口以脱责等。
以往的大模型安全研究多聚焦于少数特定场景,缺乏对模型在多样化、接近真实情境的非法请求下可能出现的共谋协助风险的系统性研究。如何建立一个有效框架,对这种既广泛又复杂的共谋协助风险进行研究?进一步,面向多样社会、法律场景下的非法请求,模型如何表现?现有安全评测数据和对齐方案能否有效揭示或解决这种“共谋协助”风险?这些关键问题,仍然缺乏系统性的答案。

为此,本研究将这种大语言模型通过对非法请求提供指导或支持,协助用户非法行为的现象定义为“共谋协助”(complicit facilitation),并基于中美两国真实的法律文书判例和两国法律框架下的刑事阶层理论,自动化构建了一个情境丰富的非法指令测评基准集(EVIL),系统性地评估了当前主流大语言模型在面对多样现实非法请求时的行为表现。
评估结果显示,在超过半数刑事案由下,所评测的主流模型平均安全率低于65%,在毒品、走私、扰乱公共秩序与非法赌博等情境下平均安全率低于60%。
模型在不同侵害类型的非法请求上也体现出结构性差异,相比于侵害人身或财产的犯罪(如抢劫等),模型对于侵害社会公共利益的犯罪(如非法赌博、扰乱公共秩序等)表现出更低的警惕性和更高的协助倾向。此外,模型对不同类型的非法意图也存在安全差异:面对主观因素意图以及欺骗性辩解意图的请求时,更容易出现协助违法行为的回应。研究团队同时发现,模型面向不同人口统计学身份群体的共谋协助行为存在系统性差异。
通过对现有的开源安全测试数据及训练方案进行考察,实验结果进一步揭示出已有的开源安全测试数据对共谋协助风险类别覆盖不足,且基于监督微调和偏好优化微调的主流安全对齐方法在抑制共谋协助方面整体效果有限,甚至在部分场景下会提高模型提供非法协助的概率。
这些发现揭示了现有模型存在普遍且被低估的安全漏洞,为人工智能安全审计与治理提供了实证支持,也凸显了未来安全评测与对齐研究重视法律和社会情境多样性的必要性。
➤ 论文链接:https://www.nature.com/articles/s41467-026-79176-3
➤ 数据链接:https://huggingface.co/datasets/TsinghuaNLP/EVIL




0 条评论
请「登录」后评论