计算机研究与发展

作者：张谧,潘旭东,杨珉,

关键词：生成式人工智能安全, 大语言模型, 大语言模型安全评测, 人工智能安全, 自然语言处理,

提出大语言模型安全通用基准测试集—JADE-DB，该数据集基于靶向变异方法自动化构建，能够将经验丰富的大语言模型安全测试员和多学科专家学者手工撰写的测试问题转化为高危通用问题，保持语言自然性的同时不改变其核心语义，且能够攻破十余款国内外知名大语言模型的安全防护机制.根据语言复杂性差异，JADE-DB包含基础、进阶、高危3个安全测试等级，共计上千条覆盖违法犯罪、侵犯权益、歧视偏见和核心价值观4大类违规主题、30多种违规主题的通用测试问题，其中针对国内开源（中文，8款）、国内商用（中文，6款）和国外商用大语言模型（英文，4款）这3组大语言模型分别构建的3款通用高危测试集，可造成每组模型在高危测试集上的平均违规率均超过70%，测试问题均可同时触发多款模型违规生成.这表明，语言的复杂性导致现有大语言模型难以学习到人类无穷多种表达方式，因此无法识别其中不变的违规本质.

来源：2024年第5期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2024年第5期