计算机研究与发展杂志

计算机研究与发展杂志2024年第5期

• 大语言模型时代的社会机遇与挑战

  陈慧敏,刘知远,孙茂松,

  大语言模型ChatGPT因其高度通用化和智能化的表现受到广泛社会关注，其引发的技术革命也正逐渐延伸为一场社会革命.在此背景下，基于ChatGPT背后大语言模型技术的演进路线与特征，探索大语言模型技术对社会的潜在机遇与挑战，成为当下社会的重要议题.首先回顾大语言模型技术发展，将其演进总结为3个发展阶段并论述关键技术特征，然后基于技术与社会互动视角分别探讨大语言模型技术引发的社会机遇：个人通用信息助理、科学研究新范式、产业基础设施、国家治理能力现代化有力工具，以及面临的潜在挑战：信息污染问题、社会权力分配问题、伦理和法制问题、意识形态安全问题.最后，对大语言模型技术发展及其与社会发展关系的未来展开一定思考与讨论.

• 多视角看大模型安全及实践

  王笑尘,张坤,张鹏,

  随着人工智能领域大模型（largemodel）的广泛应用，大模型，尤其是大语言模型（largelanguagemodel，LLM）的安全问题受到了广泛关注.大模型作为一种新兴技术，与之相关的安全态势分析以及安全体系建设均亟待挖掘与探索.从社会关系以及技术应用2个视角，分析了大模型安全的整体趋势.同时，基于大模型自身的特点，梳理了大模型安全能力建设的实践思路，为大模型研发、大模型应用构建提供了安全体系构建的参考方案.介绍的大模型安全能力实践方案包括安全评估基准建设、模型价值观对齐方法、模型线上服务安全系统建设3个部分.

• JADE-DB：基于靶向变异的大语言模型安全通用基准测试集

  张谧,潘旭东,杨珉,

  提出大语言模型安全通用基准测试集—JADE-DB，该数据集基于靶向变异方法自动化构建，能够将经验丰富的大语言模型安全测试员和多学科专家学者手工撰写的测试问题转化为高危通用问题，保持语言自然性的同时不改变其核心语义，且能够攻破十余款国内外知名大语言模型的安全防护机制.根据语言复杂性差异，JADE-DB包含基础、进阶、高危3个安全测试等级，共计上千条覆盖违法犯罪、侵犯权益、歧视偏见和核心价值观4大类违规主题、30多种违规主题的通用测试问题，其中针对国内开源（中文，8款）、国内商用（中文，6款）和国外商用大语言模型（英文，4款）这3组大语言模型分别构建的3款通用高危测试集，可造成每组模型在高危测试集上的平均违规率均超过70%，测试问题均可同时触发多款模型违规生成.这表明，语言的复杂性导致现有大语言模型难以学习到人类无穷多种表达方式，因此无法识别其中不变的违规本质.

• GPT系列大语言模型在自然语言处理任务中的鲁棒性

  陈炫婷,叶俊杰,祖璨,许诺,桂韬,张奇,

  大语言模型（largelanguagemodels，LLMs）所展现的处理各种自然语言处理（naturallanguageprocessing，NLP）任务的能力引发了广泛关注.然而，它们在处理现实中各种复杂场景时的鲁棒性尚未得到充分探索，这对于评估模型的稳定性和可靠性尤为重要.因此，使用涵盖了9个常见NLP任务的15个数据集（约147000个原始测试样本）和来自TextFlint的61种鲁棒的文本变形方法分析GPT-3和GPT-3.5系列模型在原始数据集上的性能，以及其在不同任务和文本变形级别（字符、词和句子）上的鲁棒性.研究结果表明，GPT模型虽然在情感分析、语义匹配等分类任务和阅读理解任务中表现出良好的性能，但其处理信息抽取任务的能力仍较为欠缺，比如其对关系抽取任务中各种关系类型存在严重混淆，甚至出现“幻觉”现象.在鲁棒性评估实验中，GPT模型在任务层面和变形层面的鲁棒性都较弱，其中，在分类任务和句子级别的变形中鲁棒性缺乏更为显著.此外，探究了模型迭代过程中性能和鲁棒性的变化，以及提示中的演示数量和演示内容对模型性能和鲁棒性的影响.结果表明，随着模型的迭代以及上下文学习的加入，模型的性能稳步提升，但是鲁棒性依然亟待提升.这些发现从任务类型、变形种类、提示内容等方面揭示了GPT模型还无法完全胜任常见的NLP任务，并且模型存在的鲁棒性问题难以通过提升模型性能或改变提示内容等方式解决.通过对gpt-3.5-turbo的更新版本、gpt-4模型，以及开源模型LLaMA2-7B和LLaMA2-13B的性能和鲁棒性表现进行对比，进一步验证了实验结论.鉴于此，未来的大模型研究应当提升模型在信息提取以及语义理解等方面的能力，并且应当在模型训练或微调阶段考虑提升其鲁棒性.

• 基于知识编辑的大模型内容生成安全分析

  王梦如,姚云志,习泽坤,张锦添,王鹏,徐子文,张宁豫,

  大语言模型（largelanguagemodels，LLMs）虽然取得了显著的成功，但在实际应用中依然面临着安全问题，容易在恶意诱导下生成有毒、有害内容.目前缓解LLMs不安全行为的方法通常需要高昂的数据收集成本以及大量的计算资源.大模型知识编辑可以在不重新训练模型的基础上，根据特定的输入精确地改变模型对应的输出，在节约大量资源的条件下约束模型的行为；为优化大模型生成安全内容提供了一个新的可行思路.然而，目前学术界缺乏较为系统和全面的基于知识编辑的大模型内容安全生成分析数据集.具体地说，当前缓解LLMs不安全行为的数据集并未包括所有的不安全场景，且其有毒问题几乎无法绕过对齐后的LLMs安全防线，因此无法缓解对齐后LLMs存在的不安全问题.针对上述问题，设计了新的数据集SafeGen，并提出新的评价体系分析知识编辑在优化LLMs生成安全内容的潜力.大量的实验发现知识编辑可以提高LLMs内部的安全信念，在校正LLMs不安全行为领域展现了广阔的应用前景.但经过知识编辑的LLMs生成文本的流畅性却差强人意，这也表明了这项任务的潜在难度.该工作可以为大模型安全社区提供一些见解.

• 面向大语言模型的越狱攻击综述

  李南,丁益东,江浩宇,牛佳飞,易平,

  近年来，大语言模型（largelanguagemodel，LLM）在一系列下游任务中得到了广泛应用，并在多个领域表现出了卓越的文本理解、生成与推理能力.然而，越狱攻击正成为大语言模型的新兴威胁.越狱攻击能够绕过大语言模型的安全机制，削弱价值观对齐的影响，诱使经过对齐的大语言模型产生有害输出.越狱攻击带来的滥用、劫持、泄露等问题已对基于大语言模型的对话系统与应用程序造成了严重威胁.对近年的越狱攻击研究进行了系统梳理，并基于攻击原理将其分为基于人工设计的攻击、基于模型生成的攻击与基于对抗性优化的攻击3类.详细总结了相关研究的基本原理、实施方法与研究结论，全面回顾了大语言模型越狱攻击的发展历程，为后续的研究提供了有效参考.对现有的安全措施进行了简略回顾，从内部防御与外部防御2个角度介绍了能够缓解越狱攻击并提高大语言模型生成内容安全性的相关技术，并对不同方法的利弊进行了罗列与比较.在上述工作的基础上，对大语言模型越狱攻击领域的现存问题与前沿方向进行探讨，并结合多模态、模型编辑、多智能体等方向进行研究展望.

• 基于感知相似性的多目标优化隐蔽图像后门攻击

  朱素霞,王金印,孙广路,

  深度学习模型容易受到后门攻击，在处理干净数据时表现正常，但在处理具有触发模式的有毒样本时会表现出恶意行为.然而，目前大多数后门攻击产生的后门图像容易被人眼察觉，导致后门攻击隐蔽性不足.因此提出了一种基于感知相似性的多目标优化隐蔽图像后门攻击方法.首先，使用感知相似性损失函数减少后门图像与原始图像之间的视觉差异.其次，采用多目标优化方法解决中毒模型上任务间冲突的问题，从而确保模型投毒后性能稳定.最后，采取了两阶段训练方法，使触发模式的生成自动化，提高训练效率.最终实验结果表明，在干净准确率不下降的情况下，人眼很难将生成的后门图像与原始图像区分开.同时，在目标分类模型上成功进行了后门攻击，all-to-one攻击策略下所有实验数据集的攻击成功率均达到了100%.相比其他隐蔽图像后门攻击方法，具有更好的隐蔽性.

• 基于情感和认知协同的道德判断方法

  吴迪,赵妍妍,秦兵,

  随着大语言模型的迅速发展，大语言模型的安全性逐渐引起了研究者和公众的密切关注.为了防止大语言模型在与人类协作中对人类产生伤害，如何确保大语言模型在日常场景中的判断能与人类道德观念相符成为了一个重要问题.其中一个关键的挑战是，如何确保大语言模型在道德判断方面，能够像人类那样，针对不同的情境，灵活地调整或重新考虑预定的规则，从而使其判断与人类的道德观念保持一致.受心理学和认知科学中关于人类道德判断的情感和认知影响因素研究的启发，结合大语言模型在认知推理和情感分析能力上的优势，设计了一种模仿人类道德判断过程中情感判断和认知判断能力交互的方法，从而提升了大语言模型的道德判断表现.实验结果证明了所提方法在该任务上的有效性.总的来说，不仅为大语言模型的道德判断提供了一种创新的方法，也强调了心理学与认知科学理论在此领域的重要性，为未来的进一步研究奠定基础.

• 基于多模态大语言模型的攻击性模因解释生成方法

  林萌,戴程威,郭涛,

  随着5G的发展，攻击性言论逐渐以多模态的方式在社交网络上广泛传播.因此，攻击性模因的检测与解释生成对于提高内容审核效果、维护和谐健康的舆论场环境有着重要的作用.现有的攻击性模因解释生成研究只关注于攻击对象和攻击内容，忽略了模因包含的社会背景知识和隐喻表达手法，无法全面、准确地解释攻击性模因的含义，大大限制了解释的应用范围.为了应对这一挑战，提出一种基于多模态大模型的攻击性模因解释生成方法，通过增强攻击目标、攻击内容和隐喻识别等多种指令数据，利用其微调多模态大模型，以提升大模型对攻击性模因的解释生成能力.实验结果证实，该方法生成的解释具有3点优势：一是相比基线模型在BERTScore评估指标上提高了19%；二是解释中包含了攻击性隐喻表达的相关背景知识；三是在处理未见的模因数据时也表现出良好的泛化性能.

• 一种基于安全多方计算的快速Transformer安全推理方案

  刘伟欣,管晔玮,霍嘉荣,丁元朝,郭华,李博,

  Transformer模型在自然语言处理、计算机视觉等众多领域得到了广泛应用，并且有着突出的表现.在Transformer的推理应用中用户的数据会被泄露给模型提供方.随着数据隐私问题愈发得到公众的关注，上述数据泄露问题引发了学者们对Transformer安全推理的研究，使用安全多方计算（securemulti-partycomputation，MPC）实现Transformer模型的安全推理是当前的一个研究热点.由于Transformer模型中存在大量非线性函数，因此使用MPC技术实现Transformer安全推理会造成巨大的计算和通信开销.针对Transformer安全推理过程中开销较大的Softmax注意力机制，提出了2种MPC友好的注意力机制SoftmaxfreeDivAttention和2QuadfreeDivAttention.通过将Transformer模型中的Softmax注意力机制替换为新的MPC友好的注意力机制，同时结合激活函数GeLU的替换以及知识蒸馏技术，提出了一个MPC友好的Transformer转换框架，通过将Transformer模型转化为MPC友好的Transformer模型，提高Transformer安全推理的效率.在局域网环境下使用安全处理器（secureprocessingunit,SPU）提供的隐私计算协议，基于所提出的MPC友好的Transformer转换框架，在SST-2上使用Bert-Base进行安全推理.测试结果表明，在保持推理准确率与无近似模型一致的情况下，安全推理计算效率提高2.26倍.

• 欺骗防御技术发展及其大语言模型应用探索

  王瑞,阳长江,邓向东,刘园,田志宏,

  欺骗防御作为主动防御中最具发展前景的技术，帮助防御者面对高隐蔽未知威胁化被动为主动，打破攻守间天然存在的不平衡局面.面对潜在的威胁场景，如何利用欺骗防御技术有效地帮助防御者做到预知威胁、感知威胁、诱捕威胁，均为目前需要解决的关键问题.博弈理论与攻击图模型在主动防御策略制定、潜在风险分析等方面提供了有力支撑，总结回顾了近年来二者在欺骗防御中的相关工作.随着大模型技术的快速发展，大模型与网络安全领域的结合也愈加紧密，通过对传统欺骗防御技术的回顾，提出了一种基于大模型的智能化外网蜜点生成技术，实验分析验证了外网蜜点捕获网络威胁的有效性，与传统Web蜜罐相比较，在仿真性、稳定性与灵活性等方面均有所提升.为增强蜜点间协同合作、提升对攻击威胁的探查与感知能力，提出蜜阵的概念.针对如何利用蜜点和蜜阵技术，对构建集威胁预测、威胁感知和威胁诱捕为一体的主动防御机制进行了展望.

• 基于大语言模型隐含语义增强的细粒度虚假新闻检测方法

  柯婧,谢哲勇,徐童,陈宇豪,廖祥文,陈恩红,

  随着生成式人工智能技术的发展，许多领域都得到了帮助与发展，但与此同时虚假信息的构建与传播变得更加简单，虚假信息的检测也随之难度增加.先前的工作主要聚焦于语法问题、内容煽动性等方面的特点，利用深度学习模型对虚假新闻内容进行建模.这样的方式不仅缺乏对内容本身的判断，还无法回溯模型的判别原因.针对上述问题提出一种基于大语言模型隐含语义增强的细粒度虚假新闻检测方法.该方法充分挖掘并利用了现有的生成式大语言模型所具有的总结与推理能力，按照主干事件、细粒度次要事件和隐含信息推理的顺序进行层级式推导，逐步判别新闻的真实性.通过分解任务的方式，该方法最大程度发挥了模型的能力，提高了对虚假新闻的捕获能力，同时该方法也具有一定的可解释性，能够为检测提供判别依据.

• 2021至2023年人工智能领域研究热点分析述评与展望

  魏子舒,韩越,刘思浩,张圣宇,吴飞,

  在当今数字化和智能化的时代背景下，人工智能（artificialintelligence，AI）已成为科技创新的重要引擎，总结探讨AI研究的最新趋势和未来发展方向具有重要的研究和现实意义.为此，对2021—2023年间在中国计算机学会（CCF）推荐的AI领域CCF-A类国际会议和期刊所发表论文的研究成果进行收集，并在此基础上采用文献计量学的方法论来通过关键词对研究热点进行分析，进行基于高频关键词分析研究热点、基于新增关键词分析研究趋势、基于引用量加权的关键词分析高影响力研究，可以梳理AI研究的主流方向、发现AI主要研究方向的相互联系和交叉融合的特点.此外，对当前研究热点如大语言模型（largelanguagemodel，LLM）、AI驱动的科学研究（AIforScience）和视觉生成相关论文的关联热点进行分析，可以挖掘技术路径和方法论的演变，展现技术创新背后的科学理论和应用前景，从而进一步揭示AI研究的最新趋势和发展前景.

• 基于集合效用边际贡献学习的可解释薪酬预测算法

  孙莹,章玉婷,庄福振,祝恒书,何清,熊辉,

  知识技能对薪酬影响作用视为一种多变量影响下高维元素集合的效用建模问题.深度神经网络为解决复杂问题提供了新的机遇，但针对知识导向的细粒度薪酬预测问题，仍缺乏能够对复杂变量影响下的集合效用进行准确、可解释建模的神经网络结构.为此，提出一种基于边际贡献的增量式集合效用网络(marginalcontribution-basedincrementalsetutilitynetwork，MCISUN)来拟合元素加入时的效用增量，从而灵活且可解释地建模集合效用.区别于以往基于池化层的排列不变性建模算法，MCISUN构建顺序敏感的中间结果，利用集合的排列不变性实现数据增强，有效提升模型数据效率及泛化性.最后，大规模真实薪酬数据上的实验结果表明所提模型在基于技能的薪酬预测任务上比最先进的（state-of-the-art,SOTA）模型效果提升超过30%.同时，定性实验证明模型能够为技能设置合理的贡献值且发现技能间的关联.

• 基于多粒度特征交叉剪枝的点击率预测模型

  白婷,刘轩宁,吴斌,张梓滨,徐志远,林康熠,

  在推荐系统中，学习有效的高阶特征交互是提升点击率预测的关键.现有的研究将低阶特征进行组合来学习高阶交叉特征表示，导致模型的时间复杂度随着特征维度的增加呈指数型增长；而基于深度神经网络的高阶特征交叉模型也无法很好地拟合低阶特征交叉，影响预测的准确率.针对这些问题，提出了基于多粒度特征交叉剪枝的点击率预测模型FeatNet.该模型首先在显式的特征粒度上，通过特征剪枝生成有效的特征集合，保持了不同特征组合的多样性，也降低了高阶特征交叉的复杂度；基于剪枝后的特征集合，在特征元素粒度上进一步进行隐式高阶特征交叉，通过滤波器自动过滤无效的特征交叉.在2个真实的数据集上进行了大量的实验，FeatNet都取得了最优的点击率预测效果.

• 融入知识图谱和课程学习的对话情绪识别

  杜金明,孙媛媛,林鸿飞,杨亮,

  对话领域情绪识别是基于对话的情感分类任务，对话数据具有口语化、主题跨度大和标签具有语义相似性的特点.口语化表现为对话中存在隐含常识和语法知识的二义性词语和省略句，导致模型难以准确建模语义信息；主题跨度大表现为不同对话场景下的文本信息丰富度差异大、情绪转移频率差异大，导致模型性能下降.提出CK-ERC模型缓解上述问题，在预训练阶段，抽取结构化数据为模型融入常识和语法知识图谱，帮助模型建模口语化信息；在微调阶段引入监督对比学习任务帮助模型识别相似情绪标签；在训练策略上设计了基于动态阈值的课程学习策略，按照文本丰富度从高到低、情绪转移频率从低到高的策略优化模型.CK-ERC模型在双人对话、多人对话、模拟对话、日常对话等多种对话模式下显著优于其他模型，在MELD和EmoryNLP数据集上获得最佳表现.

• 基于样本内外协同表示和自适应融合的多模态学习方法

  黄学坚,马廷淮,王根生,

  多模态机器学习是一种新的人工智能范式，结合各种模态和智能处理算法以实现更高的性能.多模态表示和多模态融合是多模态机器学习的2个关键任务.目前，多模态表示方法很少考虑样本间的协同，导致特征表示缺乏鲁棒性，大部分多模态特征融合方法对噪声数据敏感.因此，在多模态表示方面，为了充分学习模态内和模态间的交互，提升特征表示的鲁棒性，提出一种基于样本内和样本间多模态协同的表示方法.首先，分别基于预训练的BERT，Wav2vec2.0，FasterR-CNN提取文本特征、语音特征和视觉特征；其次，针对多模态数据的互补性和一致性，构建模态特定和模态共用2类编码器，分别学习模态特有和共享2种特征表示；然后，利用中心矩差异和正交性构建样本内协同损失函数，采用对比学习构建样本间协同损失函数；最后，基于样本内协同误差、样本间协同误差和样本重构误差设计表示学习函数.在多模态融合方面，针对每种模态可能在不同时刻表现出不同作用类型和不同级别的噪声，设计一种基于注意力机制和门控神经网络的自适应的多模态特征融合方法.在多模态意图识别数据集MIntRec和情感数据集CMU-MOSI，CMU-MOSEI上的实验结果表明，该多模态学习方法在多个评价指标上优于基线方法.

• 基于深度语义分析的警务卷宗知识抽取

  马健伟,王铁鑫,江宏,陈涛,张超,李博涵,

  卷宗作为公安机关办案、结案的主要记录，包含大量关键的警务信息.面向警务卷宗的信息抽取是分析案情、挖掘犯罪趋势、提高治安管理水平的重要手段.卷宗类文本多由基层警务人员采用自然语言书写，关键信息抽取难度大.传统的警务卷宗信息抽取，多依赖人工及预定义模板，效率低且通用性差.针对以上问题，参考卷宗的警务特征，提出了一种基于深度语义分析的卷宗知识抽取方法.该方法包含命名实体识别与关系抽取2个核心内容.提出的命名实体识别方法，融合了汉字结构特征和字形特征；提出的关系抽取方法建立在实体识别的基础上，实现基于触发规则和触发词的2种抽取模式.在公开的微博数据集、项目合作方**市**分局的真实卷宗集上，提出的命名实体识别方法对比基线方法，在实体识别精确率及召回率上综合表现优异；自动抽取的关系也得到**分局的认可.相关信息系统已在**分局部署使用.

• 联合语义分割的自监督单目深度估计方法

  宋霄罡,胡浩越,宁靖宇,梁莉,鲁晓锋,黑新宏,

  研究深度估计和语义分割的图像之间的互利关系，提出了一种联合语义分割的自监督单目深度估计方法USegDepth.语义分割和深度估计任务通过共享编码器，实现语义引导.为了进一步提高编码器的跨多任务性能，设计了多任务特征提取模块，堆叠该模块构成共享编码器，解决有限感受野和缺乏跨通道交互导致的模型特征表示能力欠佳问题，进一步提升模型精度.同时，提出跨任务交互模块，通过双向的跨域信息交互细化特征表示，提升深度估计表现，特别是光度一致性监督有限的弱纹理区域和物体边界.通过在KITTI数据集上的训练和全面评估，实验结果显示所提的USegDepth模型方法的均方相对误差相比于SGDepth降低了0.176个百分点，在阈值为1.253的阈值精度达到了98.4%，证明了USegDepth在深度预测上具有较高的准确率.