计算机研究与发展杂志2025年第7期
-
- 基于滑动窗口策略的大语言模型检索增强生成系统
- 毕枫林,张豈明,张嘉睿,王衍童,陈阳,张琰彬,王伟,周烜,
- 提出了一种基于滑动窗口策略的检索增强生成系统,旨在提升大语言模型(largelanguagemodels,LLMs)输出的事实准确性和可靠性.该系统通过在索引阶段应用滑动窗口机制,有效解决了传统固定大小上下文窗口和静态检索方法的局限性.研究提出3种具体的滑动窗口策略以有效处理和分割文本,包括:固定窗口大小和固定步长分割(fixedwindowsizeandfixedsteplengthsplit,FFS)、动态窗口大小和固定步长分割(dynamicwindowsizeandfixedsteplengthsplit,DFS)以及动态窗口大小和动态步长分割(dynamicwindowsizeanddynamicsteplengthsplit,DDS).此外,研究还探讨了使用多查询技术进一步提高检索的准确性和相关性.实验评估使用LLaMA-3模型在多个数据集上进行,结果表明系统在窗口大小为1024和步长为3的配置下达到最佳性能,该配置显著提高了F1得分,体现了在文档段长度和滑动窗口步长之间保持平衡的重要性.滑动窗口策略有效保留了上下文信息,减少了信息丢失,并展示了在不同数据集和查询类型中的适应性.
-
- 基于大语言模型的可信多模态推荐算法
- 闫萌,徐偲,黄海槟,赵伟,管子玉,
- 序列推荐的核心在于从用户的交互序列中挖掘其偏好和行为模式.现有研究已经认识到单一模态交互数据存在不足,因此借助大量多模态数据(如商品评价、主页图片等)来丰富交互信息,提升推荐系统的性能.然而,这些多模态数据中常常夹杂着不可避免的噪声,可能会限制用户个性化偏好的探索.尽管可以通过抑制模态间不一致的信息来减少噪声干扰,但要完全消除用户生成的多模态内容中的噪声几乎是不可能的.针对上述挑战,提出了一种基于大语言模型的可信多模态推荐算法,旨在于含噪多模态数据场景下提供可信的推荐结果.具体而言,该算法依托于大语言模型卓越的自然语言理解能力,高效过滤多模态数据中的噪声,实现对用户偏好更为精确和细致的建模.此外,还设计了一种可信决策机制,用于动态评估推荐结果的不确定性,以确保在高风险场景下推荐结果的可用性.在4个广泛使用的公开数据集上的实验结果显示,相较于其他基线算法,提出的算法有更好的性能表现.代码可以在https://github.com/hhbray/Large-TR获取.
-
- ECG-QGAN:基于量子生成对抗网络的心电图生成式信息系统
- 瞿治国,陈韦龙,孙乐,刘文杰,张彦春,
- 据统计,我国心血管疾病患病人数约达3.3亿,每年因为心血管疾病死亡的人数占总死亡人数的40%.在这种背景下,心脏病辅助诊断系统的发展显得尤为重要,但其开发受限于缺乏不含患者隐私信息和由医疗专家标注的大量心电图(electrocardiogram,ECG)临床数据.作为一门新兴学科,量子计算可通过利用量子叠加和纠缠特性,能够探索更大、更复杂的状态空间,进而有利于生成同临床数据一样的高质量和多样化的ECG数据.为此,提出了一种基于量子生成对抗网络(QGAN)的ECG生成式信息系统,简称ECG-QGAN.其中QGAN由量子双向门控循环单元(quantumbidirectionalgatedrecurrentunit,QBiGRU)和量子卷积神经网络(quantumconvolutionalneuralnetwork,QCNN)组成.该系统利用量子的纠缠特性提高生成能力,以生成与现有临床数据一致的ECG数据,从而可以保留心脏病患者的心跳特征.该系统的生成器和判别器分别采用QBiGRU和QCNN,并应用了基于矩阵乘积状态(matrixproductstate,MPS)和树形张量网络(treetensornetwork,TTN)所设计的变分量子电路(variationalquantumcircuit,VQC),可以使该系统在较少的量子资源下更高效地捕捉ECG数据信息,生成合格的ECG数据.此外,该系统应用了量子Dropout技术,以避免训练过程中出现过拟合问题.最后,实验结果表明,与其他生成ECG数据的模型相比,ECG-QGAN生成的ECG数据具有更高的平均分类准确率.同时它在量子位数量和电路深度方面对当前噪声较大的中尺度量子(noiseintermediatescalequantum,NISQ)计算机是友好的.
-
- 基于人机协作的多智能体科学假设生成
- 陈子阳,赵翔,赵润豪,倪子淇,叶益聪,
- 随着科学文献数量的快速增长和研究领域的不断深化,科研人员在提出创新性科学假设时面临巨大的信息处理挑战.尽管大语言模型(largelanguagemodels,LLMs)在数据处理和知识整合方面展现出巨大潜力,但它们在生成具有创新性和深度的科学假设方面仍存在许多不足.目前的研究主要集中在如何利用LLMs加速已有理论和技术的推进和完善,而忽视了科学研究从无到有的初始阶段,这一阶段涉及新假设的提出和新理论的构建,是科学进步的关键.基于结构智力理论中的发散思维和收敛思维,提出了一种创新的人机协作多智能体框架(human-in-the-loopmulti-agentframework,HILMA),以实现可靠的初始科学假设生成.该框架结合实时系统化的知识检索增强机制,通过动态整合最新科研进展,构建引文网络子图,为LLMs提供前沿和完备的科研知识综述.同时,通过多智能体辩论方法模拟科学同行评审过程,并且结合人类专家的直觉和专业知识,进一步优化和精炼生成的假设,增强科学假设的多样性和论证深度.一系列人机评估表明,与现有基线相比,HILMA在生成高质量科学假设方面展现出显著优势,有望成为推动科技创新的关键工具.
-
- 基于大语言模型的重大慢病健康管理信息系统构建
- 吴天星,曹旭东,毕胜,陈亚,蔡平强,沙航宇,漆桂林,王昊奋,
- 随着全球人口老龄化和生活方式的变化,慢性病(慢病)的管理和治疗变得日益重要.慢病包括心血管疾病、糖尿病、慢性呼吸系统疾病等,它们通常需要长期甚至终身的健康管理,其核心在于制定和执行长期的健康计划,包括合理饮食、适量运动、定期检查和用药管理等.近年来,大语言模型在医疗领域取得了一定的进展,但并未关注慢病健康管理领域,因此在个性化健康管理建议方面缺乏对中国特定饮食习惯和文化背景的深入理解,在处理数字信息方面的能力有限.为解决这些问题,构建了基于大语言模型的重大慢病健康管理信息系统.其中,通过整合慢病基础知识、健康管理指导原则以及实际的健康管理计划作为领域数据,训练蜻蜓大模型作为系统的核心,用于健康相关问题的有效回答.此外,系统引入了工具增强策略,通过调用工具增强蜻蜓大模型对健康数据中数字信息的处理能力.同时,系统采用了基于不确定性知识图谱的检索增强生成技术,进一步提升蜻蜓大模型在答复慢病管理相关问题时的精确性和可信度.对基于大语言模型的重大慢病健康管理信息系统的测试实验显示,蜻蜓大模型在健康管理对话中的表现明显优于其他大语言模型,并验证了工具增强与检索增强方法的有效性.
-
- 面向大语言模型安全部署的可信评估体系
- 叶文涛,胡家齐,王皓波,陈刚,赵俊博,
- 近年来,大语言模型(largelanguagemodel,LLM)(以下简称“大模型”)的流行在众多领域带来了重大影响,特别是它们的开放式生态系统,如应用程序接口、开源模型和插件.然而,尽管大模型已经广泛部署,对其潜在风险进行深入讨论与分析的研究仍然普遍缺乏.在这种情况下,针对大模型系统的鲁棒性、一致性和可信性进行一项初步但具有开创性的研究.由于大模型时代的许多文献都尚未被实证,提出了一个自动化的工作流,用以应对不断增长的查询和响应.总体而言,对包括ChatGPT,LLaMA,OPT在内的主流大模型进行了100多万次查询.工作流程的核心是一个数据原语,然后是一个自动解释器,它在不同的对抗性度量系统下评估这些大模型.最终,从这一主流社区中得出了几个十分不同寻常的结论(一定程度上不太乐观).简而言之,这些结论包括:1)用户生成的查询输入中的微小但不可避免的错误可能偶然地导致大模型的意外响应;2)大模型在处理语义相似的查询时具有较差的一致性.此外,还附带发现ChatGPT即使在输入受到极端污染的情况下仍然能够产生正确的答案.这一现象虽然表明了大模型的强大记忆力,但也引发了人们对在学术发展中使用大模型参与评估的严重关切.为了解决这一问题,提出了一个与数据集相关联的新指标,该指标大致决定了基于这些数据对大模型进行评估的可行性.最后进行了广泛的实证研究,以支持上述主张.
-
- 域名系统递归解析服务安全技术综述:风险、防护和测量
- 李沁心,武文浩,王兆华,李振宇,
- 在域名系统(domainnamesystem,DNS)中,DNS递归解析服务消除了用户与根域名服务器等上游DNS服务器之间的复杂交互,使得互联网用户可以方便地通过本地DNS服务器完成全球范围的域名解析.作为直接与用户通信的第一门户,DNS递归解析服务过程已成为互联网基础设施攻击的一个重要目标.由于DNS递归解析服务规模庞大且部署方式繁多,现有的DNS安全拓展机制在DNS递归解析服务器中存在部署复杂、兼容性差等问题,但是目前还缺少对安全防护机制的部署测量方法的研究与总结工作,缺乏针对DNS递归解析服务安全风险的系统全面的评估工作.针对上述现状,将DNS递归解析服务存在的安全风险分为五大类,对DNS递归解析服务安全威胁、DNS安全拓展机制和DNS递归解析服务安全风险评估与测量等方面的现状与最新研究成果进行了归纳与总结,并对DNS递归解析服务安全监测与治理的潜在研究方向进行了展望.
-
- 面向信号调制识别的对抗攻击与防御综述
- 徐冬月,田蕴哲,陈康,李轶珂,吴亚伦,童恩栋,牛温佳,刘吉强,史忠植,
- 随着深度学习的飞速发展,基于深度神经网络的信号调制识别任务成为无线通信领域热门研究.研究发现,深度神经网络模型极易受到对抗性扰动的影响,使调制识别任务失效.目前面向无线通信安全性的研究工作仍存在些许瓶颈问题与理论空白,源于无线通信固有的实验环境、数据结构与信号特征等多维度特性,不能将其他领域较为成熟的攻防方法简单迁移到信号对抗攻击中.面向信号调制识别领域的对抗攻防,总结该领域对抗攻击与防御技术研究工作,提出信号调制识别领域的通用对抗攻击分类框架与威胁模型,将该领域研究工作分类为物理自我防御式攻击和数字直接访问式攻击,并以2维图形式进行系统化整合与可视化展示,详细阐述对抗攻击方法、对抗样本生成技术与理论公式、对抗检测与防御技术最新的研究工作,系统提炼无线通信对抗攻击研究的3个维度特性并归纳相应的处理方法,最后总结面向信号调制识别的攻防安全领域在未来的研究发展方向.
-
- 基于容错学习问题的全同态加密算法和硬件优化综述
- 河人华,李冰,杜一博,王颖,李晓维,韩银和,
- 随着云计算、量子计算等技术的飞速发展,数据隐私面临严峻威胁.越来越多的用户将数据和应用程序存储在云端,但传统的安全技术难以保障云计算环境中的数据安全.在此背景下,引入全同态加密算法成为有效的解决方案之一.同时,基于格理论的全同态加密技术具有天然的抗量子攻击能力,能够在加密状态下对数据进行任意计算,有效地为量子计算时代数据安全提供保障.尽管全同态加密有广阔的应用前景,但它存在计算和存储巨额开销的问题.为了推动全同态加密算法的应用和落地,算法和硬件领域的研究人员提出了多种解决方案并取得显著进展.归纳了主流的全同态加密技术以及分析整理算法计算库和全同态硬件加速的近5年相关工作的进展,最后展望了全同态加密技术.
-
- 算网融合下的多层次计算资源系统
- 徐家豪,余辰,李健,金海,
- 算力网络旨在将泛在算力与网络进行深度融合,以期通过网络将计算、存储等多维基础资源在云、边、端之间进行有效调配,让用户可以像使用水电资源一样透明地使用算力资源,按需索取,随取随用.然而对于云边端异构的计算资源、动态的网络负载和多样化的用户需求,如何有效地进行资源的调度和路由成为了算力网络面临的核心挑战之一.为解决上述挑战,设计了一套多层次的计算资源系统(computingresourcesystem,CRS).不同于现有的资源调配,CRS是一套建立在应用层之上并且兼顾考虑算网感知和算力路由的完整的算力网络技术方案.CRS由算网资源感知策略和算力资源路由协议组成.算网资源感知策略定义了辖区系统内部的域内感知规则和不同辖区之间的域间感知规则,并基于此提出了一种基于贪心的资源路由算法(greedy-basedresourceroutingalgorithm,GBRA),为每个任务动态生成感知搜索树.算力资源路由协议通过CRS请求报文、授权通告报文、通告确认报文和CRS响应报文来完成资源的申请与调配工作.通过大量的数据仿真实验证明,与其他算法相比,CRS可以在任务容忍的最大响应时延内,完成对更多任务的资源分配工作.此外,对于辖区系统内部计算节点之间可以实现较优的负载均衡.
-
- 多尺度代价聚合的多聚焦图像3维形貌重建框架
- 闫涛,尚起慧,吴鹏,张江峰,钱宇华,陈斌,
- 多聚焦图像3维形貌重建旨在利用不同聚焦水平的图像序列恢复场景的3维结构信息.现有的3维形貌重建方法大多从单一尺度对图像序列的聚焦水平进行评价,通过引入正则化或后处理方法引导重建过程,由于深度信息选择空间的局限性往往导致重建结果无法有效收敛.针对上述问题,提出一种多尺度代价聚合的多聚焦图像3维形貌重建框架(multi-scalecostaggregationframeworkfor3Dshapereconstructionfrommulti-focusimages,MSCAS),该框架首先引入非降采样的多尺度变换增加输入图像序列的深度信息选择空间,然后联合尺度内序列关联与尺度间信息约束进行代价聚合,通过这种扩张-聚合模式实现了场景深度表征信息的倍增与跨尺度和跨序列表征信息的有效融合.作为一种通用框架,MSCAS框架可实现已有模型设计类方法和深度学习类方法的嵌入进而实现性能提升.实验结果表明:MSCAS框架在嵌入模型设计类SFF方法后4组数据集中的均方根误差(rootmeansquarederror,RMSE)平均下降14.91个百分点,结构相似度(structuralsimilarityindexmeasure,SSIM)平均提升56.69个百分点,嵌入深度学习类SFF方法后4组数据集中的RMSE平均下降1.55个百分点,SSIM平均提升1.61个百分点.验证了MSCAS框架的有效性和通用性.
-
- 基于窗口自注意力特征融合的感知图像认证哈希
- 周元鼎,高国鹏,房耀东,秦川,
- 随着多媒体和互联网技术的快速发展,数字图像内容的安全性问题日益突出.为此,提出了一种基于窗口自注意力特征融合的深度感知图像认证哈希方案,该方案能有效检测原始图像的感知内容是否发生变化,并可应用于内容认证、复制检测、篡改识别等场合.该方案以卷积神经网络为基础,利用窗口自注意力构建了一个融合图像全局和局部特征的哈希模型.模型首先对主干网络获得的浅层特征进行分块并提取相应的窗口特征,然后计算每个局部特征与全局特征之间的相关性来筛选出最终的局部特征,再将这部分特征和全局特征输入到哈希生成模块中进行融合与压缩,得到最终的图像哈希码.在训练过程中,利用哈希损失和分类损失构造的联合损失函数对模型进行约束,提高感知认证哈希方案的鲁棒性和唯一性.实验结果表明,与现有典型的感知认证哈希方案相比,所提方案可获得更优的图像内容认证性能.
-
- 面向天河超算的回旋动理学模拟代码异构开发及优化
- 李青峰,李跃岩,栾钟治,张文禄,龚春叶,郑刚,康波,孟祥飞,
- 磁约束核聚变粒子网格法(particleincell,PIC)回旋动理学模拟代码VirtEx具备研究聚变产物Alpha粒子约束及输运的能力,是聚变能实现的关键.Alpha粒子回旋动理学模拟相比电子模拟,访存量更大、更复杂,同时包含非规则访问和原子写操作,对访存性能依赖较高,在面向高计算密度特征的天河新一代超算平台异构处理器MT-3000进行移植及性能优化时具有巨大挑战.考虑到异构加速器架构和PIC算法特性,设计并实施了一些优化方法,如中间变量的即时计算、定制化的软件缓存设计、缓存空间局部性优化、热点函数合并,显著地提高了热点函数的计算访存比.通过中等规模的回旋动理学离子基准算例测试显示了在热点函数Push,Locate,Charge上分别有10.9,13.3,16.2倍的速度提升,同时在扩展性测试中的3840个节点的5898240个加速核上显示了良好的扩展性,并行效率为88.4%.
-
- 一种带缓冲区的分布式流式图划分算法
- 史惠康,王泽胜,胡克坤,董刚,赵有健,
- 图划分是大图并行处理关键技术之一.现有图划分算法存在划分质量和效率难以平衡的问题,主要体现在离线划分算法划分质量高但耗时长;在线(也称流式)划分算法相对高效但划分质量不理想.为此,提出一种带缓冲区的分布式流式划分算法.该算法采用多加载器-多划分器架构,多个加载器并行读取图数据,提高图数据加载效率;每个划分器维护一个缓冲区,缓存相应加载器发来的图顶点,并按顶点度数高低排序,为划分器提供更多决策依据.划分器预置有4条流式启发式规则,围绕不同目标,对缓冲区中的顶点实施并行划分,并借助重流机制微调划分结果,改进划分质量.分布式系统环境下的划分质量与性能实验表明:提出算法的划分质量(割边比)比当前最好的在线划分算法改善超过18.8个百分点,并将图数据加载时间在划分总时间的占比,从单划分器-单加载器架构流式划分算法的平均30.8%缩减至平均20.1%.
-
- PetS: 针对参数高效Transformer模型的可扩展推理服务系统
- 魏学超,周哲,徐盈辉,张洁靖,谢源,孙广宇,
- 在多任务推理服务场景下使用基于预训练-微调范式的Transformer模型存在很多困难:服务端必须维护每个下游任务的完整模型副本,从而造成很大的存储和显存开销.最近逐渐兴起的参数高效Transformer(PET)算法在不同的下游任务之间共享预训练模型,仅微调一小部分任务特定的模型参数,从而减少存储的开销.然而,现有的后端服务系统既没有灵活的PET任务管理机制,也不能有效地跨任务进行输入的批量处理.针对不同的下游任务,现有框架在多卡分布式场景下也难以提供良好的负载均衡机制.因此,提出了PetS,一个用于多任务PET推理服务的可扩展框架.具体而言,不同的PET任务在算法上被抽象成一种统一表示形式.基于这种统一表示,设计了一个专门的PET推理引擎,以批处理不同任务的输入,并使用任务无关的共享算子和任务特定的PET算子进行推理.通过PET推理引擎,PetS在单个GPU设备上可以支持更多的任务数量.为了进一步提高系统吞吐量,提出了一种协同批处理(CB)策略,同时考虑了输入的长度、PET任务类型以及系统负载平衡.为了提升多卡部署的负载均衡,创新性地提出了基于PET实时迁移的负载均衡机制.PetS在包括边缘端、桌面端和服务器端GPU等多个平台上都经过了评估.全面的实验证明,PetS支持多达26倍的并发任务,并将服务吞吐量在桌面和服务器GPU节点上分别提高了1.53倍和1.63倍.在多GPU场景下,该负载均衡策略可以将吞吐量进一步提升29%之多.
