计算机研究与发展杂志

计算机研究与发展杂志2024年第3期

• 互联网时代分布式关系数据库的有益探索

  周傲英,

  关系数据库是经济社会运行的信息基础设施，支撑各行各业涉及人、财、物精确管理的关键核心业务.长期以来，金融、电信等领域的核心系统主要使用集中式关系数据库，在故障恢复和系统扩容等方面存在天然缺陷.随着互联网应用渗透到各个领域，数据库面临新的挑战.以电商为代表的开放式互联网业务产生了上百倍于传统线下封闭系统的“现象级”负载，远远超出了传统单点集中式关系数据库的处理能力和存储容量，关系数据库的架构从集中式转型升级为分布式是大势所趋.

• OceanBase分布式关系数据库架构与技术

  阳振坤,杨传辉,韩富晟,王国平,杨志丰,成肖君,

  关系数据库是当今社会的关键信息基础设施，互联网和数字化带来了高并发和海量数据，传统关系数据库均为集中式架构，处理能力和存储容量都捉襟见肘.OceanBase分布式关系数据库基于通用PC服务器，不仅实现了在线水平伸缩，还实现了机房故障自动无损容灾以及高倍率数据压缩等，已经应用于金融、政务、通信和互联网等行业.介绍了OceanBase分布式关系数据库的系统架构和关键技术，包括分布式事务处理、基于LSM-tree的存储系统以及分布式SQL优化器.详细阐述了OceanBase数据库的高可用和数据一致性，包括RPO为0和RTO小于8s.也介绍了OceanBase数据库多租户机制，即采用了集群内原生多租户设计，在集群内实现多个互相独立的数据库服务.基于Sysbench和TPC-H评测基准，对比实验结果表明：1）在单机模式下，OceanBase的性能是MySQL的1.27倍至2倍多；2）在单主模式下，OceanBase的性能是MySQL的1.25倍至近2倍；3）在多主模式下，OceanBase的性能是MySQL的1.09倍至3.1倍，对于OLAP的复杂查询，OceanBase的性能是MySQL的6倍到327倍.

• 基于超低延迟SSD的页交换机制关键技术

  王紫芮,蒋德钧,

  随着内存密集型应用的快速发展，应用对单机内存容量的需求日益增大.然而，受到颗粒密度的限制，内存容量的扩展度较低.页交换机制是进行内存扩展的经典技术，该机制通过将较少使用的内存页面暂存在存储设备，以达到扩展内存的目的.过去页交换机制由于慢速磁盘的读写速度限制，无法被广泛应用.近年来，得益于超低延迟固态硬盘（solidstatedrive,SSD）的快速发展，页交换机制可以利用其低延迟的读写特性，提升页交换效率.然而，在低I/O延迟的情况下，传统页交换机制的I/O栈存在巨大的软件开销.首先对使用超低延迟SSD的Linux页交换机制进行测试与分析，发现现有页交换机制的主要瓶颈在于发送请求时存在队头阻塞问题、I/O合并和调度开销，以及内核返回路径上的中断处理和直接内存回收开销.基于分析结果，提出基于超低延迟SSD的页交换机制Ultraswap.Ultraswap在LinuxI/O栈的基础上增加对轮询请求的处理，并降低I/O合并与调度开销，实现轻量级的I/O栈.基于Ultraswap的I/O栈，对内核页交换机制的换入与换出路径进一步优化.通过优化对缺页、直接内存回收的处理，降低页交换机制关键路径上的时间开销.实验结果表明Ultraswap在应用测试场景下相比Linux页交换机制能够提升19%的平均性能；在可使用内存比例为20%的情况下，Ultraswap可达到33%的性能提升.

• 面向存算联调的跨云纠删码自适应数据访问方法

  张凯鑫,王意洁,包涵,阚浚晖,

  日益旺盛的跨云存算联调需求对跨云数据访问速度提出较高要求.因此，跨云数据访问速度较高的基于数据冗余技术（纠删码和多副本）的跨云数据访问方法逐渐受到关注.其中，基于纠删码的跨云数据访问方法因其存储开销较低、容错性较高而成为当前研究热点.为通过缩短编码块传输用时以提高数据访问速度，现有基于纠删码的跨云数据访问方法尝试引入缓存技术并优化编码数据访问方案.然而，由于现有方法的缓存管理粒度较粗且未协同优化缓存管理与编码数据访问方案，导致其存在缓存命中量低、缓存命中增效低、低传输速度编码块访问量大等问题，使得其编码块传输用时仍较长.为此，首先提出了一种基于星际文件系统（interplanetaryfilesystem，IPFS）的跨云存储系统框架（IPFS-basedcross-cloudstoragesystemframework，IBCS），可基于IPFS数据分片管理机制实现细粒度的缓存管理，从而可提高缓存命中量.然后，提出一种面向存算联调的跨云纠删码自适应数据访问方法（adaptiveerasure-codeddataaccessmethodforcross-cloudcollaborativeschedulingofstorageandcomputation，AECAM）.AECAM以编码块（含缓存编码块）与数据访问节点的分布为依据评估数据访问过程中各编码块的传输速度，并据此制定可避免访问低传输速度编码块的编码数据访问方案.此外，AECAM可识别出其制定编码数据访问方案时易选中且实际传输速度较低的编码块，并将其缓存在数据访问节点附近，从而可同时提高缓存命中量和命中增效.最后，基于IBCS和AECAM构建了面向跨云存算联调的存储系统（cross-cloudstoragesystemforcollaborativeschedulingofstorageandcomputation，C2S2）.跨云环境下的实验表明，相较于现有引入缓存的基于纠删码的存储系统，C2S2可以将数据访问速度提高75.22%~81.29%.

• 基于GPU直访存储架构的推荐模型预估系统

  谢旻晖,陆游游,冯杨洋,舒继武,

  新型深度学习推荐模型已广泛应用至现代推荐系统，其独有的特征——包含万亿嵌入参数的嵌入层，带来的大量不规则稀疏访问已成为模型预估的性能瓶颈.然而，现有的推荐模型预估系统依赖CPU对内存、外存等存储资源上的嵌入参数进行访问，存在着CPU-GPU通信开销大和额外的内存拷贝2个问题，这增加了嵌入层的访存延迟，进而损害模型预估的性能.提出了一种基于GPU直访存储架构的推荐模型预估系统GDRec.GDRec的核心思想是在嵌入参数的访问路径上移除CPU参与，由GPU通过零拷贝的方式高效直访内外存资源.对于内存直访，GDRec利用统一计算设备架构（computeunifieddevicearchitecture，CUDA）提供的统一虚拟地址特性，实现GPU核心函数（kernel）对主机内存的细粒度访问，并引入访问合并与访问对齐2个机制充分优化访存性能；对于外存直访，GDRec实现了一个轻量的固态硬盘（solidstatedisk，SSD）驱动程序，允许GPU从SSD中直接读取数据至显存，避免内存上的额外拷贝，GDRec还利用GPU的并行性缩短提交I/O请求的时间.在3个点击率预估数据集上的实验表明，GDRec在性能上优于高度优化后的基于CPU访存架构的系统NVIDIAHugeCTR，可以提升多达1.9倍的吞吐量.

• 一种基于深度学习的微服务性能异常检测方法

  方浩天,李春花,王清,周可,

  微服务架构因具有良好的可扩展性和可维护性越来越受到云应用软件的青睐.与此同时，微服务之间复杂的交互使得系统的性能异常检测变得更加困难.现有的微服务性能异常检测方法均不能很好地建立跨不同调用路径的微服务及其对应的响应时间之间的复杂关系，导致异常检测准确率不高、根因定位不准确.提出了一种基于Transformer的微服务性能异常检测与根因定位方法TTEDA（Transformertraceexploredataanalysis）.首先将调用链构建为微服务调用序列和对应的响应时间序列，然后借助自注意力机制捕捉微服务之间的调用关系，并通过编码器-解码器建立微服务的响应时间与其调用路径之间的关联关系，从而获得微服务在不同的调用链上的正常响应时间分布.基于学习到的正常模式判断调用链的异常，并可将异常精确到微服务级别.进一步地，利用微服务之间的调用关系以及异常的传播方式，对出现性能异常的微服务进行反向拓扑排序，实现了准确快速的根因定位.在开源基准微服务系统Train-Ticket的数据集和AIops挑战赛数据集评估了TTEDA的有效性，相比于同类异常检测方法AEVB，Multi-LSTM，TraceAnomaly，精确率平均提高了48.6%，30.2%，3.5%，召回率平均提高了34.7%，1.1%，4.1%.相比于根因定位算法MonitorRank和TraceAnomaly，根因定位的准确率分别提高了35.4个百分点和6.1个百分点.

• 时序数据库关键技术综述

  刘帅,乔颖,罗雄飞,赵怡婧,王宏安,

  随着工业物联网（industrialInternetofthings，IIoT）的不断发展，越来越多的设备和传感器开始连接到网络中，产生了大量的时间序列数据（简称“时序数据”），时序数据爆炸式的增长给数据库管理系统带来了新的挑战：持续高吞吐量数据摄取、低延迟多维度数据查询、高性能时间序列索引以及低成本数据存储.近年来时序数据库技术已经成为一个研究热点，一些学者对时序数据库技术进行了深入的研究，同时出现了一些专门用于管理时序数据的时序数据库，并且已经被应用在多个领域，成为工业物联网中不可缺少的关键组成.现有的时序数据库相关综述侧重于时序数据库的功能和性能比较，以及在特定领域中对时序数据库的选择建议，缺少对时序数据库持久化存储、查询、计算和索引等关键技术的研究，同时这些综述工作出现的时间较早，缺少对现代时序数据库关键技术的研究.对学术界时序数据存储研究和工业界时序数据库进行了全面的调查和研究，凝练了时序数据库的4类关键技术：1）时间序列索引优化技术；2）内存数据组织技术；3）高吞吐量数据摄取和低延迟数据查询技术；4）海量历史数据低成本存储技术.同时分析总结了时序数据库评测基准.最后，展望了时序数据库关键技术在未来的发展方向.

• 视频问答技术研究进展

  包翠竹,丁凯,董建锋,杨勋,谢满德,王勋,

  视频问答(videoquestionanswering，VideoQA)根据视频内容自动回答自然语言问题，是视觉语言领域较为新兴的一个研究方向,近年来引起了广泛关注.VideoQA问题的解决对于人机交互、智慧教育、智能交通、场景分析以及视频检索等各个领域都有着重大意义.VideoQA是一项具有挑战性的任务，因为它需要模型同时理解视频与文本内容来生成问题的答案.首先，分析了VideoQA与图像问答(imagequestionanswering，ImageQA)的区别，总结了当下VideoQA相对于ImageQA所面临的4个挑战；然后，围绕着这些挑战对目前现有VideoQA模型进行了细致的分类，并重点介绍了模型的实现及不同模型之间的关联；接着详细介绍了在VideoQA中常用的基准数据集及目前主流算法在部分数据集上的性能，并进行了对比与分析；最后，讨论了该领域未来面临的挑战和研究趋势，为未来进一步研究提供一些思路.

• DL-MAML：一种新的蝴蝶物种自动识别模型

  赵戈伟,许升全,谢娟英,

  蝴蝶种类成千上万，每种蝴蝶都与一定植物密切相关，研究蝴蝶种类自动识别有重要意义.野外环境下的蝴蝶物种识别研究受制于现有数据集蝴蝶种类较少，每类样本（图像）数量较少，使基于机器学习的蝴蝶种类识别面临泛化推广难的挑战.另外，野外环境下的蝴蝶翅膀遮挡使分类特征学习面临挑战.因此，提出基于元学习的蝴蝶物种自动识别新模型DL-MAML（deeplearningadvancedmodel-agnosticmeta-learning），实现野外环境下的任意蝴蝶种类识别.首先，DL-MAML模型采用L2正则改进经典元学习算法MAML（model-agnosticmeta-learning）的目标函数和模型参数更新方法，并对MAML增加了2层特征学习模块，避免模型陷入过拟合风险，解决现有野外环境下蝴蝶物种识别面临的泛化推广困难；其次，采用ResNet34深度学习模型提取蝴蝶分类特征，对图像进行表征预处理，作为DL-MAML模型元学习模块的输入，克服其特征提取不足的缺陷，以及野外环境下蝴蝶翅膀遮挡带来的分类特征学习困难.大量消融实验以及与同类模型的实验比较表明，DL-MAML算法学习获得的初始模型参数对蝴蝶新类识别具有很好的效果，优于MAML和其他同类模型，对野外环境下的蝴蝶种类识别很有效，使利用现有野外环境下的蝴蝶数据集构造通用且完全的蝴蝶物种识别系统成为可能.

• 基于帧结构的语音对抗样本重点区域扰动分析

  韩松莘,郭松辉,徐开勇,杨博,于淼,

  目前针对语音识别模型的对抗攻击主要是在整条语音上添加噪声，扰动范围大且引入了高频噪声.现有研究在一定程度上缩小了扰动范围，但由于语音对抗攻击需要在每帧添加扰动实现对转录结果的控制，限制了扰动范围的进一步降低.针对此问题，从帧结构的角度研究了语音识别系统中的特征提取流程，发现分帧和加窗处理决定了帧结构中重点区域的分布，即帧内各采样点上添加扰动的重要性受采样点所处位置的影响.首先，根据对输入特征的扰动分析结果进行区域划分；然后，为了量化这些采样点对求解对抗样本的重要性，提出了对抗样本空间度量方法和相应的评价指标，并设计了在帧内不同区间上添加扰动的交叉实验，进而确定了扰动添加的重点区域；最后，在多个模型上进行了广泛的实验，表明了在重点区域添加对抗扰动能够缩小扰动范围，为高质量语音对抗样本的生成提出新的角度.

• 内容感知的可解释性路面病害检测模型

  李傲,葛永新,刘慧君,杨春华,周修庄,

  针对实际场景中高分辨路面图像难以直接作为现有卷积神经网络（convolutionalneuralnetwork，CNN）的输入、现有预处理及下采样算法无法有效感知并保留原始路面图像中低占比的病害区域信息等问题，借助于可视化解释的技术手段，设计了一种即插即用的图像内容自适应感知模块（adaptiveperceptionmodule，APM），既平衡了高分辨路面图像与CNN输入限制，又能够自适应感知激活前景病害区域，从而实现高分辨路面图像中病害类型的快速准确检测，构建可信路面病害视觉检测软件系统.APM利用大卷积核和下采样残差操作降低原始图像分辨率并获取图像浅层特征表示；通过注意力机制自适应感知并激活图像中路面病害区域信息，过滤无关的背景信息.利用联合学习的方式，无需额外监督信息完成对APM的训练.通过可视化解释方法辅助选择和设计APM的具体结构，在最新公开数据集CQU-BPMDD上的实验结果表明：APM相比于现有的图像预处理采样算法均有明显提升，分类准确率最高为84.47%；在CQU-BPDD上的实验结果及APM决策效果可视化分析表明APM具备良好的泛化性与鲁棒性.实验代码已开源：https://github.com/Li-Ao-Git/apm.

• 一种可解释的云平台任务终止状态预测方法

  刘春红,李为丽,焦洁,王敬雄,张俊娜,

  基于特征选择和模型可解释方法构建可解释性强的云平台任务终止状态预测模型，该模型可视化任务/作业的静态和动态属性与终止状态之间的映射关系，进而找出负载特征与任务终止状态之间的映射机理.利用Google公开的工作负载监控日志，并加入云平台中任务的动态信息，采用沙普利加和解释(Shapleyadditiveexplain，SHAP)找出静态和动态属性对终止状态影响的重要性，利用变量重要性结合SHAP值和XGBoost模型，对任务终止状态预测模型建模后的结果进行解释，使用可视化技术呈现负载特征如何影响模型对不同任务终止状态的预测.用SHAP值绝对值的平均值衡量特征的重要性，实现任务不同终止状态特征重要性的全局可视化，根据结果筛选出对任务终止状态预测模型影响大的20个变量，作为特征筛选的依据；由可视化的结果可知，任务运行过程中，各特征的不同特征值对任务的终止状态有影响，不同特征值对终止状态的产生有不同的影响.特征选择结合模型可解释性方法运用于任务终止状态预测模型的构建流程中，可辅助构建高分类性能及易于理解的任务终止状态预测模型，通过对负载特征与任务终止状态之间映射机理的探索，可以优化云平台的调度机制.

• 摩尔纹图案自动去除技术综述

  亓文法,刘宇鑫,郭宗明,

  如今，数码相机和智能手机在人们的生活中扮演着越来越重要的角色，已经成为人们感知世界、记录信息和沟通交流的主要工具.当使用这些设备拍摄电子屏幕时，显示设备和摄像头传感器网格之间往往会发生混叠，通常导致图片中存在不规则分布的摩尔纹干扰图案，从而严重影响了拍摄图像的视觉质量效果.因此，摩尔纹图案去除方法研究对于拍摄图像的后期处理具有重要意义.为此，详细梳理了摩尔纹去除研究的发展脉络，并根据不同的适用场景和技术实现将现有方法分为2类：基于先验知识的摩尔纹去除方法和基于深度学习的摩尔纹去除方法.鉴于深度学习网络中训练数据集的收集和对齐方式不同，该类方法又分为基于卷积神经网络（CNN）的摩尔纹去除方法和基于生成式对抗网络（GAN）的摩尔纹去除方法.在此基础上，选择相同的公开数据集，对主流的深度学习方法进行算法实现和性能对比分析，并分别总结了各类方法的优缺点.最后，对未来的研究方向进行展望.

• 基于Transformer的文物图像修复方法

  王真言,蒋胜丞,宋奇鸿,刘波,毕秀丽,肖斌,

  文物极易因为保存不当而导致部分结构或纹理缺失,而现有的图像修复技术由于受到先验信息和卷积操作的局限而无法直接应用于文物图像修复，为更合理地恢复文物图像原貌，提出了一种新的文物图像修复方法，将文物图像修复工作分为2个步骤：第1步使用Transformer进行粗略的图像重建并恢复连贯的结构；第2步使用卷积神经网络将粗略的重建图像进行上采样并恢复缺失区域的精细纹理.考虑到目前国内外没有高质量的大型文物数据库，因此也提出了一个新的高质量大型文物图像数据库.最终实验结果表明，在符合现实场景的破损修复实验和大面积破损修复实验中，修复效果在主观和客观评估中均优于当前图像修复算法.同时，支持多元化输出，为修复人员提供多样化参考，极大地提升了文物修复效率.

• 基于雾浓度分类与暗-亮通道先验的多分支去雾网络

  张琪东,迟静,陈玉妍,张彩明,

  在图像去雾领域中，目前多数去雾模型难以维持精度与效率的平衡，高精度的模型往往伴随着复杂的网络结构，而简单的网络结构又往往会导致低质量的结果.针对该问题提出一个基于雾浓度分类与暗-亮通道先验的多分支去雾模型，通过对带雾图像分类，使用复杂度不同的网络来处理不同雾浓度的图像，可在保证精度的同时提高计算效率.模型由轻量级雾图像分类器和基于暗-亮通道先验的多分支去雾网络2部分构成：前者将带雾图像分为轻雾、中雾、浓雾3类，输出雾浓度标签；后者包含3个结构相同、宽度不同的分支网络，根据雾浓度标签选择不同的分支网络处理不同雾浓度图像，恢复至无雾图像.提出一个新的雾浓度分类方法以及基于该方法的雾浓度分类损失函数，可根据带雾图像的暗通道特征和恢复难度，结合生成图像质量和模型计算效率，得到对带雾图像合理准确的分类结果，达到去雾效果和算力需求的良好平衡.提出新的暗通道与亮通道先验损失函数，用于约束分支去雾网络，可有效提高去雾精度.实验结果表明，模型能够以更低的网络参数量和复杂度得到更优的去雾结果.

• 基于FPGA的排序加速方法综述

  孔浩,卢文岩,陈岩,鄢贵海,李晓维,

  对于FPGA排序加速来说，各类性能指标的选取与优化至关重要，如延时、吞吐率、功耗、硬件利用率和带宽利用率等.梳理了性能驱动下的排序加速发展脉络，在数据规模、数据类型、算法支持、软硬件协同和新型硬件等方面均取得了进展；分析了在设计、实现、测试等各不同阶段所面临的问题及优化策略，其中归并排序因其自身优良的硬件并行性、可扩展性和控制逻辑简单等特性成为主流.排序加速是与特定应用场景深度绑定的架构设计，进一步从数据库系统加速角度出发，针对数据库排序所面临的资源竞争、数据组织方式、特有操作以及用户请求多样性等问题，分析了其所进行的架构调整.最后针对现有研究的问题及缺陷，从分布式排序加速、数据处理器、高层次综合辅助工具链等方面对未来的发展方向进行了展望.

• 面向主从区块链的多级索引构建方法

  王俊陆,张桂月,杜立宽,李素,陈廷伟,

  主从区块链是一种面向领域的、采用高效密码学原理进行大数据可信化通信及存储的新型信息处理技术.随着领域数据规模的指数级增长，现有主从区块链系统存在的查询效率低、溯源时间长等问题愈发严重.针对这些问题，提出一种面向主从区块链的多级索引构建方法（multi-levelindexconstructionmethodformaster-slaveblockchain，MSMLI）.首先，MSMLI引入权重矩阵，基于主链结构将整个主从区块链进行分片，并对各个分片进行权重赋值；其次，针对每个分片内的主区块链，提出基于跳跃一致性哈希的主链索引构建方法（masterchainindexconstructionmethodbasedonjumpconsistentHash，JHMI），输入节点关键值和索引槽位数量，输出主链索引；最后，引入布隆过滤器，改进基于列的选择函数，对各个主区块对应的从属区块链构建2级复合索引.在3种约束条件和2类数据集上的实验结果表明，MSMLI对比现有方法，平均能够缩减9.28%的索引构建时间，提升12.07%的查询效率，同时降低24.4%的内存开销.