计算机研究与发展

北大核心,JST,Pж(AJ),EI,CSCD

国内刊号:11-1777/TP

国际刊号:1000-1239

计算机研究与发展杂志2022年第11期:一种适用于分布式存储集群的纠删码数据更新方法

发布日期:

作者:章紫琳,刘铎,谭玉娟,吴宇,罗龙攀,王纬略,乔磊,

关键词:纠删码, 存储集群, 数据更新, 增量, 预留空间,

目前分布式存储集群广泛采用纠删码来保证数据可靠性,但是数据更新密集时存储集群的磁盘I/O开销会成为性能瓶颈.在常用的纠删码数据更新方法中,磁盘I/O开销主要包括:1)更新数据块时对数据节点的读后写操作;2)更新校验块时读写日志的磁盘寻道开销.针对这些问题,提出PARD(parityloggingwithreservedspaceanddatadelta)数据更新方法,其主要思想是首先利用纠删码线性运算的特性来减少读后写操作;然后根据磁盘特性来降低磁盘寻道开销.PARD包含3个设计要点:1)采用即时的数据块更新和基于日志的校验块更新;2)利用纠删码线性运算的特性,构建基于数据增量的日志,极大限度地消除对数据节点的读后写操作;3)根据磁盘特性,在数据文件末尾为日志预留空间,减少读写日志的磁盘寻道开销.实验结果表明,当块大小为4MB时,PARD的更新吞吐率相较于PLR(parityloggingwithreservedspace),PARIX(speculativepartialwrite),FO(fulloverwrite),分别至少提升了30.4%,47.0%,82.0%.

来源:2022年第11期

《计算机研究与发展》期刊编辑部

查看计算机研究与发展杂志2022年第11期

联系我们

  • 地址:北京中关村科学院南路6号
  • 电话:(010)62620696
  • E-mail:crad@ict.ac.cn

咨询工作人员