R-dedup:一种重复数据删除指纹计算的优化方法

为减缓存储系统中传统重复数据删除方法在高性能固态存储盘中存在的指纹计算性能瓶颈,提出了重复数据删除指纹计算的性能优化方法R-dedup.在基于内容分块算法基础上,将切分后形成的所有数据块进一步切分为更小粒度的48 B等长数据片.基于Rabin哈希长度小于原始数据、多个Rabin哈希同时发生碰撞概率极低、数据片的Rabin哈希可以重复利用基于内容分块算法在滑动窗口过程中产生的计算结果的基础,利用数据片的Rabin哈希替代原始数据,并将其作为数据块的SHA-1指纹输入,减少SHA-1 函数数据计算量,提高指纹计算性能.选取Linux 内核、Imagenet等5组具有代表性的数据集,对R-dedup和标准基于内容分块的重复数据删除方法在数据分块性能、指纹计算性能、索引表检索性能和I/O性能方面分别进行了比较.结果表明:R-dedup的数据分块性能、索引表检索性能、I/O性能与对比方法具有4％左右的误差波动,性能基本一致;R-dedup的指纹计算吞吐率是对比方法的165％～422％,总体吞吐率是对比方法的6％～54％.