成果信息

分布式系统下的全局重复数据删除方法，是一种真正跨文件、跨客户端、跨存储节点的全局重复数据删除方法，该方法旨在全存储网络范围内查找一个给定的数据块，并使其全局范围内保留的数据副本数为R，（R可以被设定为1、2或3）。 全局重复数据删除的算法可简单表述为： 1.采用变长数据分块算法，得到一个数据块chunk 2.用SHA-1算法，生成数据块的摘要，即 sha1（chunk） à key 3.向分布式存储网络发起 REF（key, i）操作，（i = R, R = 1, 2, 3…） 4.根据REF操作返回的结果i，如果i = R，则说明此数据块在全局范围内被成功引用，此时不必再向存储网络发起PUT写入操作，重复数据删除成功。 5.根据REF操作返回的结果i，如果i < R，说明引用在全局范围内失败，还缺少R-i个数据副本。正常网络情况下，i的值基本只有两种：0和R。此时操作发起方再调用PUT操作向分布式存储网络写入数据块：PUT（key, R - i）, 检测并写入新的数据块操作完成。)

背景介绍

针对目前在分布式存储的现状，本项目研发的系统采用基于无中心分布系统的全局重复数据删除方法，解决了数据在分布式云存储环境下的全局去重难题，使得百分之九十的重复数据得以删除，并且元数据和数据块可以共同分散存储，从而节约大量的存储成本，并且支持混合云架构，可以实现无限扩展。解决在去“IOE”政策下，国产数据灾备的问题。目前本云灾备软件已与广州超算中心相结合，解决了各个政府单位将应用迁移以及备份广州超算中心的难题。)

应用前景

待添加)