为降低IT运维系统的实时监测数据量、提高数据存储效率,提出一种自适应的旋转门算法(adaptive swinging door trending,ASDT)。针对传统SDT算法存在抗噪性弱、参数选取困难等缺陷,ASDT首先通过最小二乘平滑处理,减小噪声数据对SDT趋势判断的影响;然后通过改进死区限值过滤算法,对经平滑处理后的数据进行压缩;最后基于相邻压缩区间标准差变化,自适应调整压缩精度参数。实验结果表明:在保证数据保真度的前提下,ASDT的仿真数据和真实数据上的压缩比分别提高60%和24%以上。
针对EB(extreme binning)算法重复数据删除率低,磁盘I/O开销大的缺陷,提出基于多特征匹配和Bloom filter的重复数据删除算法DBMB(deduplication based on multi-feature matching and Bloom filter).将小文件聚合为局部性文件单元,作为一个整体进行去重处理,采用最大、最小以及中间数据块ID的多重相似性特征进行匹配,并基于Bloom filter优化磁盘数据块的查找和匹配过程.结果表明,DBMB算法能有效提升重复数据删除率,降低算法执行时间,同时减少处理小文件的内存开销,性能提升显著.
