胡旭
- 作品数：4 被引量：22H指数：2
- 供职机构：空军预警学院更多>>
- 发文基金：国家自然科学基金更多>>
- 相关领域：自动化与计算机技术理学更多>>
- 海量小文件元数据的分布式存储与检索
- 2014年
- 针对现有分布式文件系统处理海量小文件时存在的主节点元数据处理性能瓶颈问题,提出采用分布式文件来存储元数据,并通过元数据缓冲和Hash映射实现元数据的分布;采用Map Reduce并行程序对元数据检索进行了实现,并指出了并行检索中存在的问题,提出采取局部位图索引对元数据检索进行了优化.最后通过实验进行了验证,实验结果证明,该方法实现了海量元数据的分布式存储与检索,避免了现有分布式文件系统在处理海量小文件时存在的主节点单点性能瓶颈.
- 周国安李强陈新胡旭
- 关键词：元数据
- 云环境下海量小文件存储技术研究综述被引量：16
- 2014年
- 随着物联网、云计算和大数据技术的飞速发展,越来越多的应用正向数据密集型转变,同时小文件数量正以指数级增长,传统的文件系统已经不能满足海量小文件存储需求,针对小文件的存储技术越来越受到业界重视。文章首先介绍小文件存储带来的问题并分析了原因,然后介绍了小文件存储优化技术,并介绍了三种典型的小文件存储系统,最后对小文件存储问题进行了总结与展望。
- 周国安李强陈新胡旭
- 关键词：大数据
- 初始聚类中心优化的K-均值项目聚类推荐算法被引量：4
- 2014年
- 针对协同过滤推荐系统存在的数据稀疏性和扩展性差问题,提出了初始聚类中心优化的K-均值项目聚类推荐算法.该算法首先采用SlopeOne方法对评分矩阵预测填充来缓解数据稀疏性,然后采用初始聚类中心优化的K-均值算法对项目进行聚类,将相似度高的项目聚到同一个类中,最后根据目标项目所在的聚类搜索其最近邻并产生推荐.实验结果表明,该算法有效改善了数据的稀疏性和扩展性,提高了推荐质量.
- 胡旭鲁汉榕陈新周国安
- 关键词：协同过滤推荐K-均值聚类
- 基于项目属性相似和MapReduce并行化的Slope One算法被引量：2
- 2015年
- 针对Slope One算法存在预测精度依赖于用户对待预测项目的评分数量的缺陷,提出了一种基于项目属性相似度和Map Reduce并行化的Slope One算法.首先计算项目间的属性相似度,并将其与Slope One算法相融合以提高预测精度,然后在Hadoop平台上对改进算法基于Map Reduce进行并行化实现.在Movie Lens数据集上的实验结果表明,相对于Slope One算法和加权Slope One算法,本文提出的改进Slope One算法具有更高的预测精度,并更适用于大规模数据集.
- 胡旭鲁汉榕陈新周国安
- 关键词：SLOPE属性相似度
