国家自然科学基金(60903047)
- 作品数：8 被引量：117H指数：2
- 相关作者：孟丹王伟平古晓艳周江张章更多>>
- 相关机构：中国科学院中国科学院大学中国科学院研究生院更多>>
- 发文基金：国家自然科学基金国家高技术研究发展计划国家科技支撑计划更多>>
- 相关领域：自动化与计算机技术更多>>
- 面向多样应用和异构集群的约束调度机制被引量：2
- 2015年
- 针对传统集群调度器在异构环境中无法处理约束的问题,提出了一种约束调度机制,包括约束描述方法和约束调度算法。该描述方法通过易拓展的属性集合方式,描述异构化的任务需求和机器属性,进而描述各种约束;该调度算法将硬约束作为过滤标准,软约束作为选择标准,综合考虑软硬约束,为任务分配最优机器。实验表明,提出的约束调度机制不仅具有良好的易用性、较短的调度响应延迟,而且可以显著提高任务执行效率。因此,该调度机制可以较好地用于异构环境的集群调度中。
- 王旻张章汤学海韩冀中
- 关键词：云计算异构性
- 面向大数据分析的分布式文件系统关键技术被引量：75
- 2014年
- 大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段．信息规模的扩大和数据结构的多样化，使海量数据存储成为大数据分析研究的热点．传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求．设计并实现了一个面向大数据分析、专为大规模集群应用的分布式文件系统Clover．该系统采用基于目录划分和一致性Hash映射的名字空间管理方法，解决了元数据扩展性问题；通过改进的两阶段提交协议，保证了多元数据服务器下分布式元数据操作的一致性；提出了基于共享存储池的高可用机制，通过热备和全局状态恢复机制提高了元数据的可靠性．评测结果表明，Clover的元数据处理能力随服务器的数量线性增长，增加单个服务器的元数据操作性能平均提升了5．13％～159．32％．由于名字空间管理和分布式事务的开销，多元数据服务器会导致复杂操作的性能下降，但是这种下降的幅度很小（小于10％）．与HDFS相比，Clover的文件读写带宽与之接近，并能够保证在元数据服务器失效后文件系统快速恢复，适合于构建高可扩展和高可用的存储系统．
- 周江王伟平孟丹马灿古晓艳蒋杰
- 关键词：大数据海量数据存储分布式文件系统高可用性
- 基于Hadoop的高效连接查询处理算法CHMJ被引量：38
- 2012年
- 提出了一种并行连接查询处理算法CoLocationHashMapJoin(CHMJ).首先,设计了多副本一致性哈希算法,将具有连接关系的表根据其连接属性的哈希值在机群中进行分布,在提升了连接查询处理中数据本地性的同时,保证了数据的可用性;其次,基于多副本一致性哈希数据分布,提出了HashMapJoin并行连接查询处理算法,有效地提高了连接查询的处理效率.CHMJ算法在腾讯公司的数据仓库系统中进行了应用,结果表明,CHMJ连接查询的处理效率比Hive系统提高了近5倍.
- 赵彦荣王伟平孟丹张书彬李均
- 关键词：大数据HADOOP
- 基于MapReduce框架的近似复制文本检测
- 海量文本数据近似复制文本检测在现实生活中具有广泛应用,如相似网页检测.提出了一种基于MapReduce的相似文本匹配算法,给定一个文本集合和相似性阈值,该算法能够有效计算文本集合中不小于该阈值的所有文本对.在真实数据集合...
- 李瑞王朝坤郑伟王建民王伟平
- 关键词：MAPREDUCE
- 文献传递
- 基于分布式图计算框架的好友推荐算法研究
- 2016年
- 随着社交网络的兴起与发展,用户数目规模呈现出指数级增长的趋势。这些大规模数据里蕴含着许多有价值的信息,挖掘其中有用的信息已经成为学者研究的重点,好友推荐就是数据挖掘里的一个重要应用。为了获得更优的性能、更高的可扩展性,采用分布式平台解决大规模好友推荐成为学术界和工业界的一个发展趋势。目前使用得较广泛的为基于MapReduce框架的好友推荐算法,该方法有较高的可扩展性,但是受限于MapReduce低效的中间数据传输,存在性能缺陷。针对上述问题,提出一种基于分布式图计算框架的好友推荐算法。最后,在多个真实的社交网络数据集上评测了该方法。实验结果表明,该方法要优于业界先进的好友推荐算法,在准确率相当的情况下,性能大约为其他算法的7倍。
- 赵马沙周薇张豪韩冀中
- 关键词：随机游走
- 基于滑动窗口的数据流字符串近似查询
- 2014年
- 针对数据访问模式随着网络技术的发展逐渐从静态磁盘转移到动态数据流的状况,研究了数据流上的字符串近似查询。为了解决数据流的连续性、无边界性、不可预知性和在线计算资源的局限性导致基于静态数据集的近似查询处理方法无法高效地支持数据流的问题,提出了基于滑动窗口数据流的字符串近似查询(AS^3)方法。该方法基于过滤-验证框架和基本窗口索引更新机制,改进并应用非对称特征策略提取数据流和查询关键字的特征,采用了两个新的过滤算法——预剪裁过滤(PPF)算法和流统计(CFS)过滤算法,以及基于矩阵坐标的验证(cV)算法。实验结果表明,As^3方法能够高效地支持基于滑动窗口的数据流字符串近似查询,在保证结果准确率的同时具有较高的实时性及峰值处理能力。
- 崔甲王伟平陈重韬孟丹
- 关键词：数据流
- 高效支持多维网络OLAP的数据立方体模型CI-DCG
- 2013年
- 针对现有联机分析处理(OLAP)方法的空间开销随着数据维度增加呈指数级增长,因而不适用于维度较高的多维网络应用的问题,提出了一种新的多维网络数据立方体模型——封闭冰山双立方图(CI-DCG)。该模型通过引入邻接立方体的概念,将其实例化过程转化为两个计算传统数据立方体的阶段,从而可将传统数据立方体生成算法中较为成熟的空间优化技术引入到多维网络中。在保证多维网络上OLAP查询处理效率的同时,将多维网络数据立方体生成算法的空间复杂度降为多项式级别。理论分析和实验结果均表明,该模型在空间开销和查询性能方面均优于已有的多维网络OLAP模型,并且数据维度越高,这种优势就越明显。
- 古晓艳王伟平孟丹杨秀峰周江
- 分布式系统一致性研究与案例分析被引量：1
- 2015年
- 数据一致性是分布式系统研究领域的经典问题,大数据时代数据来源和业务需求的多样性及复杂性又为一致性研究带来了诸多新的挑战,同时也推动着这方面研究不断前进。目前关于分布式系统一致性的综述文章大多集中于介绍各种一致性模型的概念、定义,忽视了对模型在实际应用中的分析。论文在阐述现有一致性模型的基础上,结合实际系统进行案例分析,总结不同模型的适用范围;同时针对目前大数据技术的发展趋势,归纳一致性问题未来研究的发展方向,为读者进行一致性方面的研究提供一定的借鉴意义。
- 曾珊文杰
- 关键词：分布式系统一致性大数据
- 多租户集群中基于服务水平目标的调度机制被引量：1
- 2015年
- 针对多租户集群中无法保证作业服务水平目标(SLO)的问题,提出了一种多租户场景下基于SLO的调度机制,其中包括优先调度算法和资源抢占算法。优先调度算法区别考虑超额使用资源的租户和未超额使用资源的租户,赋予后者的作业更高的优先级,在此前提下选择紧急度最高的作业,优先为其分配资源;资源抢占算法在资源受限的情况下,选择紧急度超过阈值的作业实施资源抢占,并根据租户的资源使用情况,在相应的运行作业范围内选择紧急度最低的作业,抢占其资源。实验结果表明,与现有保证公平的多租户调度器Capacity Scheduler相比,该调度机制可以在兼顾作业执行效率和租户间公平的前提下,显著提高作业的截止时间保证率,从而保证业务的服务水平目标。
- 杜雄杰王旻汤学海张章
- 关键词：云计算公平
