曲文武
- 作品数：12 被引量：56H指数：1
- 供职机构：中兴通讯股份有限公司更多>>
- 发文基金：国家自然科学基金更多>>
- 相关领域：自动化与计算机技术文化科学更多>>
- 语义数据的存储方法及装置
- 本发明提供了一种语义数据的存储方法及装置，其中，该方法包括：选择语义数据中的主题属性和主键属性，主题属性是语义数据中查询频率超过预定阈值的属性，主键属性是语义数据中数据逻辑描述的属性；计算主题属性的每个主题属性值对应的主...
- 曲文武王志坤
- HiBase:一种基于分层式索引的高效HBase查询技术与系统被引量：56
- 2016年
- 大数据时代,众多应用领域的数据量爆炸式增长,迫切需要研究和寻找有效的大数据存储管理方法,提供实时或准实时的大数据查询分析能力.Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase只有主键索引,不支持非主键索引,这导致HBase的数据查询效率较低,难以满足数据实时或准实时查询需求.为此,在HBase基础上提供面向非主键的快速查询能力,是目前Hadoop环境下急需研究和解决的一个重要问题.该文研究提出了一种基于分层式HBase非主键索引的查询模型和方法,该模型和方法首先建立基于HBase的持久性索引.然后,为了利用内存提升查询性能,该文进一步提出了一种索引热点数据缓存技术和一种高效的热度累积缓存替换策略,以降低对HBase索引表的磁盘访问开销.热度累积缓存替换策略克服了最近最少使用（LRU）算法的局限性,考虑数据访问的累积热度和时间局部特性,从而更准确地捕获数据访问的特征.为了使索引热点数据缓存内存层具有良好的可扩展性,HiBase设计了基于一致性哈希的分布式内存缓存,支持高效的基于非主键的单点查询和范围查询.最终,该文设计实现了完整的分层式索引和查询系统HiBase.在千万至十亿条记录规模数据集上的测试结果表明,HiBase冷查询响应时间比标准HBase快65倍（大结果集）到3000多倍（小结果集）;而引入基于查询热度累积算法的内存索引缓存方法后,热查询性能可在HiBase冷查询基础上再提升5~15倍,使得总体查询性能比标准HBase快300多倍（大结果集）到1.7万倍（小结果集）,比开源的Hindex系统快5~20倍.
- 葛微罗圣美周文辉赵頔唐云周娟曲文武袁春风黄宜华
- 关键词：HBASE查询处理缓存替换策略
- 存储调度方法和系统、作业调度方法和系统及管理节点
- 本发明提出了一种根据路径可用带宽进行调度的存储调度方法和作业调度方法，还提出了与之相对应的管理节点、存储调度系统和作业调度系统。本发明根据存储调度算法将数据块存储在路径可用带宽加权均值最大的数据节点列表，避免了网络拥塞并...
- 左奇戚晨王东王志坤曲文武
- 文献传递
- HBase非主键索引构建与查询方法及其系统
- 本发明公开了一种HBase非主键索引构建与查询方法及其系统。所述方法包括：在分布式内存和Hbase数据表上建立全局非主键索引；识别针对非主键属性的查询，依据所述全局非主键索引定位到相应的索引节点，并向含有结果集的所述索引...
- 董振江曲文武黄宜华葛微
- 一种数据分布方法和管理节点
- 本发明公开了一种数据分布方法和管理节点，其中，所述方法包括：根据收到的交叉连接请求，获取需要进行交叉连接的表A和表B各自包括的子表的数目、子表的序列号、节点的数目和节点的序列号；将表A或表B包括的子表的序列号依次设置在横...
- 曲文武
- 文献传递
- 存储调度方法和系统、作业调度方法和系统及管理节点
- 本发明提出了一种根据路径可用带宽进行调度的存储调度方法和作业调度方法，还提出了与之相对应的管理节点、存储调度系统和作业调度系统。本发明根据存储调度算法将数据块存储在路径可用带宽加权均值最大的数据节点列表，避免了网络拥塞并...
- 左奇戚晨王东王志坤曲文武
- HBase非主键索引构建与查询方法及其系统
- 本发明公开了一种HBase非主键索引构建与查询方法及其系统。所述方法包括：在分布式内存和Hbase数据表上建立全局非主键索引；识别针对非主键属性的查询，依据所述全局非主键索引定位到相应的索引节点，并向含有结果集的所述索引...
- 董振江曲文武黄宜华葛微
- 文献传递
- 一种图数据分割的方法及装置
- 本发明提供一种图数据分割的方法及装置，该方法包括：通过并行的标签传递算法将原始图数据转换为局部密集的带权超图；通过划分算法逐次将所述带权超图均衡划分为带权超图子图；将所述带权超图子图还原为原始图对应的数据。通过本发明可以...
- 罗圣美曲文武刘丽霞
- 文献传递
- 自动问答方法及系统
- 本发明实施例提供一种自动问答方法及系统，从产品与服务数据中为用户问题生成答案数据，针对每一产品与服务数据集合对应一个路径，针对每一路径设置一个权值向量得到路径和权值对应关系表；当收到用户下发的用户问题后，则将该用户问题编...
- 曲文武
- 文献传递
- 自动问答方法及系统
- 本发明实施例提供一种自动问答方法及系统，从产品与服务数据中为用户问题生成答案数据，针对每一产品与服务数据集合对应一个路径，针对每一路径设置一个权值向量得到路径和权值对应关系表；当收到用户下发的用户问题后，则将该用户问题编...
- 曲文武
- 文献传递
