中国科学院西部之光基金(XBBS201018)
- 作品数：3 被引量：9H指数：1
- 相关作者：周喜刘军霞王磊李晓韩岩更多>>
- 相关机构：中国科学院大学中国科学院新疆理化技术研究所更多>>
- 发文基金：中国科学院西部之光基金更多>>
- 相关领域：自动化与计算机技术更多>>
- 用Fluent与MongoDB构建高效海量日志采集系统被引量：1
- 2014年
- 由于传统方法不能满足海量日志存储的需求,对于海量日志的分析传统方法也出现了瓶颈问题,所以本文通过不同类型存储介质对海量日志读写性能实验,并与日志采集软件相结合提出了解决存储海量日志的一种方案:用Fluent(日志采集软件)与MongoDB来构建日志采集系统。实验表明:这种方式与传统存储方式相比,突破单机环境下日志存取的瓶颈,大幅度提高海量日志的存取速度,简化了日志分析与统计操作。在MongoDB集群环境下,高并发的读写满足了海量日志存取的需求,并且这种集群具有可扩展性和高可用性。
- 韩岩李晓
- 关键词：FLUENTMYSQLMONGODBHADOOP
- 基于区域—频道访问度的民意热点信息挖掘算法被引量：1
- 2013年
- 为了有效地从电子政务网站的Web日志中挖掘民众关注的热点信息,提出基于区域—频道访问度的民意热点信息挖掘算法——PHIMA算法。该算法在分析目前Web日志挖掘算法存在的问题的基础上,利用提出的区域—频道访问度概念设计Web访问矩阵,并基于该矩阵结合区域—频道访问度和灰关联分析法提出。实验表明算法能有效地挖掘民意热点信息,可用于电子政务网站站点优化、个性化服务和为决策者提供决策支持等。
- 孟令达周喜
- 关键词：电子政务WEB使用挖掘
- 面向海量数据的电子政务云平台研究被引量：7
- 2013年
- 针对传统电子政务平台所采用的关系型数据库在处理海量数据时存在性能瓶颈问题,利用Hadoop分布式平台在处理海量数据方面的优势,结合HDFS分布式文件系统、Map/Reduce并行计算模型和Hive仓库技术,设计关系型数据库与Hadoop相结合的电子政务云平台,两者协同提供海量数据查询操作和存储服务,从而降低了关系型数据库服务器的负载压力,增强电子政务平台的扩展性。通过实验证明,Hadoop能大大提高电子政务云平台的查询效率。进一步分析该设计方案中影响查询效率的因素,为深入研究基于Hadoop构建高效的电子政务云提供参考。
- 刘军霞王磊周喜
- 关键词：电子政务海量数据云计算HADOOP关系型数据库查询效率
