公共文化服务平台

共 9 条记录，以下是 1-9

全选清除导出

排序方式：

Spark环境下基于多维布隆过滤器的星型连接算法被引量：1: 2016年; 为了适应联机分析处理(OLAP)系统中实时数据高性能分析需求不断提高的需求,提出一种能够适合Spark环境并结合多维Bloom Filter(MDBF)的星型连接算法SMDBFSJ。首先,根据多个维表构建MDBF,利用其占用空间小的特点,广播到所有节点;然后,在本地节点完成事实表过滤操作,事实表不需要在节点间移动数据;最后,过滤后的事实表与维表采用重划分方式进行连接,进而得到最终结果。SMDBFSJ算法避免了事实表数据移动,通过MDBF减小了需要广播的数据量,充分结合了广播连接和重划分连接的优势。实验结果表明了该算法的有效性,在单机和集群环境下,该算法相比重划分连接均获得了3倍左右的性能提升。; 周国亮萨初日拉朱永利; 关键词：布隆过滤器联机分析处理 SPARK

云计算环境下基于离散余弦变换的网络内部信息隐藏算法被引量：4: 2018年; 针对目前信息隐藏算法安全性低、不可感知性差以及抗干扰性弱等特点,提出一种新的云计算环境下网络内部信息隐藏算法。介绍了云计算环境下网络内部信息嵌入载体过程,给出了嵌入过程流程图。阐述了离散余弦变换(DCT)网络信息隐藏算法原理,通过DCT变换对云计算环境下网络内部信息进行处理;其主要包括离散余弦变换与离散余弦逆变换。分析了DCT算法隐藏容量,结合DCT算法自身特点,对不同类型信息设定出相应的量化参数,最大限度增加DCT算法的最大可嵌入信息容量。给出DCT算法具体信息隐藏过程和提取过程。实验结果表明,所提算法不可感知性、抗干扰性以及安全性强,载体的可嵌入信息容量大。; 叶卫王桂兰龚小刚; 关键词：云计算网络内部信息

基于结构分析的风机齿轮箱传感器配置研究被引量：4: 2018年; 齿轮箱是风电机组传动系统的核心部分,一旦齿轮箱发生故障,不仅会产生高额的维修费用,还会造成较长时间的停电。因此,对风机齿轮箱进行实时状态监测与故障的识别、隔离具有重要的实际意义。而齿轮箱状态监测与故障识别、隔离的有效性依赖于齿轮箱中传感器所安装的位置和数量,因而有必要对齿轮箱传感器的配置进行研究。为了使安装的传感器不但可以准确反映齿轮箱的运行状态,还能对可能出现的故障实现识别与隔离,提出从风机齿轮箱的动力学模型出发,构建描述齿轮箱运行状态的动力学方程,将结构分析方法应用到齿轮箱传感器的优化配置中;实现传感器数量最少,识别、隔离可能出现的故障能力最大的配置目标。; 王桂兰赵洪山郭双伟

实时大数据处理技术在状态监测领域中的应用被引量：53: 2014年; 随着智能电网建设和研究的不断推进,对输变电设备状态监测的广度和深度不断加强,状态监测过程中收集的数据量呈指数级增长。然而,电力系统要求对生产、管理、运营能够实时监控,对在线监测系统的实时性要求很高。现有的大数据处理技术(如Map Reduce等适合离线大数据分析)应用于在线状态监测系统时,其性能很难保证。根据状态监测数据特点,利用Storm实时处理监测数据流,设计了数据流处理拓扑结构和消息树;利用Spark内存集群计算技术,提高状态评价和数据分析算法的性能,设计了k-means的聚类算法,实现数据的聚类划分。最后提出了结合大数据处理、实时流数据处理和内存批处理技术的状态监测数据实时分析框架。; 周国亮朱永利王桂兰宋亚奇; 关键词：在线状态监测数据流

Spark环境下的并行模糊C均值聚类算法被引量：11: 2016年; 针对聚类算法需要处理数据集的规模越来越大、时效性要求越来越高,对算法的大数据适应能力和性能要求更高的问题,提出一种在Spark分布式内存计算平台下的模糊C均值（FCM）算法Spark-FCM。首先对矩阵通过水平分割实现分布式存储,不同向量存储在不同节点;然后基于FCM算法的计算特点,设计了分布式和缓存敏感的常用矩阵操作,包括乘法、转置和加法等;最后基于矩阵操作和Spark平台特点,设计了Spark-FCM算法,主要数据结构采用分布式矩阵存储,具有节点间数据移动少和每个步骤分布式计算特点。通过在单机和集群环境下测试,算法具有良好的可扩展性,并可以适应大规模数据集,算法性能与数据量成线性关系,集群环境下性能比单机提高2~3倍。; 王桂兰周国亮萨初日拉朱永利; 关键词：SPARK 模糊C均值矩阵运算

CC-MRSJ:Hadoop平台下缓存敏感的星型联接算法: 2013年; 提出了一种缓存敏感的MapReduce星型联接算法,事实表每列单独存储,维表根据维层次划分为多个列簇。事实表外键列与对应维表采用相关性存储,减少联接过程中的数据移动。算法分为两个阶段,首先每个外键列和对应维表进行联接;然后对中间结果进行联接,随机访问测度列,进而得到最终结果。算法只读取需要的数据,缓存利用率高,从而具有良好的缓存敏感特性;算法充分利用时延实体化,避免不必要的数据访问和移动。通过在SSB数据集上与Hive系统的对比测试表明,CC-MRSJ算法具有较高的执行效率。; 周国亮朱永利王桂兰; 关键词：MAPREDUCE 缓存敏感

状态监测大数据存储及聚类划分研究被引量：40: 2013年; 随着输变电设备状态监测的广度和深度不断加强,收集的监测数据越来越多,逐渐形成了智能电网状态监测大数据。然而,如何有效的存储和分析状态监测大数据是大数据在状态监测领域应用的关键问题之一。基于云计算平台并考虑状态监测数据的特点,将监测数据海量小文件组合成大的序列文件,并压缩存储,从而提高存储和处理效率。针对状态监测大数据价值密度低的特点,首先利用分形理论对监测数据降维处理,提取时域和频域特征量,并使用密度聚类算法DBSCAN(Density-Based Spatial Clustering of Applications with Noise)对样本数据聚类划分,提取不同聚类的特征数据;然后结合云平台的数据处理能力设计MapReduce并行算法,实现状态监测大数据的聚类划分,从而有助于从大数据中发现有价值的特征量;最后,利用大数据聚类结果更新和丰富样本特征数据。实验结果表明该方法可以有效存储状态监测大数据并对其聚类划分,对提高设备的状态评估及故障诊断水平具有一定辅助作用。; 周国亮宋亚奇王桂兰朱永利; 关键词：大数据聚类

大规模用电数据流的快速聚类和异常检测技术被引量：50: 2016年; 对近年来在电力系统中出现的大规模数据流进行了探讨,目的是利用流式计算技术提高系统的实时性和安全性。针对大规模用电信息采集中用电数据流的快速聚类和异常检测技术展开研究。结合分布式流式计算平台Spark Streaming,基于用电行为在纵向时间和横向空间上表现出的聚类特性,即同类用户具有相似用电模式和同一用户历史数据具有相似性,设计并实现了流式DBSCAN聚类算法,以实现对大规模用电数据流的快速异常检测。设计并搭建了支持大规模数据流处理的实验环境,证明了算法的有效性。; 王桂兰周国亮赵洪山米增强; 关键词：数据流聚类异常检测用电行为

电力大数据全景实时分析关键技术被引量：37: 2016年; 针对智能电网建设过程中收集的电力大数据,基于电力系统全景实时数据分析的需求,探讨基于大数据的电力系统安全可靠性分析、实时状态监控及能源全景动态平衡调度等核心问题的解决思路。分析了利用大数据解决安全可靠性、设备全寿命周期管理及能源实时平衡调度等问题的挑战及解决思路,基于大规模实时多源细节数据和设备全景数据的计算,有助于提高系统分析的精度和准确度,保证电网安全运行;探讨了内存计算、实时流式大数据处理、大规模并行计算及列存储等技术在电力大数据实时分析中的应用;结合主流开源大数据处理技术,设计了电力大数据分析平台的分层体系架构,为电力系统的高效运行提供保证。; 周国亮吕凛杰王桂兰; 关键词：数据流

全选清除导出

共1页<1>

中央高校基本科研业务费专项资金(13MS103)

文献类型

领域

主题

机构

作者

传媒

年份

用户反馈

中央高校基本科研业务费专项资金(13MS103)

文献类型

领域

主题

机构

作者

传媒

年份

用户登录

用户反馈