闫莺 作品数:8 被引量:41 H指数:3 供职机构: 复旦大学信息科学与工程学院计算机科学系 更多>> 发文基金: 国家自然科学基金 国家高技术研究发展计划 更多>> 相关领域: 自动化与计算机技术 更多>>
数据流处理技术在电信网管系统中的应用 被引量:6 2008年 网络流量监测技术是电信运营商所关注的重点之一。随着网络传输带宽的不断增加,传统的基于磁盘的处理技术已经不能够满足运营管理的需要,数据流处理技术的出现为网络流量监测应用提供了一种新的解决方案。SMART[1,2]和RealMon[3]是将数据流处理技术应用于网络流量监测的两个应用系统。文中结合上海电信在骨干网流量监测上的应用需求,对这两个系统的设计与应用进行了介绍。SMART系统以数据流上的频繁项挖掘算法为基础,支持NetFlow数据流上长时间滑动窗口内的Top-K查询,实现了对网络流量分布的实时监测。RealMon系统采用数据流上的降维分析算法对SNMP数据流进行分析,通过监测网络链路上不同流量数据的相关性变化来发现异常流量。实验和在真实环境中的应用表明,SMART和RealMon系统能够满足骨干网流量监测应用的需要,并且极大地提高了监测系统的性能。 宫学庆 闫莺 常建龙 张晨 周傲英关键词:数据流 网络流量监测 TOP-K查询 异常检测 基于噪声数据流的高效相似匹配算法 由于在金融分析、环境监测、网络服务等重要领域的良好应用前景,基于数据流的相似匹配算法成为数据库研究的热点之一.在实际应用中,数据流噪声大量存在且难以被完全过滤,因此,处理噪声数据流上的相似匹配问题显得尤其重要.为解决该问... 郑凯 宫学庆 闫莺 周红福 周傲英关键词:数据流 相似度 噪声 文献传递 支持个性化推荐的Web页面关联规则挖掘算法 被引量:23 2005年 分析了应用于个性化推荐的Web页面关联规则的特点,提出了“壹支持数下k关联规则”的思想,根据这一思想设计、实现了一种应用于个性化推荐的Web页面关联规则挖掘算法——PARM(Pageview Association Rule Mining)及频繁项集的Freq-Set-Tree存储结构,在产生频繁项的同时挖掘关联规则,因而能提高效率。实验证明在个性化推荐系统中PARM算法的效率明显高于FP-Growth算法。 闫莺 王大玲 于戈关键词:WEB挖掘 关联规则 多数据流上共享窗口连接查询的降载策略 数据流模型作为一种新型的模型,在许多应用中扮演着重要的角色.基于数据流模型的查询处理技术也得到了广泛的研究.为了提高查询系统的性能,现有的研究成果主要可以划分为两类:调度优化和降低负载方法.调度优化方法通过改变元组执行次... 闫莺 金澈清 曹锋 汪恒杰 周傲英关键词:数据流 降载 调度 文献传递 SMART:基于数据流技术的电信网络流量监控系统 被引量:3 2007年 大多数国内电信运营商现有的网络流量监控系统的分析都是基于数据文件的操作模式,处理速度远跟不上大量数据到达的速度。基于这种情况,提出了基于数据流技术来实现在线网络流量监控系统SMART。SMART收集多个路由器发送的NetflowV5或者V9格式的数据,并将其转换成用户定义的监控流;以滑动窗口的方式查询输出流量构成中Top-k频繁数据信息;监测网络流量突变;以可视化的图形和报表形式显示结果。SMART先进的数据流算法技术基础和完整的系统框架设计使得它在上海电信高效稳定的7*24h运行。 常建龙 闫莺 宫学庆 戴岱 周傲英关键词:数据流系统 网络流量监控 电信 多数据类型的数据流查询处理及优化 数据流作为一种新型的数据模型,在许多应用,如:网络流量管理、金融数据分析、电子商务、交通治理、网站信息的发布和订阅、版权保护以及环境和工业监控中扮演着重要的角色。基于数据流模型的查询处理以及优化技术也得到了广泛的研究。数... 闫莺关键词:数据流 查询处理 查询优化 数据类型 拷贝检测 文献传递 多数据流上共享窗口连接查询的降载策略 被引量:9 2004年 数据流模型作为一种新型的模型 ,在许多应用中扮演着重要的角色 基于数据流模型的查询处理技术也得到了广泛的研究 为了提高查询系统的性能 ,现有的研究成果主要可以划分为两类 :调度优化和降低负载方法 调度优化方法通过改变元组执行次序来提高查询性能 降低负载方法在负载超出系统处理能力时 ,通过减少输入流量来提高吞吐率 然而 ,同时运用这两种方法来提高查询性能的研究工作还很少 结合共享滑动窗口查询操作的调度优化方法和降低负载方法 ,提出了两种在burst环境下提高查询吞吐率的策略 :均匀降载策略和小窗口准确降载策略 闫莺 金澈清 曹锋 汪恒杰 周傲英关键词:数据流 降载 调度 基于噪声数据流的高效相似匹配算法 2007年 由于在金融分析、环境监测、网络服务等重要领域的良好应用前景,基于数据流的相似匹配算法成为数据库研究的热点之一.在实际应用中,数据流噪声大量存在且难以被完全过滤,因此,处理噪声数据流上的相似匹配问题显得尤其重要.为解决该问题,首先提出了一种新的距离定义,K-Match距离,由于其可以避免噪声数据参与运算,因而具有较强的抗噪性能.在此定义基础上,提出了一种高效的流式匹配算法SKM. SKM通过保留历史信息,能够随着数据流的更新及时返回匹配结果.最后,通过实验进一步证明,该算法能够有效地在噪声数据流中找到相似子序列. 郑凯 宫学庆 闫莺 周红福 周傲英关键词:数据流 相似度 噪声