向小佳
- 作品数：6 被引量：12H指数：1
- 供职机构：中国科学院计算技术研究所更多>>
- 发文基金：国家自然科学基金更多>>
- 相关领域：自动化与计算机技术更多>>
- 一种大数据处理系统的正交分解构造与优化的方法及系统
- 本发明公开一种大数据处理系统的正交分解构造与优化的方法及系统，该方法包括：采用超级优化的方法，在所述大数据处理系统执行逻辑的中间表示代码或二进制硬件指令层面进行离线静态分析，提取优化指令序列作为优化后基本块；创建优化代码...
- 向小佳赵晓芳
- 文献传递
- 一种基于Hadoop体系的关系型大数据无缝接入方法及系统
- 本发明提出基于Hadoop体系的关系型大数据无缝接入方法及系统，该方法包括将获取所述Hadoop体系中的查询语句及元数据信息，并将所述查询语句转换成查询块，根据所述查询块与所述元数据信息生成处理算子树，解析输入的外部的数...
- 向小佳赵晓芳杨訸刘洋
- 文献传递
- 一种轻量级虚拟机迁移方法
- 本发明提供一种轻量级虚拟机迁移方法，包括：从源端向目的端并发地迁移构成待迁移虚拟机的各个进程；以及在目的端恢复迁移完成的所述各个进程的运行。所述方法还包括：将构成所述待迁移虚拟机的各个进程的迁移切分为多个时序阶段，其中每...
- 向小佳赵晓芳
- 文献传递
- 一种大数据处理系统的正交分解构造与优化的方法及系统
- 本发明公开一种大数据处理系统的正交分解构造与优化的方法及系统，该方法包括：采用超级优化的方法，在所述大数据处理系统执行逻辑的中间表示代码或二进制硬件指令层面进行离线静态分析，提取优化指令序列作为优化后基本块；创建优化代码...
- 向小佳赵晓芳
- 文献传递
- 一种轻量级虚拟机迁移方法
- 本发明提供一种轻量级虚拟机迁移方法，包括：从源端向目的端并发地迁移构成待迁移虚拟机的各个进程；以及在目的端恢复迁移完成的所述各个进程的运行。所述方法还包括：将构成所述待迁移虚拟机的各个进程的迁移切分为多个时序阶段，其中每...
- 向小佳赵晓芳
- 一种正交分解大数据处理系统设计方法及实现被引量：12
- 2017年
- MapReduce等计算框架的出现开启了大数据处理新纪元,以Hadoop,Spark为代表的大数据处理系统具有大吞吐率、跨平台、高可扩展的优势,并得到广泛应用.然而,为避免与具体的操作系统、硬件平台绑定,这些系统的设计与优化集中在计算模型、调度算法等方面,无法充分利用底层平台的优势.提出了一种基于正交分解的大数据处理系统设计与优化方法,将系统分解为松耦合的多个功能正交的模块,使存储、处理功能分离出来,交给能够利用底层平台操作系统甚至硬件资源的存储、执行引擎,原大数据系统退化为调度平台;进而,提出基于锁无关机制的存储底层优化策略和基于指令超级优化的执行引擎底层优化策略.以此为指导,以Hadoop作为兼容和改进的对象,实现了原型大数据处理系统Arion.Arion既能保持Hadoop的跨平台、高可扩展的优势,又能消除任务执行的瓶颈,其本地化的设计与优化手段对非Hadoop平台同样有效.通过在原型系统上的实验证明,Arion能够提升大数据处理任务的执行效率,最高达7.7%.
- 向小佳赵晓芳刘洋龚关俊张晗
- 关键词：本地化执行引擎
