公共文化服务平台

搜索到475篇“ HADOOP集群“的相关文章

一种HADOOP集群的能耗监测及优化方法: 一种HADOOP集群的能耗监测及优化方法，它属于计算机技术领域。本发明解决了现有功耗预测模型的泛化能力差、现有能耗预测方法未考虑CPU频率的影响以及现有能耗优化方法难以识别出最优配置参数组合的问题。本发明首先对功率缺失值...; 巢泽敏陈潇杜长斌孙长秋毕研恒李菲王宏志高肇明郑乔译李欣宇齐志鑫谭世喆王宇朱艳秋柴云峰葛广志岑建何

基于多目标优化的大规模Hadoop集群虚拟机放置方法: 本发明提出基于多目标优化的大规模Hadoop集群虚拟机放置方法，Hadoop集群的系统模型包含多个机架，每个机架内配置多个物理机PMs，每个物理机上运行着多个虚拟机VMs；Hadoop集群通过交换机进行数据块传输与文件副...; 陈哲毅文佳池梦莉吴舒霞张俊杰

一种Hadoop集群冗余计算优化与治理的方法及系统: 本发明公开一种Hadoop集群冗余计算优化与治理的方法及系统，其中，该方法包括：引入自动化分析工具，对Hadoop集群中的作业配置项、数据血缘关系以及作业处理逻辑进行深入分析，识别出冗余计算作业；针对识别出的冗余计算作业...; 张强

大数据Hadoop集群下Sqoop数据传输技术研究被引量：2: 2024年; 【目的】Hadoop系统是大数据分布式集群系统,其开源的生态圈中有众多功能组件,通过在大数据Hadoop集群系统上部署Sqoop组件,将本地关系型Mysql数据库中的数据和Hive数据仓库中存储的数据进行快速导入导出,进一步研究数据传输性能。【方法】首先在企业服务器上部署配置Hadoop分布式集群系统,其次在该集群上部署Sqoop组件并测试与Mysql数据库和Hive数据仓库的连通性,最后使用Sqoop技术测试本地Mysql数据库和Hive数据仓库之间的导入和导出。【结果】通过Sqoop技术能够更加便捷快速地从本地Mysql数据库上传到Hadoop集群系统,与传统方式下先将本地Mysql数据库中数据导出TXT文档格式后再使用Hive数据仓库的Load数据批量加载功能相比,在时间和效率方面大为提升。【结论】验证了Sqoop组件在Hadoop集群中部署运行的正确性,为大数据技术学习者提供一定程度的参考借鉴。; 周少珂郭璇张振平付媛冰; 关键词：大数据 HADOOP 分布式集群

一种hadoop集群数据同步方法: 本发明提供的hadoop集群数据同步方法，是通过源端集群配置待同步表、依赖的源端集群调度和同步频次；在达到同步频次时，通过目标端集群执行依赖的源端集群调度判断，并生成第一判断结果；通过目标端集群根据第二判断结果执行待同步...; 刘志超李尼科潘斌何培康谭磊陈梦晨

地震数据处理Hadoop集群部署方法、设备及介质: 本发明提供一种地震数据处理Hadoop集群部署方法、设备及介质，该方法包括：分别搭建一套Hadoop计算集群和一套HDFS存储集群，两套集群之间实现网络互联；设置所述HDFS存储集群对接Hadoop计算集群的配置；设置所...; 曹永生雍晨天张代兰吕达周成

地震数据处理软件Hadoop集群部署更新方法、设备及介质: 本发明提供一种地震数据处理软件Hadoop集群部署更新方法、设备及介质。该方法，包括：将地震数据处理软件安装部署到Hadoop集群；将集群配置文件与集群运行程序解耦，为集群配置文件创建软连接；集群版本更新时，在安装包目录...; 曹永生雍晨天吕达吴明宽周成

一种Hadoop集群快速部署的方法、系统和可存储介质: 本发明提出了一种Hadoop集群快速部署的方法、系统和可存储介质，包括对Zookeeper集群和Hadoop集群的服务节点进行分配并统一管理，按照业务需要对节点功能进行业务划分，利用配置文件对节点功能进行管理，通过编写好...; 唐成务魏云涛王志永刘源鄢小征彭冲林杨勇戍

一种基于K8s的Hadoop集群自适应部署的方法及系统: 本发明提供了一种基于K8s的自适应部署Hadoop集群的方法，其中该方法包括：生成集群初始化脚本；评估用户的机器数量，基于所评估的结果自动选择合适的部署模式；基于所选择的部署模式自动修改所述集群初始化脚本；基于修改后的集...; 王龙赵兴国

异构Hadoop集群中基于节点特性的负载平衡方法被引量：1: 2024年; 为了解决异构Hadoop集群中每个结点的负载平衡问题,提出了一种基于节点特征的负载均衡方法。方法首先分析决定节点性能的主要指标,然后根据这些指标的贡献,定义了对应的目标函数来描述节点性能;同时将节点性能与节点忙闲状态相结合来计算集群中每个结点的相对负载值。通过分析每个节点的相对负载值和集群存储利用率,计算每个节点的存储利用率的推荐值。最后,基于当前集群的磁盘负载状态,动态生成平衡阈值。实验结果表明,提出的负载均衡方法可为异构Hadoop集群提供更合理的均衡方案,同时可以提高运行效率和缩短了执行时间。; 宋吉飞张学宾; 关键词：异构负载均衡数据存储

相关作者