检索结果-内蒙古大学图书馆

第二届地球物理信息前沿技术研讨会

作者：蔡寅尹玉振山东省地震局

本文以整合现有服务器的计算资源基础,建立了计算资源统一调度管理模型,面向用户按需提供可配置计算资源服务,将接入汇聚的各类数据及计算资源全部统一封装为服务,用户请求的分析服务以任务为单位,形成典型算法分布式计算框架,关联数据... 详细信息

本文以整合现有服务器的计算资源基础,建立了计算资源统一调度管理模型,面向用户按需提供可配置计算资源服务,将接入汇聚的各类数据及计算资源全部统一封装为服务,用户请求的分析服务以任务为单位,形成典型算法分布式计算框架,关联数据分析工具进行分布式计算。计算框架图如下图所示。

关键词：分布式计算框架典型算法并行化

来源：评论

学校读者我要写书评

暂无评论

一种基于zookeeper分布式计算框架的任务调度方法及系统

一种基于zookeeper分布式计算框架的任务调度方法及系统

引用

作者：林思郭献伟徐创杰黄雨轩孙乾 200120 上海市浦东新区自由贸易试验区银城中路188号

本发明涉及一种基于zookeeper分布式计算框架的任务调度方法及系统，该方法采用分布式系统协调中心zookeeper进行分布式协调服务，所述方法包括：协调服务器，通过竞争确认领导者并开启领导者线程，将客户端新提交的作业分配给作业服务... 详细信息

标准号: CN115934282A

本发明涉及一种基于zookeeper分布式计算框架的任务调度方法及系统，该方法采用分布式系统协调中心zookeeper进行分布式协调服务，所述方法包括：协调服务器，通过竞争确认领导者并开启领导者线程，将客户端新提交的作业分配给作业服务器，以及协调各个作业服务器；作业服务器，将从协调服务器获取的作业通过作业分配器拆分为多个任务后存储到分布式系统协调中心zookeeper，再由分布式系统协调中心zookeeper逐个分配给任务服务器；任务服务器，从分布式系统协调中心zookeeper上获取任务并分配给任务处理器执行，并更新任务状态。与现有技术相比，本发明将作业拆分为多个任务，分配给多个在线的服务器同时执行，实现并行调度，并对多种异常状态进行及时处理，作业处理效率高且容错性高。

关键词：分布式系统作业服务器任务服务器协调服务器协调分配分布式计算框架分布式协调任务处理器并行调度任务调度任务状态异常状态作业处理作业分配分配器客户端容错性线程服务器存储更新服务

来源：评论

学校读者我要写书评

暂无评论

一种实时在线的分布式计算框架的实现方法

一种实时在线的分布式计算框架的实现方法

引用

作者：张明浩王旭王耘陆金红 519085 广东省珠海市珠海港湾大道科技五路8号

一种实时在线的分布式计算框架的实现方法，包括步骤101，在JVM的MapReduce地址空间中共享JVM资源；所述JVM资源包括堆栈、加载所述堆栈的中间件和运行所述堆栈的应用类；步骤102，利用共享的所述JVM资源，实现所述JVM的重置；所述重置... 详细信息

标准号: CN104731634B

一种实时在线的分布式计算框架的实现方法，包括步骤101，在JVM的MapReduce地址空间中共享JVM资源；所述JVM资源包括堆栈、加载所述堆栈的中间件和运行所述堆栈的应用类；步骤102，利用共享的所述JVM资源，实现所述JVM的重置；所述重置包括初始化所述JVM、重用所述中间件和/或共享所述应用类；步骤103，通过所述JVM的重置，实现了在线的分布式计算框架。在大规模集群操作系统的事务处理环境中，持久性可重用Java虚拟机能够加速Java应用的处理速度。持久性可重用的JVM通过提供以下能力提高了在这些环境中事务处理的吞吐量，大大降低用于海量数据处理的MapReduce任务的启动时间。

关键词：堆栈重置分布式计算框架事务处理持久性可重用应用类中间件海量数据处理大规模集群地址空间实时在线共享初始化加载操作系统吞吐量重用

来源：评论

学校读者我要写书评

暂无评论

一种基于分布式计算框架下海量数据加权top-k查询方法

一种基于分布式计算框架下海量数据加权top-k查询方法

引用

作者：何洁月罗浩 211189 江苏省南京市江宁区东南大学路2号

本发明公开了一种基于spark分布式计算框架下海量数据的top-k查询优化方法，将海量数据集预先进行数据分割，主要采用的是类似网格的数据分割方法。将原始数据集划分为不同的子数据集，然后根据用户对数据对象的每个属性赋予的权重以及... 详细信息

标准号: CN104809210A

本发明公开了一种基于spark分布式计算框架下海量数据的top-k查询优化方法，将海量数据集预先进行数据分割，主要采用的是类似网格的数据分割方法。将原始数据集划分为不同的子数据集，然后根据用户对数据对象的每个属性赋予的权重以及查询k值，选取少量合适的子数据集代替整个数据集进行查询。实验结果证明本文提出的方法查询速度较快，而且具有良好的可扩展性。与传统top-k查询方法以及基于角度和距离数据分割方法进行对比，提高了查询速度，能够在短时间内及时反馈给用户需要查询的信息。

关键词：数据集查询速度分布式计算框架数据分割方法扩展性查询方法查询优化分割方法根据用户海量数据距离数据数据分割原始数据对数据网格反馈

来源：评论

学校读者我要写书评

暂无评论

基于分布式计算框架的大数据机器学习分析

引用

电子设计工程 2020年第11期28卷 79-83页

作者：潘世成郑国标赵耀广东电网有限责任公司清远供电局广东清远511515 广州中软信息技术有限公司广东广州510665

基于大数据挖掘的数据样本多样性与实时性需求,提出了基于分布式计算框架的大数据机器学习系统,对目前算法迭代计算的过程进行分析,以模型向量该变量使迭代的过程划分成为微调与粗调不同阶段,并且还能够发现在部分阶段中大部分样本对于... 详细信息

基于大数据挖掘的数据样本多样性与实时性需求,提出了基于分布式计算框架的大数据机器学习系统,对目前算法迭代计算的过程进行分析,以模型向量该变量使迭代的过程划分成为微调与粗调不同阶段,并且还能够发现在部分阶段中大部分样本对于计算结果并没有太大的影响,所以能够在迭代过程中直接使用上次迭代计算结果,降低计算量,使计算效率得到提高。通过实验结果表示,算法基于分布式集群环境中能够降低模型训练计算量,并且提高训练模型精准度,使大数据挖掘实时性得到提高。

关键词：分布式计算框架大数据机器学习迭代计算

来源：评论

学校读者我要写书评

暂无评论

一个轻量级分布式计算框架的设计与实现

一个轻量级分布式计算框架的设计与实现

引用

第十一届科学数据库与信息技术学术研讨会

作者：徐衍波陈维明中国科学院上海有机化学研究所上海 200032

本文主要讨论了分布式计算及其通用框架,在分析对比现有框架限制的基础上设计开发了一套轻量级易扩展的分布式计算通用框架——OseServersX框架,应用了OseServersX框架的两个实例表明该框架在效率和易用性等方面满足了特定的需求.

关键词：分布式计算框架软件开发功能模块执行效率

来源：评论

学校读者我要写书评

暂无评论

容器化分布式计算框架的调度方案获取方法及调度方法

容器化分布式计算框架的调度方案获取方法及调度方法

引用

作者：童薇冯丹刘景宁谢乘胜邓竣中 430074 湖北省武汉市洪山区珞喻路1037号

本发明公开了一种容器化分布式计算框架的调度方案获取方法及调度方法，包括：根据待调度的容器化分布式计算框架中各个未调度的容器化组件所需消耗的计算资源以及各计算节点的可用计算资源，确定用于运行各容器化组件的计算节点，使得... 详细信息

标准号: CN109976873A

本发明公开了一种容器化分布式计算框架的调度方案获取方法及调度方法，包括：根据待调度的容器化分布式计算框架中各个未调度的容器化组件所需消耗的计算资源以及各计算节点的可用计算资源，确定用于运行各容器化组件的计算节点，使得容器化核心组件能够与尽可能多的容器化计算组件被调度至同一计算节点，由此得到待调度的容器化分布式计算框架的调度方案；对于新建的计算框架，获得调度方案后将各容器化组件调度至相应的计算节点；若不存在新建的计算框架且满足重调度执行条件，则获得一个或多个正在运行的计算框架的调度方案，并在能够使得所有计算框架总的网络通信开销减小时执行重调度。本发明能够有效提升容器化分布式计算框架的性能。

关键词：调度分布式计算框架计算节点重调度可用计算资源网络通信开销核心组件计算资源计算组件提升容器执行条件组件调度消耗

来源：评论

学校读者我要写书评

暂无评论

在集群中调度运行分布式计算框架的方法和系统

在集群中调度运行分布式计算框架的方法和系统

引用

作者：董元元罗韩梅林恬彭亮陈卓金涬 518044 广东省深圳市福田区振兴路赛格科技园2栋东403室

一种在集群中调度运行分布式计算框架的方法，包括以下步骤：集群调度器获取提交的封装了框架控制器的第一作业；集群调度器根据第一作业生成包含框架控制器的第一任务，将第一任务下发到集群执行器；接收到第一任务的集群执行器启动框... 详细信息

标准号: CN103713942B

一种在集群中调度运行分布式计算框架的方法，包括以下步骤：集群调度器获取提交的封装了框架控制器的第一作业；集群调度器根据第一作业生成包含框架控制器的第一任务，将第一任务下发到集群执行器；接收到第一任务的集群执行器启动框架控制器运行；集群调度器获取提交的封装了与框架控制器对应的框架工作器的第二作业；集群调度器根据第二作业生成包含框架控制器标识以及框架工作器的第二任务，并将第二任务下发到集群执行器；接收到第二任务的集群执行器根据框架控制器标识启动框架工作器运行。上述方法可将多个分布式计算框架可部署到同一集群中，从而可提高集群的资源利用率。此外，还提供一种在集群中调度运行分布式计算框架的系统。

关键词：集群框架控制器集群调度分布式计算框架工作器任务下发作业生成封装资源利用率调度部署

来源：评论

学校读者我要写书评

暂无评论

一种多无人机智能重建地形的分布式计算框架

一种多无人机智能重建地形的分布式计算框架

引用

作者：罗训单诚高锐 300000 天津市西青区李七庄街宾水西道391号天津理工大学大学生活动中心B区214-1

本发明的目的是提供一种多无人机智能重建地形的分布式计算框架，包括：无人机之间通信的方法；中心控制节点和无人机的协作关系；关键帧集合和位姿列表的定义；中心控制节点和无人机之间的各种通信信道；检测多无人机重建区域重合的方... 详细信息

标准号: CN107943096A

本发明的目的是提供一种多无人机智能重建地形的分布式计算框架，包括：无人机之间通信的方法；中心控制节点和无人机的协作关系；关键帧集合和位姿列表的定义；中心控制节点和无人机之间的各种通信信道；检测多无人机重建区域重合的方法；实现多无人机重建地形合并的方法。本发明的有益效果在于:本发明可以解决单一无人机重建地形时计算资源有限、飞行距离有限的局限，使用多无人机协同完成重建地形任务；各无人机之间不需要预知彼此的绝对位置和相对位置，其重建区域的重合完全由视觉特征比对判定；无人机与中心控制节点之间、以及无人机与无人机之间的通信带宽使用效率高度优化等优点。

关键词：重建中心控制节点地形分布式计算框架关键帧集合比对判定飞行距离计算资源绝对位置区域重合使用效率视觉特征通信带宽通信信道协作关系重合位姿协同局限智能合并检测通信优化

来源：评论

学校读者我要写书评

暂无评论

在集群中调度运行分布式计算框架的方法和系统

在集群中调度运行分布式计算框架的方法和系统

引用

作者：董元元罗韩梅林恬彭亮陈卓金涬 518044 广东省深圳市福田区振兴路赛格科技园2栋东403室

标准号: CN103713942A

关键词：集群框架控制器集群调度分布式计算框架框架工作封装资源利用率调度

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：