检索结果-内蒙古大学图书馆

作者：贾金芳李怡龙王晓英 810016 青海省西宁市城北区宁大路251号

本发明涉及一种跨编程语言的分布式计算框架，包括一个控制节点和与其通过以太网连接的多个计算节点，控制节点包括：控制核心、消息队列系统、容器引擎和页面集成开发环境Web IDE；控制核心用于在接收到Web IDE转发的消息或请求后，根... 详细信息

标准号: CN111580801A

本发明涉及一种跨编程语言的分布式计算框架，包括一个控制节点和与其通过以太网连接的多个计算节点，控制节点包括：控制核心、消息队列系统、容器引擎和页面集成开发环境Web IDE；控制核心用于在接收到Web IDE转发的消息或请求后，根据多个计算节点的负载情况和计算任务量，将计算任务和原始计算数据通过消息队列系统进行下发至各个计算节点，并收集各个计算节点的计算结果传回给Web IDE；容器引擎用于封装和运行由控制核心下发的每个文件系统镜像，每个文件系统镜像为一个计算单元；Web IDE用于将用户通过终端输入的消息或请求转发至控制核心，并为用户提供控制核心收集的计算结果。本发明解决了在分布式计算中无法跨编程语言计算的问题。

关键词：控制核心计算节点文件系统镜像消息队列系统编程语言控制节点引擎分布式计算框架分布式计算以太网连接计算单元开发环境请求转发数据通过页面集成用户提供原始计算任务量封装转发终端

来源：评论

学校读者我要写书评

暂无评论

一种分布式计算框架参数优化方法、装置及系统

一种分布式计算框架参数优化方法、装置及系统

引用

作者：方育柯 518129 广东省深圳市龙岗区坂田华为总部办公楼

本发明适用于IT技术领域，提供了一种分布式计算框架参数优化方法、装置及系统。方法包括：获取当前提交的并行计算框架作业；在分布式计算框架历史运行数据库中，检索与分布式计算框架作业同类的历史分布式计算框架作业，分布式计算框... 详细信息

标准号: CN103605662A

本发明适用于IT技术领域，提供了一种分布式计算框架参数优化方法、装置及系统。方法包括：获取当前提交的并行计算框架作业；在分布式计算框架历史运行数据库中，检索与分布式计算框架作业同类的历史分布式计算框架作业，分布式计算框架历史运行数据库包括历史分布式计算框架作业的执行信息及配置参数；在同类的分布式计算框架作业中，检索与分布式计算框架作业相似的历史分布式计算框架作业；根据相似的历史分布式计算框架作业的配置参数，对分布式计算框架作业的配置参数进行优化配置。本发明能够实现Mapreduce作业参数配置合理化、自动化以及自学习。

关键词：分布式计算框架配置参数数据库检索参数优化方法装置及系统并行计算优化配置作业参数学习

来源：评论

学校读者我要写书评

暂无评论

任务处理方法和分布式计算框架

任务处理方法和分布式计算框架

引用

作者：张云聪温翔柴华王聪朱冠胤 100085 北京市海淀区上地十街10号百度大厦2层

本申请公开了任务处理方法和分布式计算框架。该方法的一具体实施方式包括：解析分布式计算任务对应的表达式，构建分布式计算任务对应的任务描述信息，任务描述信息用于描述算子与分布式数据集的对应关系，其中，算子作用于分布式数据... 详细信息

标准号: CN106383738A

本申请公开了任务处理方法和分布式计算框架。该方法的一具体实施方式包括：解析分布式计算任务对应的表达式，构建分布式计算任务对应的任务描述信息，任务描述信息用于描述算子与分布式数据集的对应关系，其中，算子作用于分布式数据集和/或对分布式数据集进行分组之后得到的分布式数据集；基于任务描述信息，确定算子所作用于的分布式数据集；利用算子对算子所作用于的分布式数据集进行分布式计算。实现了在分布式计算中，构建拓扑结构描述算子的作用范围以及嵌套关系，同一算子可同时作用在分布式数据集和对分布式数据集分组之后得到的分布式数据集，从而描述出不同计算需求的分布式计算任务。

关键词：分布式数据算子分布式计算任务描述构建分布式计算框架嵌套分组任务处理算子作用拓扑结构解析申请

来源：评论

学校读者我要写书评

暂无评论

分布式计算框架的大数据机器学习探析

引用

计算机产品与流通 2020年第10期9卷 179-179页

作者：邱莉萍鞠海军龚晓敏邓拓刘林玉南华大学计算机学院

为了实现大数据挖掘多样性以及实时性的要求,本文利用分布式计算框架设计了机器学习系统,实现大数据的迭代计算。根据模型的建立过程,对数据迭代计算分为粗调以及细调阶段,通过对不同迭代过程中对不同样本对模型参数向量的影响程度不同... 详细信息

为了实现大数据挖掘多样性以及实时性的要求,本文利用分布式计算框架设计了机器学习系统,实现大数据的迭代计算。根据模型的建立过程,对数据迭代计算分为粗调以及细调阶段,通过对不同迭代过程中对不同样本对模型参数向量的影响程度不同,形成了优化算法。从而形成迭代过程的简化,使计算过程效率进一步提高。按照本文设计的优化算法,进行了分布式计算框架机器学习模型的建立及验证,结果表明本文设计的分布式计算框架的大数据机器学习方式能够提高训练精度,提升了大数据挖掘的使用性。

关键词：分布式计算框架大数据机器学习

来源：评论

学校读者我要写书评

暂无评论

基于ZeroMQ的多机分布式计算的通信框架设计方法

基于ZeroMQ的多机分布式计算的通信框架设计方法

引用

作者：朱彦飞戴伟王锋邓辉张晓丽卫守林罗静 650093 云南省昆明市五华区学府路253号

本发明涉及一种基于ZeroMQ的多机分布式计算的通信框架设计方法，属于分布式计算系统领域。本发明的步骤是：第一步测试分析ZeroMQ官方单机多线程MT分布式计算模型，再基于MT模型设计不同地理位置的多机分布式计算框架模型，并针对网络... 详细信息

标准号: CN108696578A

本发明涉及一种基于ZeroMQ的多机分布式计算的通信框架设计方法，属于分布式计算系统领域。本发明的步骤是：第一步测试分析ZeroMQ官方单机多线程MT分布式计算模型，再基于MT模型设计不同地理位置的多机分布式计算框架模型，并针对网络变化进行动态调整，再加入负载均衡关键技术；第二步再在该多机模型的基础上，用消息中间件技术ZeroMQ实现该框架模型中各个节点之间的数据传输技术；之后在同一局域网中5台服务器上测试运行，最终实现基于ZeroMQ的多机分布式计算中通信框架的技术创新。本发明实现一个在多个服务器和多个客户端上运行的分布式计算通讯框架，并能包含数据冗余及负载均衡等相关功能。

关键词：多机分布式计算负载均衡通信框架服务器分布式计算框架分布式计算模型分布式计算系统数据传输技术同一局域网消息中间件测试分析测试运行动态调整关键技术框架模型模型设计数据冗余网络变化多线程客户端单机地理位置通讯

来源：评论

学校读者我要写书评

暂无评论

人工交通系统计算实验的分布式框架研究

引用

系统仿真学报 2013年第4期25卷 605-611页

作者：陈松航汤淑明朱凤华缪青海中国科学院自动化研究所复杂系统管理与控制国家重点实验室北京100190 山东科技大学信息与电气工程学院青岛266510 中国科学院研究生院计算与通信工程学院北京100049 中国科学院云计算产业技术创新与育成中心自动化所东莞研究院东莞523808

人工交通系统概念的提出为智能交通系统研究开辟了新的视野,但其自底向上的交通个体建模方法和复杂的计算过程也带来了庞大的计算量与存储量,单台计算机的计算能力越来越难以满足大规模计算实验的需求。为此,提出和实现了一种混合P2P结... 详细信息

人工交通系统概念的提出为智能交通系统研究开辟了新的视野,但其自底向上的交通个体建模方法和复杂的计算过程也带来了庞大的计算量与存储量,单台计算机的计算能力越来越难以满足大规模计算实验的需求。为此,提出和实现了一种混合P2P结构的分布式计算实验框架,并采用改进的同步算法和新的负载均衡方案优化了框架的性能,最后通过测试验证了该框架的高效性和可靠性。

关键词：人工交通系统大规模计算实验分布式计算框架混合P2P 性能和可靠性测试

来源：评论

学校读者我要写书评

暂无评论

一种基于MPI和MapReduce的分布式向量计算框架的研究与实现

一种基于MPI和MapReduce的分布式向量计算框架的研究与实现

引用

作者：戚军军浙江大学

学位级别：硕士

机器学习是近20年来兴起的多领域交叉学科,涉及多门学科,诸如概率论、统计学、逼近论、凸分析等等。机器学习算法目前已经有了广泛的应用,例如数据挖掘、自然语言处理、搜索引擎等等。当前各种机器学习算法已经有开源的单机实现,但是随... 详细信息

机器学习是近20年来兴起的多领域交叉学科,涉及多门学科,诸如概率论、统计学、逼近论、凸分析等等。机器学习算法目前已经有了广泛的应用,例如数据挖掘、自然语言处理、搜索引擎等等。当前各种机器学习算法已经有开源的单机实现,但是随着互联网的高速发展,用户数据量急剧增加,单机实现已经不能满足工业界的需求,为了满足算法的高性能实现,开发人员需要利用MPI, Hadoop/MapReduce等计算框架开发并行程序。 MPI效率高,编程灵活,扩展性好,适合高性能计算,然而也存在一些缺点：MPI接口众多,学习成本高；当前使用MPI实现高性能程序时,往往需要考虑数据切分、网络通信等问题,缺少类似MapReduce的计算模型,增加了程序员的负担；算法实现专有化不利用代码复用,缺少统一抽象的分布式数据结构；程序容错性较差。针对以上缺点,本论文综述了MPI容错方案和MapReduce的应用与改进,结合抽象向量接口设计,提出了一种MPI下基于向量和MapReduce的分布式计算框架。该框架将机器学习算法中的矩阵操作抽象成为分布式向量的操作,同时结合异步收发提高网络传输效率,尽可能重叠CPU计算和网络收发。在此基础之上,引入checkpoint机制,增加多轮迭代算法的在MPI环境中的容错性。为了验证程序的效率和正确性,选择了PageRank算法进行对比实验。实验证明,本论文提出框架适合并且能有有效解决符合MapReduce模型的机器学习算法的分布式实现问题。

关键词：分布式计算框架机器学习向量MPI MapReduce

来源：评论

学校读者我要写书评

暂无评论

松散环境下分布式大数据计算的中间件体系框架

松散环境下分布式大数据计算的中间件体系框架

引用

作者：朱方孙建东 210012 江苏省南京市雨花台区软件大道190号

本发明涉及的是一个对应于PAAS&IASS可适用于云大数据计算应用的松散环境下分布式大数据计算中间件体系框架（以下简称Rhizome），包括代理模块，功能模块和功能管理模块三个构架主体。本发明的优点：1）解决了常用云分布式计... 详细信息

标准号: CN103324479A

本发明涉及的是一个对应于PAAS&IASS可适用于云大数据计算应用的松散环境下分布式大数据计算中间件体系框架（以下简称Rhizome），包括代理模块，功能模块和功能管理模块三个构架主体。本发明的优点：1）解决了常用云分布式计算框架支持大数据计算应用时无法处理复杂通信机制及效率低下的问题；同时可采用MoC，如数据流模式在云计算框架中显式体现和拓展应用的并行模式；2）采用的两层代理模式在云操作系统环境中支持可靠及可量化的客户端+云的软件开发；实验性的评估展示了在Rhizome的帮助下Hadoop云视频计算应用取得了优异的表现，并且提供了实质上更好的编程简易性、硬件加速单元对接便易性和系统稳健性。

关键词：数据计算分布式计算框架操作系统环境功能管理模块数据流模式并行模式代理模块代理模式功能模块构架主体计算应用软件开发体系框架通信机制效率低下硬件加速简易性客户端实验性云计算中间件编程视频对接量化稳健评估拓展

来源：评论

学校读者我要写书评

暂无评论

松散环境下分布式大数据计算的中间件体系框架

松散环境下分布式大数据计算的中间件体系框架

引用

作者：朱方孙建东 210012 江苏省南京市雨花台区软件大道190号

标准号: CN103324479B

关键词：大数据计算应用分布式计算框架功能管理模块数据流模式系统稳健性云操作系统并行模式代理模块代理模式构架主体软件开发视频计算体系框架通信机制拓展应用下分布式硬件加速便易性简易性客户端云计算中间件两层显式编程松散量化评估应用展示表现帮助

来源：评论

学校读者我要写书评

暂无评论

面向Agent的智能化分布式计算及其应用研究

面向Agent的智能化分布式计算及其应用研究

引用

作者：邓超浙江大学

学位级别：博士

本文研究的重点是探讨利用Agent技术构造智能化分布式系统的方法,在此研究基础上构建智能分布式GIS服务平台和智能优化计算平台及相关应用系统。基于Internet的分布式计算模式是当今分布式系统发展的必然趋势,随着Internet的快速发... 详细信息

本文研究的重点是探讨利用Agent技术构造智能化分布式系统的方法,在此研究基础上构建智能分布式GIS服务平台和智能优化计算平台及相关应用系统。基于Internet的分布式计算模式是当今分布式系统发展的必然趋势,随着Internet的快速发展,分布式系统的应用环境跟传统的应用环境区别很大,随着用户访问系统使用的网络终端设备的多样性和差异性,访问系统所使用的网络带宽的差异,再加上个性化的需求和使用倾向及习惯,综合这些因素,在构建分布式系统时候所要求的智能性,互用性,重用性和可靠性等等都增加了问题解决的复杂度和困难程度。然而现有的分布式系统解决方案却存在很大的局限性,需要新的技术方法和手段来支持。Agent技术是一种全新的分布式计算技术,Agent是分布式环境下持续自主运行的计算实体,具有主动性、交互性、反应性、自主性等特点。一方面Agent技术为解决新的分布式应用问题提供了有效的途径,另一方面,Agent技术为全面准确地研究分布计算系统的特点提供了合理的概念模型。基于Agent的构建的智能化分布式系统是解决当前分布式计算所面临挑战的有效的方法。本文首先分析和讨论了Internet计算模式下分布式计算面临的问题和新要求,提出新的面向Agent的智能化分布式计算框架,建立框架的分层模型,将智能Agent引入框架结构的各层中并详细论述模型中各层次的功能和组成,同时设计定义了Internet计算模式下基于XML和SOAP协议的Agent通信语言X-ACL; 结合我们的面向Agent的智能化分布式计算框架,将Agent技术运用于分布式GIS服务的建设中来,通过分析分布式GIS服务的特点,构造一个基于Agent技术的分布式GIS服务系统框架模型,不仅为了解决GIS的数据共享和服务共享,设计了标准化的空间数据模型和空间元数据模型,更着重于深层次的GIS应用协作和智能GIS信息服务;最后基于研究成果,构建了863项目“杭州数字地籍空间数据统一获取、建库平台及其重大应用示范”,作为数字杭州的核心组成部分; 结合我们的面向Agent的智能分布式计算框架,将Agent技术运用于分布式智能优化计算平台中,为各领域的智能优化计算提供高性能的计算服务以及灵活、方便的二次开发服务。提出新的分布式计算资源分配的算法,为智能优化计算在工业界的实际应用提供基础平台; 针对电力行业的实际工程问题,我们提出了电力机组组合优化问题和混煤优化

关键词：分布式对象技术 Agent技术分布式计算框架地理空间数据模型空间元数据分布式GIS 智能计算优化计算机组组合优化混煤优化

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：