检索结果-内蒙古大学图书馆

作者：胡宴箐四川大学

学位级别：硕士

神经网络分布式训练是利用多个计算结点并行训练来减少模型总体训练时间的方法,然而结点间频繁且大量的数据通信和中心结点的存在限制了系统的规模,成为了分布式训练的瓶颈。当模型较大或结点间传输速度过低或不平衡时,系统的传输耗时... 详细信息

神经网络分布式训练是利用多个计算结点并行训练来减少模型总体训练时间的方法,然而结点间频繁且大量的数据通信和中心结点的存在限制了系统的规模,成为了分布式训练的瓶颈。当模型较大或结点间传输速度过低或不平衡时,系统的传输耗时甚至占据训练时间的绝大部分。为了解决这一问题,目前主要从传输数据和通信频率两个方面进行优化。通过各种数据压缩方法,可以有效的缩小待传输网络层的大小从而减少结点间传输量,而通过设计不同的系统架构,可以改变结点间通信频率以适应不同的实验环境。然而现有的数据压缩方法都考虑在网络层内部进行压缩,当模型较深时网络层过多,数据传输仍然会造成较大的通信压力。为解决以上问题,本文从层间稀疏化的角度考虑,在模型通信时选择部分网络层进行传输,而不是同时传递所有网络层,这进一步降低了结点间的传输数据量,同时我们在层稀疏化策略方面进行了探索,在随机选择的基础上根据神经网络的收敛特性提出了动态窗口的方式进行有差别的网络层选择。为了验证方法的有效性和普适性,我们在图像和文本等多个数据集上采用多个模型进行实验,并对实验结果进行全面对比分析,此外还构建了一个组件式训练框架来简化分布式训练过程,方便实验探索。本文主要工作如下:(1)根据现有的Random-k方法,提出了随机层稀疏化方法LR-SGD,在结点传输时不进行层内压缩,而是直接对模型的网络层进行随机采样。实验结果表明,该方法和目前的Top-k方法以及无压缩的SSGD方法有相近的性能,并进一步缩短了训练时间。(2)在现有LR-SGD方法的基础上,结合SVCCA技术给出的神经网络模型的学习特性,提出了基于动态窗口的层稀疏化方法,并考虑到二者的正交性,我们将所有类别的层内压缩(包括稀疏化、量化、低秩分解、无压缩)和层间稀疏化(有稀疏化、无稀疏化)进行组合后同时施加到分布式训练过程中。通过对训练时间、模型质量、通信传输量等方面进行对比后发现模型仍然能够收敛,并取得了相近的模型质量(分类准确率±1%以内)。此外,我们还对层稀疏化方法进行了一定的数学分析,得出了收敛性相关的基本结论。(3)为了方便实验的进行以及进一步探索相关稀疏化策略,我们将现有的分布式相关技术进行组件化拆分,构建出统一的组件化的神经网络分布式训练框架。框架中的分布式组件包括压缩器、记忆器、通信器、层稀疏化器等均可以通过参数配置的方式进行组合,同时提供相关抽象接口以支持新方法的扩展。

关键词：深度学习分布式训练梯度压缩数据并行组件化框架

来源：评论

学校读者我要写书评

暂无评论

标准化通用化组件框架设计

引用

信息技术与信息化 2022年第7期 169-172页

作者：黎贺韩文俊谢启超南京电子技术研究所江苏南京210039

随着电子信息、计算机等技术快速发展,未来信息处理系统算法流程越来越复杂、实时性要求更高,且面临场景负责、环境多变、任务多样等需求,要求具备快速适应新环境、动态重构新功能、及时响应新需求的能力。针对以上问题,基于开放式架构... 详细信息

随着电子信息、计算机等技术快速发展,未来信息处理系统算法流程越来越复杂、实时性要求更高,且面临场景负责、环境多变、任务多样等需求,要求具备快速适应新环境、动态重构新功能、及时响应新需求的能力。针对以上问题,基于开放式架构开展标准化通用化组件框架设计,研究应用软件组件化设计方法,开发通用组件框架,定义应用功能组件化设计接口标准,支持应用功能独立运行、即插即用、积木化插接式集成,实现应用功能软硬件解耦、快速重构、新功能新算法快速应用。

关键词：组件化框架模块化集成中间件软硬件解耦软件重构

来源：评论

学校读者我要写书评

暂无评论

基于OSGi的无人机电子情报模拟演示验证平台设计与实现

引用

信息系统工程 2020年第10期33卷 27-29页

作者：王迪迪张华阳任正平中国电子科技集团公司第28研究所南京芯传汇电子科技有限公司

无人机模拟仿真平台是开展无人机作战问题研究的重要手段,OSGi框架由于具有可移植性强和重用力度大等特点,适用于模块化分明的复杂系统研发。论文介绍了一种基于OSGi组件化框架的无人机电子情报模拟演示验证平台设计与实现方法,描述了... 详细信息

无人机模拟仿真平台是开展无人机作战问题研究的重要手段,OSGi框架由于具有可移植性强和重用力度大等特点,适用于模块化分明的复杂系统研发。论文介绍了一种基于OSGi组件化框架的无人机电子情报模拟演示验证平台设计与实现方法,描述了系统的整体功能需求和框架设计,并阐述了其中主要功能组件的设计方法。

关键词： OSGi 组件化框架无人机

来源：评论

学校读者我要写书评

暂无评论

组件化电商平台iOS客户端的设计与实现

组件化电商平台iOS客户端的设计与实现

引用

作者：盛旭辉北京邮电大学

学位级别：硕士

移动互联网的蓬勃发展使越来越多的互联网流量来自于移动端,这使移动应用的数量和体量呈现出快速增长的态势。面对日益复杂的业务逻辑,大型移动应用的开发变成了一个令人头疼的问题。模块之间耦合严重、应用生命周期相关的代码堆砌等问... 详细信息

移动互联网的蓬勃发展使越来越多的互联网流量来自于移动端,这使移动应用的数量和体量呈现出快速增长的态势。面对日益复杂的业务逻辑,大型移动应用的开发变成了一个令人头疼的问题。模块之间耦合严重、应用生命周期相关的代码堆砌等问题困扰着移动开发者。因此,基于组件化开发的思想,本论文提出了一个组件化框架,以解决复杂移动应用中页面间跳转、功能模块间依赖和应用生命周期事件分发的问题。组件自身是一个完整的业务单元,组件之间不直接依赖具体实现,而是通过组件化框架依赖服务接口和依赖URL地址的形式间接交互,这在很大程度上降低了系统模块间的耦合度,提高了系统灵活性。本论文的研究工作分为三个方面:组件化框架的设计和实现、基础组件的设计和实现以及业务组件的设计和实现。本论文以组件化框架为中心,阐述了针对跨组件页面跳转问题、跨组件功能调用问题和应用生命周期事件分发问题所提出的解决方案和对应的实现。组件化框架实现了信息注册功能、页面跳转功能、服务管理功能和应用事件订阅分发功能,这些功能支撑起了移动应用的组件化架构。最后,基于组件化框架,本论文以类似搭积木的方式对各个组件进行简单的组装,实现了一个组件化的电商平台iOS客户端原型系统,并对组件化框架、基础组件和业务组件分别进行了测试,测试结果表明各个组件能各司其职,共同实现了电商平台iOS客户端的基本功能。本论文所提出的组件化框架对开发复杂的移动应用有一定的参考价值。

关键词：组件组件化框架移动应用 iOS 电子商务

来源：评论

学校读者我要写书评

暂无评论

学习系统的一个统一的组件化框架

引用

控制理论与应用 2004年第6期21卷 1041-1044页

作者：董苗波孙增圻清华大学深圳研究生院广东深圳518057 清华大学计算机系智能技术与系统国家重点实验室北京100084

学习系统是一个广泛的概念 ,在不同的领域都有对它的研究 ,比如神经网络、自适应控制系统、学习自动机等 ,这些不同领域的学习系统具有不同的结构和原理 ,但是它们都具有共同的特点 ,即这些系统在运行过程中进行自身调整 ,以适应环境或... 详细信息

学习系统是一个广泛的概念 ,在不同的领域都有对它的研究 ,比如神经网络、自适应控制系统、学习自动机等 ,这些不同领域的学习系统具有不同的结构和原理 ,但是它们都具有共同的特点 ,即这些系统在运行过程中进行自身调整 ,以适应环境或者取得优化的性能 ,它们所面临的问题也具有很大的相通性 .因此为学习系统提供一个统一的研究平台 (如数学描述 ,结构标准等 ) ,具有很大的意义 .从学习系统的功能和结构出发 ,试图给出一个学习系统的标准的结构 .采用组件化的思路 ,把学习系统的功能组件化为一些具有规范和标准的模块 (组件 ) ,形成一个对于不同类型的学习系统都适用的框架结构 ;并且分别对神经网络。

关键词：学习系统组件化组件化框架

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：