检索结果-内蒙古大学图书馆

作者：张潇中国科学院大学

学位级别：博士

近些年来，深度学习技术被广泛应用于多个领域，包括图像识别，物体检测，语音处理等等，并取得了巨大的成功。深度学习技术的发展要求底层硬件设备提供更多的计算能力，为此，体系结构领域的研究人员根据神经网络的特点，设计出专用性... 详细信息

近些年来，深度学习技术被广泛应用于多个领域，包括图像识别，物体检测，语音处理等等，并取得了巨大的成功。深度学习技术的发展要求底层硬件设备提供更多的计算能力，为此，体系结构领域的研究人员根据神经网络的特点，设计出专用性更强的神经网络处理器。过去关于神经网络处理器的软硬件研究通常着眼于孤立算子的性能优化，包括内核函数的软件实现和微结构的硬件设计。然而，为了真正提升整个系统的端到端性能，需要解决一系列在硬件结构、内核函数之上的软件体系中的问题，其中包括，深度学习框架与下层的神经网络处理器软件栈之间低效的协作模式;神经网络模型由于其中的非数值计算部分的低效设计所造成的性能损失;对多核神经网络处理器上的硬件资源的利用难以兼顾易开发性与高性能。　　为了解决这些问题，仅仅研究如何提升处理器计算核上的单个算子的性能是不够的，需要在更广的范围内对神经网络计算任务进行优化处理。计算图是用于描述神经网络计算的高层抽象表示方式，满足对神经网络进行高层次大范围优化的需要。本文由高到低，在整个软件体系中不同层面的计算图上，包括深度学习框架中的抽象计算图、由处理器算子原语所表示的用于内部优化的计算图、以及用于规划多核并行的计算图三个层面，结合神经网络处理器的特点，设计针对性的方案解决前面提到的三个问题，从而提升神经网络计算的整体性能。　　本文的主要贡献包括:　　(1)设计了深度学习框架与下层的神经网络处理器的软件栈之间的协作工作模式。在该模式下，我们通过子图提取的方法实现对于神经网络处理器软件栈所提供的端到端优化能力的利用，从而减少了神经网络计算过程中内核函数的启动次数，同时为更接近底层的优化栈提供了更大的优化空间。此外，在基础方案上引入了后剪枝的策略，减小由于子图提取所造成的对于深度学习框架调度效率的影响。　　(2)设计并实现了一种用于优化神经网络非数值计算部分性能的子图重构方法。神经网络中用于调整数据布局的非数值计算部分是传统优化研究中的盲区，但该部分的网络结构的低效设计却可能带来很大的性能浪费。子图重构方法基于简单算子组合的等效变换规则，构建出完备的子图空间，并且在此基础上，参考神经网络处理器用于调整数据布局的算子的性能特性，寻找对处理器性能最优的子图结构。经过子图重构后，SSD(Single Short Detector)系列网络在神经网络处理器上获得平均1.44倍的性能提升，有效避免了调整数据布局阶段的性能损失。　　(3)设计并实现了一种基于算子拆分的、模型并行与数据并行相统一的并行方法来加速神经网络多核处理器上的计算任务。方法的核心包括两个层面，在单个算子上通过保证算子拆分后的每个子任务的单核算子原语可描述性来避免内核函数的二次开发;在整个网络上通过全局搜索寻找整体性能最佳的拆分并行方案。算子拆分的方法对单张图像的推理任务可以实现3倍到6倍的时延性能的提升，在加速更大规模输入数据的推理任务时，其效果优于传统的数据并行加速方法，在VGG网络上可以得到大约2倍于数据并行的加速效果。

关键词：神经网络处理器优化设计计算图子图提取子图重构并行化处理

来源：评论

学校读者我要写书评

暂无评论

神经网络处理器的低开销永久性故障容错加固方法设计

神经网络处理器的低开销永久性故障容错加固方法设计

引用

作者：吴鹏飞深圳大学

学位级别：硕士

近年来,深度神经网络及其加速硬件已广泛用于自然语言处理、机器人和无人系统等领域。在一些任务关键型应用中,其计算硬件不仅需要高效的推理能力,还需要具备高可靠性。此外,由于神经网络算法的容错能力是有限的,这种能力仅对瞬态故障... 详细信息

近年来,深度神经网络及其加速硬件已广泛用于自然语言处理、机器人和无人系统等领域。在一些任务关键型应用中,其计算硬件不仅需要高效的推理能力,还需要具备高可靠性。此外,由于神经网络算法的容错能力是有限的,这种能力仅对瞬态故障发挥一定作用。而一旦电路发生永久性故障,将导致严重的精度下降。因此,智能计算硬件需要进行额外的容错加固设计来进一步提高其可靠性。然而,由于架构的巨大差异性,将传统的容错加固方法应用在专用处理器上会导致巨大的冗余开销。针对上述问题,本文结合专用计算架构及其运行算法的特性,提出了一套低开销的神经网络处理器(Neural Processing Unit,NPU)永久性故障容错加固方法。本论文的主要研究内容如下: 1.提出一种软硬件协同的故障注入方法,围绕可编程的故障指令展开了软硬件设计,以支持故障指令的灵活生成和多种故障的寄存器级注入。集成该方法的容错验证平台提供了故障模拟功能,为后续的容错设计提供了实验条件。该方法相较于RTL仿真注错,速度提升1个数量级以上;相较于FPGA比特流注错,具有更高的可控性与可观察性。 2.提出一种指令驱动的低开销故障检测方法,针对现有方法检测粒度不合理的问题,提出以自检测方式执行专用的网络算子指令,从而生成潜在的细粒度故障信息,包括故障PE位置、类型和影响程度。相较于应用级检测方法的30帧图像推理检测时间,该检测指令的执行时间降低到162us(300MHZ,2048个PE,100轮检查)。同时,该方法仅引入1.3%和1.8%的面积和功耗开销,相较于同类的PE级检测具有更少的硬件开销。 3.提出一种线程粒度的低开销故障恢复方法,挖掘了一类NPU在线程粒度上可并联容错的潜力进行微架构加固。即使在故障情况下,加固后的NPU也能得到与基准NPU100%一致的正确结果。基于可靠性模型的量化分析结果表明,64线程的容错NPU通过引入2.7%和3.6%的面积和功耗开销将计算阵列的失效率降低52倍以上。本论文所提出的容错加固方法经过了功能验证和实验评估,具备低开销、可靠性提升大及通用性较强的特点,对NPU的容错应用与研究具有一定的指导意义。

关键词：神经网络处理器可靠性容错永久性故障

来源：评论

学校读者我要写书评

暂无评论

基于位串行计算的动态精度神经网络处理器

引用

高技术通讯 2022年第9期32卷 881-893页

作者：郝一帆支天杜子东中国科学院计算技术研究所处理器芯片全国重点实验室北京100190 中国科学院大学北京100049

针对当前神经网络动态精度计算系统在周期性的模型重训练和动态精度切换的过程中会引入大量的计算和访存开销问题,提出了基于串行位计算的动态精度神经网络处理器(DPNN),其可支持任意规模、任意精度的神经网络模型;支持以非重训练的方... 详细信息

针对当前神经网络动态精度计算系统在周期性的模型重训练和动态精度切换的过程中会引入大量的计算和访存开销问题,提出了基于串行位计算的动态精度神经网络处理器(DPNN),其可支持任意规模、任意精度的神经网络模型;支持以非重训练的方式对模型数据精度进行细粒度调整,并消除了动态精度切换时因权值bit位重叠造成的重复计算与访存。实验结果表明,相较于自感知神经网络系统(SaNNs)的最新进展之一MinMaxNN,DPNN可使计算量平均降低1.34~2.52倍,访存量降低1.16~1.93倍;相较于代表性的bit串行计算神经网络处理器Stripes,DPNN使性能提升2.57倍、功耗节省2.87倍、面积减少1.95倍。

关键词：神经网络处理器动态精度计算位串行计算

来源：评论

学校读者我要写书评

暂无评论

神经网络处理器中的向量计算单元

神经网络处理器中的向量计算单元

引用

作者：格雷戈里·米歇尔·索尔森克里斯托弗·阿伦·克拉克达恩·刘美国加利福尼亚州

公开了神经网络处理器中的向量计算单元。一种用于对包含多层的神经网络进行神经网络计算的电路，该电路包括：激活电路，该激活电路被配置为接收累加值的向量，并且被配置为将函数应用到每个累加值以生成激活值的向量；以及归一化电路... 详细信息

标准号: CN113392964A

公开了神经网络处理器中的向量计算单元。一种用于对包含多层的神经网络进行神经网络计算的电路，该电路包括：激活电路，该激活电路被配置为接收累加值的向量，并且被配置为将函数应用到每个累加值以生成激活值的向量；以及归一化电路，该归一化电路连接到激活电路，并且被配置为从每个激活值生成各自的归一化值。

关键词：激活电路归一化电路累加向量配置电路神经网络处理器激活神经网络计算向量计算单元函数应用神经网络归一化多层

来源：评论

学校读者我要写书评

暂无评论

神经网络处理器NPU调度方法和计算机存储介质

神经网络处理器NPU调度方法和计算机存储介质

引用

作者：艾国翟云凌明杨作兴 518000 广东省深圳市南山区高新南六道航盛科技大厦801

本公开涉及神经网络处理器NPU调度方法和计算机存储介质。一种NPU调度方法，其中NPU用于执行多个任务，该方法包括：基于多个任务的运行时间和执行频率确定每个任务的优先级；将多个任务按照优先级从低到高分类为多个优先类；对于第一... 详细信息

标准号: CN115168060B

本公开涉及神经网络处理器NPU调度方法和计算机存储介质。一种NPU调度方法，其中NPU用于执行多个任务，该方法包括：基于多个任务的运行时间和执行频率确定每个任务的优先级；将多个任务按照优先级从低到高分类为多个优先类；对于第一优先类中的任务，在其代码中插入抢占指令作为抢占点，抢占指令在被NPU执行时使得NPU轮询并执行较后优先类中待执行的任务，在执行较后优先类中的任务之前保存现场、在执行较后优先类中的任务之后恢复现场并继续执行该任务；NPU运行时循环执行以下步骤：依次执行第二优先类中待执行的所有任务；执行第一优先类中待执行的一个任务，在该任务的每个抢占点处依次执行第二优先类中待执行的所有任务。

关键词：计算机存储介质神经网络处理器指令调度继续执行频率确定循环执行运行时轮询保存分类恢复

来源：评论

学校读者我要写书评

暂无评论

神经网络处理器及其测试方法、设备及存储介质

神经网络处理器及其测试方法、设备及存储介质

引用

作者：陈嘉祺 100094 北京市海淀区丰豪东路9号院2号楼3层1单元301

公开了一种神经网络处理器及其测试方法、设备及存储介质，涉及功能安全技术领域，该方法包括确定神经网络处理器中的第一计算模块对应的第一配置信息；基于第一配置信息，确定第一测试数据；通过第一计算模块对第一测试数据进行处理，... 详细信息

标准号: CN118277175A

公开了一种神经网络处理器及其测试方法、设备及存储介质，涉及功能安全技术领域，该方法包括确定神经网络处理器中的第一计算模块对应的第一配置信息；基于第一配置信息，确定第一测试数据；通过第一计算模块对第一测试数据进行处理，得到第一测试响应数据；通过第二计算模块对第一测试响应数据进行处理，得到第二测试响应数据；基于第一测试数据和第二测试响应数据，确定测试结果。本公开的技术方案中，由于第一计算模块和第二计算模块对应的算法互逆，因此，可以基于第一测试数据和第二测试响应数据准确地确定第一计算模块和/或第二计算模块的测试结果，实现对不同计算模块的测试。从而，扩大了测试适用范围，提高了测试效率。

关键词：计算模块测试响应数据测试数据神经网络处理器配置信息测试测试效率存储介质功能安全算法

来源：评论

学校读者我要写书评

暂无评论

神经网络处理器、芯片和电子设备

神经网络处理器、芯片和电子设备

引用

作者：袁生光 523860 广东省东莞市长安镇乌沙海滨路18号

本申请实施例提供一种神经网络处理器、芯片和电子设备，神经网络处理器包括：标量处理单元、通用寄存器和数据搬移引擎，所述标量处理单元包括标量寄存器，所述数据搬移引擎连接所述标量寄存器和所述通用寄存器，所述数据搬移引擎用于... 详细信息

标准号: CN111047036B

本申请实施例提供一种神经网络处理器、芯片和电子设备，神经网络处理器包括：标量处理单元、通用寄存器和数据搬移引擎，所述标量处理单元包括标量寄存器，所述数据搬移引擎连接所述标量寄存器和所述通用寄存器，所述数据搬移引擎用于实现所述标量处理单元和所述通用寄存器之间的数据交互。本申请实施例可以提高神经网络处理器处理数据的效率。

关键词：神经网络处理器通用寄存器处理单元数据搬移标量标量寄存器引擎处理数据电子设备数据交互引擎连接申请芯片

来源：评论

学校读者我要写书评

暂无评论

神经网络处理器仿真评估方法、系统、电子设备及介质

神经网络处理器仿真评估方法、系统、电子设备及介质

引用

作者：夏春秋陈世淼 518063 广东省深圳市南山区粤海街道高新区社区科技南十路6号深圳航天科技创新研究院大厦C501-504

本发明提出一种神经网络处理器仿真评估方法、系统、电子设备及介质。神经网络处理器仿真评估方法，包括：获取神经网络处理器的数据资料，神经网络处理器的数据资料包括第一电路的数据资料和第二电路的数据资料，其中，第一电路与第二... 详细信息

标准号: CN115562969B

本发明提出一种神经网络处理器仿真评估方法、系统、电子设备及介质。神经网络处理器仿真评估方法，包括：获取神经网络处理器的数据资料，神经网络处理器的数据资料包括第一电路的数据资料和第二电路的数据资料，其中，第一电路与第二电路为异构电路；根据第一电路的数据资料对第一电路的功能进行仿真评估；根据第二电路的数据资料对第二电路的功能进行仿真评估；将第一电路和第二电路组成综合电路，并对综合电路进行仿真评估，其中，综合电路中第一电路和第二电路连接。本发明能够提高神经网络处理器仿真评估的准确性。

关键词：电路仿真评估数据资料神经网络处理器综合电路电路连接电路组成电子设备异构

来源：评论

学校读者我要写书评

暂无评论

神经网络处理器的批量标准化处理方法及存储介质

神经网络处理器的批量标准化处理方法及存储介质

引用

作者：谭磊王浩张亚林 201306 上海市浦东新区中国(上海)自由贸易试验区临港新片区业盛路188号A-522室

本发明公开了一种神经网络处理器、批量标准化处理方法及存储介质，该方法包括：获取三级缓存中输入数据的数据量；获取输入数据的数据量匹配的阈值条件；根据阈值条件匹配的切割方式对输入数据进行切割，得到目标数据；根据阈值条件匹... 详细信息

标准号: CN115034376B

本发明公开了一种神经网络处理器、批量标准化处理方法及存储介质，该方法包括：获取三级缓存中输入数据的数据量；获取输入数据的数据量匹配的阈值条件；根据阈值条件匹配的切割方式对输入数据进行切割，得到目标数据；根据阈值条件匹配的硬件同步方式将目标数据搬移至一级缓存进行缩减计算得到缩减数据，根据切割方式判断是否需要根据硬件同步方式将输入数据再次搬移至一级缓存，根据缩减数据和输入数据进行计算，得到输出数据。通过对输入数据的分割以及选择三级缓存间不同的硬件同步机制，保证在不同输入数据形状以及不同数据量的情况下，三级缓存数据访问的带宽始终是最高的，以匹配多群组内各个单核并行数据处理的速度，提高批量标准化性能。

关键词：匹配三级缓存阈值条件数据量切割目标数据同步方式一级缓存搬移神经网络处理器并行数据处理标准化处理存储介质方式判断输出数据数据访问同步机制单核群组带宽标准化分割保证

来源：评论

学校读者我要写书评

暂无评论

神经网络处理器的稀疏化数据处理方法和装置

神经网络处理器的稀疏化数据处理方法和装置

引用

作者：王健飞 100190 北京市海淀区中关村大街1号16层1605

本公开提出一种神经网络处理器的稀疏化数据处理方法和装置，神经网络处理器包括：基础计算单元，该方法包括：获取多组权重子向量，其中，权重子向量是基于基础计算单元所支持信息单位对待计算权重向量稀疏化处理得到；确定与待计算权... 详细信息

标准号: CN115828986A

本公开提出一种神经网络处理器的稀疏化数据处理方法和装置，神经网络处理器包括：基础计算单元，该方法包括：获取多组权重子向量，其中，权重子向量是基于基础计算单元所支持信息单位对待计算权重向量稀疏化处理得到；确定与待计算权重向量对应的待计算特征向量；控制基础计算单元对每组权重子向量和待计算特征向量进行向量内积运算，以得到向量运算结果；以及对部分组向量运算结果进行移位运算，并将移位运算所得向量运算结果与剩余组向量运算结果进行相加计算，以及将相加计算所得结果作为稀疏化数据处理结果，其中，部分组向量运算结果和剩余组向量运算结果共同构成多组向量运算结果。通过本公开，能够充分地利用权重的分布，在有效保障神经网络处理器的数据处理精度的同时，能够有效地减少硬件单元成本以及执行功耗，有效降低权重存储空间。

关键词：向量运算向量神经网络处理器基础计算计算特征向量权重向量移位运算数据处理剩余组稀疏相加数据处理结果方法和装置稀疏化处理有效地减少存储空间内积运算硬件单元有效保障支持信息功耗权重

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：