检索结果-内蒙古大学图书馆

计算机辅助设计与图形学学报 2023年第6期35卷 961-969页

作者：李佳骏许浩博王郁杰肖航王颖韩银和李晓维中国科学院计算技术研究所智能计算机研究中心北京100190 中国科学院大学北京100049

针对二值化神经网络加速器计算溢出和乘法器依赖的问题,提出一套二值化神经网络设计及其训练方法.首先设计能够模拟溢出的矩阵乘法,保证模型部署后不丢失准确率;然后优化卷积层和激活函数,缓解溢出总量;再设计移位批标准化层,使二值化... 详细信息

针对二值化神经网络加速器计算溢出和乘法器依赖的问题,提出一套二值化神经网络设计及其训练方法.首先设计能够模拟溢出的矩阵乘法,保证模型部署后不丢失准确率;然后优化卷积层和激活函数,缓解溢出总量;再设计移位批标准化层,使二值化神经网络摆脱对乘法运算的依赖,并有效地降低访存;最后针对改进的模型提出基于溢出启发的协同训练框架,确保模型训练能够收敛.实验结果表明,与10个主流的关键词激活方法相比,在准确率无明显损失的情况下,所提方法使片上计算规模减少超过49.1%,并为加速器带来至少21.0%的速度提升.

关键词：二值化神经网络深度学习模型训练神经网络加速器

来源：评论

学校读者我要写书评

暂无评论

二值化神经网络忆阻加速器设计

二值化神经网络忆阻加速器设计

引用

作者：秦一凡华中科技大学

学位级别：硕士

近年来,随着深度学习和计算机理论的发展,人工智能(AI)逐渐在各个领域凸显其功能的强大。随着存内计算概念的兴起,传统冯诺依曼计算机架构的瓶颈有望得以解决,更重要的,基于以忆阻器为代表的新型存储器件的神经网络加速器将人工智能由... 详细信息

近年来,随着深度学习和计算机理论的发展,人工智能(AI)逐渐在各个领域凸显其功能的强大。随着存内计算概念的兴起,传统冯诺依曼计算机架构的瓶颈有望得以解决,更重要的,基于以忆阻器为代表的新型存储器件的神经网络加速器将人工智能由云端计算推向用户边缘端计算,但同时也对硬件实现提出了更高的要求。二值化神经网络因具有存储空间小、运算速度快和能耗低等优点很好契合了边缘端人工智能应用而受到广泛关注,本文针对传统二值化神经网络忆阻加速器中不足之处,在权重硬件实现、鲁棒性、批归一化硬件实现等关键问题上开展研究,为未来计算与存储融合的新型计算机架构提出原始创新与理论基础。相关研究工作如下:(1)权值硬件实现方面,本文将二值化神经网络优化为激活值0/1,权值+1/-1的硬件友好网络并结合二值化神经网络函数特点,针对传统“差分对”架构缺点提出了“选择列”架构,其具有面积小、电路简单等特点,通过了MNIST手写字体识别任务验证。(2)鲁棒性方面,本文以实验室研制的W/Al O/AlO/Pt二值忆阻器作为二值化权重单元,基于其实测的电学特性进行二值化神经网络仿真,建立错误模型并评估所提出的选择列方案鲁棒性。结果表明:二值化神经网络忆阻加速器选择列方案能够在器件均一性、器件开关比、器件良率、器件与电路噪声等不同非理想因素下达到预期的网络识别率,具有较高的非理想因素鲁棒性。(3)批归一化硬件实现方面,结合二值化神经网络批归一化操作与激活函数特点提出忆阻K常数批归一化法,将上述操作合并为一步操作并用忆阻阵列实现,大幅削减外围电路复杂性并保有网络灵活性。网络仿真表明在器件不一致性(Variation)小于0.5情况下,该忆阻K常数批归一化法具有优于高精度CMOS批归一化法的网络精度,理想情况下达到了96.1%的网络识别率。

关键词：二值化神经网络忆阻器阵列架构非理想因素批归一化

来源：评论

学校读者我要写书评

暂无评论

二值化神经网络增强方法研究与应用

二值化神经网络增强方法研究与应用

引用

作者：丁睿重庆大学

学位级别：硕士

现代生活中,基于深度神经网络的深度学习技术已经在多个应用领域取得了突破性的成功。随着物联网的发展,在嵌入式设备上实现这类人工智能应用的需求也在不断增加。然而,经典深度神经网络往往需要大量的计算开销和存储占用,阻碍了其在资... 详细信息

现代生活中,基于深度神经网络的深度学习技术已经在多个应用领域取得了突破性的成功。随着物联网的发展,在嵌入式设备上实现这类人工智能应用的需求也在不断增加。然而,经典深度神经网络往往需要大量的计算开销和存储占用,阻碍了其在资源有限的物联网设备上进行部署。为应对该挑战,许多模型压缩技术被研究者们陆续提出。其中,二值量化方法由于极高的存储节省比和高效的卷积计算方式成为了一种简单且高效的压缩方法。但当前二值化神经网络仍存在以下问题:一是其由于使用极低的比特表示导致了性能大幅下降,阻碍了二值化模型的实际应用;二是大多数二值化方法都在图像分类任务上进行优化,而如何提升其在目标检测任务上的性能仍需进一步的研究。针对上述问题,本文提出了一种二值化神经网络增强方法,能够极大改善二值化模型在图像分类任务上的性能。同时,将该增强方法应用到二值化目标检测当中,旨在提升二值化模型的检测精度。具体来说,本文主要贡献如下:提出了一种并行二值化神经网络增强方法。首先,本文提出使用一种多并行二值化子网络的模型结构来提升网络的容量和表示能力。其次,提出引入同卷积层之间的侧向连接增加了整个网络的信息流动和梯度路径。然后,提出引入基于L21范数的正则化项对侧向连接进行稀疏化来去除冗余的连接。最后,利用知识蒸馏的方法帮助二值化模型获得更好的训练效果。实验结果表明,该二值化模型在CIFAR-10数据集上相较于基准模型准确率提升了4.6%,在Image Net数据集上的分类性能超过了其他前沿的相关工作,证明该方法能够有效增强二值化模型的性能。提出了一种将二值化网络增强方法应用于目标检测任务的二值化检测器。首先,本文使用基于信息瓶颈的损失函数来减少冗余信息和大量假正例。其次,提出使用并行二值化网络增强模型作为骨干网络增强提取特征的质量。最后,提出引入正则化项优化与检测任务相关的侧向连接结构。实验结果显示,在PASCAL VOC数据集上该检测网络相较于基准模型检测精度提升了6.6%,证明了所述方法在目标检测任务上的有效性。

关键词：深度学习深度神经网络模型压缩二值化神经网络

来源：评论

学校读者我要写书评

暂无评论

动态可重构二值化神经网络计算方法与架构设计

动态可重构二值化神经网络计算方法与架构设计

引用

作者：杨家威重庆大学

学位级别：硕士

深度学习技术已经在图像分类、目标检测等多个计算机视觉任务中取得了优秀的性能表现,并广泛应用在自动驾驶、虚拟现实等领域。随着人工智能物联网时代的到来,深度学习在边缘端的部署需求不断增加,为了将深度神经网络部署在资源有限的... 详细信息

深度学习技术已经在图像分类、目标检测等多个计算机视觉任务中取得了优秀的性能表现,并广泛应用在自动驾驶、虚拟现实等领域。随着人工智能物联网时代的到来,深度学习在边缘端的部署需求不断增加,为了将深度神经网络部署在资源有限的嵌入式设备上,研究人员提出了许多模型压缩方法,其中二值化神经网络能够大幅降低模型参数规模并提升模型前向推理速度,被认为是一种简单且高效的模型压缩方法。然而现有二值化神经网络及其计算架构仍然存在以下问题:一方面,二值化神经网络使用1-bit整数表示模型参数,模型的表示能力较低,性能下降幅度较大;另一方面,当前的二值化神经网络及其计算架构不够灵活,无法面向不同应用场景的需求调整模型的表示能力和计算架构的精度。针对上述问题,本文提出了一种动态可重构的二值化神经网络计算方法和架构设计,提升了二值化神经网络在图像分类任务上的准确率,并实现了更加灵活的二值化神经网络边缘端部署。具体来说,本文的主要贡献如下:提出了一种模型并行度可动态重构的二值化神经网络计算方法。该算法模型由多个并行的二值化子网络和特征交互层组成,特征交互层为子网络之间引入了更加密集的信息交互,提升了模型的分类准确率。通过激活或取消特征交互层中的某些连接,该模型能够灵活地重构并行度,从而调整模型的表示能力。实验结果表明,该二值化神经网络在MNIST数据集上的准确率超过了同期的相关工作,在CIFAR-10数据集上相较于基准模型提升了5.82%的准确率,验证了该方法对于提升二值化神经网络性能的有效性,并结合实验结果进一步分析和验证了该方法对模型灵活性的提升。提出了一种精度与吞吐率可调的动态可重构二值化神经网络计算架构。该计算架构设计了包含并行二值卷积计算阵列和可重构特征交互计算阵列的并行二值化神经网络计算流水线。该计算架构能够根据重构信号将可重构特征交互计算阵列中的某些模块置于工作或空闲状态,从而动态重构计算流水线的并行度和数量,达到灵活调整计算架构精度和吞吐率的目的。实验结果表明,该计算架构在不同的重构状态下,在CIFAR-10数据集上的最高准确率达到了88.24%,最高吞吐率达到了35627 FPS,能效达到了647.20 GOPS/W。与同期的相关工作相比,该计算架构有着较高的准确率和吞吐率,且在能效和灵活性上有一定优势。

关键词：深度学习二值化神经网络 AI计算架构

来源：评论

学校读者我要写书评

暂无评论

基于二值化神经网络的雾天机坪目标检测

基于二值化神经网络的雾天机坪目标检测

引用

作者：张丹中国民航大学

学位级别：硕士

面向机坪目标检测的应用大多在监控视频上进行,面临着巨大的存储压力和计算开销,海量的图像数据对视频处理和分析方法提出了更高的要求。目前一般采用大型的云服务器集群对机坪监控视频进行目标检测,需要高速的网络带宽并且配备强大的... 详细信息

面向机坪目标检测的应用大多在监控视频上进行,面临着巨大的存储压力和计算开销,海量的图像数据对视频处理和分析方法提出了更高的要求。目前一般采用大型的云服务器集群对机坪监控视频进行目标检测,需要高速的网络带宽并且配备强大的图形处理器(Graphic Processing Unit,GPU)提供计算支持。然而未来的趋势是提高嵌入式设备的智能处理能力,以取代昂贵的GPU设备,提高检测效率,减少资源开销。因此,设计一种高效且硬件友好型的轻量级机坪目标检测模型具有重要意义。针对机坪场景的特性,设计了一种适用于雾天情况的基于二值化神经网络的机坪目标检测算法,有效地压缩了监控画面的图像数据量,并且减少了目标检测模型的参数规模。自适应图像二值化模型通过灰度信息从背景中分离目标实例,在保留关键轮廓信息的同时,放大了物体与背景之间的轮廓差异,实现了图像增强的效果,对于雾天情况和光照变化具有适应性。此外,采用INT8量化方法对SSD-Mobile Net检测模型进行压缩与加速,通过设计位运算来消除网络前向推理过程中的浮点运算,在实现模型压缩与加速的同时只有轻微的精度下降。实验结果表明量化图像的压缩比可以达到21倍,量化后的模型大小为600KB,检测精度为86.83%,可以部署在大多数资源受限的嵌入式设备上,基本满足机坪实时检测的需求,同时减轻了存储的压力和计算的开销。

关键词：目标检测二值化神经网络图像增强模型压缩与加速 INT8量化

来源：评论

学校读者我要写书评

暂无评论

基于二值化神经网络的悬浮球间隙检测方法研究与实现

基于二值化神经网络的悬浮球间隙检测方法研究与实现

引用

作者：李逸飞西南交通大学

学位级别：硕士

悬浮间隙检测是磁悬浮控制系统的关键一环,对悬浮间隙传感器的研究,可以更好的提高检测系统的精度和性能。悬浮间隙检测具有无法直接接触测量的特点。基于深度学习的机器视觉检测近年来在非接触测量领域取得巨大成功,所以本文将其用在... 详细信息

悬浮间隙检测是磁悬浮控制系统的关键一环,对悬浮间隙传感器的研究,可以更好的提高检测系统的精度和性能。悬浮间隙检测具有无法直接接触测量的特点。基于深度学习的机器视觉检测近年来在非接触测量领域取得巨大成功,所以本文将其用在悬浮间隙检测上。基于悬浮球系统实验平台,对视觉传感器进行研究。本研究的主要工作是设计了视觉检测方案以及二值化神经网络模型,并对算法进行了重组与优化。将这个模型应用在硬件资源有限的FPGA中,通过软硬件设计来实现悬浮间隙的精确测量,最后对模型进行测试和验证。首先分析了机器视觉悬浮球系统的工作原理,设计了悬浮间隙视觉检测系统,选择合适的图像处理开发的平台。设计了悬浮球间隙样本集的采集方法和步骤,对悬浮球间隙样本进行预处理。然后对悬浮球间隙样本数据集进行标定和采集,基于二值化神经网络算法搭建了常规BNN和Gap BNN两种间隙模型,通过实验完成两种间隙模型结构设计和参数优化。最后使用回归模型评价指标对不同模型进行了比较和验证。实验表明模型的检测误差能控制在±0.3mm内,其中Gap BNN模型的平均误差为0.105mm,线性度为1.67%。最后根据FPGA平台特点对悬浮间隙数据传输和内存模型进行了设计。通过分析不同并行度时的传输效率和资源消耗情况,得出最优解。采用同或运算、累加运算和阈值判断来代替卷积操作、批归一化操作和激活操作,实现结构的重组和优化。对各种优化策略的资源使用情况进行了对比和分析。通过搭建测试环境对悬浮间隙视觉检测系统的精度、噪声干扰影响和速度等进行了测试和分析,验证了悬浮间隙视觉检测传感器性能指标满足悬浮球控制系统的要求。

关键词：磁悬浮间隙检测计算机视觉二值化神经网络

来源：评论

学校读者我要写书评

暂无评论

卷积神经网络的二值化研究及其FPGA实验

卷积神经网络的二值化研究及其FPGA实验

引用

作者：白一帆北京邮电大学

学位级别：硕士

近年来,随着卷积神经网络的不断发展,网络的深度不断增加,对硬件设备的计算能力和存储空间提出了越来越高的要求。降低卷积神经网络的资源消耗对深度学习在嵌入式平台上的部署具有重要意义。二值化神经网络可以有效提高硬件设备的计算效... 详细信息

近年来,随着卷积神经网络的不断发展,网络的深度不断增加,对硬件设备的计算能力和存储空间提出了越来越高的要求。降低卷积神经网络的资源消耗对深度学习在嵌入式平台上的部署具有重要意义。二值化神经网络可以有效提高硬件设备的计算效率,既可以加速硬件计算,也可以降低内存开销,为深度学习在嵌入式设备上的部署提供了一种新的方法。FPGA芯片内有着丰富的逻辑与计算单元,它高性能,低功耗优点使其非常适合作为嵌入式端的专用计算设备,可以满足深度学习算法的计算需求。本文围绕二值化卷积神经网络在嵌入式平台上的性能优化开展研究,提出了一种新型的二值化卷积神经网络,并在FPGA平台上实现了前向计算加速,本文的主要研究内容如下:(1)为提高二值化卷积神经网络的性能,研究了二值化神经网络的反向传播算法并进行改进,利用密集连接增强二值化神经网络的表示能力,有效提升了网络的性能,同时保证了网络模型的参数数量不增加。(2)为有效将二值化神经网络模型迁移到硬件平台实现,首先进行了本文网络模型的可并行性研究,确定了多个层次上的并行方案。其次,以上述并行方案为基础完成了二值化卷积神经网络总体并行架构的设计。最后,针对二值化神经网络运算的特点,研究了神经网络运算符优化的方法,从而进一步提升运算速度,降低算法对硬件设备的资源消耗。(3)在FPGA平台上完成二值化卷积神经网络前向加速器的实现,可以在正确完成图像识别任务的基础上,同时相比CPU、GPU平台取得良好的计算加速效果。

关键词：卷积神经网络二值化神经网络 FPGA 并行架构图像识别

来源：评论

学校读者我要写书评

暂无评论

二值化忆阻神经网络设计

二值化忆阻神经网络设计

引用

作者：匡睿华中科技大学

学位级别：硕士

存算一体化即使用存储器存储数据的同时完成计算,是目前解决存储器与处理器分离所导致的冯·诺依曼瓶颈的有效方案。忆阻器的十字交叉阵列能够基于欧姆定律和基尔霍夫定律通过模拟计算实现神经网络中的矩阵向量乘法的功能,其使用忆... 详细信息

存算一体化即使用存储器存储数据的同时完成计算,是目前解决存储器与处理器分离所导致的冯·诺依曼瓶颈的有效方案。忆阻器的十字交叉阵列能够基于欧姆定律和基尔霍夫定律通过模拟计算实现神经网络中的矩阵向量乘法的功能,其使用忆阻器阵列存储权重值信息的同时能够在阵列上完成计算,有效实现存算一体化,能显著加速神经网络计算。二值神经网络是一种特殊的神经网络量化方法,能有效减小网络模型、降低网络所需存储量与计算量、便于硬件部署。目前多值模拟忆阻器存在许多非理想因素,往往会给忆阻神经网络准确性带来影响,且忆阻神经网络因为缺少契合的算法也导致其发展应用受到限制。因此,改善忆阻器性能或设计契合忆阻器特性的神经网络算法至关重要。所以本文从目前最成熟的二值忆阻器入手,选取了便于硬件部署的二值化神经网络算法,基于忆阻器的存算一体化原理设计了二值化忆阻神经网络,并通过仿真分析其可行性。首先结合实际阵列设计需求,使用Python编写了基于二值化忆阻神经网络的算法程序,其采用了0、1输入及激活值和±1权重值,仿真实现了MNIST手写字体数据集识别任务,并通过仿真选取了合适的网络规模。然后针对忆阻器的独立结构和1T1R结构分别设计了突触器件、阵列结构及操作方式,通过两个忆阻器构成的差分结构实现了突触器件,能有效存储±1权重值,且能降低器件非理想因素的影响。最后编写了仿真代码探究器件失效、编写失败、读写误差和保持退化等问题对二值化忆阻神经网络造成的影响,并量测了实验室实际制备器件的对应参数以分析实际效果。通过仿真发现基于二值忆阻器设计的二值化忆阻神经网络有着较强的鲁棒性,读写误差和低于1%的器件错误率对网络准确率几乎没有影响,但需要器件有较好的保持特性。本文设计了一种可行的忆阻神经网络方案,并为后续忆阻神经网络算法设计和硬件部署提供了一些有益的参考。

关键词：忆阻器存算一体化二值化神经网络突触器件器件非理想因素

来源：评论

学校读者我要写书评

暂无评论

二值化深度神经网络优化研究

二值化深度神经网络优化研究

引用

作者：陈聪冲杭州电子科技大学

学位级别：硕士

近年来,深度神经网络在计算机视觉和自然语言处理等领域的性能不断超越传统算法,成为新的研究热点。虽然深度神经网络拥有强大的性能,但是同时也有计算复杂度高、内存存储需求大的问题,这使得它们难以应用在计算资源有限的嵌入式设备上... 详细信息

近年来,深度神经网络在计算机视觉和自然语言处理等领域的性能不断超越传统算法,成为新的研究热点。虽然深度神经网络拥有强大的性能,但是同时也有计算复杂度高、内存存储需求大的问题,这使得它们难以应用在计算资源有限的嵌入式设备上。现代深度神经网络中往往都有很高的冗余度,如何有效的降低网络的冗余提升计算效率是一个十分有意义的问题。针对这个问题,研究人员提出了许多神经网络压缩与加速算法,深度神经网络二值化是其中一个重要的研究方向。二值化深度神经网络将常规神经网络中的32位浮点权重和激活值压缩成1位,大幅度减少了网络存储所需空间以及浮点计算次数,但同时导致了网络准确率的降低。本文针对二值化神经网络所导致的准确率下降的问题提出三种训练策略。本文首先提出了在Softmax函数前加入可学习缩放层的方法,以解决二值化神经网络在大规模分类任务中优化困难的问题。然后,本文对二值化神经网络激活值和权重造成的网络瓶颈问题进行了探究,提出一个适用于二值化神经网络的网络结构优化策略,以进一步提升二值化神经网络的性能。最后,本文通过使用两种网络蒸馏的方法,利用教师网络模型来辅助训练二值化的学生网络模型,以进一步提高二值化神经网络的预测准确率。本文在AlexNet、ResNet-18等网络模型上实现了所提出的训练策略,并且在公开数据集CIFAR-10与ImageNet上得到准确率超过了之前学者所达到的水平,这验证了本文所提算法的有效性。

关键词：神经网络网络压缩二值化神经网络

来源：评论

学校读者我要写书评

暂无评论

基于BNN-RA模型的风电机组轴承故障诊断研究

引用

太阳能学报 2025年第3期46卷 643-651页

作者：余萍宋紫琼曹洁陈息良兰州理工大学电气工程与信息工程学院兰州730050 甘肃省工业过程控制重点实验室兰州730050 兰州理工大学电气与控制工程国家级实验教学示范中心兰州730050

针对风电机组轴承故障诊断中特征提取困难,模型迭代速度慢,精度低的问题,该文提出一种基于改进二值化神经网络(BNN)的风电机组轴承故障诊断方法。首先采用格拉姆角场(GAF)将轴承振动信号转换为二维图像,以提高特征提取精度,然后结合深... 详细信息

针对风电机组轴承故障诊断中特征提取困难,模型迭代速度慢,精度低的问题,该文提出一种基于改进二值化神经网络(BNN)的风电机组轴承故障诊断方法。首先采用格拉姆角场(GAF)将轴承振动信号转换为二维图像,以提高特征提取精度,然后结合深度残差网络和注意力机制构建BNN-RA(BNN+Residual Network+Spatial attention network structure)故障诊断模型,实现轴承的高效故障诊断,最终通过美国凯斯西储大学(CWRU)与江南大学(JNU)公开的轴承数据集进行方法有效性验证。结果表明,该方法可有效提高网络迭代速度和诊断精度,模型在CWRU轴承数据集单一工况下迭代11次可达到收敛,故障诊断准确率达到99.20%,在两数据集的不同工况下平均准确率可达98.46%与97.6%。

关键词：风电机组故障诊断轴承二值化神经网络格拉姆角场

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：