检索结果-内蒙古大学图书馆

化学教学 2025年第3期 3-9页

作者：殷广亚卢姗姗山东师范大学化学化工与材料科学学院山东济南250014

“结构决定性质”是学生解决化学问题的重要推理方式,明晰结构与性质间的推理关系,从本质上认识“结构决定性质”,以促成其在不同化学主题中的教学落实。通过明确“结构决定性质”的内涵,提炼“结构决定性质”的推理框架,从而对不同主... 详细信息

“结构决定性质”是学生解决化学问题的重要推理方式,明晰结构与性质间的推理关系,从本质上认识“结构决定性质”,以促成其在不同化学主题中的教学落实。通过明确“结构决定性质”的内涵,提炼“结构决定性质”的推理框架,从而对不同主题的化学知识给出具体教学建议。

关键词：结构决定性质推理方式推理框架教学建议

来源：评论

学校读者我要写书评

暂无评论

基于异构平台的实时操作系统推理框架算子加速器的实现

基于异构平台的实时操作系统推理框架算子加速器的实现

引用

作者：史健男电子科技大学

学位级别：硕士

在国产软硬件平台日益普及的背景下,为优化国产实时操作系统的性能,本研究设计一种基于异构平台的实时操作系统推理框架算子加速器。本设计实现的算子加速器以加速前向推理计算为目的,用于支持AI应用在嵌入式端的高效性运行。其中涉及... 详细信息

在国产软硬件平台日益普及的背景下,为优化国产实时操作系统的性能,本研究设计一种基于异构平台的实时操作系统推理框架算子加速器。本设计实现的算子加速器以加速前向推理计算为目的,用于支持AI应用在嵌入式端的高效性运行。其中涉及的加速方法包括:层融合技术,多通道并行卷积策略,以及在卷积算子中使用多级流水线策略,以提高推理性能。本设计最终部署至锐华实时操作系统中。在通过对该操作系统特性的充分分析之后,选取了ncnn框架在锐华操作系统中进行了部署。在完成了推理框架的部署之后进一步集成了本设计实现的算子加速器,为操作系统中运行的AI应用提供了强大的算力支持。首先,本研究对异构平台的特点进行深入分析,选取了高效易部署的推理框架。通过对多种算子的特点的分析,以及对不同加速策略进行对比之后,选取最高效的算子加速方法。之后,在实时操作系统中编写算子加速器驱动程序,成功的将算子加速器集成到系统中。设计实现的算子加速器对异构平台中的计算资源能够进行灵活的调度,并满足了实时性的要求。其次,在加速方法方面,算子中使用多级流水线的设计,多通道并行卷积和层融合技术。通过优化数据传输策略,有效降低了推理计算时的I/O时间,加速了整体推理速度。同时,本研究采用多通道并行卷积,充分利用异构平台的并行计算能力,进一步提高了推理效率。与此同时,通过层融合的缓存优化策略,有效地减少了数据传输次数,最大程度地优化了计算流程,提高了系统的整体性能。在引入上述加速策略之后,对目标平台上的计算资源进行了充分应用。实验结果表明,本加速器在应用场景中相比优化前有了显著的计算性能的提升。在图像识别的实时推理任务中,与未引入算子加速器之前相比,本研究设计实现的算子加速器的推理速度加速数倍。且对异构平台上的计算资源的使用几乎到达了百分之百。在加速推理的同时,本设计仍保持较低的系统功耗,总功耗为2.33W。为在嵌入式实时操作系统中部署AI应用提供了强有力的算力支持。

关键词：异构加速嵌入式推理框架

来源：评论

学校读者我要写书评

暂无评论

基于并行计算的加速方法在嵌入式推理框架中的应用研究

基于并行计算的加速方法在嵌入式推理框架中的应用研究

引用

作者：黄钰焯电子科技大学

学位级别：硕士

随着深度学习技术的快速发展,它的应用范围已经扩展到了嵌入式平台领域。这些嵌入式平台通常具有较低的功耗要求和有限的计算资源,这些特点对深度学习算法的推理性能提出了更高的要求。目前为解决此痛点,市面上开源了多种轻量级的推理框... 详细信息

随着深度学习技术的快速发展,它的应用范围已经扩展到了嵌入式平台领域。这些嵌入式平台通常具有较低的功耗要求和有限的计算资源,这些特点对深度学习算法的推理性能提出了更高的要求。目前为解决此痛点,市面上开源了多种轻量级的推理框架,这些推理框架通过推理框架前端为开发者提供编程接口支持,通过推理框架后端调用算法进行实际的推理计算过程。本文基于异构计算规范OpenCL的特点,结合嵌入式平台上异构并行加速单元特性,实现了一系列常用的并行计算方法,并基于OpenCL实现了一个推理框架后端,向上为推理框架前端提供计算支持,向下控制并行计算方法的调用过程。从而形成了一套基于并行计算的加速方法在嵌入式推理框架中的应用方案,使推理框架能够使用OpenCL控制运行平台上的异构加速单元进行并行计算。本文首先对OpenCL异构计算规范进行研究,优化OpenCL调用并行计算算法的过程,对OpenCL运行时API中的两个主要瓶颈阶段——内核编译阶段和内存分配阶段进行了优化,使内核编译的性能提升了约40倍,内存分配的性能提升了约3倍。同时,编程方案优化也显著降低了将OpenCL运行时模型与实际推理框架后端集成时的编程难度。其次,本文从并行计算的算子优化和内存布局优化两个方向对推理计算中计算成本最高的卷积算子进行了改良。其中算子优化基于nchw特征图内存排布,实现了一系列高性能的并行计算算法。内存布局优化针对基于nchw特征图内存排布实现的算法在嵌入式平台上的痛点,使用优化后的内存排布对算子的执行速度进行优化。最后,本文通过OpenCL开发了一个低耦合的推理框架后端,该后端为推理框架前端提供了设备管理、内存管理和内核编译等关键功能,成功将并行计算算法应用到推理框架的实际推理过程中,给推理框架提供OpenCL的支持,并编写了基准测试来展示应用效果。

关键词：并行计算卷积加速推理框架嵌入式平台

来源：评论

学校读者我要写书评

暂无评论

基于Zynq的FPGA加速器在推理框架上集成的实现

基于Zynq的FPGA加速器在推理框架上集成的实现

引用

作者：张奕锦电子科技大学

学位级别：硕士

随着深度学习的迅速发展,AI在端侧的应用从基础的图像分类延伸到现在诸如图像降噪等复杂的下游任务,神经网络的计算量也在持续上升,基于CPU后端的推理框架难以应对神经网络规模的膨胀。端侧设备相比于云端,其需求及任务较为单一,因此可... 详细信息

随着深度学习的迅速发展,AI在端侧的应用从基础的图像分类延伸到现在诸如图像降噪等复杂的下游任务,神经网络的计算量也在持续上升,基于CPU后端的推理框架难以应对神经网络规模的膨胀。端侧设备相比于云端,其需求及任务较为单一,因此可以使用领域专用加速器(Domain Specific Accelerator,DSA)代替CPU后端以应对神经网络规模膨胀的问题。但是现有的端侧DSA对于神经网络的部署不友好,远不如基于CPU后端的推理框架快速便捷。本文主要是针对深度神经网络在端侧部署存在的上述问题,以FPGA加速器NVDLA和端侧推理框架ncnn为基础,研究并设计实现了NVDLA作为DSA后端集成到ncnn框架的方案,主要的研究内容与成果如下: 第一部分是针对NVDLA模型部署工具链仅支持部署Caffe模型的问题,通过设计实现NVDLA编译器前端对接ncnn模型的方案,以ncnn框架作为中间层,使得NVDLA能够对接Py Torch和Tensor Flow 2等更加现代的深度学习框架。第二部分是针对NVDLA支持算子有限以及ncnn框架只支持CPU等通用处理器后端的问题,实现了NVDLA与ncnn框架协同推理的方案。使得ncnn框架能够使用NVDLA作为后端加速硬件进行推理加速,在推理时遇到NVDLA硬件不支持的算子,也可以让推理计算回滚到CPU上,复用ncnn框架极致优化的CPU后端。在这一方案中还实现了ARM64指令集架构(Instruction Set Architecture,ISA)下的快速反量化算法,该算法在ARM主流微架构Cortex-A76上的峰值性能可以达到原生算法的2倍。最后,基于Xilinx官方评估板ZCU104,完成了NVDLA的FPGA映射以及对应的Linux内核驱动等软件的移植,最终实现了该推理系统。在该推理系统上推理Res Net18-CIFAR10网络,其吞吐量相比于NVDLA原生的模型部署工具链提升了153%,相比于主流端侧推理框架MNN则提升了69%。除了性能提升以外,该推理系统还提供了更强的模型兼容性,能以可观的速度推理原生工具链不支持的目标检测网络。

关键词：推理框架 FPGA加速器 NVDLA

来源：评论

学校读者我要写书评

暂无评论

基于安全多方计算的神经网络推理框架设计与优化研究

基于安全多方计算的神经网络推理框架设计与优化研究

引用

作者：张剑楠哈尔滨工业大学

学位级别：硕士

神经网络如今在各种机器学习任务中都取得了显著的成功,而神经网络推理,也在生活中得到了广泛的应用。在推理的过程中,用户往往需要提供自己的隐私信息,例如人脸图片,输入记录等,存在数据被收集后滥用的风险。安全多方计算能很好地解决... 详细信息

神经网络如今在各种机器学习任务中都取得了显著的成功,而神经网络推理,也在生活中得到了广泛的应用。在推理的过程中,用户往往需要提供自己的隐私信息,例如人脸图片,输入记录等,存在数据被收集后滥用的风险。安全多方计算能很好地解决上述问题,从理论上保证数据的安全性。但性能一直是安全多方计算的主要问题,将使推理过程产生极大的延迟,极大地影响用户体验,例如输入预测,长达几秒钟的推理时延是用户根本不能接受的。在传统的安全多方计算研究中,通信一直被认为是主要瓶颈,相关工作集中于优化协议的通信轮数与通信量。但在推理服务这种对时延特别敏感的应用中,安全多方计算中的多个参与方一定会尽可能地选择地理上靠近的节点,节点间通过高速信道连接。在该场景中的通信时间将显著降低,计算与通信都会是瓶颈,而目前的安全多方计算方案缺少这方面的优化。本文针对高速信道场景下的安全多方计算推理时延问题,从理论与实现两个方面出发,提出了一种安全多方计算推理框架,不仅降低了推理时延,也为安全多方计算指出了新的优化方向。在理论层面,本文对两种针对神经网络的安全多方计算协议:FALCON与Secure NN进行分析。针对比较协议,通过引入辅助参与方,不仅降低了通信轮数,也使计算量大大降低。针对乘法协议,提出使用明文模型代替密文模型,并在训练阶段结合蒸馏防御方法解决了使用明文模型可能带来的数据泄露问题。在实现层面,本文基于GPU实现了所有的安全多方计算操作。针对矩阵乘法,实现了GPU中的32比特整型矩阵乘法,并结合神经网络量化思想,解决了32比特表示空间不足的问题。针对矩阵点积,利用transform的内核融合方法,大大降低了比较协议中多个矩阵点积需要的访存数量。并使用GPU-RDMA进行通信,解决了CPU与GPU之间频繁的数据拷贝问题。最后本文将理论与实现两方面的优化结合,利用C++实现了基于安全多方计算的神经网络推理框架。在小模型中可以实现10倍以上的性能提升,在Vgg16等大模型中甚至可以实现50倍以上的性能提升。

关键词：安全多方计算 GPU RDMA 推理框架成员推理攻击

来源：评论

学校读者我要写书评

暂无评论

关于L2阅读推理框架的认知研究

引用

文学教育(下) 2011年第12期 106-107页

作者：王金玉甘肃天水师范学院外国语学院

心理模型体现为由相邻(和)或相似关系把握的常规关系。L2阅读推理框架是基于心理模型说整理的文章语篇各层级常规关系的集合,其功能是为L2水平落后地区的学生有效进行略读和寻读提供线索。

关键词： L2阅读含义推理推理框架

来源：评论

学校读者我要写书评

暂无评论

推理框架的调用方法和调用装置

推理框架的调用方法和调用装置

引用

作者：李俊杰曹岩王静逸张国超张俊张鹤苧蔡娟张术芬翁冠 200120 上海市自由贸易试验区银城路99号12层、15层

本申请提供了一种推理框架的调用方法和调用装置，可以用于人工智能技术领域，有利于降低人工智能推理模型的应用难度，减少用户使用人工智能推理模型的时间，提高人工智能推理模型的应用效率。该方法应用于包括API的推理设备，包括：... 详细信息

标准号: CN114169525A

本申请提供了一种推理框架的调用方法和调用装置，可以用于人工智能技术领域，有利于降低人工智能推理模型的应用难度，减少用户使用人工智能推理模型的时间，提高人工智能推理模型的应用效率。该方法应用于包括API的推理设备，包括：推理设备基于API，获取推理模型的运行参数；推理设备基于API，初始化推理设备；推理设备利用推理模型的运行参数，生成计算图，并根据计算图，得到输入张量；推理设备获取输入数据，并利用输入数据对输入张量赋值，得到赋值后的输入张量；推理设备将赋值后的输入张量输入至计算图，得到输出张量，并根据输出张量得到推理结果。

关键词：推理推理模型人工智能运行参数人工智能技术调用装置设备获取设备利用推理结果推理框架应用效率用户使用输出初始化调用申请应用

来源：评论

学校读者我要写书评

暂无评论

推理框架的执行方法、硬件平台和计算机可读存储介质

推理框架的执行方法、硬件平台和计算机可读存储介质

引用

作者：李尚尚 100094 北京市海淀区翠湖南环路13号院7号楼7层701室

本发明公开了一种推理框架的执行方法、硬件平台和计算机可读存储介质。推理框架的执行方法包括：获取硬件平台信息；根据所述硬件平台信息从预设平台推理接口获取与所述硬件平台对应的推理模型；获取待推理信息，并利用所述推理模型处... 详细信息

标准号: CN118052284A

本发明公开了一种推理框架的执行方法、硬件平台和计算机可读存储介质。推理框架的执行方法包括：获取硬件平台信息；根据所述硬件平台信息从预设平台推理接口获取与所述硬件平台对应的推理模型；获取待推理信息，并利用所述推理模型处理所述待推理信息以获取推理结果数据。上述推理框架的执行方法，根据所获取的不同硬件平台的硬件平台信息，从预设平台推理接口获取对应不同硬件平台的推理模型，使用对应的推理模型执行推理操作，即可完成深度学习模型快速布置在不同的硬件平台上，能够提高推理部署效率。

关键词：硬件平台推理模型推理硬件平台信息推理框架接口获取推理信息预设计算机可读存储介质推理结果部署学习

来源：评论

学校读者我要写书评

暂无评论

推理框架的执行方法、装置及存储介质

推理框架的执行方法、装置及存储介质

引用

作者：邹月富 100193 北京市海淀区东北旺西路8号院34号楼

本发明提供一种推理框架的执行方法、装置及存储介质。其中，执行方法包括：第一终端响应于应用程序的启动指令，向策略中心服务器发送策略请求，策略中心服务器根据策略请求和历史运行数据，确定第一终端执行推理框架的策略，策略中心... 详细信息

标准号: CN111860844A

本发明提供一种推理框架的执行方法、装置及存储介质。其中，执行方法包括：第一终端响应于应用程序的启动指令，向策略中心服务器发送策略请求，策略中心服务器根据策略请求和历史运行数据，确定第一终端执行推理框架的策略，策略中心服务器向第一终端发送策略响应，该策略响应用于指示第一终端采用主进程或者独立进程执行推理框架，终端根据策略响应执行推理框架。上述方法可动态配置第一终端的执行策略，确保第一终端执行推理框架的稳定性。

关键词：推理框架策略中心策略请求终端执行终端响应服务器历史运行数据服务器发送可动态配置存储介质独立进程启动指令应用程序终端发送终端响应主进程

来源：评论

学校读者我要写书评

暂无评论

人工智能推理框架的推理方法、计算机设备及介质

人工智能推理框架的推理方法、计算机设备及介质

引用

作者：祖春山 100015 北京市朝阳区酒仙桥路10号

本发明实施例公开一种人工智能推理框架的推理方法、计算机设备及介质。在一具体实施方式中，该方法包括：获取推理请求；根据推理请求包含的最大允许延迟信息及人工智能推理框架的计算资源占用率对人工智能推理框架进行推理性能评估，... 详细信息

标准号: CN115952866A

本发明实施例公开一种人工智能推理框架的推理方法、计算机设备及介质。在一具体实施方式中，该方法包括：获取推理请求；根据推理请求包含的最大允许延迟信息及人工智能推理框架的计算资源占用率对人工智能推理框架进行推理性能评估，并根据推理性能评估结果配置推理模型的实例数量及每个实例的最大批尺寸；根据推理请求数量、推理模型的实例数量及每个实例的最大批尺寸将推理模型加载到实例，以对推理请求进行推理处理。该实施方式可在云计算AI服务、边缘计算AI服务场景下，通过持续动态优化推理配置及推理调度实现AI推理框架的动态推理性能优化，提升推理效率。

关键词：推理推理框架人工智能推理模型性能评估结果最大允许延迟计算机设备动态优化服务场景计算资源性能评估性能优化云计算占用率加载配置调度服务

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：