检索结果-内蒙古大学图书馆

作者：请求不公布姓名请求不公布姓名请求不公布姓名 201114 上海市闵行区陈行公路2388号16幢13层1302室

本发明提供一种模型运算方法、装置、电子设备和存储介质，所述方法包括：对待运算模型的当前层的第一精度的权重矩阵进行精度截断，得到第二精度的权重矩阵，第一精度高于第二精度；基于第一精度的权重矩阵与第二精度的权重矩阵，确定... 详细信息

标准号: CN117435856A

本发明提供一种模型运算方法、装置、电子设备和存储介质，所述方法包括：对待运算模型的当前层的第一精度的权重矩阵进行精度截断，得到第二精度的权重矩阵，第一精度高于第二精度；基于第一精度的权重矩阵与第二精度的权重矩阵，确定权重矩阵残差；基于权重矩阵残差以及上一层的运算结果，确定当前层的残差输出结果；基于上一层的运算结果，以及当前层的残差输出结果，确定当前层的运算结果。本发明提供的模型运算方法、装置、电子设备和存储介质，不仅可以避免增加不必要的计算量以及数据搬运，而且可以基于权重矩阵残差弥补第二精度的权重矩阵由于下溢所造成的精度损失。

关键词：权重矩阵残差运算结果存储介质电子设备模型运算输出结果精度损失数据搬运运算模型计算量截断下溢

学校读者我要写书评

暂无评论

作者：请求不公布姓名请求不公布姓名请求不公布姓名请求不公布姓名 201114 上海市闵行区陈行公路2388号16幢13层1302室

本发明提供一种模型运算方法、装置、电子设备和存储介质，所述方法包括：在完成提示推理阶段的模型运算后，保留缓存中的键向量矩阵并删除缓存中的值向量矩阵；在进行生成推理阶段的模型运算时，在张量核上基于映射矩阵以及键向量矩阵... 详细信息

标准号: CN117786301A

本发明提供一种模型运算方法、装置、电子设备和存储介质，所述方法包括：在完成提示推理阶段的模型运算后，保留缓存中的键向量矩阵并删除缓存中的值向量矩阵；在进行生成推理阶段的模型运算时，在张量核上基于映射矩阵以及键向量矩阵确定第一矩阵，在向量核上基于查询向量以及键向量矩阵确定第二向量，并在向量核上基于第一矩阵和第二向量确定注意力向量，基于注意力向量确定推理结果。本发明提供的模型运算方法、装置、电子设备和存储介质，在占用较小缓存空间的情况下，仍能正常进行推理运算，保证推理效果。

关键词：向量模型运算向量矩阵推理缓存矩阵存储介质电子设备向量确定注意力缓存空间推理结果推理运算映射矩阵删除提示占用查询保留保证

学校读者我要写书评

暂无评论

作者：请求不公布姓名请求不公布姓名请求不公布姓名请求不公布姓名 201114 上海市闵行区陈行公路2388号16幢13层1302室

本发明提供一种模型运算方法、装置、电子设备和存储介质，所述方法包括：对待运算模型上各计算卡的初始激活数据进行局部规约操作，得到各计算卡的激活数据，并基于各计算卡的激活数据，确定各计算卡的局部统计数据；将任一计算卡作为... 详细信息

标准号: CN117785479A

本发明提供一种模型运算方法、装置、电子设备和存储介质，所述方法包括：对待运算模型上各计算卡的初始激活数据进行局部规约操作，得到各计算卡的激活数据，并基于各计算卡的激活数据，确定各计算卡的局部统计数据；将任一计算卡作为第一目标计算卡，并将第一其余计算卡的局部统计数据传送至第一目标计算卡，并在第一目标计算卡上，基于各计算卡的局部统计数据，计算全局统计数据；将全局统计数据传送至第一其余计算卡，并在各计算卡上，基于全局统计数据，计算各计算卡的归一化数据。本发明提供的模型运算方法、装置、电子设备和存储介质，减少了卡间数据的全收集操作，提高了模型的推理速度。

关键词：激活数据局部统计目标计算全局统计存储介质电子设备模型运算数据传送规约归一化数据运算模型推理

学校读者我要写书评

暂无评论

模型运算优化方法、产品、设备及介质

模型运算优化方法、产品、设备及介质

作者：陈奎丞何也孙畅吴韶华 250000 山东省济南市高新区草山岭南路801号9层东侧

本申请公开了模型运算优化方法、产品、设备及介质，涉及数据处理技术领域，包括：监测针对用户自定义算子的目标广播请求；所述目标广播请求中携带有所述用户自定义算子和至少两个输入张量；通过调用智能问答模型或深度学习网络模型的... 详细信息

标准号: CN118277133A

本申请公开了模型运算优化方法、产品、设备及介质，涉及数据处理技术领域，包括：监测针对用户自定义算子的目标广播请求；所述目标广播请求中携带有所述用户自定义算子和至少两个输入张量；通过调用智能问答模型或深度学习网络模型的深度学习框架完成对CUDA设备的调用，以分别对各输入张量进行遍历，并确定与遍历结果对应的用于通过乘法及减法进行偏移量余数计算的目标参数；根据利用目标参数分别确定的各输入张量的偏移量从对应的张量存储空间中提取相应的元素值，并基于计算逻辑关系式对提取到的元素值进行相应的广播，得到对应的张量广播结果。本申请能够降低对除法和取余操作的依赖，提高偏移量计算的速度以及张量广播的效率。

关键词：目标参数目标广播算子偏移量自定义遍历调用广播数据处理技术偏移量计算存储空间计算逻辑模型运算网络模型余数计算乘法除法减法取余申请智能携带学习监测优化

学校读者我要写书评

暂无评论

模型运算方法、系统及设备

模型运算方法、系统及设备

作者：王楠资彦义周鹏 518067 广东省深圳市南山区粤海街道科苑南路3239号阿里云大厦S1号楼501

本申请实施例提供一种模型运算方法、系统及设备，该方法包括：在第一模型的多个算子中确定第一中央处理器CPU算子、第二CPU算子和多个图形处理器GPU算子，多个GPU算子之间具有调用关系；通过本地CPU对第一CPU算子进行处理得到第一输出... 详细信息

标准号: CN115934329A

本申请实施例提供一种模型运算方法、系统及设备，该方法包括：在第一模型的多个算子中确定第一中央处理器CPU算子、第二CPU算子和多个图形处理器GPU算子，多个GPU算子之间具有调用关系；通过本地CPU对第一CPU算子进行处理得到第一输出结果，第一输出结果包括第一输出参数、以及调用第一输出参数的GPU算子的标识；调用第二设备中的远端GPU对多个GPU算子和第一输出结果进行处理，得到第二输出结果，第二输出结果包括第二输出参数、以及调用第二输出参数的CPU算子的标识；通过本地CPU对第二CPU算子和第二输出结果进行处理，得到第一模型的运算结果。提高了整体资源利用率。

关键词：算子输出结果输出参数调用整体资源利用率中央处理器CPU 图形处理器系统及设备调用关系模型运算运算结果远端申请

学校读者我要写书评

暂无评论

作者：请求不公布姓名请求不公布姓名请求不公布姓名请求不公布姓名 201114 上海市闵行区陈行公路2388号16幢13层1302室

本发明提供一种模型运算方法、装置、电子设备和存储介质，所述方法包括：确定第一矩阵以及第二矩阵；对第二矩阵进行反量化，并将反量化后的结果存储至缓存单元；从缓存单元读取反量化后的结果，并基于第一矩阵和反量化后的结果进行模... 详细信息

标准号: CN117786296A

本发明提供一种模型运算方法、装置、电子设备和存储介质，所述方法包括：确定第一矩阵以及第二矩阵；对第二矩阵进行反量化，并将反量化后的结果存储至缓存单元；从缓存单元读取反量化后的结果，并基于第一矩阵和反量化后的结果进行模型运算。本发明提供的模型运算方法、装置、电子设备和存储介质，由于对第二矩阵进行反量化后的结果存储于缓存单元，从而能够直接从缓存单元读取反量化结果，避免从内存读取的延迟，加快了读取速度，进而加快了模型推理运算速度。

关键词：反量化矩阵缓存单元读取模型运算存储介质电子设备结果存储内存读取推理运算延迟

学校读者我要写书评

暂无评论

模型运算方法、装置及计算设备

模型运算方法、装置及计算设备

作者：葛建辉赵海丞 710076 陕西省西安市高新区鱼化街办软件新城天谷八路528号国家电子商务示范基地东区301室

本申请实施例提供一种模型运算方法、装置及计算设备。应用于计算设备中，计算设备包括至少一个处理核集合、以及每个处理核集合对应的共享内存，处理核集合中包括至少两个处理核，处理核集合中的处理核共享对应的共享内存，该方法包括... 详细信息

标准号: CN117057406A

本申请实施例提供一种模型运算方法、装置及计算设备。应用于计算设备中，计算设备包括至少一个处理核集合、以及每个处理核集合对应的共享内存，处理核集合中包括至少两个处理核，处理核集合中的处理核共享对应的共享内存，该方法包括：确定目标模型中的多个处理算子、以及每个处理核对应的算子优先级；针对任意一次乘累加MAC计算，确定处理核集合对应的核外输入数据，并向处理核集合对应的共享内存中传输核外输入数据；针对任意一个处理核，根据处理核集合对应的共享内存中的数据、多个处理算子之间的依赖关系、以及处理核对应的算子优先级，控制处理核进行算子运算，得到中间运算结果，并将中间运算结果存储至共享内存。提高了模型运算的效率。

关键词：处理核集合共享内存算子计算设备模型运算运算结果核对控制处理目标模型算子运算依赖关系累加存储传输共享申请应用

一种模型运算系统、方法、电子设备及存储介质

学校读者我要写书评

暂无评论

一种模型运算系统、方法、电子设备及存储介质

作者：陈长贵黄硕陈旭周琳成诚刘益鸣 130011 吉林省长春市汽车经济技术开发区新红旗大街1号

本发明公开了一种模型运算系统、方法、电子设备及存储介质。该系统包括：第一控制模块，用于依次将各网络模型的网络权重加载至存储单元；数据接收模块，用于依次将各网络模型的输入数据加载至存储单元；第二控制模块，用于依次将各网... 详细信息

标准号: CN115906969A

本发明公开了一种模型运算系统、方法、电子设备及存储介质。该系统包括：第一控制模块，用于依次将各网络模型的网络权重加载至存储单元；数据接收模块，用于依次将各网络模型的输入数据加载至存储单元；第二控制模块，用于依次将各网络模型的网络结构加载至存储单元，并基于模型加载顺序将各网络模型的网络结构、网络权重和输入数据发送至模型运算模块；模型运算模块，用于基于当前网络模型的网络结构和网络权重重建出当前网络模型，并基于重建出的当前网络模型和相应的输入数据，确定处理结果。实现提高模型运算效率，进而达到提高产品运行性能的效果。

关键词：网络模型模型运算存储单元网络结构网络权加载控制模块数据接收模块存储介质电子设备模型加载运行性能发送重建

输入特征的向量查找方法、装置和模型运算设备

学校读者我要写书评

暂无评论

输入特征的向量查找方法、装置和模型运算设备

作者：黄伟刘俊朱克峰王彦伟李仁刚 215000 江苏省苏州市吴中经济开发区郭巷街道官浦路1号9幢

本申请实施例提供了一种输入特征的向量查找方法、装置和模型运算设备，其中，该方法包括：获取目标特征维度；从第一存储空间中查找目标特征维度对应的嵌入向量，其中，第一存储空间用于存储与参考嵌入向量相关的第一嵌入向量；在从第... 详细信息

标准号: CN117149813B

本申请实施例提供了一种输入特征的向量查找方法、装置和模型运算设备，其中，该方法包括：获取目标特征维度；从第一存储空间中查找目标特征维度对应的嵌入向量，其中，第一存储空间用于存储与参考嵌入向量相关的第一嵌入向量；在从第一存储空间中未查找到目标特征维度对应的嵌入向量的情况下，从第二存储空间中查找目标特征维度对应的嵌入向量得到目标嵌入向量，并从第二存储空间中查找与目标嵌入向量相关的嵌入向量得到第二嵌入向量；将第二嵌入向量存储至第一存储空间。通过本申请，解决了查找输入特征的向量的效率较低的问题，进而达到了提高查找输入特征的向量的效率的效果。

关键词：向量嵌入存储空间输入特征特征维度查找目标查找存储获取目标模型运算目标特征向量查找申请维度参考

输入特征的向量查找方法、装置和模型运算设备

学校读者我要写书评

暂无评论

输入特征的向量查找方法、装置和模型运算设备

作者：黄伟刘俊朱克峰王彦伟李仁刚 215000 江苏省苏州市吴中经济开发区郭巷街道官浦路1号9幢

标准号: CN117149813A

关键词：向量嵌入存储空间输入特征特征维度查找目标查找存储获取目标模型运算目标特征向量查找申请维度参考