神经网络计算图的优化方法、装置及相关设备

专利申请号：CN202310474315.9

公 开 号：CN116702855A

发 明 人：雷宇 李原 朱建斌 付尧 

代 理 人：黄禹强

代理机构：广州三环专利商标代理有限公司

专利类型：发明专利

申 请 日：20230905

公 开 日：20230427

专利主分类号：G06N3/08

关 键 词：优化 神经网络计算 匹配模板 程序转换 目标程序 输出数据 算子 索引 匹配 样式 统一计算设备架构 拓扑关系 预先定义 图转换 线程 申请 工作量 

摘      要：本申请提供了一种神经网络计算图的优化方法、装置及相关设备，其中，该神经网络计算图的优化方法，包括：将待优化子图对应的程序转换为以待优化子图的输出数据表示的目标程序；待优化子图为神经网络计算图的子图；建立待优化子图的输出数据的索引与统一计算设备架构CUDA线程索引的对应关系；根据目标程序和对应关系，将待优化子图对应的程序转换为CUDA程序。本申请实施例不用根据算子的类型和算子间的拓扑关系预先定义大量的匹配模板，无需通过与匹配模板大量的样式匹配来进行子图的优化，而是将子图转换成CUDA程序，进而有利于减少定义匹配模板和样式匹配的工作量，提升神经网络计算图的优化效率。