一种基于端边云架构的神经网络多任务推理方法和装置

专利申请号：CN202311716315.1

公 开 号：CN117910572A

发 明 人：潘兆丰 叶徳仕 陈佳伟 王灿 

代 理 人：王兵;王益新

代理机构：杭州天正专利事务所有限公司

专利类型：发明专利

申 请 日：20240419

公 开 日：20231213

专利主分类号：G06N5/04

关 键 词：推理 切割点 云设备 计算神经网络 神经网络模型 方法和装置 模型切割 强化学习 任务完成 神经网络 同一设备 推理结果 中间结果 分割点 数据集 云架构 端边 求解 发送 

摘      要：一种基于端边云架构的神经网络多任务推理方法和装置，其方法包括：将用于推理的深度神经网络模型，数据集同步至本地、边缘、云设备；计算出每一层的输入张量大小以及每一层在不同设备上的推理时间；将模型切割成两个部分，计算神经网络在切割点前在本地推理的总时间，计算在切割点后在边缘或云设备上推理的总时间；多任务推理包含多个相同尺寸的推理任务，不同任务可以有不同的切割点；每个任务首先在本地运行至切割点，得到中间结果后发送至边缘或云设备上继续运行，得出最终的推理结果；同一设备同一时间只能运行一项任务，求解目标是所有任务完成总时间的最小值；训练深度强化学习模型，并应决定分割点、执行机器和执行顺序。