模型部署处理方法、装置、电子设备及存储介质

专利申请号：CN202111485193.0

公 开 号：CN114138284A

发 明 人：张磊 

代 理 人：葛钟

代理机构：11471 北京细软智谷知识产权代理有限责任公司

专利类型：发明申请

申 请 日：20220304

公 开 日：20211207

专利主分类号：G06F8/60(20180101)

关 键 词：模型集合 服务器 目标分割 有向图 申请 模型技术领域 部署 服务器部署 服务器分配 服务器提供 存储介质 电子设备 分割处理 模型计算 通信开销 数据处理 间通信 

摘      要：本申请涉及模型部署处理方法、装置、电子设备及存储介质，属于服务器部署模型技术领域。本申请包括：获取表征多模型数据处理的有向图以及服务器所能提供的资源，利用有向图中模型计算所需资源和模型间通信开销，对有向图进行分割处理，得到目标分割结果，对于目标分割结果中各子图所对应的模型集合，在模型集合计算所需资源得到服务器提供的基础上，模型集合间的通信开销整体最小；基于目标分割结果，确定多模型部署所需服务器并为服务器分配模型集合。通过本申请，有助于实现将多模型拆分部署于不同服务器下时服务器的整体性能达到最优。