随着人工智能研究的日益深化,深度神经网络(Deep Neural Networks,DNN)的模型层次不断加深,虽有效提高了众多智能应用的推理精准度,但对算力的需求也显著提升。将推理任务交由云端执行会产生较高的数据传输时延,而将任务全部卸载到终端或边缘执行则会面临较大的计算压力。所以,本文主要研究深度神经网络的协同推理加速方法。现有的智能推理加速算法在当网络状态和任务需求快速变化时难以获得全面的实时数据进行准确预测,导致模型的推理性能下降。如何在环境感知、智能算法优化方面进行改进,使协同推理算法能够适应网络状态和任务需求的动态变化,从而实现推理时延、成本等多目标的优化是当前面临的挑战。因此本文在基于软件定义网络(Software Defined Network,SDN)的云边协同推理架构下,使用模型划分与早期退出技术对模型的推理效率进行优化研究,具体研究内容如下:
(1)为解决因网络计算压力大、成本高而导致推理效率低的问题,提出了一种基于模型划分的云边协同推理算法(Cloud-Edge Collaborative Inference Algorithm based on Model Partition,SDN-CEP),首先在边缘环境中构建任务复杂度预测器决策任务的执行环境,然后利用架构中的控制器实现网络状态全局信息的共享,最后将全局视图与DQN算法相结合,实现推理模型的有效分配。本文分别从推理时延、网络带宽、计算成本等方面评估算法的性能。实验结果表明,SDN-CEP提高了模型的推理效率,在动态的环境中具有较好的鲁棒性。
(2)为进一步加快深度神经网络模型的推理速度,提出了一种基于自适应早期退出的推理加速算法(Inference Acceleration Algorithm based on Adaptive Early Exit,AEE),通过缩减模型推理层次的方式来提升推理速度。首先使用Branchy Net框架训练模型的早期退出分支,然后利用Noisy DQN算法根据全局视图中的实时网络状态信息对模型分支进行自适应预测。最后,通过仿真实验证明AEE提高了深度神经网络的推理速度,具有良好的决策性能。
图[25]表[3]参[87]
近年来,越来越多的机器人问题开始探索基于深度学习的解决途径。然而,深度神经网络能力的提升往往伴随着模型规模和复杂度的增加,需要在运行时消耗大量资源。而作为一类特殊的计算设备,机器人由于物理设计约束,其上资源往往是受限的。二者之间的矛盾已经成为制约机器人自主性和智能化水平提升的瓶颈问题。在分布式领域,这一问题的一种可行解决方案是采用自组织云(Ad Hoc Cloud),即由多个机器人以自组织和对等的方式、利用云计算技术动态形成虚拟组织,共享需要的计算资源,共同完成计算密集型的任务。自组织云的架构、机理和实现方法在移动计算等领域已经有了初步研究。然而,现有工作主要局限于对普通移动应用的支撑,而非对机器人“智能”的支持。这导致了两个方面的问题:(1)缺乏针对深度学习推理任务的计算卸载方法和调度机制。深度学习模型具有显著的计算和数据密集型特点,在计算上具有显著的分层递进特征,此类模型如何在自组织云中合理组织调度,充分发挥计算节点性能,目前尚缺乏相关研究。(2)缺乏深度学习任务推理的时效性保持技术研究。传统自组织云实现并不关注时效性,而时效性是机器人任务的关键考虑因素(例如机器人自主避障和无人驾驶飞行器跟踪)。针对上述两个方面挑战,本课题开展了如下三个方面的工作:(1)构造机器人深度学习推理算法行为特征与资源需求模型。对典型深度学习推理算法行为特征与资源需求的分析,是在自组织云中合理调度深度学习计算任务的前提。本课题使用典型的机器人平台开展实证研究,收集并分析深度学习模型推理时的性能特征、资源消耗数据,获得了典型深度学习模型中各层的计算时空复杂度、资源需求和执行瓶颈的知识。(2)提出基于模型划分的自组织云深度学习推理计算卸载方法。为解决数据中心不可用时深度学习推理资源需求与机器人资源受限的矛盾,本课题基于模型划分对深度学习模型推理的计算密集型部分执行卸载,降低执行门槛实现本地机器人协作的分布式深度学习模型推理。(3)提出面向时效性的同构自组织云深度学习推理适应方法。针对具有时效性的深度学习任务,以由同构节点所组成的自组织云执行环境为背景,本课题提出了模型并行和数据并行对深度学习推理进行优化的机制,实现具有时效性的同构机器人协作深度学习模型推理支持。
暂无评论