异质图表示学习旨在将图中的语义信息和异质的结构信息嵌入到低维向量空间中。目前大多数的异质图表示学习方法主要通过基于元路径、元图和网络模式的采样以保留图中同类型节点间的单粒度局部结构，忽略了现实世界中复杂异质图具有的丰富的层次结构。商空间理论中的多粒度思想可以在不同粒度内捕获节点间的潜在联系。因此，为在异质图表示中有效地保留层次结构的信息，文章提出一个基于多粒度的异质图表示方法（Heterogeneous Graph Representations Based on Multi-granularity,HeMug）。该方法首先基于不同元路径构建多个同质子图，并利用多粒度的粗化思想，将每个同质子图分别粗化形成多个多粒度子网络，以保留异质图中同类型节点在给定元路径下的层次结构。其次，利用多粒度的细化思想，将每个多粒度子网络最粗层通过现有表示学习方法获得的节点表示逐层细化，以得到节点在每个多粒度子网络下的表示。最后，设计注意力机制以融合节点在不同元路径对应的多粒度子网络下的表示。在四个真实数据集上的实验结果表明，与对比算法相比，提出的HeMug获得了更有效的节点表示。
神经结构搜索技术可以在大量候选网络集合中搜索到适用于特定任务的神经网络结构.目前,大多数结构搜索网络的部署是针对英伟达GPU、英特尔CPU或谷歌TPU等硬件设备的.然而,将搜索到的架构迁移到一些AI专用加速器中,如寒武纪加速卡或华为Atlas推理加速器,推理效果却表现不佳.主要存在两方面的问题:在搜索空间设计层面,由于硬件架构设计对不同算子的支持存在差异,复用传统的搜索空间到专用神经网络加速器上,其推理效率不是最优的;在结构搜索层面,由于专用神经网络加速器在并行计算资源和数据流水通道等设计的不同,仅采用参数量、计算量作为搜索目标不能准确度量推理延迟,并且限制了神经结构搜索在精度和延迟上的探索空间.为了解决上述问题,本文提出一种基于硬件感知的多目标神经结构搜索方法,首先通过测试不同类型的卷积算子在目标硬件上的性能表现,使用非支配排序设计出定制化的高效搜索空间.然后,将延迟纳入搜索目标,提出一种启发式的混合粒度交叉算子,通过粗粒度阶段间交叉和细粒度阶段内交叉提高种群在多目标下的收敛性和多样性,更好地权衡神经网络的精度和推理延迟.本文主要针对国产寒武纪加速卡MLU270-F4进行了实验分析与方法验证,在CIFAR-10上搜索得到的MLUNet-S4精度比DARTS高0.14%的同时推理速度提升了4.7倍,相比于NSGANet精度仅下降0.04%的同时速度提升了5.5倍;在ILSVRC2012数据集上MLUNet-C相较于具有相同推理速度的Mobile Net V2和Mnas Net速度上提升了1.2倍的同时预测精度也分别提升了2.3%和0.2%,效果提升显著.
暂无评论