基于多视角卷积神经网络的三维模型分类方法

作     者：王鹏宇 水盼盼 余锋根 甘渊 刘琨 张岩 孙正兴 Pengyu WANG;Panpan SHUI;Fenggen YU;Yuan GAN;Kun LIU;Yan ZHANG;Zhengxing SUN

作者机构：南京大学软件新技术国家重点实验室南京210023 

出 版 物：《中国科学：信息科学》 (Scientia Sinica(Informationis))

年 卷 期：2019年第49卷第4期

页      面：436-449页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(批准号:61321491 61100110 61272219) 江苏省科技支撑计划(批准号:BY2012190 BY2013072-04)资助项目 

主　　题：三维模型 视角选择 视点熵 卷积神经网络 深度学习 

摘      要：近些年来,卷积神经网络框架在二维图像的语义分割、分类、检索等领域取得了非常好的效果.但是由于三维模型结构的复杂性与不规律性,卷积神经网络的卷积和池化操作却无法直接应用在三维模型上.为了发挥深度学习框架在二维图像分析领域积累的技术优势,本文采用基于多视角投影的方法来完成三维模型分类的任务.然而现有的基于多视角投影的三维模型分类方法大多采用固定视角,所采集到的多视角下模型投影渲染图中存在大量的信息冗余,对结果造成一定的干扰.本文提出了一种新型的多视角卷积神经网络框架,在网络训练过程中自动判别每个视角的贡献度,舍弃冗余视角的信息,从而提取出最能表征模型类别的特征,提高了网络的鲁棒性.此外,本文将基于视点熵的最佳视角选择方法引入三维模型分类领域,相比于固定视角方法,本文方法能更多地保留模型的细节信息,同时不需要模型的朝向对齐.通过在ModelNet10和ModelNet40数据集上的实验,验证了将基于视点熵的视角选择方法应用于三维模型分类,以及本文提出的基于视角判别的多视角信息融合方法的合理性和优越性.实验结果表明,本文方法的分类准确性也优于现有的基于固定多视角投影的三维模型分类方法.