随着点云数据在虚拟现实、计算机视觉、机器人等领域中的广泛应用,点云获取与处理中的失真评价正成为一个重要的研究问题。考虑到点云三维信息对几何失真敏感、点云二维投影图包含丰富的纹理和语义信息,提出一种基于三维与二维特征融合的无参考点云质量评价方法,以有效结合点云的三维与二维特征信息,提高点云质量评价的准确性。对于三维特征提取,先对点云进行最远点采样,以选取的点为中心生成互不重叠的点云子模型,尽可能地覆盖整个点云模型,利用多尺度三维特征提取网络提取体素和点的特征。对于二维特征提取,先对点云进行正交6面投影,再通过多尺度二维特征提取网络提取纹理和语义信息。最后,考虑到人类视觉系统处理不同类型信息时会存在分割处理和交织融合的过程,设计一个对称跨模态注意模块融合三维和二维特征。在5个公开点云质量评价数据库上的实验结果显示,所提方法的皮尔逊线性相关系数(Pearson’s linear correlation coefficient,PLCC)分别达到0.9203、0.9463、0.9125、0.916和0.921,表明与现有的代表性点云质量评价方法相比,所提方法更优。
六自由度(Six Degrees of Freedom,6DoF)视频允许用户从全方位、任意视角身临其境体验场景,是下一代沉浸式视频产业的发展方向.部分自由度受限的窗口6DoF视频近年来成为研究热点,本文提出面向窗口6DoF合成视频的主观数据库和客观质量评...
详细信息
六自由度(Six Degrees of Freedom,6DoF)视频允许用户从全方位、任意视角身临其境体验场景,是下一代沉浸式视频产业的发展方向.部分自由度受限的窗口6DoF视频近年来成为研究热点,本文提出面向窗口6DoF合成视频的主观数据库和客观质量评价方法.在主观数据库方面,构建了包含两种交互路径不适性失真、四种绘制失真和四种压缩失真的窗口6DoF合成视频主观质量数据库Windowed-6DoF,并开展主观质量测试及结果分析.在客观质量评价方法方面,设计了一种融合多层特征的窗口6DoF合成视频无参考客观质量评价方法.采用切比雪夫矩提取视频时域切片上的底层形状特征;采用Resnet-50网络提取视频的时域、空域高层语义特征并进行降维处理;最后采用随机森林将底层形状特征和高层语义特征进行融合,且训练得到窗口6DoF合成视频的客观质量评价模型.在提出的数据库Windowed-6DoF和公共数据库IRCCyN/IVC DIBR的测试结果表明,本文提出的客观质量评价方法预测分数的皮尔逊线性相关系数分别达到0.9327和0.8581,与主观评价分数具有较好的一致性.
暂无评论