目的深度卷积网络在图像超分辨率重建领域具有优异性能,越来越多的方法趋向于更深、更宽的网络设计。然而,复杂的网络结构对计算资源的要求也越来越高。随着智能边缘设备(如智能手机)的流行,高效能的超分重建算法有着巨大的实际应用场景。因此,本文提出一种极轻量的高效超分网络,通过循环特征选择单元和参数共享机制,不仅大幅降低了参数量和浮点运算次数(floating point operations,FLOPs),而且具有优异的重建性能。方法本文网络由浅层特征提取、深层特征提取和上采样重建3部分构成。浅层特征提取模块包含一个卷积层,产生的特征循环经过一个带有高效通道注意力模块的特征选择单元进行非线性映射提取出深层特征。该特征选择单元含有多个卷积层的特征增强模块,通过保留每个卷积层的部分特征并在模块末端融合增强层次信息。通过高效通道注意力模块重新调整各通道的特征。借助循环机制(循环6次)可以有效提升性能且大幅减少参数量。上采样重建通过参数共享的上采样模块同时将浅层与深层特征进放大、融合得到高分辨率图像。结果与先进的轻量级网络进行对比,本文网络极大减少了参数量和FLOPs,在Set5、Set14、B100、Urban100和Manga109等基准测试数据集上进行定量评估,在图像质量指标峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)上也获得了更好的结果。结论本文通过循环的特征选择单元有效挖掘出图像的高频信息,并通过参数共享机制极大减少了参数量,实现了轻量的高质量超分重建。
随着增强现实技术的发展,仅包含视觉的增强现实技术已经不能满足人们的需求,而加入触觉信息形成的视-触觉融合的增强现实系统却越来越受到关注。触觉设备是将真实环境和虚拟环境连接起来的纽带。然而,触觉设备在视场中的存在会带来两个问题,一方面触觉设备占据了很大的视觉空间,另一方面触觉设备的定位往往会出现较大的误差,导致了视-触觉增强现实的真实性下降。为了增加使用者的体验感,提出一种高保真视-触觉增强现实环境的搭建方法。首先基于改进的ORB(Oriented FAST and Rotated BRIEF)和KLT(Kanade-Lucas-Tomasi)增强现实跟踪注册算法搭建稳定的视觉增强现实环境。其次提出了一种能校准触笔位置和方向的方法,以提升交互体验。然后提出一种基于力反馈的触觉渲染算法,最后使用改进的全局泊松方程和Criminisi算法对触觉设备进行隐藏和修复,减小因触觉设备存在对用户沉浸感造成的影响。
暂无评论