目的深度学习在视频超分辨率重建领域表现出优异的性能,本文提出了一种轻量级注意力约束的可变形对齐网络,旨在用一个模型参数少的网络重建出逼真的高分辨率视频帧。方法本文网络由特征提取模块、注意力约束对齐子网络和动态融合分支3部分组成。1)共享权重的特征提取模块在不增加参数量的前提下充分提取输入帧的多尺度语义信息。2)将提取到的特征送入注意力约束对齐子网络中生成具有精准匹配关系的对齐特征。3)将拼接好的对齐特征作为共享条件输入动态融合分支,融合前向神经网络中参考帧的时域对齐特征和原始低分辨率(low-resolution,LR)帧在不同阶段的空间特征。4)通过上采样重建高分辨率(high-resolution,HR)帧。结果实验在两个基准测试数据集(Vid4(Vimeo-90k)和REDS4(realistic and diverse scenes dataset))上进行了定量评估,与较先进的视频超分辨率网络相比,本文方法在图像质量指标峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)方面获得了更好的结果,进一步提高了超分辨率的细节特征。本文网络在获得相同的PSNR指标的情况下,模型参数减少了近50%。结论通过极轴约束使得注意力对齐网络模型参数量大大减少,并能够充分捕获远距离信息来进行特征对齐,产生高效的时空特征,还通过设计动态融合机制,实现了高质量的重建结果。
近年来随着移动互联网的快速发展,很多APP走进了大众的生活中,互联网上用户评论的内容出现了指数级的增长。用户在电商平台与社交媒体平台上发表的评论包含了大量的文本信息,从不同角度和方面反映了对某个商品或者某些事件表达的情感倾向。对于商家来说,分析商品的评论信息可以帮助商品更新迭代、改善服务。对于政府来说,分析互联网上事件的舆论信息可以帮助政府部门出台相关政策。篇章级情感分析和句子级情感分析可以分析一段文本整体的情感倾向,但是不能获得文本中不同方面实体的细粒度情感倾向,在现实生活中,这类情感往往具有更加丰富的信息,对下游任务更加有帮助。方面级情感分析作为情感分析的一项细粒度任务,旨在获取文本中各个方面的情感极性,具有极高的应用价值。它的子任务主要有方面级情感抽取和方面级情感分类。本文针对方面级情感分析主要做了如下工作:(1)对于方面级情感分类任务,近年来的相关工作主要使用图神经网络编码依存解析树上词之间的连接关系和标签依赖信息,但依存解析树是由外部解析器引导的,往往不够准确。针对该问题,本文提出了一种基于GAT和BERT的动态多通道融合机制(Dynamic Multi-channel Fusion mechanism based on GAT and BERT,DMF-GAT-BERT)。针对不同数据集的句子规范度的特点,该机制能自适应的调整语义和语法相关信息通道的融合权重。实验结果表明,动态融合机制使得模型充分考虑了语法和语义信息的互补性,尽可能的缓解了错误的依存解析树信息对模型的损害,使得模型效果优于大多数强基线模型。(2)对于方面级情感三元组抽取任务,本文设计了一种基于GCN和网格序列标注的动态多通道融合机制(Dynamic Multi-channel Fusion mechanism based on GCN and Grid Sequence Labeling,DMF-GCN-GSL)。首先该方法利用依存句法树的解析结果信息以及单词之间的距离信息构建了多种图神经网络的边矩阵信息通道,然后为了减少错误的依存解析树信息对模型的损害,使用了动态融合机制去融合边矩阵信息,最后使用网格序列标注的方法去解码情感三元组信息。另外,我们使用了Deberta作为我们的句子编码器,增强了模型的性能。在训练过程中,使用FGM(Fast Gradient Method)对抗训练去提升模型的泛化能力。实验证明我们模型的性能优于多个基线模型(GTS-BERT、BABTABSA、EMC-GCN)。
暂无评论