由于网络环境的多变性,视频播放过程中容易出现卡顿、比特率波动等情况,严重影响了终端用户的体验质量.为优化网络资源分配并提升用户观看体验,准确评估视频质量至关重要.现有的视频质量评价方法主要针对短视频,普遍关注人眼视觉感知特性,较少考虑人类记忆特性对视觉信息的存储和表达能力,以及视觉感知和记忆特性之间的相互作用.而用户观看长视频的时候,其质量评价需要动态评价,除了考虑感知要素外,还要引入记忆要素.为了更好地衡量长视频的质量评价,本文引入深度网络模型,深入探讨了视频感知和记忆特性对用户观看体验的影响,并基于两者特性提出长视频的动态质量评价模型.首先,本文设计主观实验,探究在不同视频播放模式下,视觉感知特性和人类记忆特性对用户体验质量的影响,构建了基于用户感知和记忆的视频质量数据库(Video Quality Database with Perception And Memory,PAM-VQD);其次,基于PAM-VQD数据库,采用深度学习的方法,结合视觉注意力机制,提取视频的深层感知特征,以精准评估感知对用户体验质量的影响;最后,将前端网络输出的感知质量分数、播放状态以及自卡顿间隔作为三个特征输入长短期记忆网络,以建立视觉感知和记忆特性之间的时间依赖关系.实验结果表明,所提出的质量评估模型在不同视频播放模式下均能准确预测用户体验质量,且泛化性能良好.
目前自闭症功能磁共振(functional magnetic resonance imaging,fMRI)图像分类模型在跨多个机构的数据集下分类精度较低,难以应用到自闭症的诊断工作中。为此,本文提出了一种基于Transformer的自闭症分类模型(autism spectrum disorder ...
详细信息
目前自闭症功能磁共振(functional magnetic resonance imaging,fMRI)图像分类模型在跨多个机构的数据集下分类精度较低,难以应用到自闭症的诊断工作中。为此,本文提出了一种基于Transformer的自闭症分类模型(autism spectrum disorder classification model based on Transformer,TransASD)。首先采用脑图谱模板提取fMRI数据中的时间序列输入Transformer模型,并引入一种重叠窗口注意力机制,能够更好地捕捉异构数据的局部与全局特征。其次,提出了一个跨窗口正则化方法作为额外的损失项,使模型可以更加准确地聚焦于重要的特征。本文使用该模型在公开的自闭症数据集ABIDE上进行实验,在10折交叉验证法下得到了71.44%的准确率,该模型对比其他先进算法模型取得了更好的分类效果。
暂无评论