近年来,随着计算机视觉在智能监控、自动驾驶等领域的广泛应用,越来越多视频不仅用于人类观看,还可直接由机器视觉算法进行自动分析。如何高效地面向机器视觉存储和传输此类视频成为新的挑战。然而,现有的视频编码标准,如最新的多功能视频编码(Versatile Video Coding,VVC/H.266),主要针对人眼视觉特性进行优化,未能充分考虑压缩对机器视觉任务的性能影响。为解决这一问题,本文以多目标跟踪作为典型的机器视觉视频处理任务,提出一种面向机器视觉的VVC帧内编码算法。首先,使用神经网络可解释性方法,梯度加权类激活映射(Gradient-weighted Class Activation Mapping,GradCAM++),对视频内容进行显著性分析,定位出机器视觉任务所关注的区域,并以显著图的形式表示。随后,为了突出视频画面中的关键边缘轮廓信息,本文引入边缘检测并将其结果与显著性分析结果进行融合,得到最终的机器视觉显著性图。最后,基于融合后的机器视觉显著性图改进VVC模式选择过程,优化VVC中的块划分和帧内预测的模式决策过程。通过引入机器视觉失真,代替原有的信号失真来调整率失真优化公式,使得编码器在压缩过程中尽可能保留对视觉任务更为相关的信息。实验结果表明,与VVC基准相比,所提出方法在保持相同机器视觉检测精度的同时,可节约12.7%的码率。
随着片上系统(System On Chip, SOC)集成度和规模的指数级增长,计算机系统发生粒子翻转后产生故障的可能性正在增加,其可靠性已经成为一个越来越值得关注的问题.在众多的故障中,静默数据损坏(Silent Data Corruption, SDC)是最难检测的...
详细信息
随着片上系统(System On Chip, SOC)集成度和规模的指数级增长,计算机系统发生粒子翻转后产生故障的可能性正在增加,其可靠性已经成为一个越来越值得关注的问题.在众多的故障中,静默数据损坏(Silent Data Corruption, SDC)是最难检测的故障类型之一,其无法被系统纠错机制检测,会随着程序执行无声地传播,最终破坏程序输出.而现有SDC错误检测方法多数仅考虑指令静态特征,忽略了指令间上下文信息,缺乏探索SDC传播规律的能力.为此,本文提出了一种结合程序异构关系图的SDC错误检测方法(SDC Error Detection Based on Program Heterogeneous Relation Graph, PHRG).首先,设计了一个程序分析框架,挖掘程序上下文信息,构建程序异构关系图;其次,利用多关系图注意力网络搭建指令SDC脆弱性预测模型,挖掘SDC传播的关键路径,识别高脆弱性指令;最后,依据预测结果设计容错机制,对程序进行针对性冗余以检测SDC错误.实验结果表明,PHRG在Mibench测试集上较现有方法具有更高的SDC脆弱性预测准确率,更高的SDC检测率和更低的时空开销.
暂无评论