检索结果-内蒙古大学图书馆

南京邮电大学学报（自然科学版） 2020年第5期40卷 95-100页

作者：周亮袁哲南京邮电大学通信与信息工程学院江苏南京210003

随着多媒体通信技术的发展,包含音频、视频和触觉信号的跨模态通信有望成为未来多媒体通信的主流。为满足跨模态异构码流的通信需求,文中提出了利用不同模态信号间语义相关性的跨模态编码方式。首先阐述了目前触觉编码的研究进展和相关... 详细信息

随着多媒体通信技术的发展,包含音频、视频和触觉信号的跨模态通信有望成为未来多媒体通信的主流。为满足跨模态异构码流的通信需求,文中提出了利用不同模态信号间语义相关性的跨模态编码方式。首先阐述了目前触觉编码的研究进展和相关的理论方法,然后详细分析了跨模态编码的信息论原理,并从稳定性控制、分级编码、跨模态嵌入同步和跨模态语义重构4个方面论述了跨模态编码架构的设计方案,最后对跨模态编码的研究做出了展望。

关键词：跨模态编码触觉编码多媒体通信

来源：评论

学校读者我要写书评

暂无评论

面向多模态业务的高效码流传输关键技术研究

面向多模态业务的高效码流传输关键技术研究

引用

作者：袁哲南京邮电大学

学位级别：博士

随着移动通信和多媒体技术的不断发展,人们不再满足于传统的视听业务,可听、可看、可触摸的多模态业务将成为B5G时代多媒体业务的主流。由于不同模态信号间显著差异性,如何同时满足低时延、高可靠、大容量的多模态通信需求成为了发展多... 详细信息

随着移动通信和多媒体技术的不断发展,人们不再满足于传统的视听业务,可听、可看、可触摸的多模态业务将成为B5G时代多媒体业务的主流。由于不同模态信号间显著差异性,如何同时满足低时延、高可靠、大容量的多模态通信需求成为了发展多模态业务的关键。设备到设备通信技术(Device-to-Device,D2D),因其在卸载网络流量、降低通信时延上卓越的性能表现,在实现多模态通信上有巨大的潜能。此外,受人类感知方式的启发,听觉、视觉和触觉高度交织。因此本文结合D2D通信和利用不同模态信号内在关联的跨模态方式,研究面向多模态业务的高效码流传输关键技术。本文的创新性在于解决了面向多模态业务的码流传输中存在的三个亟待解决的问题:1)信号异构鸿沟造成的率失真性能损失,2)网络动态多样导致的通信鲁棒性下降,和3)服务资源受限引起的网络吞吐量减少。论文的研究工作主要包括以下四个部分:(1)研究了基于语义关联的跨模态编码理论与技术。针对信号异构鸿沟造成的率失真性能损失问题,提出了利用各模态间潜在的语义相关性来压缩多模态信号的跨模态编码模型,并从理论与技术两个方面验证了编码模型的可行性。在理论方面,提出一种全新的信息度量语义熵,用于刻画一对多模态信源符号的随机性和彼此间语义关联的模糊性,从而能够度量信源符号及语义关联的信息总量,并依此确定了跨模态编码中信源所需的最小码率与率失真理论。在技术方面,本文以得到的跨模态编码理论为指导,以基于深度学习的跨模态预测和信道编码技术为手段,设计了一种与现有视频/触觉编解码器高度兼容的通用跨模态编解码器。实验结果表明,相较于现有编码方案,所提出的跨模态编码能够取得显著的率失真性能优势。(2)建立了D2D辅助的无线跨模态传输机制。针对网络动态多样导致的通信鲁棒性下降问题,从网络架构通用性、网络动态适应性以及时延可靠平衡性三个角度出发展开了研究。首先,设计了一个基于移动边缘计算(Mobile Edge Computing,MEC)的通用灵活的无线跨模态传输架构。其次,以D2D用户接触率和兴趣相似度为主要参数设计了一种移动社交感知的缓存策略,以减少因D2D用户的移动性和社交性引起的动态变化对缓存命中率的影响。最后,提出一种时延-可靠感知路由,基于时延与可靠性的综合指标(时延-可靠感知率)将路由选择建模为最短路径问题。并且由于目标函数含有随机变量,于是设计了两种随机优化算法加以求解。仿真结果表明,与其他备选方案相比,所提出的缓存放置方案可以获得至少7.21%的性能提升,路由选择方案可以获得至少10.74%的性能提升。(3)设计了基于D2D的协作式传输内容共享方案。针对服务资源受限引起的网络吞吐量减少问题,提出了一种多对多的D2D协作式传输的绿色内容共享以减少通信能耗。该方案由供需匹配、数据分割与文件重构三个关键步骤构成。首先,将供需匹配描述为一个经典的最大加权匹配问题,并设计了一种分布式匹配算法加以求解。其次,根据链路速率和能量消耗情况设计数据分割算法,基于加权轮询策略实现负载均衡。最后,将文件重构问题这以NP难问题近似为最短哈密顿路径问题,并设计了分布式贪婪算法来寻找最短的文件重构路径。仿真结果表明,所提方案在几乎不增加传输时延的情况下,有效地减少了传输能量损耗。(4)提出了内容感知的跨模态资源调度策略。针对服务多样引起的鲁棒性下降和资源受限引起的网络吞吐量减少问题,利用内容相关性融合触觉抢占式调度和视频信号恢复,设计了内容感知的调度策略。首先,提出了灵活的跨模态码流传输方案,包括视频资源分配、触觉抢占式调度和视频信号恢复。其中,单/双次传输和微时隙级别排队机制的灵活设置可以满足不同层次的通信需求。其次,充分利用不同类型的码流之间的内容相关性,设计了在线的内容感知资源分配算法,实现在触觉需求约束下最大化视频效用。仿真结果表明,在保证触觉流的低延迟和高可靠性的同时,所设计的资源调度方案比其他主流的方案提高了约11.7%的视频吞吐量。

关键词：多模态业务高效码流传输 D2D通信跨模态通信跨模态编码资源调度内容共享

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：