检索结果-内蒙古大学图书馆

电子与信息学报 2025年第2期47卷 363-374页

作者：陈鸣锴孙振德万雅芳南京邮电大学通信与信息工程学院南京210003 南京邮电大学江苏省通信与网络技术工程研究中心南京210019

针对视频和触觉业务共存的跨模态业务场景,该文构建了可重构智能表面(RIS)辅助的共存网络切片系统,用以提高视频业务和触觉业务的传输速率和可靠性。同时,为了有效降低触觉业务通过穿孔带给视频业务的资源损耗,提出了动态被动波束赋形方... 详细信息

针对视频和触觉业务共存的跨模态业务场景,该文构建了可重构智能表面(RIS)辅助的共存网络切片系统,用以提高视频业务和触觉业务的传输速率和可靠性。同时,为了有效降低触觉业务通过穿孔带给视频业务的资源损耗,提出了动态被动波束赋形方案,允许RIS在不同时隙进行动态调整。基于上述方案,该文在确保触觉业务传输的时延和可靠性满足约束的同时,构建最大化视频业务传输速率的优化问题,以满足跨模态业务共存需求,实现资源的合理分配。为求解此优化问题,该文将其建模为一个马尔可夫决策过程(MDP),通过深度确定性策略梯度(DDPG)算法来进行视频数据和触觉数据传输资源的联合优化。仿真结果显示,与现有方案相比,所提方案具有一定的优越性,在保证传输触觉业务可靠性的前提下,提高了约66.67%的视频业务和速率。

关键词：跨模态通信可重构智能表面网络切片资源分配

来源：评论

学校读者我要写书评

暂无评论

面向跨模态通信的信息恢复技术

引用

电子学报 2022年第7期50卷 1631-1642页

作者：徐建博魏昕周亮南京邮电大学通信与信息工程学院江苏南京210003 南京邮电大学宽带无线通信与传感网技术教育部重点实验室江苏南京210003

针对多模态数据在传输过程中丢失、受到无线信道噪声污染而严重影响跨模态通信质量的问题,提出了一种面向跨模态通信的信息恢复技术,通过充分利用接收端已有数据,采用同模态一对一检索、跨模态一对一检索、跨模态一对多检索等方式,在接... 详细信息

针对多模态数据在传输过程中丢失、受到无线信道噪声污染而严重影响跨模态通信质量的问题,提出了一种面向跨模态通信的信息恢复技术,通过充分利用接收端已有数据,采用同模态一对一检索、跨模态一对一检索、跨模态一对多检索等方式,在接收端进行信息恢复.所提方法在公共数据集以及实际跨模态通信平台上进行验证,实验表明,该方法可以实现精准的信息恢复,有效提升了跨模态通信质量.

关键词：跨模态通信信息恢复语义融合多模态业务

来源：评论

学校读者我要写书评

暂无评论

跨模态通信中的视觉-触觉信号互助重建关键技术研究

跨模态通信中的视觉-触觉信号互助重建关键技术研究

引用

作者：高子涵南京邮电大学

学位级别：硕士

包含了音频、视频、触觉信息的多模态业务有望提升用户的沉浸感体验,其正成为5G甚至6G时代的杀手级应用。为了支撑多模态业务,跨模态通信技术应运而生。然而,当多模态业务中的触觉信息和视觉信息同等重要时,跨模态通信方案的设计仍然面... 详细信息

包含了音频、视频、触觉信息的多模态业务有望提升用户的沉浸感体验,其正成为5G甚至6G时代的杀手级应用。为了支撑多模态业务,跨模态通信技术应运而生。然而,当多模态业务中的触觉信息和视觉信息同等重要时,跨模态通信方案的设计仍然面临着诸多技术挑战。一方面,有限的可用传输资源无法同时适应具有不同传输需求的视觉流和触觉流,导致音视频和触觉模态之间的竞争不可避免。另一方面,由于传输条件的劣化和延迟,接收到的视觉信号和触觉信号的质量不能得到保证。为了灵活处理这些可能出现的问题,本文提出了一种面向视觉—触觉同等重要业务的跨模态传输策略。它包含了发送端的视觉-触觉互助流传输协议和接收端的视觉-触觉信号互助重建方法。对于前者,受人类视觉-触觉感知相关性的启发,可以消除视觉流和触觉流的传输冗余。对于后者,通过探索语义相关性,受损或延迟的视觉或触觉信号可以在另一种模态的帮助下重建。具体而言,论文的主要研究内容以及创新点如下:首先,提出面向视觉—触觉同等重要业务的跨模态通信的体系架构。其包含发送端的传输压缩机制以及接收端的信号重建模型,即,联合利用灵活的传输调度方案和跨模态重建方案,动态地调整传输策略。该架构在实现视觉流和触觉流的冗余消除来提升资源利用率的同时,保证通信中灵活地解决视觉和触觉信号的丢包和延迟问题。其次,设计视觉—触觉信号互助重建算法(VHMR),其更好地阐述不同模态之间的语义关联,实现视觉触觉数据互相生成。将该模型置于接收端,用于生成缺失和延迟的视觉信号或触觉信号。VHMR由四个模块组成:基于知识迁移的特征提取、基于模态融合的语义关联、基于对抗学习的模态内信号重建以及基于循环一致性约束的模态间信号重建。在公开的标准多模态数据集和真实搭建的跨模态通信平台上的实验结果验证了VHMR的视觉触觉重建性能。最后,为进一步细粒化重建信号的生成效果,引入了关于层级细节的约束框架,设计基于层次语义约束的细粒化视觉—触觉互助重建算法(HFG-VHMR)。首先,知识迁移不仅考虑领域间的模态内语义信息差异,还考虑了模态间信息差异,可以有效地提高特征提取的效果;接着,通过模态融合,挖掘潜在的语义关联;最后,基于层次语义约束,实现跨模态信号重建,以分类理解模型作为重建网络的监督与参考,有效地引导信号高质量、细粒度的重建。实验结果表明,HFG-VHMR方法进一步提升了视觉—触觉互助重建质量。

关键词：跨模态通信传输机制视觉—触觉信号重建互助深度学习

来源：评论

学校读者我要写书评

暂无评论

跨模态通信中传输策略优化研究

跨模态通信中传输策略优化研究

引用

作者：文梦甜南京邮电大学

学位级别：硕士

随着无线通信的飞速发展,由传统视听服务和新兴触觉信息融合而成的多模态业务正逐渐成为未来应用的主流。在多模态业务中,音视频业务主要要求高速率传输,触觉信息主要要求超高可靠超低延迟传输,但现有的传输策略大多针对不同模态业务单... 详细信息

随着无线通信的飞速发展,由传统视听服务和新兴触觉信息融合而成的多模态业务正逐渐成为未来应用的主流。在多模态业务中,音视频业务主要要求高速率传输,触觉信息主要要求超高可靠超低延迟传输,但现有的传输策略大多针对不同模态业务单独设计传输机制,难以满足多模态业务的多样化传输需求。此外,随着数据量的不断增长,信号缺失、延迟等传输过程中引起的问题日益明显,对多模态业务的服务质量产生严重影响,显著影响用户体验。因此,设计一种有效的跨模态通信传输策略,以实现对多模态业务的合理承载是非常有意义的。网络切片技术能够将同一网络环境划分为多个相互独立的切片,每个切片能够根据不同模态业务的需求进行单独配置,从而能够为多模态业务的协同传输提供一种合理且高效的解决方案。本文对跨模态通信中基于网络切片技术的多模态业务传输策略展开研究,探索多模态业务的高效高质量传输方法,全面提升用户的沉浸式体验,开展的主要研究工作如下:(1)针对不同模态业务在传输过程中相互影响,从而导致业务性能下降的问题,设计跨模态通信中的网络切片隔离传输策略,在传输开始前预留分配给各模态业务的切片资源,有效降低各模态业务间的相互影响,实现多模态业务的高效传输。同时,建立了传输过程中的投资回报率模型,在有限的通信资源投资下最大化多模态业务的服务质量,尽量节约资源,减少浪费,并将投资回报率最大化问题分解为数据流的功率控制问题和切片的资源分配问题。首先,通过确定功率的取值范围,将数据流的功率控制问题转化为凸优化问题进行求解。进而,在最优功率控制情况下解决切片的资源分配问题,并设计了一种启发式算法对其进行求解,以获取系统的最优投资回报率。(2)针对多模态业务中触觉信息短包传输、零星出现且具有超低延迟要求的特点,设计跨模态通信中的网络切片穿孔调度策略,有效解决隔离传输带来的切片资源浪费问题。同时,引入智能反射面技术对传输环境进行优化,尽可能减少穿孔所需资源量,从而减小穿孔调度带来的多模态业务性能损失,并构建基于不同时间尺度的资源分配模型,在最小化音视频流数据速率损失的同时,最大化触觉流数据包接纳率。首先,在每个时隙开始时主动设计相移矩阵配置,以增强网络中所有用于传输多模态业务的切片增益。其次,基于迷你时隙对多模态业务的功率和频率展开联合优化,并提出了一种启发式算法进行求解,获得最优资源分配方式,以在最小化音视频流速率损失的同时,最大化触觉流数据包接纳率。

关键词：跨模态通信网络切片隔离传输穿孔调度投资回报率智能反射面

来源：评论

学校读者我要写书评

暂无评论

跨模态通信系统中多业务流量资源分配关键技术研究

跨模态通信系统中多业务流量资源分配关键技术研究

引用

作者：尹安敏南京邮电大学

学位级别：硕士

5G通信技术的发展给人们带来了更加多样化的业务选择,使得触觉数据这类对于时延有很高要求的业务数据的传输成为可能。融合了视听触三种业务数据的跨模态通信系统,通过多种模态数据的引入让人们获得更真实和丰富的多媒体体验。在传输中... 详细信息

5G通信技术的发展给人们带来了更加多样化的业务选择,使得触觉数据这类对于时延有很高要求的业务数据的传输成为可能。融合了视听触三种业务数据的跨模态通信系统,通过多种模态数据的引入让人们获得更真实和丰富的多媒体体验。在传输中,视频业务数据量较大且需要较高的传输速率,而触觉数据更注重传输时延且出现具有突发性和随机性。传输需求的差异使得两类业务数据在无线资源分配方面有一定的冲突,通过一种有效的方式为视频和触觉业务数据分配无线资源,从而实现跨模态通信系统中两类业务数据的联合传输和资源的合理利用是有必要的。本文对跨模态通信中视频和触觉两类业务数据的联合资源分配进行了研究,主要工作如下:(1)针对系统中两种业务数据传输需求差异所带来的资源分配问题,本文提出了一种基于穿孔架构和网络切片的资源分配方案,在实现两种业务数据联合传输的同时实现灵活的资源分配和高效的资源利用率。为了减少穿孔资源占用对用户视频数据传输的负面影响,构建了与传输速率和可靠性相关的优化问题。将优化问题分解为信道资源分配和触觉数据穿孔资源分配两部分,分别通过信道匹配算法和穿孔资源分配算法进行求解。同时对按比例占用和按资源块占用,两种穿孔资源占用方式对用户视频数据传输的影响进行了讨论。仿真结果表明了所提方案在实现跨模态通信系统中两种业务数据联合传输方面具有优势。(2)针对穿孔架构下,大量触觉数据包到达所引起的过量频带资源占用和较大触觉丢包率问题,本文提出了基于M/M/1排队模型的联合资源分配方案。在穿孔架构的基础上引入M/M/1排队模型,对到达的触觉数据包进行排序,实行先到先服务策略。将超出当前微小时隙能承载的触觉数据包放于队列中等待,在后续时隙进行传输,从而避免过多的视频数据频带资源占用,并降低触觉数据包的丢包率。从两种业务数据的传输需求出发,分别建立合适的服务质量(Quality of Service,QoS)指标,构建以最大化两种业务数据QoS指标为目标的优化问题。通过深度确定性策略梯度算法来进行视频数据和触觉数据传输资源的联合优化,实现QoS指标的最大化。引入Jain公平性指数对方案资源分配的公平性进行评估,仿真结果表明,在公平性、有效性以及传输可靠性等方面所提方案均优于对比方案。

关键词：跨模态通信资源分配穿孔架构触觉业务排队模型

来源：评论

学校读者我要写书评

暂无评论

跨模态通信理论及关键技术初探

引用

中国传媒大学学报（自然科学版） 2021年第1期28卷 55-63页

作者：高赟魏昕周亮南京邮电大学通信与信息工程学院南京210003 南京邮电大学宽带无线通信与传感网技术教育部重点实验室南京210003

传统视听服务和新兴触觉服务的相互加持,必将为多媒体用户带来更为极致的互动感受和场景体验。针对音频、视频和触觉信号在物理特征、传输需求、呈现形式等维度上均存在本质差异大的问题,提出音-视-触跨模态通信构架,主要包括触觉信号... 详细信息

传统视听服务和新兴触觉服务的相互加持,必将为多媒体用户带来更为极致的互动感受和场景体验。针对音频、视频和触觉信号在物理特征、传输需求、呈现形式等维度上均存在本质差异大的问题,提出音-视-触跨模态通信构架,主要包括触觉信号编码、多模态异构码流传输、跨模态信息重建三个方面。首先,基于用户触觉感知机理介绍当前高效、鲁棒的触觉信号编码方案,为实现信号的压缩提供理论依据;其次,通过充分利用码流传输的时空特性,提出一种边缘智能赋能下的多模态异构码流传输策略,以满足超低时延、超高可靠、大容量的传输需求;随后,通过不同模态间语义层面的融合及共享,探索智能、完备的跨模态信息重建机制以提升用户的沉浸感体验;最后,指出跨模态通信仍然存在的挑战以及展望其未来发展方向。

关键词：跨模态通信触觉编码码流传输信息重建

来源：评论

学校读者我要写书评

暂无评论

面向跨模态通信的触觉信号重建关键技术研究

面向跨模态通信的触觉信号重建关键技术研究

引用

作者：石莹莹南京邮电大学

学位级别：硕士

随着通信与信息技术的发展以及人们对于体验要求的提升,以音频、视频和触觉信号集成为特征的新兴多模态服务将成为5G和后5G时代的杀手级应用。为了支持多模态服务,跨模态通信应运而生。然而,将跨模态通信应用于触觉为主的多模态服务时,... 详细信息

随着通信与信息技术的发展以及人们对于体验要求的提升,以音频、视频和触觉信号集成为特征的新兴多模态服务将成为5G和后5G时代的杀手级应用。为了支持多模态服务,跨模态通信应运而生。然而,将跨模态通信应用于触觉为主的多模态服务时,仍然面临一些技术挑战。一方面,触觉信号对干扰非常敏感,在传输过程中容易损坏甚至丢失。另一方面,当真实的触觉信息难以收集时,需要生成虚拟触觉信号。为了克服这一困境,本文提出了一种适用于跨模态通信的触觉信号重建策略。论文的主要研究内容以及创新点如下:首先,针对不同模态流的特点以及传输需求,本文为触觉为主的多模态服务构建了一种基于云边协同的跨模态通信架构。该架构在保留现有视听为主的多媒体体系结构的同时,使用设备到设备(D2D)技术在终端之间直接传输触觉流。其中,对于承担触觉流传输任务的D2D链路,通过让其复用蜂窝网络资源来提升资源利用率。此外,该架构支持在接收端进行触觉信号重建。实验结果表明,与其他多模态传输方案相比,所提方案下的模态流传输质量更佳。接着,针对通信中因传输干扰引起的触觉信号损坏、丢失问题,本文深入挖掘不同模态之间的潜在相关性,设计了一种视听辅助的触觉信号重建(AVHR)方法。它可以进一步分为三个部分:基于云边迁移的特征提取、基于多模态融合的共享语义学习和基于语义约束的触觉信号生成。公开的多模态数据集和真实的跨模态通信平台上的实验结果表明,与竞争方案相比,本文的AVHR方法具有更好的重建性能。最后,针对现有多模态数据集中存在的弱监督和弱配对问题,本文提出了一种细粒度的视听辅助触觉信号重建(FG-AVHR)方法。首先,针对弱监督问题,提出了一种基于跨模态迁移的深度聚类算法用于学习样本的细粒度分类;接着,针对弱配对问题,提出了基于三元组约束的共享语义学习,为触觉信号的重建奠定基础;最终,基于聚类语义约束进行触觉信号生成,实现细粒度的触觉信号重建。实验结果表明,FG-AVHR算法进一步提升了重建触觉信号的质量。

关键词：跨模态通信云边协同 D2D 触觉信号重建细粒度

来源：评论

学校读者我要写书评

暂无评论

面向跨模态通信的信息恢复方法关键技术研究

面向跨模态通信的信息恢复方法关键技术研究

引用

作者：徐建博南京邮电大学

学位级别：硕士

随着云计算、物联网、多媒体技术的飞速发展,人们在音频、视频等传统多媒体业务方面获得满足的同时,开始追求触觉感官体验。融合音频、视频和触觉信息的多模态业务已被广泛认为是超五代移动通信系统时代(B5G)的杀手级应用之一,为此,跨... 详细信息

随着云计算、物联网、多媒体技术的飞速发展,人们在音频、视频等传统多媒体业务方面获得满足的同时,开始追求触觉感官体验。融合音频、视频和触觉信息的多模态业务已被广泛认为是超五代移动通信系统时代(B5G)的杀手级应用之一,为此,跨模态通信技术应运而生。但是,在跨模态通信过程中,会存在诸多难题。第一,多模态数据在通信及传输过程中,可能会遇到无线信道噪声污染、数据丢失等问题,从而严重影响跨模态通信质量;第二,与传统的在无线信道中直接传输图像而不是特征的传输方案不同,在跨模态通信过程中可能会遇到因无线信道带宽有限,从而限制传输高度压缩图像的问题;第三,多模态数据在传输过程中可能会遇到数据隐私泄露导致的信息安全问题,进而使得跨模态通信的安全性受到威胁。基于此,在本文中研究了面向跨模态通信的信息恢复方法关键技术,论文的研究工作主要体现在以下三个方面:第一,本文研究了面向跨模态通信的基于无线边缘端的信息恢复方法。首先,提出了一种基于无线边缘端的面向信息恢复的跨模态通信系统框架,将在发送端采集到的音频、视频、触觉数据进行图像化预处理,并在伴有无线噪声的信道中进行传输,利用在接收端边缘节点处已有数据库中检索到的数据实现信息恢复。然后,设计了一种针对音频、视频、触觉流的跨模态检索方法,将不同模态的异构语义进行语义关联,并采用检索的方式实现信息恢复。最后,在公开的材质表面多模态数据集和实际跨模态通信平台采集的数据上进行实验,实验结果表明,该方法相对于传统机器学习和深度学习方法的信息恢复效果较好。第二,本文研究了面向跨模态通信的基于联合信源信道编码的信息恢复方法。首先,提出了一种基于联合信源信道编码的面向信息恢复的跨模态通信系统框架,将在发送端采集到的音频、视频、触觉数据进行图像化预处理后编码传输,经过信道后再进行解码,利用接收端边缘节点处已有数据库中检索到的数据实现信息恢复。然后,设计了一种针对音频、视频、触觉流的联合信源信道编码的跨模态检索方法,将不同模态的异构语义进行语义关联,并采用检索的方式实现信息恢复。最后,在公开的材质表面多模态数据集和实际跨模态通信平台采集的数据上进行实验,实验结果表明,该方法相对于基于无线边缘端方法的信息恢复效果较好。第三,本文研究了面向跨模态通信的基于超混沌伪随机序列的加密域信息恢复方法。首先,提出了一种加密域下的面向信息恢复的跨模态通信系统框架,将在发送端采集到的音频、视频、触觉数据进行图像化预处理后加密处理,将密文信息在信道中传输,利用接收端边缘节点处已有数据库中检索到的密文数据,并在接收端边缘节点处进行解密,实现信息恢复。然后,设计了具体的加密、解密过程以及加密域下的跨模态检索方法,在不同模态密文数据的异构语义之间建立语义关联,并采用检索的方式实现信息恢复。最后,在对公开的材质表面多模态数据集和实际跨模态通信平台采集的数据加密后的密文数据上进行实验,实验结果表明,该方法相对于传统的超混沌伪随机序列图像加密方法的信息恢复效果较好。

关键词：跨模态通信信息恢复深度学习混沌映射图像加密

来源：评论

学校读者我要写书评

暂无评论

面向多模态业务的高效码流传输关键技术研究

面向多模态业务的高效码流传输关键技术研究

引用

作者：袁哲南京邮电大学

学位级别：博士

随着移动通信和多媒体技术的不断发展,人们不再满足于传统的视听业务,可听、可看、可触摸的多模态业务将成为B5G时代多媒体业务的主流。由于不同模态信号间显著差异性,如何同时满足低时延、高可靠、大容量的多模态通信需求成为了发展多... 详细信息

随着移动通信和多媒体技术的不断发展,人们不再满足于传统的视听业务,可听、可看、可触摸的多模态业务将成为B5G时代多媒体业务的主流。由于不同模态信号间显著差异性,如何同时满足低时延、高可靠、大容量的多模态通信需求成为了发展多模态业务的关键。设备到设备通信技术(Device-to-Device,D2D),因其在卸载网络流量、降低通信时延上卓越的性能表现,在实现多模态通信上有巨大的潜能。此外,受人类感知方式的启发,听觉、视觉和触觉高度交织。因此本文结合D2D通信和利用不同模态信号内在关联的跨模态方式,研究面向多模态业务的高效码流传输关键技术。本文的创新性在于解决了面向多模态业务的码流传输中存在的三个亟待解决的问题:1)信号异构鸿沟造成的率失真性能损失,2)网络动态多样导致的通信鲁棒性下降,和3)服务资源受限引起的网络吞吐量减少。论文的研究工作主要包括以下四个部分:(1)研究了基于语义关联的跨模态编码理论与技术。针对信号异构鸿沟造成的率失真性能损失问题,提出了利用各模态间潜在的语义相关性来压缩多模态信号的跨模态编码模型,并从理论与技术两个方面验证了编码模型的可行性。在理论方面,提出一种全新的信息度量语义熵,用于刻画一对多模态信源符号的随机性和彼此间语义关联的模糊性,从而能够度量信源符号及语义关联的信息总量,并依此确定了跨模态编码中信源所需的最小码率与率失真理论。在技术方面,本文以得到的跨模态编码理论为指导,以基于深度学习的跨模态预测和信道编码技术为手段,设计了一种与现有视频/触觉编解码器高度兼容的通用跨模态编解码器。实验结果表明,相较于现有编码方案,所提出的跨模态编码能够取得显著的率失真性能优势。(2)建立了D2D辅助的无线跨模态传输机制。针对网络动态多样导致的通信鲁棒性下降问题,从网络架构通用性、网络动态适应性以及时延可靠平衡性三个角度出发展开了研究。首先,设计了一个基于移动边缘计算(Mobile Edge Computing,MEC)的通用灵活的无线跨模态传输架构。其次,以D2D用户接触率和兴趣相似度为主要参数设计了一种移动社交感知的缓存策略,以减少因D2D用户的移动性和社交性引起的动态变化对缓存命中率的影响。最后,提出一种时延-可靠感知路由,基于时延与可靠性的综合指标(时延-可靠感知率)将路由选择建模为最短路径问题。并且由于目标函数含有随机变量,于是设计了两种随机优化算法加以求解。仿真结果表明,与其他备选方案相比,所提出的缓存放置方案可以获得至少7.21%的性能提升,路由选择方案可以获得至少10.74%的性能提升。(3)设计了基于D2D的协作式传输内容共享方案。针对服务资源受限引起的网络吞吐量减少问题,提出了一种多对多的D2D协作式传输的绿色内容共享以减少通信能耗。该方案由供需匹配、数据分割与文件重构三个关键步骤构成。首先,将供需匹配描述为一个经典的最大加权匹配问题,并设计了一种分布式匹配算法加以求解。其次,根据链路速率和能量消耗情况设计数据分割算法,基于加权轮询策略实现负载均衡。最后,将文件重构问题这以NP难问题近似为最短哈密顿路径问题,并设计了分布式贪婪算法来寻找最短的文件重构路径。仿真结果表明,所提方案在几乎不增加传输时延的情况下,有效地减少了传输能量损耗。(4)提出了内容感知的跨模态资源调度策略。针对服务多样引起的鲁棒性下降和资源受限引起的网络吞吐量减少问题,利用内容相关性融合触觉抢占式调度和视频信号恢复,设计了内容感知的调度策略。首先,提出了灵活的跨模态码流传输方案,包括视频资源分配、触觉抢占式调度和视频信号恢复。其中,单/双次传输和微时隙级别排队机制的灵活设置可以满足不同层次的通信需求。其次,充分利用不同类型的码流之间的内容相关性,设计了在线的内容感知资源分配算法,实现在触觉需求约束下最大化视频效用。仿真结果表明,在保证触觉流的低延迟和高可靠性的同时,所设计的资源调度方案比其他主流的方案提高了约11.7%的视频吞吐量。

关键词：多模态业务高效码流传输 D2D通信跨模态通信跨模态编码资源调度内容共享

来源：评论

学校读者我要写书评

暂无评论

面向多模态业务的用户体验提升理论与技术研究

面向多模态业务的用户体验提升理论与技术研究

引用

作者：高赟南京邮电大学

学位级别：博士

随着多媒体通信技术的飞速发展,将新兴触觉信号融入至传统的视听业务中,形成“可听、可看、可触”的多模态业务,有望成为第六代移动通信中多媒体业务的主流。当前,蓬勃发展的多模态业务强调的已不仅仅是如带宽、时延等网络服务质量,更... 详细信息

随着多媒体通信技术的飞速发展,将新兴触觉信号融入至传统的视听业务中,形成“可听、可看、可触”的多模态业务,有望成为第六代移动通信中多媒体业务的主流。当前,蓬勃发展的多模态业务强调的已不仅仅是如带宽、时延等网络服务质量,更是用户体验。因此,如何刻画并提升多模态业务所带来的用户体验至关重要。然而,由于用户体验的主观性强、多模态业务的技术需求严格且多样化,现有关于用户体验评价、用户体验提升及其相关的系统优化研究工作,还存在着诸多技术挑战。鉴于此,本论文面向不同类别的多模态业务,开展对用户体验提升理论与技术的研究和探讨。具体而言,本论文的研究工作可以凝练为以下四个方面:首先,针对用户主观体验客观表征难的问题,本文面向以音视频为主的多模态业务,提出了一种个性化体验质量(Quality of Experience,Qo E)提升策略。一方面,通过充分利用众多影响Qo E的时变因素,从用户、设备和情境三个维度出发,设计了一种基于深度学习模型的个性化特征提取方案,从而客观、精准地表征个性化Qo E;另一方面,考虑到单个用户数据存在稀疏性的实际状况,提出了一种基于联邦学习的个性化Qo E提升方法,该方法通过交换用户之间的模型参数,从而避免了隐私泄露的风险。其次,针对传统Qo E难以生动地刻画出用户临场感和参与感的问题,本文面向多模态业务中的交互式网络业务,提出了一种用户体验评价的新范式(即,沉浸式体验),并研究了沉浸式体验的轻量级评价方法。一方面,分别从理论层面和技术层面,通过分析传统Qo E与沉浸式体验之间的异同点,阐明了引入用户体验评价新范式的必要性和其所带来的技术挑战;另一方面,针对数据充足和数据稀疏两种场景,探索沉浸式体验与其影响因素之间的数学关系,基于人工智能技术,分别提出相应的沉浸式体验轻量级评价方法,从而满足了交互式网络业务严格的时延需求。接着,针对用户即时体验动态提升难的问题,提出了一种面向交互式网络业务的沉浸式体验在线提升策略。一方面,将网络资源调度与用户属性、设备参数、应用场景相结合,在多域协作方式的思想指导下,实现了高维数据下沉浸式体验高效、显著的提升;另一方面,推导出沉浸式体验在线提升的理论极限,指导决策者通过更为高效的方式,最大程度地提升沉浸式体验。最后,针对多模态业务中多种传输需求同时满足难的问题,以远程医疗为应用场景,提出了一种基于跨模态通信的码流传输策略。一方面,在音、视频信号公共语义的辅助下,提出了一种跨模态触觉信号重建框架,提升了接收端触觉保真度,进而弥补其在传输过程中的可靠性损失;另一方面,充分利用边缘计算和网络切片技术,基于所估计的触觉码流到达时刻,设计了一种异构码流联合调度策略,从而提升了音、视频码流传输的吞吐量;此外,搭建了一个远程咽拭子采样平台,验证了所提出的策略能够同时满足低时延、高可靠、大容量的传输需求。

关键词：多模态业务用户体验提升个性化QoE 沉浸式体验跨模态通信

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：