任务的目的是识别对话中的关键信息并生成一段简短的文本。由于对话具有非正式化和动态交互性质，导致对话文本信息稀疏、关键信息分散。然而，现有模型未能实现对对话中主题特征信息的有效挖掘，缺乏对核心话语的识别，忽略了附加特征融合过程中的噪声问题。针对上述问题，本文提出一种结合主题挖掘与话语中心性的对话摘要模型DS-TMUC（Dialogue Summarization model combining Topic Mining and Utterance Centrality）。首先，提出一种主题特征提取模块，该模块引入嵌入式主题模型来有效地挖掘对话中可解释的潜在主题信息，为抽象对话摘要过程提供更丰富的语义信息。其次，提出一种特征动态融合模块，设计特征感知网络为融合特征去除噪声以增强特征的表征能力，利用多头注意力捕捉特征之间的语义关联性，并且使用门控机制进行过滤融合，从而增强特征之间的有效融合。再次，提出一种话语赋权模块，设计无监督聚类方法计算话语中心性权重为话语赋权，通过引导模型选择核心话语，进而提高模型对对话上下文建模的有效性。在SAMSum和DialogSum数据集上的实验结果表明，DS-TMUC模型的总体性能优于对比模型。
机器阅读理解(MRC)是自然语言处理领域的一个具有挑战性的任务,其目标是在给定文章中预测出相关问题的答案.随着深度学习和预训练语言模型的发展,许多端到端的机器阅读理解模型展现出优秀的性能,但是这些模型普遍存在鲁棒性不足的问题,当文本中存在干扰句时,它们的表现便显著下降.本文从人类做阅读理解任务的角度来解决这个问题,提出了一种端到端的多任务学习框架ASMI(Answer-Span Context Prediction and Mutual Information Estimation and Maximization)来提高MRC模型的鲁棒性.ASMI在预训练语言模型下游微调,包含两种辅助任务:(i)答案上下文预测;(ii)答案与上下文之间的互信息估计.本文设计了一种上下文注意力机制来预测答案上下文软标签,从而强化上下文对于问答任务的指导作用,并降低干扰句对模型的影响.本文还提出了一种新的负样本生成策略,并结合基于JS散度的互信息估计器来估计互信息,从而有效辨析答案上下文和干扰句之间的语义差异,使得模型学习到更加鲁棒的表示.在3个阅读理解基准数据集上的实验结果表明,本文提出的ASMI模型在EM和F1指标上均优于对比模型.
自然场景文本识别是计算机视觉领域的研究热点之一,在无人驾驶、图像检索、机器人导航等领域具有广泛的应用前景.由于自然场景中的文本图像存在背景复杂、透视失真、过度弯曲等现象,给文本识别带来了巨大的挑战.针对上述问题,本文提出了一种基于多路并行的位置关联网络(Multi-Path Parallel Location Association Network,MPLAN)的自然场景文本识别方法.首先,针对不规则文本图像,MPLAN使用文本矫正网络自适应学习图像变换,从而获得线性排列的文本图像.其次,为了捕获字符间的位置信息,MPLAN提出了位置关联模块,利用序列特征的有序性,通过捕获字符位置信息,以提高序列特征与目标字符的对齐准确度.此外,为了增强字符间的语义相关性,MPLAN提出了基于多路传输思想的并行注意力模块,获取全局语义信息,实现序列特征的上下文通信,从而锁定有效字符的位置.在包括规则文本、不规则文本在内的六个数据集上的实验结果表明,MPLAN能够有效利用位置信息与全局语义信息解码字符序列,特别是在识别不规则文本上取得了领先的性能.
暂无评论