对话是一个交互的过程,回应选择旨在根据已有对话上文选择合适的回应,是自然语言处理领域的研究热点。已有研究取得了一定的成功,但仍存在两个突出的问题:一是历史信息与备选回应间的关联关系未得到充分利用;二是对话历史的潜在语义信息挖掘不够。针对问题一,该文同时考虑对话的历史信息与备选回应信息,借助交叉注意力机制实现两者的软对齐,从而对它们之间的关联关系进行有效捕捉;针对问题二,一方面借助多头自注意力机制从多个不同视角捕获对话历史的潜在语义信息,另一方面借助高速路神经网络实现多种信息的有效桥接,在深度挖掘语义信息的同时保证信息的完整。在Ubuntu Corpus V1数据集上的对比实验表明了该方法的有效性,模型取得了88.66%的R_(10)@1值,90.06%的R_(10)@2值和95.15%的R_(10)@5值。
命名实体识别作为自然语言处理领域的基础问题一直备受关注。中文命名实体特别是组合命名实体,由于其内部结构复杂,故长度可以很长,已有的研究还存在以下两个问题:一是字和词之间的关联信息未能充分挖掘,无法将组合实体和简单实体做统一处理;二是组合实体加大了实体序列长短的差异,文本自身信息的捕获不充分。针对问题一,该文借助融合了双向注意力机制的高速网络来充分挖掘字与词之间的关联关系,通过抽取词内部多种有效的字的组合来丰富词的表征;针对问题二,通过自注意力机制从多层次、多视角捕获文本信息,并借助高速网络进行信息的有效桥接。在OntoNotes V 4.0公开语料上的实验结果表明了该文方案的有效性,在不使用大型预训练语言模型的情况下,该文提出的基于两段高速网络的模型取得了目前最好的性能。
暂无评论