针对新闻标题文本分类任务,文章提出的EWLTC(ERNIE with Whole Layers for ***)模型旨在获取文本的不同层级的特征信息,通过抽取预训练模型ERNIE的12层Eneoder层输出中的CLS向量,利用注意力机制进行加权求和作为全连接层的输入。通过实...
详细信息
针对新闻标题文本分类任务,文章提出的EWLTC(ERNIE with Whole Layers for ***)模型旨在获取文本的不同层级的特征信息,通过抽取预训练模型ERNIE的12层Eneoder层输出中的CLS向量,利用注意力机制进行加权求和作为全连接层的输入。通过实验证明,EWLTC模型在中文新闻标题文本数据集上能够获得更为优秀的表现。
针对传统问答系统答案抽取方式对答案片段的分词和上下文语义理解准确性的依赖严重,抽取过程耗费大量的人力和时间的问题,提出采用分步抽取答案的方法,先从答案片段中抽取包含答案的句子,再从提取的答案句中进行最终答案的抽取方式。在答案句抽取过程中使用Bi-LSTM(Bi-directional Long Short-Term Memory)和Max Pooling结合的方法构建答案句抽取模型。实验结果表明,在答案句的抽取中,该模型的MRR(Mean Average Precision)指数接近0. 75。
暂无评论