一种增强Roberta句向量语义表征的实体链接模型及方法

专利申请号：CN202211376161.1

公 开 号：CN115906865A

发 明 人：张蕾 李岳朋 张丽娟 请求不公布姓名 请求不公布姓名 请求不公布姓名 陈芳妮 黄杰 

代 理 人：陈洁

代理机构：杭州浙科专利事务所(普通合伙)

专利类型：发明专利

申 请 日：20230404

公 开 日：20221104

专利主分类号：G06F40/30

关 键 词：向量 链接 实体类型 嵌入 标签 计算机应用技术 文本 各向异性问题 标准化模块 上下文向量 上下文语义 后处理 语义 分类性能 高斯分布 空间分布 模型标准 嵌入模块 生成模块 向量转换 训练模型 语义信息 平滑 捕获 送入 修正 输出 应用 

摘      要：本发明属于计算机应用技术领域，公开了一种增强Roberta句向量语义表征的实体链接模型及方法，包括实体生成模块、上下文向量表示模块、句向量标准化模块和标签嵌入模块，首先，通过预训练模型Roberta在句向量中充分捕获上下文语义信息。然后，将句向量输入到流模型中来修正各向异性问题。将Roberta输出句向量送入流模型，利用该模型标准高斯分布将句向量转换为平滑、各向同性的空间分布，此外，将实体类型应用于不可链接的提及以提高实体链接的性能，并进一步利用标签嵌入和文本嵌入之间的交互来增强实体类型的多分类性能。本发明采用流模型对句向量进行后处理，充分利用了有限文本中的语义信息。