语言模型训练方法、预测方法、装置及电子设备

专利申请号：CN202111554325.0

公 开 号：CN114386396A

发 明 人：曾培阳 刘振国 

代 理 人：李燕春

代理机构：北京润泽恒知识产权代理有限公司

专利类型：发明专利

申 请 日：20220422

公 开 日：20211217

专利主分类号：G06F40/216

关 键 词：语言模型 负样本 目标语言模型 搜索信息 语义完整 标签 搜索词 正样本 预设 删除 替换 预测 装置及电子设备 语言模型训练 输出结果 损失函数 区分度 

摘      要：本公开是关于一种语言模型训练方法、预测方法、装置及电子设备，其方法包括：获取训练正样本和训练负样本；将训练正样本和训练负样本输入到待训练的语言模型中，对待训练的语言模型进行训练；在基于训练后的语言模型的输出结果所得到的损失函数值小于预设阈值的情况下，将训练后的语言模型确定为目标语言模型；目标语言模型用于预测待识别搜索信息的语义完整度。由于训练负样本是通过将预设搜索信息中的至少一个搜索词删除和/或替换得到的，也就是说，训练负样本中的负标签是通过对搜索词删除或者替换构造得到的，使得负标签更加准确且具有区分度，从而目标语言模型能够更好地区分正负标签，进而能够更加准确地预测待识别搜索信息的语义完整度。