检索结果-内蒙古大学图书馆

作者：彭一凡北京大学

学位级别：硕士

在自然语言处理领域中,标准n元文法(n-gram)是最常使用的统计语言模型。它具有简单、高效、鲁棒的特点,是自动语音识别、拼音输入法等应用的重要组成部分。但是在实际应用中,由于受到训练语料和语言模型规模的限制,n元文法存在两点不足... 详细信息

在自然语言处理领域中,标准n元文法(n-gram)是最常使用的统计语言模型。它具有简单、高效、鲁棒的特点,是自动语音识别、拼音输入法等应用的重要组成部分。但是在实际应用中,由于受到训练语料和语言模型规模的限制,n元文法存在两点不足。一是受到相邻词历史的限制,二是n值只能限定在很小的范围内。这两点不足阻碍了n元文法对句子中长距离信息的建模能力。为此,本文提出了变元依存类语言模型,有效改善了这一问题。\n 第一,将依存句法分析方法引入n元文法语言模型中,建立依存语言模型(dependency language model)。该方法改善了n元文法中“相邻词历史”的限制,利用词与词之间的依存关系,对句子中的长距离信息建模。为了验证模型的有效性,本文设计并实现了拼音输入法。实验结果表明,与标准n元文法相比,该模型可以使字错误率相对下降4.19%。\n 第二,采用基于熵值的裁剪方式构造变元依存语言模型(variable dependencylanguage model)。该模型在依存语言模型的基础上突破了词历史为3的局限,可以在保持模型大小不变的前提下,有效裁剪模型中冗余的低阶d元文法条目,代之以高阶d元文法,从而进一步使语言模型更有效的获取长距离信息。实验证明,采用这种方法能使拼音输入法的首选字错误率进一步下降相对6.68%。\n 第三,采用基于互信息值的二元合并方式构造长音节词。该方法可以缓解模型词典中具有相似同音词频率的文法条目的混淆问题。实验证明,长音节词的引入可以使拼音输入法的首选字错误率进一步下降相对6.77%。\n 第四,在变元依存语言模型基础上采用类语言模型思想,构建变元依存类语言模型。该模型针对拼音输入法中的人名识别进行建模。改进后的模型,首选字错误率进一步下降相对6.15%。\n 综上所述,与标准n元文法相比,变元依存类语言模型的首选字错误下降绝对值1.78%,相对21.9%.

关键词：依存分析依存语言模型变元语言模型类语言模型统计语言模型自然语言处理

来源：评论

学校读者我要写书评

暂无评论

基于类语言模型的中文机构名称自动识别

引用

计算机科学 2006年第11期33卷 212-214页

作者：尹继豪樊孝忠于江德北京理工大学计算机科学技术学院北京100081

提出了一种基于类语言模型的中文机构名称自动识别方法,将分词和机构名称自动识别有机地结合起来。在机构名称识别的类语言模型中采用等级结构,使得嵌套有人名、地名等实体的机构名称能够较好地识别出来。在实验过程中,逐步增加实验条件... 详细信息

提出了一种基于类语言模型的中文机构名称自动识别方法,将分词和机构名称自动识别有机地结合起来。在机构名称识别的类语言模型中采用等级结构,使得嵌套有人名、地名等实体的机构名称能够较好地识别出来。在实验过程中,逐步增加实验条件,依次加入启发信息、缓存模型和机构名缩写处理,使得实验结果显著提高。在开放测试中,中文机构名称最终识别的查准率和查全率分别为85.47%和72.81%。

关键词：类语言模型中文机构名称识别启发信息 Viterbi算法

来源：评论

学校读者我要写书评

暂无评论

一种基于Bootstrapping构建训练语料的方法

引用

计算机研究与发展 2007年第z2期44卷 394-397页

作者：尹继豪樊孝忠刘士宁于江德北京理工大学计算机科学技术学院北京100081 青岛市国土资源和房屋管理局青岛266002 安阳师范学院计算机科学系安阳455000

提出一种基于Bootstrapping算法构建训练语料的方法.该方法从自动标注的语料中随机选取部分语料,人工修正后生成种子集,用该种子集训练一个基于类的语言模型,然后使用该模型自动标注剩余的语料;再从剩余语料中选取部分语料进行以上处理... 详细信息

提出一种基于Bootstrapping算法构建训练语料的方法.该方法从自动标注的语料中随机选取部分语料,人工修正后生成种子集,用该种子集训练一个基于类的语言模型,然后使用该模型自动标注剩余的语料;再从剩余语料中选取部分语料进行以上处理,如此循环直到训练语料标注质量理想.实验结果表明,该方法在保证训练语料标注质量理想的情况下,能够大幅度地减少人工参与.

关键词： bootstrapping 命名实体识别训练语料类语言模型

来源：评论

学校读者我要写书评

暂无评论

一种基于Bootstrapping构建训练语料的方法

一种基于Bootstrapping构建训练语料的方法

引用

第二届中国分类技术及应用学术会议

作者：尹继豪樊孝忠刘士宁于江德北京理工大学计算机科学技术学院北京100081 青岛市国土资源和房屋管理局青岛266002 北京理工大学计算机科学技术学院北京100081 安阳师范学院计算机科学系安阳455000

关键词： bootstrapping算法命名实体识别训练语料类语言模型种子集自动标注

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：