检索结果-内蒙古大学图书馆

作者：张国强内蒙古大学

学位级别：硕士

语言模型是描述自然语言内在规律的数学模型,它广泛地应用于机器翻译、语音识别和文本校对等领域。近几年,基于语料库的统计语言模型的构造技术成为新的研究热点,统计语言模型也已逐渐成为自然语言处理的主流技术之一。我国蒙古语语言... 详细信息

语言模型是描述自然语言内在规律的数学模型,它广泛地应用于机器翻译、语音识别和文本校对等领域。近几年,基于语料库的统计语言模型的构造技术成为新的研究热点,统计语言模型也已逐渐成为自然语言处理的主流技术之一。我国蒙古语语言模型技术还缺少很多相关的研究,这也间接影响少数民族地区信息化建设的进程。本文对统计语言模型的相关技术进行了探讨,并对蒙古语的特点进行了分析。根据蒙古语典型的构形词缀的特点,通过深入挖掘蒙古语词干和词缀之间的依赖关系来提高语言模型对蒙古语描述的准确性。具体方法是将蒙古语语言模型分为三个层次,分别是词干和词干的依赖、词干和词缀的依赖、词缀和词缀的依赖。在这三个层次上分别构造合适的语言模型,然后再把它们结合起来成为一个完整的适合于蒙古语的语言模型。本文最后把这种层次化的蒙古语语言模型方案应用到了一个基于实例的汉蒙机器翻译系统中,实验证明本文所构造的层次化的蒙古语语言模型能够有效地提高汉蒙机器翻译的效果。

关键词：蒙古语统计语言模型数据平滑词干词缀

来源：评论

学校读者我要写书评

暂无评论

基于trigger对的长距离蒙古语语言模型的研究

基于trigger对的长距离蒙古语语言模型的研究

引用

作者：刘志文内蒙古大学

学位级别：硕士

语言模型(Language Model)是描述自然语言内在规律的数学模型,在机器翻译、语音识别、文字处理、信息检索等领域中占据着十分重要的地位。一个可靠的语言模型对于提高机器翻译系统的识别率起重要的作用。蒙古语是世界范围内有影响的民... 详细信息

语言模型(Language Model)是描述自然语言内在规律的数学模型,在机器翻译、语音识别、文字处理、信息检索等领域中占据着十分重要的地位。一个可靠的语言模型对于提高机器翻译系统的识别率起重要的作用。蒙古语是世界范围内有影响的民族语言,在中国许多地区广为使用。蒙古语语言模型技术在蒙古文信息处理系统中的集成和应用技术虽有了一定的发展,但主要是使用汉语、英语等语言的技术,而没有针对蒙古语本身进行大量的研究。本文结合语言模型技术方面的研究成果,将进一步探索蒙古语特点,通过增强蒙古语语言模型的性能来提高汉-蒙机器翻译系统的识别率。本文对语言模型的相关技术进行了探讨;对蒙古语语言特点进行了分析;对trigger对特点进行了分析;针对蒙古语特点结合trigger对进行长距离蒙古语语言模型设计;对平滑技术进行了分析;针对trigger的特点设计相应的KATZ平滑算法;将以上理论部分在汉-蒙机器翻译系统中进行实验。从实验结果看,基于trigger对的长距离蒙古语语言模型有较好的性能,得到了令人满意的翻译结果:在翻译节点数为300情况下bleu得分从原来的0.1761提高到0.2234;在翻译节点数为1000情况下bleu得分从原来的0.1873提高到0.2325。

关键词：统计语言模型 trigger对 KATZ平滑蒙古语

来源：评论

学校读者我要写书评

暂无评论

一种基于互信息的词聚类算法

引用

系统工程 2008年第5期26卷 120-122页

作者：袁里驰中南大学信息科学与工程学院

基于类的统计语言模型是解决统计模型数据稀疏问题的重要方法。传统的统计聚类方法基于贪婪原则,常以语料的似然函数或困惑度(perplexity)作为评价标准。这种传统的聚类方法的主要缺点是聚类速度慢,初值对结果影响大,易陷入局部最优。... 详细信息

基于类的统计语言模型是解决统计模型数据稀疏问题的重要方法。传统的统计聚类方法基于贪婪原则,常以语料的似然函数或困惑度(perplexity)作为评价标准。这种传统的聚类方法的主要缺点是聚类速度慢,初值对结果影响大,易陷入局部最优。本文利用互信息定义了一种词相似度,在词相似度的基础上给出了词集合相似度的定义。基于相似度,提出了一种自下而上的分层聚类算法,这种方法不但能改善聚类效果,而且可根据不同的模型选择不同的相似度定义,因而提高聚类的使用效果。实验证明,该算法在计算复杂度和聚类效果上比传统的基于贪婪原则的统计聚类算法都有明显的改进。

关键词：互信息词相似度聚类算法统计语言模型

来源：评论

学校读者我要写书评

暂无评论

基于混合模型的交集型歧义消歧策略

引用

计算机工程与应用 2008年第21期44卷 5-8页

作者：李天侠戴新宇陈家骏南京大学计算机软件新技术国家重点实验室南京210093 南京大学计算机科学与技术系南京210093

针对交集型歧义这一汉语分词中的难点问题,提出了一种规则和统计相结合的交集型歧义消歧模型。首先,根据标注语料库,通过基于错误驱动的学习思想,获取交集型歧义消歧规则库,同时,利用统计工具,构建N-Gram统计语言模型;然后,采用正向/逆... 详细信息

针对交集型歧义这一汉语分词中的难点问题,提出了一种规则和统计相结合的交集型歧义消歧模型。首先,根据标注语料库,通过基于错误驱动的学习思想,获取交集型歧义消歧规则库,同时,利用统计工具,构建N-Gram统计语言模型;然后,采用正向/逆向最大匹配方法和消歧规则库探测发现交集型歧义字段;最后,通过消歧规则库和评分函数进行交集型歧义的消歧处理。这种基于混合模型的方法可以探测到更多的交集型歧义字段,并且结合了规则方法和统计方法在处理交集型歧义上的优势。实验表明,这种方法提高了交集型歧义处理的精度,为解决交集型歧义提供了一种新的思路。

关键词：交集型歧义消歧规则统计语言模型评分函数全切分

来源：评论

学校读者我要写书评

暂无评论

贝叶斯与语言模型相结合的中文文本分类方法的研究

贝叶斯与语言模型相结合的中文文本分类方法的研究

引用

2008年全国模式识别学术会议

作者：闫涛高光来内蒙古大学计算机学院呼和浩特 010021

随着互联网上可用信息的日益增多,怎样快速而有效地获取有用信息成为人们研究的重要课题,信息自动分类就应运而生了。贝叶斯作为其中的一种分类方法,应用在很多领域。本文将贝叶斯与语言模犁相结合的分类模型应用于中文文本分类中。在... 详细信息

随着互联网上可用信息的日益增多,怎样快速而有效地获取有用信息成为人们研究的重要课题,信息自动分类就应运而生了。贝叶斯作为其中的一种分类方法,应用在很多领域。本文将贝叶斯与语言模犁相结合的分类模型应用于中文文本分类中。在复旦大学中文语料库上进行实验,得出如下结论：使用四种平滑技术改进后的贝叶斯分类模型的性能要优于朴素贝叶斯分类模型的性能,特别是采用了改进平滑尺度的Jelinek-Mercer平滑技术后,分类器的性能得到较大改善。

关键词：文本自动分类朴素贝叶斯 Laplace平滑技术统计语言模型

来源：评论

学校读者我要写书评

暂无评论

基于统计和潜在语义分析的混合语言模型的研究

基于统计和潜在语义分析的混合语言模型的研究

引用

作者：甄天桥哈尔滨工业大学

学位级别：硕士

语言模型在语音识别中占据着重要的地位,它担负着把拼音转化成汉字的重任,语言模型性能的好坏直接影响到语音识别的结果好坏。当前应用最广泛的语言模型是基于统计的语言模型。数据稀疏问题是统计语言模型所面临的主要问题之一。同时,... 详细信息

语言模型在语音识别中占据着重要的地位,它担负着把拼音转化成汉字的重任,语言模型性能的好坏直接影响到语音识别的结果好坏。当前应用最广泛的语言模型是基于统计的语言模型。数据稀疏问题是统计语言模型所面临的主要问题之一。同时,由于统计语言模型只考虑了语言的局部信息,因此在统计语言模型中融入全局信息是很有意义的。当前应用于统计语言模型中的平滑技术有很多种,在语音识别中常用的有Katz平滑和Church-Gale平滑。为了在统计语言模型中加入全局信息,本文引用了Bellegarda提出的基于潜在语义分析的语言模型。该模型从文本全局内容的角度出发来预测词的出现概率,很好地弥补了统计语言模型的局部性,是统计语言模型很好的补充。通过对词—文档矩阵进行奇异值分解,所有文档和词都用相同维数的向量来表示,文档对词的预测能力就用它们所对应的向量的相似度来衡量。在统计语言模型和潜在语义分析语言模型的基础上构建了一种混合的语言模型,该模型同时包括了文本的局部信息和全局信息。为了比较混合模型和统计模型的性能优劣,采用了衡量语言模型性能的主要方法—困惑度。在实验中,采用Katz平滑方法构造了二元统计语言模型,并采用直接建模方法构造了潜在语义分析语言模型,将这两种不同类型的语言模型相结合得到一种新的混合的语言模型。实验结果表明,相对于单纯的二元统计语言模型,这种混合的语言模型困惑度有所下降,性能有所提高。

关键词：统计语言模型潜在语义分析语言模型困惑度

来源：评论

学校读者我要写书评

暂无评论

基于条件随机域模型的文本信息提取

基于条件随机域模型的文本信息提取

引用

作者：周晶南京工业大学

学位级别：硕士

信息抽取是指从海量的文档集合中抽取需要信息的自然语言处理技术，是自然语言处理领域中非常重要的子领域，是近十几年发展起来的新领域。它的前身是文本理解，是一种浅层的文本理解技术。文本信息抽取主要研究命名实体识别、实体关系... 详细信息

信息抽取是指从海量的文档集合中抽取需要信息的自然语言处理技术，是自然语言处理领域中非常重要的子领域，是近十几年发展起来的新领域。它的前身是文本理解，是一种浅层的文本理解技术。文本信息抽取主要研究命名实体识别、实体关系抽取、指代消解和事件探测四个方面。本文介绍了信息抽取技术的发展历史和研究现状，分析了几种常用的统计语言模型的优缺点，给出基于条件随机域CRFs模型以解决组块标注、命名实体识别和实体关系抽取的问题。\n 论文首先归纳了信息抽取中常用的四种统计语言模型，对这四种统计语言模型的数学原理进行了分析和阐述，比较了它们的拓扑结构图。在此基础上，给出基于条件随机域CRFs模型解决文本信息抽取问题的方案。条件随机域CRFs模型是一个无向图模型，该模型不需要马尔可夫假设即可求出整个标记序列出现的概率，能更好地拟合真实世界的数据，被广泛用于自然语言处理的研究领域。同时讨论了适合CRFs统计模型的参数估计L-BFGS算法和序列标注Viterbi算法。\n 其次论文根据该课题要求给出了组块分析和组块标注的概念，阐述了组块的定义分类以及组块标注问题的研究现状。在分析了五种组块标注方法后，决定采用IOB2形式标注实验语料中的组块，选用条件随机域CRFs模型解决组块标注问题。\n 论文的第三个方面聚焦于实体识别和实体关系抽取工作，主要关注中文实体关系抽取问题，同时把关系任务领域细化到某一种关系抽取，即ACE2006定义中的第一大类型Physical下的两种子类型关系的抽取。\n 基于以上相关的理论分析，本文设计和实现了三个实验，即基于CRFs统计模型的组块标注实验、实体信息抽取实验和实体关系抽取实验，三个实验的数据结果充分说明采用的CRFs模型较为适合解决文本信息抽取中的一些实际问题。\n 论文最后根据实验结果分析，实现了一个文本信息抽取的原型系统CTIEC，该原型系统包括文本预处理模块、命名实体识别模块、句法分析模块、组块标注模块和实体关系抽取模块。

关键词：条件随机域模型文本信息提取统计语言模型参数估计序列标注组块标注

来源：评论

学校读者我要写书评

暂无评论

中文姓名自动识别系统的设计与实现

中文姓名自动识别系统的设计与实现

引用

作者：余祖波大连理工大学

学位级别：硕士

中文命名实体或未登录词识别是中文信息处理的基础研究课题,是文本理解、文本校对、文本主题自动抽取、文本聚类、文本挖掘、文本过滤、信息抽取、机器翻译等多种自然语言处理技术的重要基础。因此,研究中文命名实体识别对提高词法分析... 详细信息

中文命名实体或未登录词识别是中文信息处理的基础研究课题,是文本理解、文本校对、文本主题自动抽取、文本聚类、文本挖掘、文本过滤、信息抽取、机器翻译等多种自然语言处理技术的重要基础。因此,研究中文命名实体识别对提高词法分析、句法分析、语义分析乃至中文信息处理的质量有很重要的意义。本文针对现代汉语文本,主要研究人名的自动识别问题,我们在对大规模姓名样本库、姓名语料库进行统计的基础上,将姓氏按其在真实文本中成为真姓氏的概率对姓氏进行优先级划分,并重点研究了前300个姓氏作普通单字时其上下文用字规律及姓氏的词性规律,将局部二元统计语言模型作为基本框架,设计并实现了一个中文人名自动识别系统。具体地,本文的主要内容如下: 本文首先分析了中文人名识别的困难,并对现有的人名识别方法进行了简单介绍和比较;然后建立了人名样本库、姓氏库、人名语料库等在人名识别前所需的语言学资源,并对这些资源进行统计分析的基础上,建立了各种人名用字表、姓氏概率表、分词词典、人名上下文信息表、姓氏用作普通单字时的上下文信息表、姓氏前缀、后缀表等人名识别过程中所需的数据资源。然后对姓氏按优先级进行分类,并通过3σ法则建立优先级阈值库;利用局部二元统计语言模型对人名识别问题进行建模,并给出各个优先级的姓氏的识别规则。最后,我们设计并实现了一个基于局部二元统计模型的中文人名自动识别系统。实验结果表明,本文提出的人名识别模型能够获得较为满意的结果。对98年1月《人民日报》26日～31日的语料进行的开放测试.在调整阈值参数c的情况下,获得了平均召回率和准确率分别为79.06%、81.16%,部分解决了人名的识别问题。

关键词：中文信息处理统计语言模型局部二元统计模型中文人名识别

来源：评论

学校读者我要写书评

暂无评论

多语种文本标记系统的设计与应用

引用

电脑编程技巧与维护 2008年第5期 25-39,43页

作者：肖涵蒲旭

使用C#3.0实现了一个多语言自动标记系统。分析了以往多语言标记的优化策略,给出了一个自学习和简化算法,提升了标记结果的正确率。同时,用LINQ实现RSS阅读器,成功调用相应的TTS进行了多语言语音合并。

关键词：统计语言模型 N元语法语言分类 LINQ 语音合成 NET框架3.0/3.5

来源：评论

学校读者我要写书评

暂无评论

移动泛在网络研究方向关注度分析

引用

中国商界 2008年第12期 147-148页

作者：谢铭黄悦广西经济管理干部学院

课题组通过搜集截至2008年12月31日前,主要研究机构发布的讨论组、研究成果、会议和论文索引中涉及移动泛在网络研究相关的应用层组播、叠加层、网络编码3个研究方向的第一手资料,运用在统计语言模型的基础上自主开发基于文本搜索引擎... 详细信息

课题组通过搜集截至2008年12月31日前,主要研究机构发布的讨论组、研究成果、会议和论文索引中涉及移动泛在网络研究相关的应用层组播、叠加层、网络编码3个研究方向的第一手资料,运用在统计语言模型的基础上自主开发基于文本搜索引擎的关注度评价统计模型量化评价各机构对基于移动泛在网络的研究方向的关注度,为基于移动泛在网络平台CMS的选型提供参考。

关键词：移动泛在网络研究方向统计语言模型关注度应用层组播自主开发研究成果网络研究网络平台网络编码统计模型搜索引擎量化评价论文索引机构讨论组叠加层资料运用

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：