检索结果-内蒙古大学图书馆

高技术通讯 2010年第12期20卷 1224-1228页

作者：何峰丁晓青清华大学电子工程系北京100084

为了克服用应用相关的文本数据进行语音识别、智能输入等各种自然语言处理中在有些情况下因很难收集到充足的相关数据和缺乏应用相关的训练数据带来的困难,提出了一种通过结合非监督文本聚类和文本检索技术实现相关语料选取的新方法。... 详细信息

为了克服用应用相关的文本数据进行语音识别、智能输入等各种自然语言处理中在有些情况下因很难收集到充足的相关数据和缺乏应用相关的训练数据带来的困难,提出了一种通过结合非监督文本聚类和文本检索技术实现相关语料选取的新方法。该方法仅使用少量与特定应用相关的文本,即可从未经整理的大规模语料库中发现更多与此应用相关的文本。利用该方法在手机短信文本和未经整理的大规模语料库上进行了实验,实验结果表明该方法能够有效提取应用相关的文本。

关键词：文本聚类文本检索 Kullback.Leibler距离统计语言模型

来源：评论

学校读者我要写书评

暂无评论

一种面向隐含主题的上下文树核

引用

电子与信息学报 2010年第11期32卷 2695-2700页

作者：徐超周一民沈磊北京航空航天大学计算机学院北京100191

该文针对上下文树核用于文本表示时缺乏语义信息的问题,提出了一种面向隐含主题的上下文树核构造方法。首先采用隐含狄利克雷分配将文本中的词语映射到隐含主题空间,然后以隐含主题为单位建立上下文树模型,最后利用模型间的互信息构造... 详细信息

该文针对上下文树核用于文本表示时缺乏语义信息的问题,提出了一种面向隐含主题的上下文树核构造方法。首先采用隐含狄利克雷分配将文本中的词语映射到隐含主题空间,然后以隐含主题为单位建立上下文树模型,最后利用模型间的互信息构造上下文树核。该方法以词的语义类别来定义文本的生成模型,解决了基于词的文本建模时所遇到的统计数据的稀疏性问题。在文本数据集上的聚类实验结果表明,文中提出的上下文树核能够更好地度量文本间主题的相似性,提高了文本聚类的性能。

关键词：文本聚类上下文树核统计语言模型隐含狄利克雷分配(LDA)

来源：评论

学校读者我要写书评

暂无评论

变元依存类语言模型的研究与应用

变元依存类语言模型的研究与应用

引用

作者：彭一凡北京大学

学位级别：硕士

在自然语言处理领域中,标准n元文法(n-gram)是最常使用的统计语言模型。它具有简单、高效、鲁棒的特点,是自动语音识别、拼音输入法等应用的重要组成部分。但是在实际应用中,由于受到训练语料和语言模型规模的限制,n元文法存在两点不足... 详细信息

在自然语言处理领域中,标准n元文法(n-gram)是最常使用的统计语言模型。它具有简单、高效、鲁棒的特点,是自动语音识别、拼音输入法等应用的重要组成部分。但是在实际应用中,由于受到训练语料和语言模型规模的限制,n元文法存在两点不足。一是受到相邻词历史的限制,二是n值只能限定在很小的范围内。这两点不足阻碍了n元文法对句子中长距离信息的建模能力。为此,本文提出了变元依存类语言模型,有效改善了这一问题。\n 第一,将依存句法分析方法引入n元文法语言模型中,建立依存语言模型(dependency language model)。该方法改善了n元文法中“相邻词历史”的限制,利用词与词之间的依存关系,对句子中的长距离信息建模。为了验证模型的有效性,本文设计并实现了拼音输入法。实验结果表明,与标准n元文法相比,该模型可以使字错误率相对下降4.19%。\n 第二,采用基于熵值的裁剪方式构造变元依存语言模型(variable dependencylanguage model)。该模型在依存语言模型的基础上突破了词历史为3的局限,可以在保持模型大小不变的前提下,有效裁剪模型中冗余的低阶d元文法条目,代之以高阶d元文法,从而进一步使语言模型更有效的获取长距离信息。实验证明,采用这种方法能使拼音输入法的首选字错误率进一步下降相对6.68%。\n 第三,采用基于互信息值的二元合并方式构造长音节词。该方法可以缓解模型词典中具有相似同音词频率的文法条目的混淆问题。实验证明,长音节词的引入可以使拼音输入法的首选字错误率进一步下降相对6.77%。\n 第四,在变元依存语言模型基础上采用类语言模型思想,构建变元依存类语言模型。该模型针对拼音输入法中的人名识别进行建模。改进后的模型,首选字错误率进一步下降相对6.15%。\n 综上所述,与标准n元文法相比,变元依存类语言模型的首选字错误下降绝对值1.78%,相对21.9%.

关键词：依存分析依存语言模型变元语言模型类语言模型统计语言模型自然语言处理

来源：评论

学校读者我要写书评

暂无评论

结合语言模型的自动文本分类的应用研究

引用

计算机与现代化 2010年第3期 141-143页

作者：赵敏涯苏州市职业大学计算机工程系江苏苏州215104

研究统计语言模型中bigram模型在自动文本分类中的应用,针对传统的向量空间模型在计算文本相似度时假设特征项相互独立的缺点,提出一种利用词对及词序信息来改善文本分类结果的方法。实验结果表明该方法是可行且有效的。

关键词：统计语言模型文本分类平滑 bigram

来源：评论

学校读者我要写书评

暂无评论

统计语言模型在信息检索中的应用

引用

计算机工程与应用 2006年第36期42卷 158-161页

作者：赵正文康耀红海南大学信息科学技术学院海口570228

首先介绍了统计语言模型(SLM)的发展及常用的N元(n-gram)模型,对信息检索过程中的主要模型作了公式化描述并比较了不同模型,指出了它们之间及与传统概率检索方法的异同,分析了统计语言模型的弱点,最后介绍了对其可能的改进方法及最新研... 详细信息

首先介绍了统计语言模型(SLM)的发展及常用的N元(n-gram)模型,对信息检索过程中的主要模型作了公式化描述并比较了不同模型,指出了它们之间及与传统概率检索方法的异同,分析了统计语言模型的弱点,最后介绍了对其可能的改进方法及最新研究进展,讨论了在中文信息检索中的应用和面对的挑战。

关键词：统计语言模型信息检索概率模型

来源：评论

学校读者我要写书评

暂无评论

基于条件随机场的蒙古语词切分研究

引用

中文信息学报 2010年第5期24卷 31-35,84页

作者：赵伟侯宏旭从伟宋美娜内蒙古大学计算机学院内蒙古呼和浩特010021

词干和构形附加成分是蒙古语词的组成成分,在构形附加成分中包含着数、格、体、时等大量语法信息。利用这些语法信息有助于使用计算机对蒙古语进行有效处理。蒙古语词在结构上表现为一个整体,为了利用其中的语法信息需要识别出词干和各... 详细信息

词干和构形附加成分是蒙古语词的组成成分,在构形附加成分中包含着数、格、体、时等大量语法信息。利用这些语法信息有助于使用计算机对蒙古语进行有效处理。蒙古语词在结构上表现为一个整体,为了利用其中的语法信息需要识别出词干和各构形附加成分。通过分析蒙古语词的构形特点,提出一种有效的蒙古语词标注方法,并基于条件随机场模型构建了一个实用的蒙古语词切分系统。实验表明该系统的词切分准确率比现有蒙古语词切分系统的准确率有较大提高,达到了0.992。

关键词：蒙古语词切分词干构形附加成分条件随机场统计语言模型

来源：评论

学校读者我要写书评

暂无评论

中文问答系统中基于SLM的信息检索及其平滑技术研究

引用

计算机工程与科学 2010年第1期32卷 136-140页

作者：钱如栏董云耀杭州电子科技大学计算机学院浙江杭州310018

为适应中文问答系统中汉语语言的特点,本文对信息检索模块进行了深入分析,相对于传统的主流信息检索模型,找到了一种更有效的检索方法——基于SLM的语言模型的信息检索技术(SLM-IR)。同时,研究了N-gram模型的参数N选取及其几种主要的数... 详细信息

为适应中文问答系统中汉语语言的特点,本文对信息检索模块进行了深入分析,相对于传统的主流信息检索模型,找到了一种更有效的检索方法——基于SLM的语言模型的信息检索技术(SLM-IR)。同时,研究了N-gram模型的参数N选取及其几种主要的数据平滑技术,并通过对各种数据平滑方法的实验对比,讨论了影响这些数据平滑方法性能的有关因素,如训练集规模等,最终给出了在不同情况下的最优选择方案。

关键词：信息检索统计语言模型 N—gram SLM-IR 平滑技术

来源：评论

学校读者我要写书评

暂无评论

本体论和统计语言模型相结合的跨语言信息检索研究

本体论和统计语言模型相结合的跨语言信息检索研究

引用

作者：郑德权哈尔滨工业大学

学位级别：博士

互联网时代的到来，使得高效的搜索引擎成为人们获取信息的最重要手段之一，信息的日益国际化及语言之间的障碍形成了人们对跨语言信息检索的需求，而普遍存在的目标语译词准确性和检索结果的精确度偏低问题成为制约跨语言信息检索研究... 详细信息

互联网时代的到来，使得高效的搜索引擎成为人们获取信息的最重要手段之一，信息的日益国际化及语言之间的障碍形成了人们对跨语言信息检索的需求，而普遍存在的目标语译词准确性和检索结果的精确度偏低问题成为制约跨语言信息检索研究大步向前发展的瓶颈。本体论和统计语言模型在自然语言信息处理领域分别取得的成功，为人们利用知识和统计方法实现跨语言检索问题在理论和实践方面指明了方向，对于信息检索及自然语言处理研究具有重要的理论意义和实用价值。本文以汉-英两种语言之间的跨语言信息检索为研究对象，提出了一种本体论和统计语言模型相结合的混合语言模型，给出跨语言信息检索的一整套解决方案。作为跨语言信息检索的重要环节，首先研究了混合语言模型的建模问题，该语言模型的结构由词义本体表示及语言本体知识组成，在此基础上，研究并实现了词义本体的构建、语言本体知识的自动获取等问题。通过对自然语言处理有关问题的应用评价，验证了所提出混合语言模型的有效性，进而将其应用于用户查询的目标语译词选择以及目标语言检索文档的排序，在该混合语言模型的指导下实现了一个跨语言信息检索的实验平台。具体地讲，本文从如下几个方面进行了研究：\n 1.研究了跨语言信息检索的模型建模技术。分析了目前困扰跨语言检索精确度偏低问题的主要原因，提出了一个本体论和统计语言模型相结合的混合语言模型，有效地解决了目前的检索模型表达和处理语义层面信息不完全，未能很好地适应主题多变的应用环境等相关问题。该语言模型的结构由词义本体表示及语言本体知识组成，综合考虑了自然语言句子中出现的特征项与其同现信息在语义、语用、词法、句法等方面的用法，力图在采用一种概率估计的前提下，引入本体知识库的支持，寻求有效提高跨语言信息检索精确度的改进方法。\n 2.研究了词义本体表示及语言本体知识的获取技术。探讨了词义本体的构建以及有效的语言本体知识表示方法，提出利用机器学习方法自动获取语言本体知识获取的策略，提出将从单语言语料中获得的语言本体知识应用于解决跨语言信息检索问题的方法。语言本体知识将通过机器学习方法从训练语料中自动获取，实现技术主要以语料处理为基础，获得特征项在上下文环境中的语义、语用、句法等方面的用法，以一种量化的形式保存，作为特征项的用法描述，对有关全部特征项的描述则构成了一个语言本体知识库。该问题的研究也避开了可利用的大规模双语语料不易获得的问题。\n 3.研究了源语言用户查询的目标语译词选择技术。对比了几种跨语言信息检索中比较实用的实现用户查询的译词选择方法，在此基础上，提出并实现了两种跨语言信息检索的解决方案：一种方法是目标语言译词选择技术与文档分类技术相结合，其中译词选择采用领域双语词典结合语料库的方法实现，分类器通过两种不同语言的语料分别训练得到。另一种方法是基于本文提出的混合语言模型选择用户查询的目标语译词，分别给出扩展查询译文的不同组合，然后根据获取的源语言本体知识，考察每种组合在语义、语用、句法等方面与所获得语言本体知识的匹配程度，重点解决词义消歧问题。\n 4.研究了跨语言信息检索结果文档的排序技术。提出了基于语言本体知识实现目标语文档排序的方法，主要技术是利用语言本体知识考查源语言用户查询与目标语检索文档的匹配相似度。在此基础上给出了跨语言信息检索系统的基本框架，构造了一个完整的跨语言信息检索的实验系统，最后通过对跨语言信息检索结果的评价及与其它方法的比较，验证了本文所提出方法的有效性和可行性。

关键词：跨语言信息检索本体论统计语言模型文档排序

来源：评论

学校读者我要写书评

暂无评论

基于词缀特征的汉蒙统计机器翻译系统

基于词缀特征的汉蒙统计机器翻译系统

引用

作者：宋美娜内蒙古大学

学位级别：硕士

在当今世界,随着信息的急剧增加,国际交流的日趋频繁,机器翻译的潜在需求越来越大。机器翻译方法按照其使用理论不同可以分为基于规则的、基于语料库的和混合翻译方法三种。不同的机器翻译方法有各自的优点和局限性。基于规则的方法可... 详细信息

在当今世界,随着信息的急剧增加,国际交流的日趋频繁,机器翻译的潜在需求越来越大。机器翻译方法按照其使用理论不同可以分为基于规则的、基于语料库的和混合翻译方法三种。不同的机器翻译方法有各自的优点和局限性。基于规则的方法可以很准确的描述语言特征规律,但是它很难覆盖所有的语言现象;基于实例的方法译文质量非常高,但是命中率非常低,对语料库的要求也非常严格;统计翻译方法可以缓解知识获取的瓶颈问题,但是它所采用的N元语法模型无法解决长距离依存问题,并且还存在着语料库标注体系不完善、语料库数据稀疏等问题。因此不管采用哪种翻译方法,总是不能取得理想的效果。所以基于混合策略的机器翻译方法成为当今机器翻译研究的焦点,从而可以避免每种翻译方法的不足,达到翻译结果的最优化。由于蒙古语属于黏着语,它的构词和构形都是以词根、词干上连接不同的词缀来完成的,从句子的基本语序看,属于SOV(主宾谓)型语言。单从译文方面来分析,词形变化方面的错误以及句子语序混乱问题比较明显和突出。因此,本文专门针对蒙古语的特点,利用开源的基于短语的统计机器翻译的Moses解码器,在此基础上加入trigger对长距离蒙古语语言模型以及汉蒙调序模型两个特征,最后实验结果表明,翻译结果是合理的,相对于Moses对比系统来说,翻译性能有了明显提高。

关键词：机器翻译调序模型统计语言模型 Trigger对 Moses解码器

来源：评论

学校读者我要写书评

暂无评论

蒙古文变形显现字符到名义字符转换的研究与实现

蒙古文变形显现字符到名义字符转换的研究与实现

引用

作者：敖登巴拉内蒙古大学

学位级别：硕士

随着计算机应用技术研究的深入发展,蒙古文信息处理技术也得到了迅速地发展。我国从上世纪70年代末就开始了蒙古文信息处理的研究工作,研究的重点主要集中在蒙古文文字处理方面,文字编码、显示通常是按照字形设计的。但是,蒙古文特有的... 详细信息

随着计算机应用技术研究的深入发展,蒙古文信息处理技术也得到了迅速地发展。我国从上世纪70年代末就开始了蒙古文信息处理的研究工作,研究的重点主要集中在蒙古文文字处理方面,文字编码、显示通常是按照字形设计的。但是,蒙古文特有的“同形异音”、“同音异形”现象,使得仅按字形设计的编码方案,已经不能满足蒙古文信息处理更深入的研究。 2000年制定的ISO/IEC10646国际标准编码体系中定义了蒙古文国际标准编码字符集,该字符集定义了35个蒙古文基本字母,也称蒙古文名义字符。名义字符编码方案既考虑了蒙古文字母的读音也考虑了其字形。这种编码方案符合了蒙古文字是拼音文字的特点,并有利于蒙古文信息处理的国际化、标准化。在实际应用中,蒙古文是用名义字符的变形显现字符表示的。由于早期研究时,蒙古文变形显现字符的编码不统一或录入人员按字形来录入文字,使得现有的蒙古文电子版文档资料中存在大量的拼写错误,主要表现在错误单词与正确单词的字形相同,但计算机内部编码不同,用不同蒙古文文字处理系统得到的文档,无法实现信息的直接交换与共享。将用变形显现字符表示的蒙古文字转换成用正确的名义字符表示,实现蒙古文信息存储的标准化,已成为蒙古文信息处理研究的关键基础性技术问题。本文使用规则、词典和统计相结合的方法完成了蒙古文字由变形显现字符表示到用名义字符表示的转换工作。由于不同蒙古文信息处理系统的变形显现字符编码方案之间存在差异,本文引用了最小字素编码作为中间编码进行统一转换。本文主要完成的工作分为两个部分：首先研究各种蒙古文变形显现字符编码到最小字素编码之间的转换关系,根据转换关系表将不同编码系统的蒙古文变形显现字符编码统一转换成最小字素编码；其次,采用基于蒙古文正字法词典对照的方法、动词词干词缀切分分别转换的方法、基于统计语言模型的方法综合实现最小字素编码到名义字符编码的转换,实验结果表明,综合运用以上方法提高了转换的正确率,取得了较好的转换效果。

关键词：蒙古文变形显现字符名义字符统计语言模型

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：