检索结果-内蒙古大学图书馆

情报理论与实践 2008年第3期31卷 471-476页

作者：李纲郑重武汉大学信息资源研究中心湖北武汉430072

统计语言模型作为一种自然语言处理的工具,已经被证明有能力处理大规模真实文本。而统计语言模型和IR相结合后所形成的SLM-IR模型的提出,是信息检索模型研究上的重大进展。本文介绍了统计语言模型在信息检索领域的基本模型及相关问题,... 详细信息

统计语言模型作为一种自然语言处理的工具,已经被证明有能力处理大规模真实文本。而统计语言模型和IR相结合后所形成的SLM-IR模型的提出,是信息检索模型研究上的重大进展。本文介绍了统计语言模型在信息检索领域的基本模型及相关问题,重点分析了Lemur工具箱和标题语言模型的原理及模型,最后从整体上介绍了该领域的国际动态和研究进展情况。

关键词：信息检索统计语言模型查询条件概率模型主题语言模型

来源：评论

学校读者我要写书评

暂无评论

统计语言模型的手机数码中文输入法研究

引用

苏州市职业大学学报 2008年第2期19卷 96-99页

作者：郑洪静韩卓平苏州市职业大学计算机工程系江苏苏州215104

基于规则和基于统计的研究方法是智能中文输入技术研究的两个方向。虽然与之相应的智能中文输入软件不断涌现,却很少应用到手机平台。针对手机中文输入具有明显的口语化特征,采用口语化的小容量字词库,运用统计语言处理方式,以及动态自... 详细信息

基于规则和基于统计的研究方法是智能中文输入技术研究的两个方向。虽然与之相应的智能中文输入软件不断涌现,却很少应用到手机平台。针对手机中文输入具有明显的口语化特征,采用口语化的小容量字词库,运用统计语言处理方式,以及动态自学习模型,实现在手机平台上整句级别的中文输入。

关键词：中文输入法统计语言模型手机平台

来源：评论

学校读者我要写书评

暂无评论

在线同步输入纸质与电子表单的方法

引用

计算机辅助设计与图形学学报 2012年第9期24卷 1125-1133页

作者：熊金泉樊银亭滕东兴马翠霞戴国忠王宏安江西教育学院数学与计算机科学系南昌330029 中原工学院计算机学院郑州450007 中国科学院软件研究所人机交互技术与智能信息处理实验室北京100190

针对用数字笔输入纸质表单时相对应的电子表单目标定位不准确、识别率不高,且用户在纸和显示器上频繁切换,降低了用户的交互体验的问题,提出一种纸质表单和电子表单的在线同步输入方法.首先对笔迹信息进行误差补偿,并结合上下文和知识库... 详细信息

针对用数字笔输入纸质表单时相对应的电子表单目标定位不准确、识别率不高,且用户在纸和显示器上频繁切换,降低了用户的交互体验的问题,提出一种纸质表单和电子表单的在线同步输入方法.首先对笔迹信息进行误差补偿,并结合上下文和知识库,对目标单元格进行智能性定位;然后用基于统计语言模型和词库的识别算法改进识别器,提高输入识别率,并能把识别结果反馈到词库及误差校正模块中,以提高系统的自适应性.该方法是通过建立基于纸质和电子表单的在线同步输入框架——FSIF而实现的,其中框架包括笔信息校正转换器、智能定位器、笔迹分割器和自适应识别器4大部分,并按照一定方法和流程分别对笔信息进行采集、校正、转换、定位、分割、分类和识别等;最后通过实验对文中方法进行评估.实验结果表明,文中方法对笔式同步输入纸质和电子表单有一定的改进作用.

关键词：电子表单笔式表单用户界面笔式同步输入统计语言模型

来源：评论

学校读者我要写书评

暂无评论

基于n-Gram语言模型的查询纠错系统的设计与实现

基于n-Gram语言模型的查询纠错系统的设计与实现

引用

作者：杨珂北京大学

学位级别：硕士

随着互联网用户的爆发式增长,搜索引擎作为互联网的入口,已经得到了广泛的使用。查询纠错作为搜索引擎的一项基础服务,也面临着新的问题和挑战。本文采用自然语言处理学科中统计语言模型学的思想,解决用户在使用搜索引擎时的查询纠错问... 详细信息

随着互联网用户的爆发式增长,搜索引擎作为互联网的入口,已经得到了广泛的使用。查询纠错作为搜索引擎的一项基础服务,也面临着新的问题和挑战。本文采用自然语言处理学科中统计语言模型学的思想,解决用户在使用搜索引擎时的查询纠错问题。本文使用基于N-Gram语言模型的查询纠错技术,同时采取基于音节图的纠错技术方案中有益方案,大幅提高了目前查询纠错系统的召回率和正确率。　　本文首先对语言纠错的技术的产生及其应用场景做出简要的介绍,同时指出了查询纠错技术的诞生背景。然后分析了目前已经在学术界和工业界已经得到了广泛使用的纠错技术,分别对这些技术的特点及其存在的优缺点进行分析,从而为我们就纠错方案的选取指引方向。紧接着我们对N-Gram语言模型的思想和其基本原理进行描述,并对其存在因语料稀疏而产生的问题进行分析,然后介绍了目前解决这种问题比较主流的两类平滑方法:折扣法和回退法。并通过对这几种方法的仔细分析及相关对比试验,最终选取Stupid Back Off作为我们的数据平滑方法。　　我们接着对查询纠错系统从功能需求和性能需求两个方面进行了较为细致的分析。再以一个用户从在搜索引擎中输入一个查询词到最终查询结果的过程,分析了系统所经历的业务流程。通过上面的描述,我们对查询纠错系统形成了一个比较完整的定义。根据对需求的分析,我们首先形成了一个对系统的一个概要设计,并对系统中的每一个模块进行分析,找出了其中会面临的问题和一些新的挑战。　　然后我们对语言模型工具的整体架构进行了介绍,并分析该工具中各模块之间的相互关系。该工具主要由两大模块构成,N-Gram频次统计模块和大语言服务模块。我们分别描述了这两个模块的详细设计及其处理流程。并针对N-Gram中的海量数据处理问题采用了类似于Map-Reduce的工具CoWork来完成其处理工作。同时使用最小完美哈希函数来解决加载词频文件到内存过程中所遇到的占用内存空间过大的问题。　　最后,我们对查询纠错工具中主要业务流程模块纠错模块进行了详细的描述。查询纠错工具主要由四个过程构成,首先利用拼音,构建一个以拼音为节点的音节图,在构建这个图的过程中,利用3-Gram语言模型对已经形成的图中的路径进行筛选,得到五个候选,然后采用5-Gram模型对五个候选进行得分修正,最终采用一些既定的策略形成最终得分,通过比较以原始查询的得分的比较,决定是否显示纠错建议。

关键词：互联网搜索引擎统计语言模型查询纠错 N-Gram语言模型音节图

来源：评论

学校读者我要写书评

暂无评论

基于统计语言的中文网页信息检索模型研究

基于统计语言的中文网页信息检索模型研究

引用

作者：李贞华中师范大学

学位级别：硕士

互联网飞速发展，信息呈指数增长，信息获取途径更为多样化，但是信息搜索却变得更为复杂了。人们迫切需要高层次的信息处理技术来处理海量信息，快速检索到所需信息，从而帮助更好的进行决策和研究。然而，信息处理技术的普及与广泛应... 详细信息

互联网飞速发展，信息呈指数增长，信息获取途径更为多样化，但是信息搜索却变得更为复杂了。人们迫切需要高层次的信息处理技术来处理海量信息，快速检索到所需信息，从而帮助更好的进行决策和研究。然而，信息处理技术的普及与广泛应用很大程度上得益于自然语言处理技术的发展，为了有效解决信息检索问题，对信息检索在文档内容表示、检索模型、匹配策略以及排序算法等方面的研究逐渐增多。其中，对检索模型的研究仍然是信息检索研究的一个热点，各种检索模型和方法相继出现，如：布尔模型、向量空间模型、概率模型。尤其是近年来提出统计语言模型，将自然语言与统计学相结合来研究信息检索，借助强大的数学基底，成为信息检索中占据统治地位的检索模型，并取得了大量研究成果。\n 对中文网页海量数据进行研究，并将中文分词组件与lemur结合构建适宜于中文的信息检索系统方面的研究相对缺乏。本文在大规模中文网页语料库CWT200G的基础上，参考TREC和SWEM信息检索标准流程，以Lemur为基准工作平台，将其与中科院分词组件一汉语词法分析系统ICTCLAS相结合，形成一个可供实验的简单的信息检索系统。首先，阐述了本文的理论基础，介绍了基于统计语言方法的中文网页信息检索模型研究中所要研究的重点问题：统计语言模型、数据平滑、中文分词和中文文本索引等。然后，对信息检索评测的中文网页语料库和实验所需平台及系统进行简单介绍，对数据如何处理做了详细分析。最后，通过实验数据对比分析向量空间模型、概率模型等传统信息检索模型与统计语言模型对中文网页语料库进行主题检索时性能优劣；同时，在统计语言模型进行主题检索实验的时候，分别对Simplified Jelinek-Mereer平滑方法、Dirichlet Prior平滑方法和AbsoluteDiscouting平滑方法进行实验，并对比这三种平滑方法在信息检索中的性能。

关键词：统计语言模型中文网页信息检索模型数据平滑技术中文分词

来源：评论

学校读者我要写书评

暂无评论

大规模统计语言模型实现技术研究

大规模统计语言模型实现技术研究

引用

作者：黄赟中国科学院计算技术研究所

学位级别：硕士

统计语言模型是很多自然语言处理任务的重要模块。一般而言，用来训练语言模型的数据量越大，训练得到的语言模型质量越好。Google公司通过LDC向学术界公布了Web1T词频数据，这部分数据是从总共有1T个词的互联网网页上抽取得到的。然而... 详细信息

统计语言模型是很多自然语言处理任务的重要模块。一般而言，用来训练语言模型的数据量越大，训练得到的语言模型质量越好。Google公司通过LDC向学术界公布了Web1T词频数据，这部分数据是从总共有1T个词的互联网网页上抽取得到的。然而，现在的软件包都无法处理这么大规模的数据，这已经成为语言模型发展的一个瓶颈。\n 本文对大规模语言模型的难点和实现技术进行了研究，并针对Web1T语料实现了一套训练和使用工具。由于Web1T数据做了低频词过滤，本文还对其进行平滑时遇到的问题进行讨论，实现了适合大规模数据傻瓜平滑算法。\n 具体来说，本文的工作主要包含以下内容：\n 1、研究并比较了基于n元语法语言模型的平滑算法\n 基于n元语法的语言模型具有模型简单、效果良好的特点，是目前主流的语言模型建模方法。然而极大似然估计会对n元组的概率给出零值，所以需要对极大似然估计方法给出的结果进行平滑，修正错误的零值概率。本文研究了主流平滑算法，如Good-Turing平滑、Witten-Bell平滑和Kneser-Ney平滑等，并比较了各种平滑算法在实际语料上的效果。\n 2、实现了针对Web1T语料的平滑算法\n Google发布的Web1T词频语料只包含n元组频次信息，并且做了低频词过滤，这使得现有的平滑算法公式中的参数无法求得。为了解决这个问题，本文利用zipf定律估计被过滤掉的不同元组的数目，研究和实现了适合大规模数据处理的傻瓜回退(Stupid Smoothing)平滑算法，并比较了傻瓜回退平滑算法和传统平滑算法的效果。\n 3、Google Web1T语料的训练和使用\n 处理大规模文本需要资源过大是大规模语言模型需要解决的问题和难点。本文对大规模语言模型实现的难点进行了分析，考察了关键的实现技术，并讨论了各种技术方案的优缺点。针对语言模型训练时所需内存过大问题，本文采用分布式训练和索引技术使所需内存降到可以接受的程度。针对语言模型使用时所需内存过大问题，本文使用对测试集的过滤的方法去除无用数据，设计高效的TRIE树存储数据，并使用内存映射技术降低内存使用量。基于对大规模语言模型实现技术的研究，本文还实现了一个面向Web1T语料的训练和使用工具包，支持训练和使用Web1T语言模型。

关键词：自然语言处理大规模数据统计语言模型词频数据语料训练

来源：评论

学校读者我要写书评

暂无评论

唇语识别中的话题相关语言模型研究

引用

微计算机信息 2012年第10期28卷 115-117,195页

作者：王渊岳振军贾永兴解放军理工大学理学院电子系江苏南京211101

为了提高唇语识别的精度,研究提出了改进的话题相关的统计语言模型。基于关键词的基础上,通过主题词来划分话题,采用改进的场景训练语料设计与参数估计方法,将不同的话题的场景训练语料表示为整个场景训练语料库的模糊子集,参数估计也... 详细信息

为了提高唇语识别的精度,研究提出了改进的话题相关的统计语言模型。基于关键词的基础上,通过主题词来划分话题,采用改进的场景训练语料设计与参数估计方法,将不同的话题的场景训练语料表示为整个场景训练语料库的模糊子集,参数估计也利用不同的话题的模糊训练集获取。改进方法较好的缓解了普通语言模型训练语料不足而引入的数据稀疏的问题,对场景训练语料与话题之间的联系强度给出了定量描述。

关键词：唇语识别统计语言模型话题相关模糊训练

来源：评论

学校读者我要写书评

暂无评论

不同粒度标签推荐算法的比较研究

引用

计算机应用研究 2012年第2期29卷 504-509页

作者：靳延安李玉华刘行军华中科技大学计算机学院武汉430074 湖北经济学院信息管理学院武汉430205

针对社会标签系统中不同粒度的特征在表示文档时具有不同的描述能力这一特性,提出从词粒度和话题粒度来推荐社会标签以提高标签推荐的准确度。提出使用统计语言模型(词粒度)和隐含话题模型(话题粒度)分别建模文档的描述集和标签集,首先... 详细信息

针对社会标签系统中不同粒度的特征在表示文档时具有不同的描述能力这一特性,提出从词粒度和话题粒度来推荐社会标签以提高标签推荐的准确度。提出使用统计语言模型(词粒度)和隐含话题模型(话题粒度)分别建模文档的描述集和标签集,首先使用单个模型进行标签推荐,然后融合不同的特征粒度进行标签推荐。实验结果表明:就单一方法讲,基于统计语言模型的推荐性能要比基于话题粒度模型的推荐性能好;基于两种方法的混合方法的性能要好于没有混合的基于话题的单个方法;涉及较少特征的混合方法的推荐性能要优于涉及较多特征的混合方法。

关键词：标签推荐统计语言模型隐含话题模型不同粒度

来源：评论

学校读者我要写书评

暂无评论

基于文档相关度计算的网页预测模型

引用

计算机应用与软件 2012年第2期29卷 109-112,189页

作者：朱鲲鹏魏芳上海贝尔股份有限公司上海201206 复旦大学计算机科学技术学院上海200433

基于网络日志挖掘的网页预测系统可以有效地分析用户未来的网络访问请求,从而达到智能推荐、改善网络性能等目的。针对目前的预测模型缺乏有效的语义处理的问题,将词语语义信息和统计语言模型相结合,提出一种基于文档相关度计算的网页... 详细信息

基于网络日志挖掘的网页预测系统可以有效地分析用户未来的网络访问请求,从而达到智能推荐、改善网络性能等目的。针对目前的预测模型缺乏有效的语义处理的问题,将词语语义信息和统计语言模型相结合,提出一种基于文档相关度计算的网页统计预测模型。通过词频信息和知网(HowNet)中词的概念计算模型计算网页文档间的主题相关度,再将该语义信息与统计模型计算的条件概率值相结合,以此作为预测的依据。实验表明,该技术使预测模型的性能获得了较大的提高。

关键词：网页预测统计语言模型日志挖掘文档相关度

来源：评论

学校读者我要写书评

暂无评论

问答系统中文输入纠错技术研究

问答系统中文输入纠错技术研究

引用

作者：秦英山东大学

学位级别：硕士

在迅速发展的Web时代,问答系统在互联网上扮演了越来越重要的角色,而日益增多并且成熟的互联网用户对问答系统的要求也越来越高,其功能也在不断丰富和完善当中,除了推理功能等,输入自动检查纠错功能也是一项非常重要的附加技术。对于中... 详细信息

在迅速发展的Web时代,问答系统在互联网上扮演了越来越重要的角色,而日益增多并且成熟的互联网用户对问答系统的要求也越来越高,其功能也在不断丰富和完善当中,除了推理功能等,输入自动检查纠错功能也是一项非常重要的附加技术。对于中文问答系统来说,输入自动检查纠错功能是指,用户在输入关键词进行搜索之后,如果问答系统没有计算出与用户问句相同的句子,而经过对用户句子进行纠错之后,能够得到与用户问句相似的句子,则用户将会在问答系统页面看到系统提供的推测到的相似问句。针对以上问题,根据中文语言的特点,对中文语料库建立了N-gram统计语言模型,并且对其进行了详细的分析,确定了语言模型所必需的参数,以及对其进行了优化处理,使其更加接近真实情况下的语言。研究中引入了拼音纠错和映射表相结合的纠错方法,并首次提出使用语言模型解码算法对纠错检查结果再次计算比较,最终得出优化的纠错结果。以上所提出的理论模型,本文进行了实验验证,在统计语言模型的基础上,采用三种不同的纠错方法进行实验对比,一是只有拼音纠错,二是拼音纠错与映射表结合,三是拼音纠错与映射表结合并利用语言模型解码算法优化。最后对实验结果进行了分析,验证得出利用最后一种方法即第三种方法能够取得较好的效果,并且上下文语境信息越多,纠错的召回率和准确率也就越高。最后,对本论文所做的工作进行总结,指出了下一步的研究方向。

关键词：问答系统统计语言模型输入检查纠错解码算法

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：