检索结果-内蒙古大学图书馆

计算机科学 2015年第7期42卷 265-269页

作者：陈雅兰胡小华涂新辉何婷婷华中师范大学计算机学院武汉430079 德雷塞尔大学信息科学与技术学院费城19082

在大多数现有的检索模型中常常忽略了如下事实:一个文档中匹配到的查询词项的近邻性和打分时所基于的段落检索也可以被用来促进文档的打分。受此启发,提出了基于位置语言模型的中文信息检索系统,首先通过定义位置传播数的概念,为每个位... 详细信息

在大多数现有的检索模型中常常忽略了如下事实:一个文档中匹配到的查询词项的近邻性和打分时所基于的段落检索也可以被用来促进文档的打分。受此启发,提出了基于位置语言模型的中文信息检索系统,首先通过定义位置传播数的概念,为每个位置单独地建立语言模型;然后通过引入KL-divergence检索模型,并结合位置语言模型给每个位置单独打分;最后由多参数打分策略得到文档的最终得分。实验中还重点比较了基于词表和基于二元两种中文索引方法在位置语言模型中的检索效果。在标准NTCIR5、NTCIR6测试集上的实验结果表明,该检索方法在两种索引方式上都显著改善了中文检索系统的性能,并且优于向量空间模型、BM25概率模型、统计语言模型。

关键词：位置语言模型近邻性段落检索传播数

来源：评论

学校读者我要写书评

暂无评论

基于位置语言模型的中文信息检索方法研究

基于位置语言模型的中文信息检索方法研究

引用

作者：陈雅兰华中师范大学

学位级别：硕士

伴随着全球信息化进程的迅猛发展,网络上的中文信息资源变得越来越丰富,如何从这些海量数据中挖掘出有价值的中文信息,已逐渐成为信息检索领域的研究热点,信息检索技术的提高也随之变得重要起来。在现有的检索模型中,文档的得分主要都... 详细信息

伴随着全球信息化进程的迅猛发展,网络上的中文信息资源变得越来越丰富,如何从这些海量数据中挖掘出有价值的中文信息,已逐渐成为信息检索领域的研究热点,信息检索技术的提高也随之变得重要起来。在现有的检索模型中,文档的得分主要都是基于词项在文档内的频率,逆文档频率以及文档长度而得到的,并没有充分考虑匹配到的查询词项在文档中所处位置的近邻性信息。虽然这些检索模型也有被应用到中文信息检索中并取得了不错的成绩,但其检索效果仍有提升的空间。因此,本文就基于位置语言模型的中文信息检索方法进行了研究。主要工作包括以下两个方面：第一,将位置语言模型引入到中文信息检索中进行建模,利用文档中词与词之间出现位置的近邻性关系,将查询词项在文档中出现的位置信息聚集在一起,以便获得与查询主题更为相关的检索文档。我们将中文文本信息采用基于词表和基于二元两种分词方法进行切分,切分后的文档词与词之间用空格区分,在建模时文档中的位置信息以词为单位进行标识,这样不仅考虑了词与词之间的位置近邻性,而且在一定程度上考虑了词间的复合关系,有助于提高检索的准确率。我们在NTCIR-5和NTCIR-6中文文档测试集上均进行了实验,实验结果表明,基于位置语言模型的中文信息检索建模方法相对于传统的检索方法来说拥有更好的检索性能。第二,在伪相关反馈方法中加入文档的位置特征,帮助原始查询获取更合适的扩展词项。该方法将反馈文档中的词项位置信息添加到相关性模型中,充分考虑了查询词项在反馈文档中出现的位置,利用位置语言模型将反馈文档中的词项与查询词项间的位置关系聚集起来,给那些靠近查询词项出现的词分配更高的权重,进而获取与查询主题更为相关的词来作为扩展词项。文中考虑了两种估计伪相关反馈的方法,独立同分布抽样方法和条件抽样方法。在文档集NTCIR5下我们基于词表索引分别验证了两种反馈方法的检索效果,实验结果表明,基于位置语言模型的中文伪相关反馈方法的检索性能要优于传统的反馈方法。

关键词：词项位置近邻性位置语言模型伪相关反馈

来源：评论

学校读者我要写书评

暂无评论

结合语义的位置语言模型

引用

北京大学学报（自然科学版） 2013年第2期49卷 203-212页

作者：余伟王明文万剑怡左家莉江西师范大学计算机信息工程学院南昌330027 江西师范大学初等教育学院南昌330027

针对位置语言模型没有考虑词与词之间语义关系的问题,提出一种结合语义的位置语言模型。首先采用高斯核函数来度量词与词之间的位置关系;然后提出一种平滑互信息的技术来度量词与词之间的语义关系,证明了平滑互信息能够有效解决大量词... 详细信息

针对位置语言模型没有考虑词与词之间语义关系的问题,提出一种结合语义的位置语言模型。首先采用高斯核函数来度量词与词之间的位置关系;然后提出一种平滑互信息的技术来度量词与词之间的语义关系,证明了平滑互信息能够有效解决大量词对之间无法通过互信息来计算转移概率的问题;还证明了位置语言模型是结合语义位置语言模型的一个特例;最后将结合语义的位置语言模型应用于信息检索,得到一个基于该模型的检索模型。实验结果表明,基于该模型的检索模型在性能方面要优于基于位置语言模型的检索模型。

关键词：位置语言模型平滑互信息信息检索语义关系

来源：评论

学校读者我要写书评

暂无评论

结合语义的位置语言模型

结合语义的位置语言模型

引用

作者：余伟江西师范大学

学位级别：硕士

在过去的四十年里，信息检索领域出现了很多经典的模型，诸如布尔模型、向量空间模型以及概率模型。随着Pnoet和Corft首次提出基于统计语言模型的检索模型，近十年来该模型得到了快速的发展。国内外许多学者都加入了这个领域的研究，做... 详细信息

在过去的四十年里，信息检索领域出现了很多经典的模型，诸如布尔模型、向量空间模型以及概率模型。随着Pnoet和Corft首次提出基于统计语言模型的检索模型，近十年来该模型得到了快速的发展。国内外许多学者都加入了这个领域的研究，做了大量有意义的工作，因此又陆续的提出了隐马尔科夫模型，统计翻译模型，风险最小化模型等。但是大多数检索模型都是基于词在文档中的频率，而未考虑词在文档中的位置关系。例如这样的两篇文档——包含了相同集合的词并且每个词在两篇文档中的出现频率都一样，唯一不同的是这些词在文档中摆放的位置顺序有所不同，那么对于大多数检索模型这两篇文档的检索得分是一样的。但若第一篇文档中查询词与查询词出现得更为邻近，第二篇则出现得更为疏远的话，那么显然第一篇文档理应获得更高的检索得分，而大多数检索模型都无法做到这点。基于这点出发，Lv和Zhai提出了一种位置语言模型,并成功的应用于信息检索，该模型最大的优势就是考虑了文档中词与词的位置关系。但该模型依然还存有缺陷：并未考虑到词与词之间的语义关系。因此本文在他们的工作基础上进行了改进，提出了一种结合语义的位置语言模型。具体来说本文的主要工作和创新点如下： 1)提出了一种新的技术——“平滑互信息”,来度量两个词之间的转移概率。由于数据集中的词存在稀疏性，因此直接使用互信息来度量两个词的转移概率会造成大量的词对无法计算。本文则对互信息采用了一种平滑技术，使得数据集上几乎任意两个词都可计算出平滑互信息，从而计算出两个词的转移概率。更为重要的是，这种平滑技术遵循了词在数据集中的原始分布,并在附录中给出了这种平滑技术的理论证明。 2)基于概率统计学以及互信息等相关理论，提出了一种结合语义的位置语言模型。本文给出了该模型中每个未知参数的估计思想以及估计方法，并且进一步对比了位置语言模型和结合语义的位置语言模型的异同点。最后证明了位置语言模型是本文模型的一个特例。 3)通过实验表明，基于本文模型的检索模型在检索性能方面要优于基于位置语言模型的检索模型。本文还进一步对模型中的参数进行了敏感度分析，主要分析了三个参数对这两个检索模型的影响。

关键词：位置语言模型互信息平滑技术信息检索语义关系

来源：评论

学校读者我要写书评

暂无评论

改善语言模型于中文广播新闻节录式摘要

改善语言模型于中文广播新闻节录式摘要

引用

作者：刘士弘国立台湾大学

学位级别：博士

由于网际网路的蓬勃发展与大资料时代的来临，近几年来自动摘要(Automatic Summarization)已俨然成为一项热门的研究议题。节錄式(Extractive)自动摘要是根据事先定义的摘要比例，从文字文件(Text Documents)或语音文件(Spoken Documen... 详细信息

由于网际网路的蓬勃发展与大资料时代的来临，近几年来自动摘要(Automatic Summarization)已俨然成为一项热门的研究议题。节錄式(Extractive)自动摘要是根据事先定义的摘要比例，从文字文件(Text Documents)或语音文件(Spoken Documents)中选取一些能够代表原始文件主旨或主题的重要语句当作摘要。在相关研究中，使用语言模型(Language Modeling)结合库尔贝克-莱伯勒离散度(Kullback-Leibler Divergence)的架构来挑选重要语句之方法，已初步地被验证在文字与语音文件的自动摘要任务上有不错的成果。基于此架构，本论文提出几个改善语言模型方法的研究。第一，我们探究语句明确度(Clarity)资讯对于语音文件摘要任务之影响性，并进一步地借由明确度的辅助来重新诠释如何能在自动摘要任务中适当地挑选重要且具代表性的语句。第二，本论文亦针对语句模型的调适方法进行研究；在运用关联性(Relevance)的概念下，尝试借由每一语句各自的关联性资讯，重新估测并建立语句的语言模型，使其得以更精准地代表语句的语意内容。第三，本论文提出使用重叠分群(Overlapped Clustering)的概念来额外考量两两语句之间关联性(Sentence Relatedness)的资讯，除此之外，重叠分群更可用来当作语句的事前机率，使得更有效地选取重要的语句当作摘要。最后，传统语言模型在建立语句模型时通常只考虑各别每个单一词汇，并未考量到长距离的其它词汇，因此本论文提出使用邻近(Proximity)与位置(Position)的资讯来建立语句模型，以期增进自动摘要之效能。本论文的语音文件摘要实验语料是采用中文公视广播新闻(MATBN)，所使用的语音辨识工具为中文大词汇连续语音辨识器(LVCSR)；实验结果显示，相较于其它现有的非监督式摘要方法，我们所发展的多个新颖式摘要方法能提供明显的效能改善。

关键词：节录式自动摘要语言模型库尔贝克-莱伯勒离散度语句明确度关联性重叠分群邻近语言模型位置语言模型

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：