检索结果-内蒙古大学图书馆

作者：王旭北京大学

学位级别：硕士

视频中的字幕文字是视频内容的重要载体之一,反映了视频内容的高层语义信息,为海量多媒体信息的管理和检索提供重要的线索。准确、高效的字幕识别系统具有广泛的应用价值,同时,由于字幕的文字和背景具有多变性,字幕识别涉及的一些问题... 详细信息

视频中的字幕文字是视频内容的重要载体之一,反映了视频内容的高层语义信息,为海量多媒体信息的管理和检索提供重要的线索。准确、高效的字幕识别系统具有广泛的应用价值,同时,由于字幕的文字和背景具有多变性,字幕识别涉及的一些问题也具有较强的理论研究意义。本文针对视频字幕的检测和识别方法进行了研究,并实现了一种基于隐马尔可夫模型的字幕识别系统。该系统主要包括字幕检测和字幕识别两个部分。　　在字幕检测部分,本文利用了视频字幕图像序列的空间特性和时域特性进行处理。针对汉字的笔画和字幕图像的特点,在单帧图像上利用颜色模型和内外边缘模型确定候选的字幕区域,再利用视频的时域特性对候选字幕区域进行分割和合并处理,确定每条字幕的起止位置,以提高字幕识别部分的效率和准确率。　　在字幕识别部分,首先,在确定了字幕区域后,对得到的字幕图像做进一步的处理,去除字幕的背景区域并对字幕文字进行增强,然后利用Gabor滤波器组提取文字的多尺度特征作为字符图像的特征。在最终的识别阶段,利用隐马尔可夫模型对特征图像进行建模,将字符的切分和识别融合在一个过程中进行,避免了字符切割错误对识别结果的影响。引入统计语言模型进一步提高了字符识别的准确性。　　本文在收集的电视节目视频数据集上对采用的字幕识别方法进行了测试,实验表明,本文的字幕检测和识别方法取得了较为理想的效果,字幕检测的召回率达到了97.5％,字幕识别的正确率达到了95.1％。

关键词：视频字幕检测字符识别边缘模型 Gabor滤波器组隐马尔可夫模型统计语言模型

来源：评论

学校读者我要写书评

暂无评论

语言模型在信息检索中的应用

引用

情报学报 2011年第7期30卷 704-713页

作者：苏绥林原林鸿飞大连理工大学信息检索研究室大连116024

基于语言模型的检索方法为信息检索领域开辟了一个很有前景同时也具有相当挑战性的方向。与传统检索模型相比，语言模型不仅具有良好的理论基础，而且非常灵活，经过简单的变换很容易推演出其他经典的检索模型。此外，大量的实验结果表... 详细信息

基于语言模型的检索方法为信息检索领域开辟了一个很有前景同时也具有相当挑战性的方向。与传统检索模型相比，语言模型不仅具有良好的理论基础，而且非常灵活，经过简单的变换很容易推演出其他经典的检索模型。此外，大量的实验结果表明，该方法的检索效果优于其他检索模型，因而一经提出便受到了广大研究人员的青睐。然而当前语言模型方法的研究主要集中在单语检索任务中，很少有研究关注语言模型方法在跨语言检索中的应用，针对这个问题，本文在系统介绍基于语言模型检索方法的基础上，将语言模型方法扩展到跨语言检索任务中，介绍了两个跨语言检索模型：统计翻译模型和跨语言相关语言模型。

关键词：统计语言模型跨语言信息检索相关模型

来源：评论

学校读者我要写书评

暂无评论

基于大规模问答对数据的问题检索模型

引用

计算机工程 2011年第21期37卷 29-31页

作者：蔡宇杨广超重庆医科大学附属第一医院网络信息中心重庆400016 重庆大学计算机学院重庆400044

根据用户提交的查询请求,利用统计语言模型计算查询请求和问句之间的相似度,确定用户查询词所代表的信息需求,由此从海量数据中检索出可以满足该信息需求的问答对,并使用答案质量评估模型对其进行评估。实验结果表明,该问题检索模型可... 详细信息

根据用户提交的查询请求,利用统计语言模型计算查询请求和问句之间的相似度,确定用户查询词所代表的信息需求,由此从海量数据中检索出可以满足该信息需求的问答对,并使用答案质量评估模型对其进行评估。实验结果表明,该问题检索模型可以根据用户请求提供具有较高质量的问答对答案。

关键词：问答对数据统计语言模型答案质量评估问题检索语义相似度

来源：评论

学校读者我要写书评

暂无评论

基于Viterbi改进算法的高棉语分词研究

引用

计算机工程 2011年第15期37卷 174-176页

作者：蒋艳荣刘习文陈耿涛广东工业大学计算机学院广州510006 湘潭大学机械工程学院湖南湘潭411105 广东国笔科技股份有限公司广州510620

采用最大匹配算法对高棉语进行分词准确率较低,且难以正确识别词库中没有的新词。针对该问题,采用改进的Viterbi算法,利用自动机实现音节切分,通过最优选择及剪枝操作提高分词效率,以统计语言模型对未知新词进行数据平滑,提高识别正确... 详细信息

采用最大匹配算法对高棉语进行分词准确率较低,且难以正确识别词库中没有的新词。针对该问题,采用改进的Viterbi算法,利用自动机实现音节切分,通过最优选择及剪枝操作提高分词效率,以统计语言模型对未知新词进行数据平滑,提高识别正确率。实验结果表明,改进的Viterbi算法具有较高的分词效率和准确率。

关键词： Viterbi算法最大匹配算法分词高棉语剪枝统计语言模型

来源：评论

学校读者我要写书评

暂无评论

基于统计语言模型的汉语浅层分析研究

基于统计语言模型的汉语浅层分析研究

引用

作者：高红大连理工大学

学位级别：博士

句法分析是自然语言处理中的重点和难点。针对完整的句法分析在处理大规模真实文本中遇到的困难，许多研究人员尝试着把一个完整的句法分析问题分解为若干个子问题，以逐步降低完整句法分析的难度，提高分析效率。浅层分析就是在这样的... 详细信息

句法分析是自然语言处理中的重点和难点。针对完整的句法分析在处理大规模真实文本中遇到的困难，许多研究人员尝试着把一个完整的句法分析问题分解为若干个子问题，以逐步降低完整句法分析的难度，提高分析效率。浅层分析就是在这样的发展趋势下出现的一种新的语言处理策略。它致力于识别句子中某些结构相对简单、但在句子组成中意义重要的成分，从而简化句子结构，为句子更深层次的分析提供基础。浅层分析不仅对需要完全句法分析的机器翻译有重要的作用，而且在一些不需要完全句法分析的自然语言处理任务中也有广泛应用，如词典编纂、信息提取、文本分类、文摘生成和问答系统等领域。随着在语料库基础上发展起来的经验主义方法在自然语言处理中的广泛应用，统计语言模型已经成为当前各项自然语言处理任务中的主流技术。本文在统计方法的基础上对汉语浅层分析进行了研究，主要包括：新词识别，命名实体识别和组块分析。提出了互信息与串频统计相结合的新词识别方法。识别的新词主要指未登录词中的非命名实体。将单字、单字词及其相邻的多字词列入新词的候选成分，计算候选成分之间的互信息时，融合了成词可信度信息和词长信息，并将串频统计信息加入到可能包含新词的候选字段对应的互信息向量中。该方法可以识别由多字词与单字或多字词与单字词组成的新词，取得了较好的新词识别结果。命名实体是一种很重要的未登录词。未登录词的存在会造成自动分词的错误，分词错误又会反过来影响未登录词的识别。针对自动分词与命名实体识别之间存在互相影响的矛盾问题，提出了一种基于有向图语言模型的与分词一体化的命名实体识别方法。将普通候选词和命名实体候选词映射为有向图节点，将候选词之间的接续关系映射为有向边。利用N-gram模型为有向边赋以合适的权值，使句子最好的分词方式尽可能对应有向图的最短路径。该一体化方法提高了命名实体识别的精度。给出了双规则AdaBoost(DR-AdaBoost)分类算法并将其成功应用于汉语组块分析。DR-AdaBoost算法在每次迭代中将双规则(最优弱分类规则和次优弱分类规则)线性组合作为评价标准．在UCI数据集和CoNLL-2000共享数据集(英语组块分析)上的测试结果表明、该算法与AdaBoost算法相比，收敛速度快且分类精度高。在汉语组块分析任务中，DR-AdaBoost算法提高了组块分析的精度。DR-AdaBoost算法还可以应用于其它自然语言处理任务或其它分类问题中。

关键词：统计语言模型汉语浅层分析新词识别命名实体识别组块分析

来源：评论

学校读者我要写书评

暂无评论

基于统计语言模型和Passage特征的信息检索模型研究

基于统计语言模型和Passage特征的信息检索模型研究

引用

作者：党可哈尔滨工业大学

学位级别：硕士

信息检索模型是对信息检索任务及实现方法的一种抽象描述。信息检索模型是信息检索理论研究的一个核心内容,因此对于它的研究有重要的理论意义和实用价值。另外,统计语言模型自从被应用到信息检索领域就被认为是优秀的信息检索模型框架... 详细信息

信息检索模型是对信息检索任务及实现方法的一种抽象描述。信息检索模型是信息检索理论研究的一个核心内容,因此对于它的研究有重要的理论意义和实用价值。另外,统计语言模型自从被应用到信息检索领域就被认为是优秀的信息检索模型框架。该模型框架已经被广泛地研究。passage是信息检索领域中被利用的有效语言学特征之一。本文主要研究对象是基于统计语言模型框架和passage特征的信息检索模型。具体地讲,本文研究主要内容如下: 1.本文考察了经典信息检索模型及其扩展模型,分析了应用于信息检索领域的统计语言模型及其平滑方法。同时,本文讨论了passage的分类。然后,本文提出了一种新的信息检索模型──PJM。通过扩展Jelinek-Mercer平滑方法,该模型把passage特征成功地引入到了统计语言模型框架中。在TREC测试集上的实验结果表明,和传统的简单语言模型相比,新模型性能有了显著的提高。为了对模型进行实验,本文介绍了实验使用的平台:Lemur。 2.本文进一步研究了如何在语言模型框架下更好地利用passage特征。本文分析了信息检索领域对passage特征研究的两个方向:关于passage形式的研究和如何利用已有passage的研究。此外,本文总结了两个研究方向的具体做法,为以后的相关研究奠定了基础。然后本文比较了别的学者提出的方法与新的PJM模型,用实验证明了在统计语言模型框架下综合passage级别和文档级别两者信息相对仅仅使用passage级别信息也可以产生检索效果的提升。 3.本文通过结合不同平滑方法(Jelinek-Mercer和Dirchlet),在PJM模型基础上扩展出了三个变体模型。实验结果表明这三个新模型的检索效果也显著超越了原有的简单语言模型,同时与PJM模型检索性能相当。

关键词：信息检索模型统计语言模型 passage 平滑

来源：评论

学校读者我要写书评

暂无评论

大规模文档标签自动标注技术研究

大规模文档标签自动标注技术研究

引用

作者：孙珂哈尔滨工业大学

学位级别：博士

作为一种全新的网络应用,社会化标注系统(Social Bookmarking System)通过Web2.0技术为普通用户提供了便利的网络资源的标注机制,由此收集到了大量用户标注资源:标签(User Tag),并形成了一种全新的信息分类模式:分众分类法(Folksonomy)... 详细信息

作为一种全新的网络应用,社会化标注系统(Social Bookmarking System)通过Web2.0技术为普通用户提供了便利的网络资源的标注机制,由此收集到了大量用户标注资源:标签(User Tag),并形成了一种全新的信息分类模式:分众分类法(Folksonomy)。由于受到不完整与错误的用户标注行为的影响,标签的可重用性问题成为影响社会化标注系统数据质量的关键问题。该问题在一定程度上影响了社会化标注系统的信息索引能力,并降低了标签数据作为信息资源的可用性。因此,如何在不影响用户使用体验与标注积极性的前提下,解决标签的可重用性问题,成为了社会化标注系统中一个亟待解决的关键性技术问题。针对标签的可重用性问题,标签自动标注技术基于对用户的历史行为及待标注网络资源的深入分析与学习,作为一种辅助机制被提出并得到了广泛的关注。该技术可以自动筛选出与待标注资源相关的优质标签并实时的将其推荐给用户;通过标签自动标注技术,社会化标注系统可以在降低用户标注门槛的同时,鼓励用户贡献更多标签,并通过自动的质量控制策略,引导用户提供质量更高的标签,从而形成一个良性的自反馈学习系统,逐步提高标签的可重用性。本文针对大规模文档的标签自动标注技术展开了相关研究,研究内容包括以下四个方面: 第一,通过对文本对象的深入分析,结合传统的信息推荐技术,将产生式的理论框架融入标签自动标注技术之中,提出了一种基于统计语言模型的文档标签排序标注框架(Language Model for Tag Ranking,LMTR),使得标签自动标注技术能够更为精确地描述标签集与文本对象之间的关系,并据此提出了两种排序标注语言模型,在随后的实验中,验证了上述模型的标注性能。第二,针对LMTR模型所存在的标注效率问题,就大规模文档的标注效率优化问题展开了研究。通过分析影响LMTR模型标注效率的相关因素,提出了一种基于候选标签生成策略的大规模文档自动标注系统框架架,以及基于向量空间模型、标签共现理论以及信息抽取理论的三种候选标签生成算法,并对上述算法进行了实验验证。第三,针对标签排序推荐技术所面临的优质标签词典的构建问题,就标签质量评估问题展开了研究,提出了基于明晰度和分类特征的标签质量度量方法,并通过实验验证了上述方法的性能。随后,通过排序融合算法就标签质量对LMTR算法的影响进行了实验探索。第四,基于对用户行为与社会化标注系统的深入观察,提出了最小描述标签集集((Minmum Description Tag-set, MDT))的定义,并据此提出了一种全新标签自动标注框架:基于最小描述标签集的自动标注框架(MDT框架架)),通过将自动标注系统的标注目标从单个标签扩展至最小描述标签集,更为泛化、形式化地描述了标签集与实体之间在特定用户偏好下的依赖关系。为解决MDT框架所面临的寻找最小描述标签集的问题,提出了一种基于贪心算法的标签集寻优算法,并使用语言模型对面向文档的描述函数进行了建模。实验结果表明,MDT框架展现出了与期望相符的标注性能。

关键词：标签自动标注统计语言模型大规模文档处理标签质量评估最小描述标签集

来源：评论

学校读者我要写书评

暂无评论

基于词典与日志挖掘的查询扩展问题研究

基于词典与日志挖掘的查询扩展问题研究

引用

作者：冯志铨南开大学

学位级别：硕士

在信息检索系统中，由于用户查询语句过短而导致的词不匹配、信息迷向和信息过载等问题，成为制约检索质量的主要因素之一。实践表明，根据一定的策略为原查询语句附加更多的关键词，然后把新构造的查询语句用于检索，可以有效改善检索... 详细信息

在信息检索系统中，由于用户查询语句过短而导致的词不匹配、信息迷向和信息过载等问题，成为制约检索质量的主要因素之一。实践表明，根据一定的策略为原查询语句附加更多的关键词，然后把新构造的查询语句用于检索，可以有效改善检索结果的查准率和查全率，提高检索质量，这就是查询扩展。基于词典的查询扩展方法是一种行之有效的查询扩展方法，该方法以同义词典作为扩展源，根据原查询关键词给出与之相关的扩展词。但是，由于大数据量的词典一般以机器的方式生成，给出的扩展词往往含有噪音，这些不合理的噪音词会降低查询扩展的性能。为此，本文主要研究和改进了基于词典的查询扩展方法，以达到降噪目的。\n 本文应用统计语言模型，提出一种度量原查询与扩展词之间相关度的方法，把原查询与扩展词的相关度作为筛选扩展词的依据，并建立一种基于词典与日志挖掘的查询扩展处理模型。本文的研究内容主要包括以下三点：一、以二元统计语言模型为基础，建立扩展相关度计算模型，提出一种从候选扩展词中筛选合适扩展词的方法，降低查询扩展的噪音；二、利用查询日志构建二元统计语言模型，为了解决数据稀疏问题，改进了基于Good-Turing估计的数据平滑策略；三、为了使扩展相关度的计算更加准确，利用从查询日志统计得到的词频信息，提出基于似然比的二元组词间关联度计算方法。\n 实验表明，与原来基于词典的查询扩展方法比较，利用本文提出的查询扩展方法，试验系统的检索结果在查准率和查全率方面均有所提高。

关键词：信息检索查询扩展统计语言模型似然比日志挖掘数据平滑策略

来源：评论

学校读者我要写书评

暂无评论

Kullback-Leibler距离检索框架下文摘在检索中的应用

Kullback-Leibler距离检索框架下文摘在检索中的应用

引用

作者：姜鹏昆明理工大学

学位级别：硕士

随着Internet技术的迅速发展,如何在浩如烟海的信息海洋中快速而准确的找到自己所需要的信息资源,是迫切需要解决的问题。目前,信息检索工具已经成为人们获得信息的不可或缺的工具。作为文本信息检索技术的数学技术,信息检索模型是对检... 详细信息

随着Internet技术的迅速发展,如何在浩如烟海的信息海洋中快速而准确的找到自己所需要的信息资源,是迫切需要解决的问题。目前,信息检索工具已经成为人们获得信息的不可或缺的工具。作为文本信息检索技术的数学技术,信息检索模型是对检索任务以及实现方法的一种逻辑抽象,这方面的研究有着重要的理论和使用价值。作为一种与自然语言处理工具,统计语言模型已经被证明具有良好的性能。而统计语言模型和信息检索相结合后所形成的检索模型的提出,是信息检索领域的重大进展。检索技术是人们获取所需信息的有效途径。作为自然语言处理技术的分支,自动摘要技术可以减轻用户的阅读压力,帮助他们提取主要的相关信息,该技术有利用信息的检索和再次处理,其信息简洁、清晰,是信息挖掘的有效手段。为了更好的满足用户的信息需求,研究人员将自动文摘和检索模型结合起来。本文主要研究了基于统计语言模型框架和文摘技术的信息检索模型。具体来讲,本文主要研究内容如下： 1)本文简单介绍了信息检索的原理,并描述了经典信息检索模型,分析了统计语言模型以及相关的平滑方法。 2)本文讨论了文摘的分类以及相应的文摘产生的方法,并分析了每种文摘产生方法的优缺点。由于需要一个鲁棒的文摘产生方法以应对信息检索过程中可能遇到的不同类型的文档,本文利用文档的表层特征信息,如词频、词在文档位置、词在句子中的位置等,来计算句子的权重,选择权重大的句子组成文摘。 3)本文进一步研究了如何在语言模型框架下更好的利用文摘,提出了相应的检索模型,并与个别学者提出的模型进行比较。在TREC测试集合进行的实验表明,本文提出的模型显著超越了原有的简单语言模型,并与其他学者提出的模型性能相当甚至更好。 4)查询扩展是查询反馈常用的手段,本文研究了K-L距离检索框架内如何利用文摘实现查询扩展,为查询扩展研究提供了一条可行思路。

关键词：信息检索模型统计语言模型文摘文档扩展

来源：评论

学校读者我要写书评

暂无评论

引入WiKi知识库的历史网页推荐性检索系统的研究与实现

引入WiKi知识库的历史网页推荐性检索系统的研究与实现

引用

作者：林武北京大学

学位级别：硕士

本文主要是分析在历史网页搜索中若干导致用户不满意检索结果的原因,并提出解决方案。在历史网页搜索中一个重要的特点:检索结果按照时间排序。当检索结果按时间排序时,可能会导致低相关度的网页排在返回结果前面的问题。这是导致用户... 详细信息

本文主要是分析在历史网页搜索中若干导致用户不满意检索结果的原因,并提出解决方案。在历史网页搜索中一个重要的特点:检索结果按照时间排序。当检索结果按时间排序时,可能会导致低相关度的网页排在返回结果前面的问题。这是导致用户对检索结果不满意的一种原因。导致用户不满意的其它原因还包括查询词过短和歧义。本文提出引入Wikipedia数据集作为外部数据源,来减少用户的不满意度。在Wikipedia的辅助下,进行基于Wikipedia类别的相关推荐能够减少查询词出现歧义的情况。借助Wikipedia,进行查询反馈和过滤来处理由原来简短的查询词所带来一些的问题。本文研究并设计了在查询推荐,查询反馈以及过滤中的相关算法。最后提出了一种新的排序策略,考虑了按时间排序和相似得分两种因素。\n 更具体来说有以下几个方面:\n 1.首先本文提出基于Wikipedia“分类”域的查询推荐。由于Wikipedia分类不是经过严格定义的关系,不少”分类”类别是无用的,有的甚至对不利于进行查询推荐。为了解决这个问题,利用Wikipedia类别的层次关系,本文中把一些“分类”类别转化为Wikipedia类别中的高层类别。本文通过改进Labeled Latent Dirichlet Allocation来处理高层类别比起原来分类更加不够具体的情况。\n 2.其次研究了在查询反馈和过滤中提出关键词的方法。本文假定关键词存在两种类型的关键词,它们在用户表达信息需求时的角色是不同的。第一类关键词与信息需求直接相关的。而第二类关键词一些领域下功能性关键词。提出利用查询反馈中生成的第一类关键词来提高整体的检索性能,而使用第二种关键词进行过滤的方法来进一步提高检索精度。\n 3.受到nDCG思想的启发,本文,提出一种权衡时间因素和排序得分的策略。本策略是在按照时间排序情况下,考虑排序得分的影响。其思想是通过隐藏一部分因为排序得分较低而排在返回结果前面的网页,从而在保留按时间排序的情况下,进一步提高检索精度。经过初步的实验数据表明,在按照时间排序的情况下,在指标MAP,P@N和nDCG上有较好的提高。

关键词：历史网页主题模型推荐性检索系统查询过滤相关反馈统计语言模型

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：