检索结果-内蒙古大学图书馆

作者：阴晓昱上海交通大学

学位级别：硕士

随着多核处理器技术日趋成熟,并行计算思想得到了推广和普及,这为大幅提高软件性能提供了有力的软硬件支持。本文通过对多核并行计算技术的分析和研究,针对全文检索引擎Lucene在索引大数据集文档时的性能瓶颈问题,提出了一种基于Lucene... 详细信息

随着多核处理器技术日趋成熟,并行计算思想得到了推广和普及,这为大幅提高软件性能提供了有力的软硬件支持。本文通过对多核并行计算技术的分析和研究,针对全文检索引擎Lucene在索引大数据集文档时的性能瓶颈问题,提出了一种基于Lucene多核并行索引的设计实现方法。本文提出的多核并行索引是一种在多核环境下进行高效快速构建Lucene索引的设计方案。多核并行索引以多核并行计算思想为理论基础,根据Lucene索引特性和并行库的支持,通过使用工作池和缓冲策略,优化了传统Lucene索引的I/O瓶颈,并采用生产者/消费者模式,解决了并行多任务索引的负载均衡问题。最终对Lucene传统的串行索引过程进行了多核并行化整合设计与实现。本文提出了一种多核并行索引的观点用以提高Lucene索引速度,其主要有两种具体实现:一种是并行缓存索引,主要针对大数据集初次创建索引和数据恢复重建索引的场景;另一种是并行增量索引,主要针对由于文档数据增减而需要频繁更新索引的场景。本文对多核并行缓存索引方法的设计和实现进行了详细的论述,阐述了任务池的构建、缓存索引的并行化、并发任务队列的应用等。最后针对基于Lucene的多核并行索引方法的实例进行了实验,同时对并行索引的应用效果进行了分析和比较。本文创新研究的意义在于:依据目前的测试结果,该方案可以提高Lucene索引性能约35%,尤其是针对大数据量的耗时索引任务,本文的多核并行索引方法能够充分发挥多核硬件的并行特性,大幅提高索引速度,减少用户数据维护时间,进而降低企业的运营成本,增加运行效率和市场竞争力。

关键词：并行索引并行模式多核处理器 Lucene PLM/PDM

来源：评论

学校读者我要写书评

暂无评论

基于Solr的海量数据并行索引及搜索缓存研究

基于Solr的海量数据并行索引及搜索缓存研究

引用

作者：梅江泽华中师范大学

学位级别：硕士

随着互联网信息技术的快速发展,企业信息化程度不断提高,各个行业内的数据信息急剧增长,而且信息的存在形式也越来越多样。这也使得如何使用户能够快速、精确的从企业的海量数据中找出所需要的关键信息变得越来越重要,而解决这一个问题... 详细信息

随着互联网信息技术的快速发展,企业信息化程度不断提高,各个行业内的数据信息急剧增长,而且信息的存在形式也越来越多样。这也使得如何使用户能够快速、精确的从企业的海量数据中找出所需要的关键信息变得越来越重要,而解决这一个问题的关键就是搜索引擎技术。随着开源企业级搜索应用服务器Solr的出现,越来越多的企业开始构建以此为基础的海量数据搜索服务系统。传统的搜索方式是使用文本数据库,虽然文本数据库和搜索引擎的技术基础都是全文检索技术,但是文本数据库在处理海量数据方面的能力无法跟搜索引擎相媲美。搜索引擎采用服务器集群和分布式计算的策略,能够处理较大的数据量。在海量数据的背景下,如何更好地利用开源Solr搜索引擎服务器搭建起快速高效的搜索引擎也成为重要的研究课题之一本文针对这种需求,在基于Solr搜索引擎服务器的基础上,进行海量数据搜索服务的研究。本文首先分析搜索引擎服务器集群的运行特点,运用随机过程中的排队模型对集群系统的可用性进行分析。接着在可用性的基础上深入研究搜索引擎的索引构建和搜索索引两个关键过程。索引构建的过程是将文本转化为能够被搜索引擎搜索的索引文件。本文在分析的基础上提出并行索引的方式,将文档构建索引过程中的部分串行操作并行化,并通过性能负载均衡的策略提高各节点的资源利用率,以应对海量数据构建索引的场景,加速索引的构建。对于搜索的过程,本文首先分析Solr的搜索过程,提出分级缓存模型。模型将频繁搜索的热点数据放置在缓存中,并对缓存数据进行分级,同时提出热相关数据的概念,通过词语相似度计算出与热点数据相似的数据,加载至缓存模型并进行分级操作。本文同时针对分级缓存模型提出了维护策略,充分利用缓存空间,最后改进传统的缓存预热算法,提高系统运行初期的缓存命中率。本文通过搭建搜索引擎服务器集群,对海量数据的索引构建和搜索过程进行实验研究。实验结果表明,本文提出的并行索引和分级缓存模型能够有效提升搜索引擎的索引构建速度和请求响应速度。

关键词：搜索引擎 Solr 并行索引分级缓存词语相似度

来源：评论

学校读者我要写书评

暂无评论

面向航天情报系统的并行索引技术的研究与实现

面向航天情报系统的并行索引技术的研究与实现

引用

作者：严欢西安电子科技大学

学位级别：硕士

随着航天技术的飞速发展,航天情报信息量急速增长,传统的人工跟踪情报的模式暴露出越来越多的缺点,比如不能高效查询航天情报数据,不能直观展示情报信息,不能实时更新数据,不能提供分析决策支持等。因此,本文构建了航天情报系统,将航天... 详细信息

随着航天技术的飞速发展,航天情报信息量急速增长,传统的人工跟踪情报的模式暴露出越来越多的缺点,比如不能高效查询航天情报数据,不能直观展示情报信息,不能实时更新数据,不能提供分析决策支持等。因此,本文构建了航天情报系统,将航天数据关联起来,结构化情报数据,提供高效的数据收集和管理方式,同时提供多维度的数据统计功能和多样化的数据可视化服务。对于日益增长的大规模航天情报数据,创建高性能数据库索引能极大地提高系统检索性能,而并行索引技术能为大规模数据检索提供良好的解决方案。本文首先研究了树结构索引、Hash索引、倒排索引等传统索引技术,以及二级索引、高维索引、双层索引、并行索引等大数据索引技术。通过研究发现,传统索引技术已不适用于大规模数据,而将索引并行化处理能极大地提高大数据索引效率。因此,在详细研究了数据索引技术和Hadoop框架后,本文将HT树索引结构与Hadoop相结合,提出了并行HT树索引技术。并行HT树索引利用Hadoop内置的容错性和并发管理特性,将数据集划分为多个较小的分片,并在各节点并行构建HT树索引。同时,采用并行HT树索引进行范围查询时,可以在Map阶段消除不包括检索关键词的那部分HT树,从而缩减搜索空间,减少范围查询时间。这种索引方式能有效减少大规模数据的索引构建时间,改善资源利用率,因此,该索引技术能极大地提高大规模结构化航天数据的检索效率。本文不仅提供了详细的并行HT树索引构建方案和实现算法,还对并行HT树的执行性能进行了以下优化:(1)在构建子HT树时采用自底向上的批量加载技术,提升HT树的空间效率,减小构建HT树的开销;(2)采用链式算法连接Job,减少中间数据的I/O开销;(3)提出基于负载统计的分区数据负载均衡优化策略,改善了HT树索引执行过程中数据倾斜带来的负载不均衡问题。通过对比分析基于Hadoop的无索引、并行全局聚簇索引和并行HT树索引的实验结果,验证了本文提出的并行HT树索引能有效提升索引执行效率和结构化数据的查询性能。最后,本文详细设计并实现了航天情报系统,该系统实现了用户权限管理、航天数据管理、数据最新更新、数据检索、数据统计等功能,同时将并行HT树索引应用于系统,极大地提升了系统中大规模航天数据的检索效率。

关键词： HT树并行索引 Hadoop 数据倾斜均衡分区

来源：评论

学校读者我要写书评

暂无评论

基于Lucene的“农搜”并行索引技术研究

引用

农业网络信息 2009年第8期 30-31,50页

作者：樊景超周国民中国农业科学院农业信息研究所北京100081

Lucene作为高度优化的倒排索引搜索引擎为搜索向垂直化和专业行业化发展提供了可能,打破了搜索的高技术壁垒。但在实际应用过程中遇到了两个主要问题:①随着被索引文件的增多,索引时间成线性增长,导致建索引的过程会影响搜索体验;②搜... 详细信息

Lucene作为高度优化的倒排索引搜索引擎为搜索向垂直化和专业行业化发展提供了可能,打破了搜索的高技术壁垒。但在实际应用过程中遇到了两个主要问题:①随着被索引文件的增多,索引时间成线性增长,导致建索引的过程会影响搜索体验;②搜索服务器的硬件门槛导致无法实现分布式索引。本文采用多台PC同时建索引再合并索引的方法形成了一个可扩展的搜索引擎解决方案。极大地缓解了建索引给搜索带来的问题。

关键词： Lucene 并行索引搜索引擎

来源：评论

学校读者我要写书评

暂无评论

一种支持高维数据实时有偏查询的并行索引方法

一种支持高维数据实时有偏查询的并行索引方法

引用

作者：王寅峰邓果丽许志良 518029 广东省深圳市龙岗区龙翔大道2188号

本发明适用于索引技术领域，提供了一种支持高维数据实时有偏查询的并行索引方法，所述方法包括：查询系统使用MapReduce等方法对数据属性进行特征抽取作为输入，由查询系统中的多个索引服务器采用数据密度弹性划分数据桶的哈希函数构... 详细信息

标准号: CN103455531B

本发明适用于索引技术领域，提供了一种支持高维数据实时有偏查询的并行索引方法，所述方法包括：查询系统使用MapReduce等方法对数据属性进行特征抽取作为输入，由查询系统中的多个索引服务器采用数据密度弹性划分数据桶的哈希函数构建并行索引，通过有向聚类映射方法将有偏查询所携带的距离改变投影以映射到该查询系统的多个索引服务器中；如果所述映射的误差超过用户能够接受的范围，查询系统将有偏查询提交并行组合的索引服务器分别处理；并行组合的索引服务器按用户给出的权重的比例分别返回经筛选后的结果，然后对所有返回的结果进行计算与合并，确保在确定的时间内返回查询响应的结果。本发明技术方案具有能够处理海量数据的优点。

关键词：索引服务器查询系统映射并行索引查询返回并行查询响应哈希函数海量数据数据属性索引技术特征抽取构建聚类权重维数有向投影筛选携带合并

来源：评论

学校读者我要写书评

暂无评论

一种大数据分布式存储及并行索引系统的构建方法

一种大数据分布式存储及并行索引系统的构建方法

引用

作者：张真 210000 江苏省南京市秦淮区永智路6号南京白下高新技术产业园区四号楼A栋9层

本发明公开了一种大数据分布式存储及并行索引系统的构建方法，数据在建立及存储的同时，还建立有数据立方索引，所述数据立方索引中插入有B+树结构；将数据分布式入库到各个数据节点上，每个数据节点分别对该节点上的数据独立的建立索... 详细信息

标准号: CN105005621A

本发明公开了一种大数据分布式存储及并行索引系统的构建方法，数据在建立及存储的同时，还建立有数据立方索引，所述数据立方索引中插入有B+树结构；将数据分布式入库到各个数据节点上，每个数据节点分别对该节点上的数据独立的建立索引，多个B+树结构堆叠在一起，与数据存储形成一个完整的数据立方结构；每一条新的记录只需要插入到B+树结构中；当新的记录到来时，将新的数据记录对应的一条索引记录插入到所有的字段索引中本发明所设计的大数据分布式存储及并行索引系统的构建方法，构建后的系统通过索引查询的方法，能够提高在云计算中海量数据检索的速度，降低资源浪费，节省时间，同时保障云计算系统内数据的安全。

关键词：树结构插入分布式存储并行索引构建方法数据节点大数据索引数据立方结构云计算系统建立索引节省时间数据存储数据记录数据检索索引查询索引记录资源浪费字段索引独立的云计算堆叠构建一种记录存储对应入库建立完整设计公开保障安全需要

来源：评论

学校读者我要写书评

暂无评论

一种矢量QR树并行索引方法

一种矢量QR树并行索引方法

引用

作者：吴立新杨宜舟郭甲腾 110819 辽宁省沈阳市和平区文化路3巷11号东北大学测绘遥感与数字矿山研究所

本专利公开了一种矢量QR树并行索引方法。在新型并行环境下，针对海量空间数据的高效索引尤为重要，且空间数据索引效率的高低是衡量空间数据库整体性能的关键。目前已有的并行索引方法不能突破方法主节点访问的瓶颈，难以解决进程间的... 详细信息

标准号: CN103049554B

本专利公开了一种矢量QR树并行索引方法。在新型并行环境下，针对海量空间数据的高效索引尤为重要，且空间数据索引效率的高低是衡量空间数据库整体性能的关键。目前已有的并行索引方法不能突破方法主节点访问的瓶颈，难以解决进程间的负载均衡问题。针对以上问题，本发明设计了一种针对矢量的Q树和R树协同的并行索引方法，内容包括：1)基于空间对象最小包围矩形的中心点构建QR树，利用多通道法将相邻的空间数据集划分至不同进程，实现进程间任务的负载均衡，且优化索引路径；2)对QR树进行主从式存储，优化索引读取；3)对QR树进行协同检索，突破根节点访问瓶颈。基于空间对象集划分的QR树构建、QR树主从式存储、QR树协同检索共同组成了QR树并行索引方法。本发明所涉及的QR树并行索引可为单机多核、众核与高性能集群环境的海量数据空间索引软件的开发与服务提供一种高效的矢量空间检索方法。

关键词：并行索引检索负载均衡空间对象矢量主从式协同索引存储读取海量空间数据空间数据索引最小包围矩形瓶颈空间数据库并行环境服务提供海量数据集群环境空间数据空间索引矢量空间索引路径进程多通道根节点树构建中心点主节点多核构建单机优化访问衡量开发

来源：评论

学校读者我要写书评

暂无评论

并行查询中的索引并行化技术

引用

华中科技大学学报（自然科学版） 2003年第1期31卷 13-15页

作者：王多强刘金根李庆华睢海燕华中科技大学计算机科学与技术学院

提出一种新的索引并行化技术 ,利用多处理机来提高建立在B树结构上的索引性能 ,并提出了一种改进的B树结构———FALNB树 ,基于该树结构 ,以大结点B树方式在多个处理机上分布索引数据 .通过动态调整算法快速进行调整 ,取得很好的负载平... 详细信息

提出一种新的索引并行化技术 ,利用多处理机来提高建立在B树结构上的索引性能 ,并提出了一种改进的B树结构———FALNB树 ,基于该树结构 ,以大结点B树方式在多个处理机上分布索引数据 .通过动态调整算法快速进行调整 ,取得很好的负载平衡效果 .给出了时间分析模型 .实验结果显示FALNB树能加快查询响应速度。

关键词：并行查询索引并行化并行索引并行B树 FALNB树并行处理并行关系数据库系统多处理机

来源：评论

学校读者我要写书评

暂无评论

并行密文倒排索引研究

引用

计算机工程与应用 2016年第20期52卷 14-19,45页

作者：束晓伟杨庚那海洋南京邮电大学计算机学院、软件学院南京210003

加密数据是保护用户隐私的一个方法,特别在开放系统中的数据处理需求更为迫切,但要解决如何在密文上进行检索的问题。针对SSE-1密文检索方案的一些性能缺陷,采用不同的加密策略,在lucene倒排索引的基础上,设计了密文倒排索引Crypt-Luce... 详细信息

加密数据是保护用户隐私的一个方法,特别在开放系统中的数据处理需求更为迫切,但要解决如何在密文上进行检索的问题。针对SSE-1密文检索方案的一些性能缺陷,采用不同的加密策略,在lucene倒排索引的基础上,设计了密文倒排索引Crypt-Lucene,同时结合云计算特点,设计了并行构建Crypt-Lucene方案,理论分析了方案的性能,并通过实验证明了方法的有效性。实验结果表明,Crypt-Lucene与SSE-1相比,索引构建时间减少了约为60%,同时具有较好的空间性能,对于大文档集合,利用Map Reduce在4结点构成的Hadoop集群上并行构建8个Crypt-Lucene索引能减少83.4%的时间。

关键词：可搜索加密密文倒排索引 lucene MapReduce 并行索引

来源：评论

学校读者我要写书评

暂无评论

云计算中基于索引的密文并行查询实现与优化

云计算中基于索引的密文并行查询实现与优化

引用

作者：束晓伟南京邮电大学

学位级别：硕士

信息技术的发展,人们日常生产生活中产生的数据日益增长,大数据以及云计算技术成为当下炙手可热的研究领域。“数据即服务”(DaaS)新型服务模式的兴起,越来越多的个人以及公司倾向于将数据保存在云端。然而,云环境开放性的特点给用户数... 详细信息

信息技术的发展,人们日常生产生活中产生的数据日益增长,大数据以及云计算技术成为当下炙手可热的研究领域。“数据即服务”(DaaS)新型服务模式的兴起,越来越多的个人以及公司倾向于将数据保存在云端。然而,云环境开放性的特点给用户数据带来了一系列的安全问题。加密数据是保护用户隐私的一种方法,特别在开放系统中的数据处理需求更为迫切,但要解决如何在密文上进行检索的问题。本文从加密数据的可检索性实际需求出发,分析了SSE-1密文检索方案的一些性能缺陷,然后在Lucene倒排索引的基础上采用不同的加密策略,结合AES算法,设计了二级密钥结构的密文倒排索引Crypt-Lucene,给出了Crypt-Lucene的具体构造方法和算法,并对其安全性进行了分析。同时结合云计算并行计算的特点,基于MapReduce设计了并行构建Crypt-Lucene方案,实现了并行算法,并给出了密文倒排索引集合的并行检索和更新步骤。最后理论分析了并行算法的时间开销以及加速比。理论分析和实验结果表明,并行Crypt-Lucene保证了加密数据的可检索性同时能够高效地构建密文倒排索引。Crypt-Lucene与SSE-1相比,索引构建时间约减少了60%,索引检索也较SSE-1更为高效平稳。密文倒排索引空间比Lucene明文倒排索引空间仅增加了14%,具有较好的空间性能。对于大文档集合,利用MapReduce在4节点构成的Hadoop集群上并行构建8个Crypt-Lucene索引能减少83.4%的时间,能够近似达到理论加速比n,其中n为索引集合中索引个数。

关键词：可搜索加密密文倒排索引 Lucene MapReduce 并行索引

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：