检索结果-内蒙古大学图书馆

计算机研究与发展 2017年第6期54卷 1326-1336页

作者：秦雄军张佳程陆游游舒继武清华大学计算机科学与技术系北京100084

近年来,非关系型的key-value数据库得到越来越广泛的应用.然而,目前主流的key-value数据库或者是基于磁盘设计的,或者是传统的基于文件系统和闪存转换层FTL来构建的,难以发挥闪存存储设备的特性,限制了I/O的并发性能,且垃圾回收过程复杂... 详细信息

近年来,非关系型的key-value数据库得到越来越广泛的应用.然而,目前主流的key-value数据库或者是基于磁盘设计的,或者是传统的基于文件系统和闪存转换层FTL来构建的,难以发挥闪存存储设备的特性,限制了I/O的并发性能,且垃圾回收过程复杂.设计并实现了一种基于裸闪存的keyvalue数据管理架构Flashkv,通过用户态下的管理单元进行空间管理和垃圾回收,充分利用了闪存设备内部的并发特性,并简化了垃圾回收过程,去除了传统文件系统和FTL中的冗余功能,缩短了I/O路径.提出了基于闪存特点的I/O调度技术,优化了闪存的读写延迟,提高了吞吐率;提出了用户态缓存管理技术,降低了数据写入量和频繁系统调用所带来的开销.测试结果表明,Flashkv性能是levelDB的1.9~2.2倍,写入量减少60%~65%.

关键词： key-value数据库闪存裸设备数据存储使用寿命

来源：评论

学校读者我要写书评

暂无评论

一种基于key-value数据库的快速地名地址输入提示方法

引用

计算机应用研究 2017年第11期34卷 3334-3338,3344页

作者：曹广顺呙维朱欣焰佘冰武汉大学测绘遥感信息工程国家重点实验室武汉430079 警用地理信息技术公安部重点实验室江苏常州213022

现有地址输入提示方法涉及标准地址和POI的研究较少,地址字符串的索引大多采用Trie(字典)树索引,但Trie树建立时内存消耗巨大,在面临海量数据时,问题更加突出。针对以上问题,提出一种基于key-value数据库的快速地名地址输入提示方法。... 详细信息

现有地址输入提示方法涉及标准地址和POI的研究较少,地址字符串的索引大多采用Trie(字典)树索引,但Trie树建立时内存消耗巨大,在面临海量数据时,问题更加突出。针对以上问题,提出一种基于key-value数据库的快速地名地址输入提示方法。该方法基于Trie树结构进行改进,降低了地址索引的复杂度;基于keyvalue数据库构建Trie树,避免了内存消耗巨大的问题。实验结果表明,基于key-value数据库构建的Trie树索引较基于内存构建的Trie树索引在事务响应性能和内存消耗方面具有明显的优势和效率。

关键词： Trie树 key-value数据库地名地址输入提示

来源：评论

学校读者我要写书评

暂无评论

基于操作历史图的分布式key-value数据库一致性检测算法

引用

计算机科学 2019年第12期46卷 213-219页

作者：廖彬张陶李敏于炯国冰磊刘炎新疆财经大学统计与数据科学学院乌鲁木齐830012 新疆大学信息科学与工程学院乌鲁木齐830046 新疆医科大学医学工程技术学院乌鲁木齐830011 清华大学软件学院北京100084

分布式数据库系统的副本机制在提高系统可靠性及性能的同时,导致了多副本数据管理的一致性问题;数据一致性的实现需要一致性协议模型来进行预防,也需要一致性检测算法对非一致数据进行检测。首先,对读写操作记录之间的时序关系、安全一... 详细信息

分布式数据库系统的副本机制在提高系统可靠性及性能的同时,导致了多副本数据管理的一致性问题;数据一致性的实现需要一致性协议模型来进行预防,也需要一致性检测算法对非一致数据进行检测。首先,对读写操作记录之间的时序关系、安全一致性及并行一致性原则等概念进行定义;其次,根据操作记录集合中读写操作之间的并行与时序关系,提取出操作记录集合向操作记录图转化的规则,并在此基础上设计了操作记录向历史记录图的转化算法;然后,以历史记录图为输入,设计了违反一致性查找算法,查找并返回图中所有违反安全与并行一致性读操作的集合;最后,基于Cassandra进行实验并将读写一致性设置为ONE,通过YCSB产生并行读写压力测试,与同类算法的对比实验验证了所提算法在功能与效率两方面的优越性。

关键词：分布式数据库 key-value数据库一致性原则一致性检测 DAG图

来源：评论

学校读者我要写书评

暂无评论

基于LevelDB的二维数据二级索引实现

引用

华东师范大学学报（自然科学版） 2019年第5期 159-167页

作者：刘子豪胡卉芪徐瑞周烜华东师范大学数据科学与工程学院

随着科学研究中产生的空间数据尤其是二维数据量级的增长和NoSQL型数据库技术的发展,越来越多的空间数据被存储到NoSQL数据库中.LevelDB是一款开源的key-value型NoSQL数据库,由于它基于LSM架构并拥有较好的写入性能而被广泛应用.但是key... 详细信息

随着科学研究中产生的空间数据尤其是二维数据量级的增长和NoSQL型数据库技术的发展,越来越多的空间数据被存储到NoSQL数据库中.LevelDB是一款开源的key-value型NoSQL数据库,由于它基于LSM架构并拥有较好的写入性能而被广泛应用.但是key-value结构的局限性使其无法有效地索引空间数据,对于这个问题本文提出了一种基于LevelDB和R-tree的二级索引,使其可以支持二维数据的索引和近邻查询.实验结果表明该结构有较好的可用性.

关键词： key-value数据库二级索引 R-tree

来源：评论

学校读者我要写书评

暂无评论

基于LSH的进化计算代理模型高效邻域查询研究

基于LSH的进化计算代理模型高效邻域查询研究

引用

作者：程凯丽太原科技大学

学位级别：硕士

近年来,进化算法逐步成为解决传统优化算法难以克服的复杂问题的有效手段。但是适应值的计算需要消耗大量的时间成本,为了减少计算消耗的时间,其中一种解决办法是通过代理模型来估算适应值。代理模型一般需要查找个体的邻域数据,通常需... 详细信息

近年来,进化算法逐步成为解决传统优化算法难以克服的复杂问题的有效手段。但是适应值的计算需要消耗大量的时间成本,为了减少计算消耗的时间,其中一种解决办法是通过代理模型来估算适应值。代理模型一般需要查找个体的邻域数据,通常需要经过目标数据和其他数据一一进行位置距离比较而得到,时间复杂度很大。为了减少代理模型中查找邻域数据所需的时间,本文利用了局部敏感哈希技术(LSH)。在基于p-稳定分布的局部敏感哈希索引的基础上进行改进,提出了基于碰撞的p-稳定分布的LSH算法(CPLSH),该算法减少了使用哈希函数的个数,并选择碰撞率高的数据作为候选集,从而更高效地找到邻域数据。为了验证改进后的算法,使用两个高维数据集进行实验,然后与代理模型结合起来,将其加入到微粒群算法中,利用四种测试函数,通过实验验证该算法在进化算法代理模型中的有效性。基于以上的研究,设计实现了进化计算历史数据的key-value数据库原型系统。除了基本的增删改查功能外,该系统还增加了邻域查询功能,以便有效提高代理模型邻域查询的效率。邻域数据的查询使用基于碰撞的p-稳定分布的LSH算法实现。此外,当内存数据过大时,定期将内存数据存入磁盘,并构建多级结构区分热数据和冷数据,实现持久化存储和外存上的高效查询。

关键词： CPLSH 邻域查询代理模型进化算法 key-value数据库

来源：评论

学校读者我要写书评

暂无评论

高可用与高可扩展的key-value存储系统的设计与实现

高可用与高可扩展的Key-Value存储系统的设计与实现

引用

作者：罗文文北京邮电大学

学位级别：硕士

随着Web2.0网站的兴起，互联网进入了全新的高速发展期。用户的规模不断扩大，用户的参与度和交互程度空前提高，数据量呈几何指数增长，应用也越来越多样化和多元化。以上现状对于数据库技术提出了巨大的挑战，包括如何应对海量数据的... 详细信息

随着Web2.0网站的兴起，互联网进入了全新的高速发展期。用户的规模不断扩大，用户的参与度和交互程度空前提高，数据量呈几何指数增长，应用也越来越多样化和多元化。以上现状对于数据库技术提出了巨大的挑战，包括如何应对海量数据的高并发读写请求，如何支持系统的高可用性及高可扩展性等。传统的关系型数据库由于自身的特点，遇到了很多功能和性能上的瓶颈。为了应对以上挑战，弥补关系型数据库的缺陷，NoSQL数据库应运而生。NoSQL数据库是非关系型数据存储系统的统称，其中key-value数据库是以键值对为数据模型进行存储的，它是NoSQL数据库的众多类型中运用最广泛的一种。　　本文在研究key-value数据库技术发展的基础上，为了满足高可用性和高可扩展性等需求，提出了一种基于Berkeley DB的高可用与高可扩展key-value存储系统。本系统的创新点有以下几个方面：　　 (1)基于虚拟节点的数据划分，与集群物理拓扑结构彻底解耦，同时适应了服务节点的异质性的特点，并保证了系统易用的高可扩展性。　　 (2)基于主从复制组模型，不仅方便系统进行读扩展，同时具有热备切换的功能，避免了主节点故障带来的服务不可用，解决了单点问题，提高了系统的可持续服务能力。　　 (3)提出了一种“零跳”的动态路由策略，将请求从本地直接路由到相应的服务节点，与其他多跳路由策略相比，减少了路由过程的时延。　　 (4)支持策略的可配置性，根据不同的应用需求配置数据存储策略，增强了系统的灵活性。

关键词： key-value数据库高可用性高可扩展性虚拟节点动态路由策略支持策略

来源：评论

学校读者我要写书评

暂无评论

key-value数据存储加速技术研究

Key-Value数据存储加速技术研究

引用

作者：胡昊国防科学技术大学

学位级别：硕士

以大规模数据挖掘、商务智能、Web2.0应用等为代表的新的应用场合对数据库提出了新的挑战。这类新的应用往往要求后端数据库具备更高的读写性能、能够更有效的管理海量数据管理，扩展更方便、扩展代价更为低廉[1]。然而传统关系型数据... 详细信息

以大规模数据挖掘、商务智能、Web2.0应用等为代表的新的应用场合对数据库提出了新的挑战。这类新的应用往往要求后端数据库具备更高的读写性能、能够更有效的管理海量数据管理，扩展更方便、扩展代价更为低廉[1]。然而传统关系型数据库无法有力满足新型应用对数据库每秒钟上万次读写的要求；同时，在PB级数据时关系型数据库管理效率极其低下，无法支持基于PB级海量数据的数据分析。此外，传统关系型数据库扩展性能较差，数据节点扩展的代价较高，数据节点扩展往往意味着数据大量搬移和全系统停机。以key-value数据库为代表的NoSQL数据库克服了传统关系型数据库在大数据、高并发、高速读写、扩展性方面的不足。首先key-value数据库读写速度快，能够有效支持实时性应用；同时，相比于传统关系型数据库，key-value数据库的可扩展性更好，能够以较低的时空代价和较低的管理开销进行数据节点扩展。本文对key-value数据存储加速技术进行研究。本文首先提出了分段流水处理key-value请求的高性能key-value数据库框架StageDB。StageDB采用C/S结构，StageDB使用不同的流水处理段流水处理实现key-value请求处理过程中的异步事件处理、消息包解析校验、访问控制以及数据库CRUD操作，各个流水处理段都采用并发队列缓存key-value请求，采用工作者线程池异步并行处理key-value请求。然而多线程异步并行处理key-value请求时，属于同一用户进程的若干请求之间的读写依赖性有可能被破坏，表现为key-value请求原本的顺序在多线程处理时被打乱。本文提出基于依赖性分析的key-value请求并行处理加速算法，该算法保证了在StageDB各个流水处理段中异步并行处理key-value请求的情况下，key-value请求相互之间的读写依赖关系不变，使得所有用户key-value请求在最大限度得到并行处理的情况下，用户请求的依赖关系和数据一致性得到保证。测试结果表明，StageDB在随机写测试中性能优于Kyoto Cabinet，并且得到最大6倍于Kyoto Cabinet的加速比。本文对Skiplist查询算法的GPU加速进行了研究。多用户进程对StageDB进行并发访问时，StageDB key-value请求处理成为系统瓶颈。另一方面，多用户对数据库的并发访问是一类数据密集型应用场景，处理逻辑较为单一，适合在GPU进行加速。GPU具有强大的并行处理能力，强大的访存带宽，能以较低的运算能耗比加速处理数据密集型应用。本文介绍了面向GPU的跳跃表数据结构GSkiplist和面向GPU加速的GSkiplist查询算法。GSkiplist对经典Skiplist定义中随机高度的节点进行了归一化处理，使得针对GSkiplist节点后向指针的操作更适合在GPU上运行。此外，GSkiplist查找算法通过将GSkiplist后向指针的比较操作映射在不同的线程异步进行比较操作，同时处理多个key-value查询请求，实现了GSkiplist查询时间效率的优化。测试结果表明，在多用户进程并发访问的情况下，面向GPU的GSkiplist查询算法效率优于CPU查询算法，并且最多得到5.5倍于CPU查询算法的加速比。

关键词： key-value数据库流水处理并行处理算法 GPU加速

来源：评论

学校读者我要写书评

暂无评论

基于Hadoop的大数据查询系统简述

引用

计算机与数字工程 2013年第12期41卷 1939-1942页

作者：陈梦杰陈勇旭贾益斌张一川宋杰东北大学软件学院沈阳110819

近年来,随着计算机技术的迅猛发展,其领域迎来了大数据时代。随着大数据的出现,传统的关系型数据库已经不能满足高储存量的要求,此时成本低廉、有着良好并行性和伸缩性的云数据库应运而生,它采用键值对数据模型和分布式的计算环境。但... 详细信息

近年来,随着计算机技术的迅猛发展,其领域迎来了大数据时代。随着大数据的出现,传统的关系型数据库已经不能满足高储存量的要求,此时成本低廉、有着良好并行性和伸缩性的云数据库应运而生,它采用键值对数据模型和分布式的计算环境。但是海量数据在key-value数据库中的查询效率低下、实时性差等问题又普遍存在。为了解决查询效率低下这一问题,将多维数据模型和索引技术应用于key-value数据库,将事实数据以多维的形式进行存储并在多维模型上建立索引以加快查询速度。论文将系统地描述多维数据模型的建立和索引技术的实现,最后简单地和主流key-value数据库进行优缺点对比。

关键词：大数据 key-value数据库多维模型 Z-ordering K—d tree

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：