检索结果-内蒙古大学图书馆

华东师范大学学报（自然科学版） 2022年第5期 26-35页

作者：唐永金孙家博蔡鹏华东师范大学数据科学与工程学院上海200062

混合事务分析处理(Hybrid Transaction Analytical Processing, HTAP)系统需要同时支持事务处理和查询分析两种工作负载.为了消除这两种负载之间的干扰, HTAP系统会为这两种负载指定不同的数据副本,分别处理OLTP (Online Transaction Pr... 详细信息

混合事务分析处理(Hybrid Transaction Analytical Processing, HTAP)系统需要同时支持事务处理和查询分析两种工作负载.为了消除这两种负载之间的干扰, HTAP系统会为这两种负载指定不同的数据副本,分别处理OLTP (Online Transaction Processing)和OLAP (Online Analytical Processing)请求,并基于日志回放进行副本之间的数据同步. HTAP系统致力于同步OLTP数据到OLAP端以提供更新鲜的数据查询服务,日志的发送与回放速度是影响数据新鲜度的关键因素.本文在基于表分组的日志并行回放方法的基础上,针对HTAP负载特点,提出基于OLAP端查询频率的日志发送与回放方法.在保障数据一致性的前提下,本文所提出的方法提升了高频查询表日志的处理优先级,最终实现高效的日志发送、日志回放以及针对性的高频查询表数据优先展示,保证了HTAP系统数据的新鲜度.

关键词：混合事务分析处理数据新鲜度日志回放冲突检测

来源：评论

学校读者我要写书评

暂无评论

支持HTAP工作负荷的数据库存储引擎设计与实现

支持HTAP工作负荷的数据库存储引擎设计与实现

引用

作者：范翔翀浙江大学

学位级别：硕士

随着大规模实时分析应用的不断流行，面向混合事务分析处理(HybridTransactional/Analytical Processing，HTAP)工作负荷的新型数据库管理系统成为了近年来的一个新趋势。HTAP工作负荷要求数据库管理系统在高速写入数据的同时能在最新... 详细信息

随着大规模实时分析应用的不断流行，面向混合事务分析处理(HybridTransactional/Analytical Processing，HTAP)工作负荷的新型数据库管理系统成为了近年来的一个新趋势。HTAP工作负荷要求数据库管理系统在高速写入数据的同时能在最新数据上完成高效分析查询，这对数据库存储引擎也提出了新的需求，传统基于行式存储模型和列式存储模型的存储引擎已经不能很好完成此项工作。LSM-Tree(Log-Structured Merge-Tree)索引结构充分利用持久化存储磁盘顺序读写远快于随机读写的特性，具有写性能优化的特点，为HTAP数据库存储引擎提供了一种新的选择。　　本文主要包含以下工作:　　1.基于采用LSM-Tree索引结构的键值存储系统RocksDB，参考MyRocks行式存储模型方案，设计了混合存储模型和列式存储模型;2.在行式存储模型、混合存储模型和列式存储模型的基础上，设计了基于RocksDB、融合三种存储模型并适应HTAP工作负荷的组合存储模型，实现了基于组合存储模型的MyRocks异构存储引擎:　　3.将MyRocks异构存储引擎集成在关系型数据库管理系统MySQL中，通过测试证明异构存储引擎相比原始MyRocks行式存储引擎可以更好地适应HTAP工作负荷。

关键词：数据库存储引擎组合存储模型索引结构混合事务分析处理

来源：评论

学校读者我要写书评

暂无评论

面向混合工作负载的日志结构合并树存储与查询优化研究

面向混合工作负载的日志结构合并树存储与查询优化研究

引用

作者：黄昊天桂林电子科技大学

学位级别：硕士

互联网应用多样化发展,应用数据海量增长以及数据分析重要性的不断提高,众多业务场景对系统提出了既能处理高并发的事务请求、又能对最新数据快速分析的需求。传统的企业模式中,在线事务处理(Online Transactional Processing,OLTP)和... 详细信息

互联网应用多样化发展,应用数据海量增长以及数据分析重要性的不断提高,众多业务场景对系统提出了既能处理高并发的事务请求、又能对最新数据快速分析的需求。传统的企业模式中,在线事务处理(Online Transactional Processing,OLTP)和在线分析处理(Online Analytical Processing,OLAP)通常采用两套数据系统并以ETL(Extract-Transform-Load)工具作为中介;该模式导致数据分析具有滞后性,无法很好地支持快速分析和决策;且传统数据库采用单一的行存或列存方案,难以兼顾OLTP和OLAP。为了满足对最新数据执行分析处理的需求,构建一种兼具高效事务处理和分析处理能力的存储结构具有必要性。针对上述问题,本文分别在存储结构设计和查询优化技术两个方面开展系统研究,主要贡献如下:(1)针对在一个存储结构内有效处理混合工作负载的目标,提出了混合日志结构合并树存储结构(Hybrid Log-structured Merge Tree,HLSM树)。该结构基于日志结构合并树分层存储数据,且存储层级与存储时间具有相关性的特点,将存储数据划分为OLTP部分与OLAP部分,设计了适应不同工作负载的混合存储方案。同时,扩展了日志结构合并树的合并操作,实现了随数据生命阶段改变而进行的存储布局转换。此外,针对HLSM树中数据更新的写放大问题设计了局部更新策略,实现了指定属性列值的更新,降低了更新过程中的空间消耗。最后使用基准测试开展对比实验,结果表明HLSM树在OLTP和OLAP两方面都有良好的性能,具备有效处理混合工作负载的能力。(2)针对日志结构合并树二级索引方案查询效率随数据段数量增加而降低的问题,开展了系统的实验和理论分析,提出了一种近似成员二级索引结构(Approximate Membership Query Index,AMQ索引),其充分开发Vacuum filter缓存高效性以及位图索引对于即席查询的支持能力。AMQ索引结构提供所有数据段之上的全局索引能力,避免了查询过程中的多过滤器探测,有效降低查询延迟。与传统索引相比,在查询存在数据项时该索引能够返回完全正确的数据段编号序列。除点查询外,本文提出了基于逻辑链的范围查询方案,使AMQ索引具备对非主键列执行范围查询的能力。实验结果验证了本文提出二级索引结构具备有效性,与基线结构相比,查询性能提升明显。

关键词：混合事务分析处理日志结构合并树二级索引查询优化

来源：评论

学校读者我要写书评

暂无评论

基于持久性内存的属性图存储系统

引用

计算机系统应用 2023年第10期32卷 65-74页

作者：卢明祥吕敏中国科学技术大学计算机科学与技术学院高性能计算安徽省重点实验室合肥230026

属性图是一种流行的图数据模型,在各种图系统中得到了广泛应用.然而,面向事务型负载的图数据库系统在执行图分析任务的场景下面临着高延迟等挑战.传统的图分析系统往往是基于简单图模型,而且大多不支持图的事务型负载.因此,迫切需要一... 详细信息

属性图是一种流行的图数据模型,在各种图系统中得到了广泛应用.然而,面向事务型负载的图数据库系统在执行图分析任务的场景下面临着高延迟等挑战.传统的图分析系统往往是基于简单图模型,而且大多不支持图的事务型负载.因此,迫切需要一个能够在属性图上高效处理事务型负载和图分析任务的图存储系统.持久性内存的问世,使得我们有机会重新设计图存储系统,以充分发挥这种设备的特点.为此,本文提出了一种基于持久性内存的属性图存储系统,名为TAG. TAG采用了一种新颖的混合架构的图存储方式,以充分发挥持久性内存和主存的优势.其次,通过拓扑和索引结合的方式,将图的拓扑嵌入到系统的索引中以加速图的拓扑查询.最后, TAG通过基于标签的方式来组织图的属性数据,进一步优化图的属性访问.实验结果表明, TAG显著优于其他图数据库系统,与图分析系统相比, TAG也有着相近的性能表现.

关键词：图存储属性图索引持久性内存混合事务分析处理

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：