检索结果-内蒙古大学图书馆

软件学报 2025年第1期36卷 446-468页

作者：刘海龙王硕侯舒峰徐海洋李战怀西北工业大学计算机学院陕西西安710072 大数据存储与管理工业和信息化部重点实验室(西北工业大学) 陕西西安710072

云多租数据库具有按需付费、按需扩展、免部署、高可用、自带运维能力、资源共享等诸多优势,可以大大降低用户使用数据库服务的成本.现在越来越多的企业和个人开始在数据库即服务(DaaS)平台托管他们的数据库服务.DaaS平台需要按照用户... 详细信息

云多租数据库具有按需付费、按需扩展、免部署、高可用、自带运维能力、资源共享等诸多优势,可以大大降低用户使用数据库服务的成本.现在越来越多的企业和个人开始在数据库即服务(DaaS)平台托管他们的数据库服务.DaaS平台需要按照用户服务水平协议(SLA)为诸多租户提供服务,同时也需要保障平台收益.但是,由于租户及其负载具有动态性、异构性和竞争性等特点,如何在遵循SLA的同时根据负载自适应规划调度资源同时兼顾平台收益对于DaaS平台来说是一件极具挑战性的工作.针对云多租数据库中比较常见的类型,如关系型数据库,详细分析了当前云多租数据库资源规划调度技术所面临的挑战,提炼了关键科学问题,给出了技术框架,然后从资源规划调度技术、资源预估技术、资源弹性伸缩技术以及数据库资源规划调度工具等4个方面对现有研究工作进行了总结和分析,并且展望了未来的研究方向.

关键词：多租户云数据库资源规划调度资源预估资源弹性伸缩关系数据库云原生多模数据库

来源：评论

学校读者我要写书评

暂无评论

基于组合负载预测模型的多租户数据库弹性伸缩方法

引用

软件学报 2025年第3期36卷 981-994页

作者：徐海洋刘海龙陈先王磊金轲侯舒峰李战怀西北工业大学计算机学院陕西西安710100 大数据存储与管理工业和信息化部重点实验室(西北工业大学) 陕西西安710100 西安中兴新软件有限责任公司陕西西安710100

云环境下的多租户数据库重要特性之一是可伸缩性,然而大部分的弹性伸缩技术难以针对复杂变化的负载进行有效的伸缩决策.若能提前预测负载变化,则能够准确地调整资源供给.鉴于此,提出了基于内存负载预测的多租户数据库弹性伸缩方法,包括... 详细信息

云环境下的多租户数据库重要特性之一是可伸缩性,然而大部分的弹性伸缩技术难以针对复杂变化的负载进行有效的伸缩决策.若能提前预测负载变化,则能够准确地调整资源供给.鉴于此,提出了基于内存负载预测的多租户数据库弹性伸缩方法,包括一种组合负载预测模型和一种弹性伸缩策略.组合负载预测模型融合了卷积神经网络、长短期记忆网络和门控循环单元的优势,可以比较精确地预测数据库集群内存负载需求;弹性伸缩策略基于需求预测结果,调整虚拟机数目,保证资源供应处于合理范围.与现有方法对比,所提出的模型预测误差降低了8.7%-21.8%,预测拟合度提高了4.6%.在此基础上,改进了贝叶斯优化算法,用于该模型超参数调优,解决了贝叶斯优化在离散解、连续解的组合域中效果较差的问题,误差指标值降低了20%以上,拟合度提高了1.04%.实验结果表明,与Kubernetes中应用最广泛的伸缩策略相比,所提出的弹性伸缩方法避免了弹性伸缩的滞后性与资源浪费,响应时间降低了8.12%,延迟降低了9.56%.

关键词：多租户数据库资源管理资源预测弹性伸缩

来源：评论

学校读者我要写书评

暂无评论

基于增量局部加权学习的查询模板自适应基数估计

引用

计算机学报 2022年第1期45卷 17-34页

作者：冯杰明李战怀陈群陈肇强西北工业大学计算机学院西安710072 西北工业大学大数据存储与管理工业和信息化部重点实验室西安710072

基数估计是基于代价查询优化的关键步骤,已经被研究了近40年.传统方法如基于直方图的方法在一些假设如属性相互独立、相交的表满足包含原则等成立时能基本满足准确性要求.然而,在真实运行环境中这些假设往往不再成立,可能导致基数估计... 详细信息

基数估计是基于代价查询优化的关键步骤,已经被研究了近40年.传统方法如基于直方图的方法在一些假设如属性相互独立、相交的表满足包含原则等成立时能基本满足准确性要求.然而,在真实运行环境中这些假设往往不再成立,可能导致基数估计严重错误进而造成查询延迟.近年来,随着数据的增多和新硬件的发展,使用机器学习方法来提高基数估计的质量成为了可能.由于基于代价的查询优化主要根据查询中子执行计划的估计代价来选择最优的查询执行计划,因此,有一些最近的工作针对一些关键的子执行计划模板建立相应的局部学习模型,取得了不错的进展.但是,这些局部模型主要用于查询(查询空间)分布和数据(数据库数据)分布不变的场景,而在真实运行环境中,它们往往不断地发生变化,限制了这些估计技术的有效性.在本文中,我们针对子执行计划模板在查询分布和数据分布不断变化的环境下提出了一种使用增量的局部加权学习进行自适应基数估计的方法.具体地说,首先抽取子执行计划的语义和统计特征使之能代表当前查询和数据的特性,然后使用增量的局部加权学习模型根据查询分布和数据分布的变化进行自适应的学习,实现基数估计.最后,通过对比实验验证了本文方法的有效性.

关键词：基数估计查询优化执行计划自适应学习增量学习局部加权学习

来源：评论

学校读者我要写书评

暂无评论

MMOS:支持超卖的多租户数据库内存资源共享方法

引用

计算机科学 2024年第2期51卷 27-35页

作者：徐海洋刘海龙杨超云王硕李战怀西北工业大学计算机学院西安710100 西北工业大学大数据存储与管理工业和信息化部重点实验室西安710100

多租户数据库为每个租户分配固定的资源配额,而这些资源配额通常未全部得到有效利用,这种静态分配策略导致资源利用率不高。若在不影响租户性能的前提下将未利用的空闲资源共享给其他租户使用,即实现资源超卖,则可以提高资源利用率、提... 详细信息

多租户数据库为每个租户分配固定的资源配额,而这些资源配额通常未全部得到有效利用,这种静态分配策略导致资源利用率不高。若在不影响租户性能的前提下将未利用的空闲资源共享给其他租户使用,即实现资源超卖,则可以提高资源利用率、提升平台收益。为了支持资源超卖,需要准确预测租户的资源需求,动态地按需为租户分配资源。已有的针对多租户数据库的资源共享方法的研究对象主要是CPU资源,鲜有支持超卖的内存资源共享方法。鉴于此,在联机分析处理场景下,提出了一种支持超卖的多租户数据库内存资源共享方法MMOS(Multi-tenant database Memory resource Overselling and Sharing)。该方法通过准确预测每个租户的内存需求区间,按照区间上限为租户动态调整内存配额,在不影响租户性能的前提下,统一管理空闲内存资源以支持更多租户,实现内存超卖。实验结果表明,MMOS在租户负载动态变化的场景下具有较好效果。在不同资源量的资源池下,支持的租户数可以增加2~2.6倍,资源利用率峰值提升175%~238%。同时,每个租户的业务与性能未受影响。

关键词：多租户数据库资源超卖内存资源资源预测资源分配

来源：评论

学校读者我要写书评

暂无评论

基于因子图的不一致记录对消歧方法

引用

计算机研究与发展 2020年第1期57卷 175-187页

作者：徐耀丽李战怀陈群王艳艳樊峰峰西北工业大学计算机学院西安710072 大数据存储与管理工业和信息化部重点实验室(西北工业大学) 西安710129

实体解析(entity resolution,ER)是数据集成和清洗系统的关键基础问题.尽管有大量实体解析方法提出,但这些方法依赖隐式或显式的假设或采用不同的解析策略.对相同的实体解析任务进行处理后,它们的结论存在冲突,产生了大量的不一致记录对... 详细信息

实体解析(entity resolution,ER)是数据集成和清洗系统的关键基础问题.尽管有大量实体解析方法提出,但这些方法依赖隐式或显式的假设或采用不同的解析策略.对相同的实体解析任务进行处理后,它们的结论存在冲突,产生了大量的不一致记录对.在没有给定标记数据的情况下,进行这类记录对的消歧处理具有很大的挑战:一方面当标签数据缺失时,评估现存方法的解析效果并选出最优的不可行,另一方面尽管可选的方法是协调这些冲突结果以得到一致的标记方案,但有效且融合所有提示信息的消歧策略还有待研究.为此,提出了一种基于因子图的不一致记录对消歧方法.该方法首先对某给定的实体解析任务使用现存的实体解析技术进行实体解析,得到一致或不一致的记录对;接着,用核密度估计、匹配信息传递等方法输出与不一致记录对是否匹配相关的特征,并把这些建模为因子图的因子函数,该因子图是一个带因子权重的联合概率分布;最后基于最大似然估计方法估计出各因子的权重,并基于该分布对不一致记录对进行消歧处理.实验结果表明:在真实的数据集合,该方法有效且优于现存最好的方法.

关键词：数据集成实体解析最大似然估计不一致记录对核密度估计因子图

来源：评论

学校读者我要写书评

暂无评论

Ceph分布式存储系统性能优化技术研究综述

引用

计算机科学 2021年第2期48卷 1-12页

作者：张晓张思蒙石佳董聪李战怀西北工业大学计算机学院西安710129 西北工业大学大数据存储与管理工业和信息化部重点实验室西安710129 西北工业大学空天地海一体化大数据应用技术国家工程实验室西安710129

Ceph是一个统一的分布式存储系统,可同时提供块、文件和对象3种接口的存储服务。与传统的分布式存储系统不同,它采用了无中心节点的元数据管理方式,因此具有良好的扩展性和线性增长的性能。经过十余年的发展,Ceph已被广泛地应用于云计... 详细信息

Ceph是一个统一的分布式存储系统,可同时提供块、文件和对象3种接口的存储服务。与传统的分布式存储系统不同,它采用了无中心节点的元数据管理方式,因此具有良好的扩展性和线性增长的性能。经过十余年的发展,Ceph已被广泛地应用于云计算和大数据存储系统。作为云计算的底层平台,Ceph除了提供虚拟机的存储服务外,还可以直接提供对象存储服务和NAS文件服务。Ceph支撑着云计算系统中多种操作系统和应用的存储需求,它的性能对其上的虚拟机和应用有较大的影响,因此Ceph存储系统的性能优化一直是学术界和工业界的研究热点。文中首先介绍了Ceph的架构和特性;然后针对现有的性能优化技术,从对内部机制进行改进、面向新型硬件和基于应用的优化这3个方面进行了归纳和总结,综述了近年来Ceph存储和优化的相关研究;最后对该领域未来的工作进行了展望,以期为分布式存储系统性能优化的研究者提供有价值的参考。

关键词： Ceph分布式存储系统性能优化非易失内存固态硬盘统一存储

来源：评论

学校读者我要写书评

暂无评论

基于非易失性存储器的存储引擎性能优化

引用

集成技术 2022年第3期11卷 56-70页

作者：王海涛李战怀张晓赵晓南西北工业大学计算机学院西安710129 西北工业大学大数据存储与管理工业和信息化部重点实验室西安710129 空天地海一体化大数据应用技术国家工程实验室西安710072

非易失性存储器具有接近内存的读写速度,可利用其替换传统的存储设备,从而提升存储引擎的性能。但是,传统的存储引擎通常使用通用块接口读写数据,导致了较长的I/O软件栈,增加了软件层的读写延迟,进而限制了非易失性存储器的性能优势。... 详细信息

非易失性存储器具有接近内存的读写速度,可利用其替换传统的存储设备,从而提升存储引擎的性能。但是,传统的存储引擎通常使用通用块接口读写数据,导致了较长的I/O软件栈,增加了软件层的读写延迟,进而限制了非易失性存储器的性能优势。针对这一问题,该文以Ceph大数据存储系统为基础,研究设计了基于非易失性存储器的新型存储引擎NVMStore,通过内存映射的方式访问存储设备,根据非易失性存储器的字节可寻址和数据持久化特性,优化数据读写流程,从而减小数据写放大以及软件栈的开销。实验结果表明,与使用非易失性存储器的传统存储引擎相比,NVMStore能够显著提升Ceph的小块数据读写性能。

关键词：非易失性存储器存储引擎软件栈性能优化

来源：评论

学校读者我要写书评

暂无评论

一种基于综合调优的数据库性能趋势预测方法

引用

西北工业大学学报 2020年第5期38卷 1030-1037页

作者：王小玲张小芳李宁韩承枫袁祝平高环宇西北工业大学计算机学院陕西西安710027 大数据存储与管理工业和信息化部重点实验室陕西西安710072 交通银行股份有限公司上海310115

云数据库智能运维中的重要应用场景之一是对监控采集的大量性能时序数据进行趋势预测。提出一种基于Prophet模型和ARIMA模型的综合调优智能趋势预测方法AutoPA4DB(auto prophet and ARIMA for database)。该方法根据数据库性能监控数据... 详细信息

云数据库智能运维中的重要应用场景之一是对监控采集的大量性能时序数据进行趋势预测。提出一种基于Prophet模型和ARIMA模型的综合调优智能趋势预测方法AutoPA4DB(auto prophet and ARIMA for database)。该方法根据数据库性能监控数据的特征,进行了原始监控数据的预处理、预测模型自动调参和模型优化。采用加权的时序预测准确性度量WMC(weighted MAPE coverage),基于多个企业级数据库实例(包含10种性能指标)进行了实验验证。实验对比了5种不同时序模型的预测效果,结果表明在单调变化模式(如磁盘使用量)的数据中,文中提出的AutoPA4DB方法时序预测准确性最高;然而在震荡模式的数据中,预测效果不太稳定,例如内存使用率趋势预测效果较好,但数据库连接数趋势预测效果不理想。

关键词：智能运维时序数据 Prophet模型 ARIMA模型数据库性能监控

来源：评论

学校读者我要写书评

暂无评论

基于图注意力网络的环状RNA与疾病关联关系预测

引用

计算机技术与发展 2023年第11期33卷 126-134页

作者：张瀚元赵博伟胡伦王磊尤宏中国科学院大学中国科学院新疆理化技术研究所新疆乌鲁木齐830011 广西科学院大数据与智能计算研究中心广西南宁530007 西北工业大学计算机学院大数据存储与管理工业和信息化部重点实验室陕西西安710072

环状RNA是一种具有环状结构并且表达水平与多种疾病有关的非编码RNA分子,挖掘环状RNA与疾病之间的内在关联关系在生命医学研究中具有重要意义。基于图注意力机制,该文提出了一种由图注意力网络(GAT)、编码器-解码器(AE)和全连接神经网络... 详细信息

环状RNA是一种具有环状结构并且表达水平与多种疾病有关的非编码RNA分子,挖掘环状RNA与疾病之间的内在关联关系在生命医学研究中具有重要意义。基于图注意力机制,该文提出了一种由图注意力网络(GAT)、编码器-解码器(AE)和全连接神经网络(DNN)结构组合的端到端深度学习模型GATECDA来预测潜在的环状RNA与疾病的关联关系。在包含739个关系的CircR2Disease数据集上,GATECDA模型五折交叉验证实验取得了ROC曲线下面积AUC为0.9618,AUPR为0.9032,衡量在非平衡数据上性能MCC指标达到了0.7576的优异结果,综合性能在同领域预测模型中表现出色。表明基于深度学习图表示学习的策略有助于提升环状RNA与疾病关联关系预测模型的综合性能,同时端到端的学习模型更易于训练与泛化到其他问题中。在预测的结果得到的前30个环状RNA与疾病的关联关系中,有25个在最近医学文献中有支持。表明人工智能方法可以为医学研究筛选与疾病相关的标志物提供新的角度。

关键词：环状RNA/CircRNA 疾病关联关系预测图注意力网络深度学习

来源：评论

学校读者我要写书评

暂无评论

基于新型存储器件的分布式文件系统性能优化

引用

计算机应用 2020年第12期40卷 3594-3603页

作者：董聪张晓程文迪石佳西北工业大学软件学院西安710129 大数据存储与管理工业和信息化部重点实验室(西北工业大学) 西安710129 西北工业大学计算机学院西安710129

新型存储器件的I/O性能通常比传统固态驱动器(SSD)高一个数量级,然而使用新型存储器件的分布式文件系统相对于使用SSD的分布式文件系统性能并没有显著的提高,这说明目前的分布式文件系统并不能充分发挥新型存储器件的性能。针对这个问题... 详细信息

新型存储器件的I/O性能通常比传统固态驱动器(SSD)高一个数量级,然而使用新型存储器件的分布式文件系统相对于使用SSD的分布式文件系统性能并没有显著的提高,这说明目前的分布式文件系统并不能充分发挥新型存储器件的性能。针对这个问题,对Hadoop分布式文件系统(HDFS)的数据写入流程及传输过程进行了量化分析。通过量化分析HDFS数据写入过程各阶段的时间开销,发现在写入数据的各个阶段中,节点间数据传输的时间占比较大。因此提出了对应的优化方案,通过异步写入的方式并行化数据传输与处理过程,使得不同数据包的处理阶段叠加起来,减少了数据包整体的处理时间,从而提升了HDFS的写入性能。实验结果表明,所提方案将HDFS的写入吞吐量提升了15%~24%,总体的写入执行时间降低了28%~36%。

关键词：分布式文件系统 Hadoop分布式文件系统非易失性存储器性能优化异步写入

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：