检索结果-内蒙古大学图书馆

计算机应用 2021年第11期41卷 3295-3301页

作者：平凡汤小春潘彦宇李战怀西北工业大学计算机学院西安710129 工信部大数据存储与管理重点实验室(西北工业大学) 西安710129

针对大量的资源需求少且并行度高的不规则任务集合,利用图形处理器(GPU)来加速处理是目前的主流。然而现有的不规则任务调度策略要么采用独占GPU的方式,要么使用传统的优化方法将任务映射到GPU设备上。前者导致GPU资源的闲置,后者不能... 详细信息

针对大量的资源需求少且并行度高的不规则任务集合,利用图形处理器(GPU)来加速处理是目前的主流。然而现有的不规则任务调度策略要么采用独占GPU的方式,要么使用传统的优化方法将任务映射到GPU设备上。前者导致GPU资源的闲置,后者不能最大限度利用GPU计算资源。在分析了现存问题的基础上,采用多背包优化思想,使更多的不规则任务以最佳的方式共享GPU设备。首先,针对GPU集群的特点,给出了由调度器、执行器组成的分布式GPU作业调度框架;然后,以GPU显存为代价,设计了一种基于GPU计算资源的扩展贪心调度(EGS)算法,该算法将尽可能多的不规则任务调度到多个可用的GPU上,以最大限度地利用GPU计算资源,并解决了GPU资源的闲置问题;最后,使用实际基准程序随机生成目标任务集来验证所提调度策略的有效性。实验结果表明,与传统的贪心算法、最早完成时间(MCT)算法和Min-min算法相比,当任务数量等于1000时,EGS算法的执行时长分别平均降低至原来的58%、64%和80%,并且能有效提升GPU资源利用率。

关键词：图形处理器通用计算独立任务任务调度策略调度框架资源利用率

来源：评论

学校读者我要写书评

暂无评论

基于因子图的不一致记录对消歧方法

引用

计算机研究与发展 2020年第1期57卷 175-187页

作者：徐耀丽李战怀陈群王艳艳樊峰峰西北工业大学计算机学院西安710072 大数据存储与管理工业和信息化部重点实验室(西北工业大学) 西安710129

实体解析(entity resolution,ER)是数据集成和清洗系统的关键基础问题.尽管有大量实体解析方法提出,但这些方法依赖隐式或显式的假设或采用不同的解析策略.对相同的实体解析任务进行处理后,它们的结论存在冲突,产生了大量的不一致记录对... 详细信息

实体解析(entity resolution,ER)是数据集成和清洗系统的关键基础问题.尽管有大量实体解析方法提出,但这些方法依赖隐式或显式的假设或采用不同的解析策略.对相同的实体解析任务进行处理后,它们的结论存在冲突,产生了大量的不一致记录对.在没有给定标记数据的情况下,进行这类记录对的消歧处理具有很大的挑战:一方面当标签数据缺失时,评估现存方法的解析效果并选出最优的不可行,另一方面尽管可选的方法是协调这些冲突结果以得到一致的标记方案,但有效且融合所有提示信息的消歧策略还有待研究.为此,提出了一种基于因子图的不一致记录对消歧方法.该方法首先对某给定的实体解析任务使用现存的实体解析技术进行实体解析,得到一致或不一致的记录对;接着,用核密度估计、匹配信息传递等方法输出与不一致记录对是否匹配相关的特征,并把这些建模为因子图的因子函数,该因子图是一个带因子权重的联合概率分布;最后基于最大似然估计方法估计出各因子的权重,并基于该分布对不一致记录对进行消歧处理.实验结果表明:在真实的数据集合,该方法有效且优于现存最好的方法.

关键词：数据集成实体解析最大似然估计不一致记录对核密度估计因子图

来源：评论

学校读者我要写书评

暂无评论

Ceph分布式存储系统性能优化技术研究综述

引用

计算机科学 2021年第2期48卷 1-12页

作者：张晓张思蒙石佳董聪李战怀西北工业大学计算机学院西安710129 西北工业大学大数据存储与管理工业和信息化部重点实验室西安710129 西北工业大学空天地海一体化大数据应用技术国家工程实验室西安710129

Ceph是一个统一的分布式存储系统,可同时提供块、文件和对象3种接口的存储服务。与传统的分布式存储系统不同,它采用了无中心节点的元数据管理方式,因此具有良好的扩展性和线性增长的性能。经过十余年的发展,Ceph已被广泛地应用于云计... 详细信息

Ceph是一个统一的分布式存储系统,可同时提供块、文件和对象3种接口的存储服务。与传统的分布式存储系统不同,它采用了无中心节点的元数据管理方式,因此具有良好的扩展性和线性增长的性能。经过十余年的发展,Ceph已被广泛地应用于云计算和大数据存储系统。作为云计算的底层平台,Ceph除了提供虚拟机的存储服务外,还可以直接提供对象存储服务和NAS文件服务。Ceph支撑着云计算系统中多种操作系统和应用的存储需求,它的性能对其上的虚拟机和应用有较大的影响,因此Ceph存储系统的性能优化一直是学术界和工业界的研究热点。文中首先介绍了Ceph的架构和特性;然后针对现有的性能优化技术,从对内部机制进行改进、面向新型硬件和基于应用的优化这3个方面进行了归纳和总结,综述了近年来Ceph存储和优化的相关研究;最后对该领域未来的工作进行了展望,以期为分布式存储系统性能优化的研究者提供有价值的参考。

关键词： Ceph分布式存储系统性能优化非易失内存固态硬盘统一存储

来源：评论

学校读者我要写书评

暂无评论

基于非易失性存储器的存储引擎性能优化

引用

集成技术 2022年第3期11卷 56-70页

作者：王海涛李战怀张晓赵晓南西北工业大学计算机学院西安710129 西北工业大学大数据存储与管理工业和信息化部重点实验室西安710129 空天地海一体化大数据应用技术国家工程实验室西安710072

非易失性存储器具有接近内存的读写速度,可利用其替换传统的存储设备,从而提升存储引擎的性能。但是,传统的存储引擎通常使用通用块接口读写数据,导致了较长的I/O软件栈,增加了软件层的读写延迟,进而限制了非易失性存储器的性能优势。... 详细信息

非易失性存储器具有接近内存的读写速度,可利用其替换传统的存储设备,从而提升存储引擎的性能。但是,传统的存储引擎通常使用通用块接口读写数据,导致了较长的I/O软件栈,增加了软件层的读写延迟,进而限制了非易失性存储器的性能优势。针对这一问题,该文以Ceph大数据存储系统为基础,研究设计了基于非易失性存储器的新型存储引擎NVMStore,通过内存映射的方式访问存储设备,根据非易失性存储器的字节可寻址和数据持久化特性,优化数据读写流程,从而减小数据写放大以及软件栈的开销。实验结果表明,与使用非易失性存储器的传统存储引擎相比,NVMStore能够显著提升Ceph的小块数据读写性能。

关键词：非易失性存储器存储引擎软件栈性能优化

来源：评论

学校读者我要写书评

暂无评论

分布式存储系统中的日志分析与负载特征提取

引用

计算机应用 2020年第9期40卷 2586-2593页

作者：苟子安张晓吴东南王艳秋西北工业大学计算机学院西安710129 工信部大数据存储与管理重点实验室(西北工业大学) 西安710129

对运行在文件系统上的工作负载进行分析有助于优化分布式文件系统的性能,且对构建新型存储系统至关重要。由于工作负载的复杂性和规模多样性的增加,使用基于直觉的分析来显式地捕获工作负载踪迹的特征是不完备的。针对这一问题,提出了... 详细信息

对运行在文件系统上的工作负载进行分析有助于优化分布式文件系统的性能,且对构建新型存储系统至关重要。由于工作负载的复杂性和规模多样性的增加,使用基于直觉的分析来显式地捕获工作负载踪迹的特征是不完备的。针对这一问题,提出了一个分布式日志分析与负载特征提取模型。首先,从分布式文件系统日志中根据关键字抽取出与读写相关的信息;其次,从统计与时序两方面对负载特征进行描述;最后,分析基于负载特征进行系统优化的可能。实验结果表明,提出的模型具有一定的可行性与准确性,且可以较为详细地给出负载统计与时序特征,具有低开销、高时效、易于分析等优点,可以用来指导具有相同特征的工作负载的合成、热点数据监测、系统的缓存预取优化。

关键词：分布式文件系统日志分析负载特征时序特征性能优化

来源：评论

学校读者我要写书评

暂无评论

云环境下的系统使用模式与故障分析

引用

计算机科学 2020年第12期47卷 50-55页

作者：田宇立李宁西北工业大学计算机学院西安710029 西北工业大学工信部大数据存储与管理重点实验室西安710029

从软件系统使用视角出发,开展系统使用模式与故障分析可以帮助软件提供者更准确地把握用户需求、评价系统质量、指导系统运营和完善系统维护方案。云计算系统整合海量计算资源并通过网络接入为用户提供可配置的计算解决方案,受到了学术... 详细信息

从软件系统使用视角出发,开展系统使用模式与故障分析可以帮助软件提供者更准确地把握用户需求、评价系统质量、指导系统运营和完善系统维护方案。云计算系统整合海量计算资源并通过网络接入为用户提供可配置的计算解决方案,受到了学术界和工业界的一致关注。深入理解云计算系统的使用负载和软件故障特征对于提高云计算系统的资源利用效率和系统服务可靠性具有重要的促进作用。文中针对云计算环境下的系统使用模式和系统故障进行研究,深入分析了Google cluster云计算系统的真实执行日志,从系统使用模式和故障特征等方面对系统进行了描述和总结,揭示了系统存在的质量问题,并为提高云计算系统的质量奠定了基础。

关键词：云计算使用模式软件故障使用分析故障分析

来源：评论

学校读者我要写书评

暂无评论

改进kmeans算法在学生消费画像中的应用

引用

计算机技术与发展 2021年第10期31卷 122-127页

作者：凌玉龙张晓李霞张勇西北工业大学大数据存储与管理工信部重点实验室陕西西安710129 西北工业大学学生资助服务中心陕西西安710129

学生校园消费数据中隐含了大量的高价值信息,论文从学生消费画像和精准资助两个角度对校园消费数据进行挖掘研究。从数据集本身的特点和kmeans算法的缺陷两个角度出发,论文对kmeans算法进行了两点改进:采用马氏距离代替欧氏距离以适用... 详细信息

学生校园消费数据中隐含了大量的高价值信息,论文从学生消费画像和精准资助两个角度对校园消费数据进行挖掘研究。从数据集本身的特点和kmeans算法的缺陷两个角度出发,论文对kmeans算法进行了两点改进:采用马氏距离代替欧氏距离以适用于具体的校园消费数据应用场景;为了解决随机选择初始聚类中心的方法受离群样本点的影响,采用在高密度样本集合中选择相距最远的k个样本作为初始聚类中心的改进方法。在西安某高校3个月的学生消费数据集上的实验结果表明:论文设计的学生群体分类模型不仅能有效区分不同行为特征的学生,而且能很好地刻画学生的消费画像;通过对比分析聚类标记的贫困生名单和线下认定的贫困生名单,证明了改进kmeans算法在精准资助中的应用价值。

关键词：改进kmeans算法马氏距离初始聚类中心集合学生消费画像精准资助

来源：评论

学校读者我要写书评

暂无评论

基于历史数据的虚拟机资源分配方法

引用

计算机研究与发展 2019年第4期56卷 779-789页

作者：王海涛李战怀张晓卜海龙孔兰昕赵晓南西北工业大学计算机学院西安710129 工信部大数据存储与管理重点实验室(西北工业大学) 西安710129

云数据中心中广泛应用虚拟化技术以实现资源的按需分配,从而减小运营成本,提高数据中心的灵活性和可扩展性.然而,虚拟化技术的这些特性也带来了如何在保证虚拟机按需分配的同时,充分利用物理资源而又减小资源冲突率的问题.针对这个问题... 详细信息

云数据中心中广泛应用虚拟化技术以实现资源的按需分配,从而减小运营成本,提高数据中心的灵活性和可扩展性.然而,虚拟化技术的这些特性也带来了如何在保证虚拟机按需分配的同时,充分利用物理资源而又减小资源冲突率的问题.针对这个问题提出了2种基于历史负载数据的虚拟机资源分配方法,并结合常用的虚拟机放置策略,与现有的常用虚拟机资源分配方法进行对比分析.同时,针对现有的独立评价指标具有片面性的问题,提出1个综合有效性指标,能够结合虚拟机的分配所消耗的物理机数量、物理机的资源利用率以及资源冲突率3方面的指标来综合评价方案的有效性.最后通过实际的云计算负载测试,证明了提出的基于历史数据的虚拟机资源分配方法整体上优于常用的虚拟机资源分配方法,并且综合有效性指标能够合理地从整体上评估虚拟机分配方案的有效性.

关键词：云数据中心虚拟机资源分配历史数据统计分析放置策略综合有效性指标

来源：评论

学校读者我要写书评

暂无评论

一种基于综合调优的数据库性能趋势预测方法

引用

西北工业大学学报 2020年第5期38卷 1030-1037页

作者：王小玲张小芳李宁韩承枫袁祝平高环宇西北工业大学计算机学院陕西西安710027 大数据存储与管理工业和信息化部重点实验室陕西西安710072 交通银行股份有限公司上海310115

云数据库智能运维中的重要应用场景之一是对监控采集的大量性能时序数据进行趋势预测。提出一种基于Prophet模型和ARIMA模型的综合调优智能趋势预测方法AutoPA4DB(auto prophet and ARIMA for database)。该方法根据数据库性能监控数据... 详细信息

云数据库智能运维中的重要应用场景之一是对监控采集的大量性能时序数据进行趋势预测。提出一种基于Prophet模型和ARIMA模型的综合调优智能趋势预测方法AutoPA4DB(auto prophet and ARIMA for database)。该方法根据数据库性能监控数据的特征,进行了原始监控数据的预处理、预测模型自动调参和模型优化。采用加权的时序预测准确性度量WMC(weighted MAPE coverage),基于多个企业级数据库实例(包含10种性能指标)进行了实验验证。实验对比了5种不同时序模型的预测效果,结果表明在单调变化模式(如磁盘使用量)的数据中,文中提出的AutoPA4DB方法时序预测准确性最高;然而在震荡模式的数据中,预测效果不太稳定,例如内存使用率趋势预测效果较好,但数据库连接数趋势预测效果不理想。

关键词：智能运维时序数据 Prophet模型 ARIMA模型数据库性能监控

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的安全缺陷报告预测方法实证研究

引用

软件学报 2020年第5期31卷 1294-1313页

作者：郑炜陈军正吴潇雪陈翔夏鑫西北工业大学软件学院陕西西安710072 西北工业大学自动化学院陕西西安710072 Faculty of Information Technology Monash UniversityMelbourneVIC 3800Australia 南通大学信息科学技术学院江苏南通226019 空天地海一体化大数据应用技术国家工程实验室(西北工业大学) 陕西西安710072 大数据存储与管理工业和信息化部重点实验室(西北工业大学) 陕西西安710072

软件安全问题的发生在大多数情况下会造成非常严重的后果,及早发现安全问题,是预防安全事故的关键手段之一.安全缺陷报告预测可以辅助开发人员及早发现被测软件中潜藏的安全缺陷,从而尽早得以修复.然而,由于安全缺陷在实际项目中的数量... 详细信息

软件安全问题的发生在大多数情况下会造成非常严重的后果,及早发现安全问题,是预防安全事故的关键手段之一.安全缺陷报告预测可以辅助开发人员及早发现被测软件中潜藏的安全缺陷,从而尽早得以修复.然而,由于安全缺陷在实际项目中的数量较少,而且特征复杂(即安全缺陷类型繁多,不同类型安全缺陷特征差异性较大),这使得手工提取特征相对困难,并随后造成传统机器学习分类算法在安全缺陷报告预测性能方面存在一定的瓶颈.针对该问题,提出基于深度学习的安全缺陷报告预测方法,采用深度文本挖掘模型TextCNN和TextRNN构建安全缺陷报告预测模型;针对安全缺陷报告文本特征,使用Skip-Gram方式构建词嵌入矩阵,并借助注意力机制对TextRNN模型进行优化.所构建的模型在5个不同规模的安全缺陷报告数据集上展开了大规模实证研究,实证结果表明,深度学习模型在80%的实验案例中都优于传统机器学习分类算法,性能指标F1-score平均可提升0.258,在最好的情况下甚至可以提升0.535.此外,针对安全缺陷报告数据集存在的类不均衡问题,对不同采样方法进行了实证研究,并对结果进行了分析.

关键词：安全缺陷安全缺陷报告预测深度学习文本挖掘

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：