检索结果-内蒙古大学图书馆

计算机与数字工程 2017年第6期45卷 1121-1126页

作者：谢金星李晖陈梅戴振宇贵州大学先进计算与医疗信息服务工程实验室贵阳550025

近似查询处理技术常被应用于海量数据的多维分析,以缩短查询执行的时间,同时返回尽可能准确的结果。由于海量数据中常存在许多极端值,会严重影响近似查询处理的结果。因此针对海量数据的聚集操作,论文提出CSSAQP算法,先将原始数据集按... 详细信息

近似查询处理技术常被应用于海量数据的多维分析,以缩短查询执行的时间,同时返回尽可能准确的结果。由于海量数据中常存在许多极端值,会严重影响近似查询处理的结果。因此针对海量数据的聚集操作,论文提出CSSAQP算法,先将原始数据集按某一数值列直观的聚为三类,分别代表大值簇、小值簇和常值簇,再对各簇按分组属性分别进行分层抽样,构建总体样本集,最后通过查询重写在总体样本集上执行查询,以缩短海量数据聚集操作的查询时间,同时提高查询任务的准确性。通过实验验证,证明了该算法不仅可以缩短聚集查询的时间,同时还能有效提高查询结果的精度。

关键词：近似查询处理聚集查询聚类分层抽样

来源：评论

学校读者我要写书评

暂无评论

FastSky:巡天数据的天图系统

引用

电子技术应用 2017年第11期43卷 116-119,123页

作者：梁青青李晖周彧陈梅朱明贵州大学贵州省先进计算与医疗信息服务工程实验室贵州贵阳550025 贵州大学计算机科学与技术学院贵州贵阳550025 国家天文台中国科学院北京100016

随着我国天文科学领域的重大科学工程FAST(500米口径球面射电望远镜)的建成,亟需一套可用于进行可视化展现和数据处理的天图系统。研究并实现了一套致力于满足FAST巡天数据可视化展现和数据处理基本需求的天图系统Fast Sky。该系统基于H... 详细信息

随着我国天文科学领域的重大科学工程FAST(500米口径球面射电望远镜)的建成,亟需一套可用于进行可视化展现和数据处理的天图系统。研究并实现了一套致力于满足FAST巡天数据可视化展现和数据处理基本需求的天图系统Fast Sky。该系统基于Healpix球面分割技术实现对天区的分割和索引的构建,并基于Web浏览器实现各类预置和自定义的天图分析及巡天数据处理。Fast Sky目前已被FAST工程科学部列为巡天数据科学研究的支撑软件,在FAST巡天数据科学研究规划中应用。

关键词：巡天数据可视化工具天图系统 FAST(500米口径球面射电望远镜)

来源：评论

学校读者我要写书评

暂无评论

PBS:一种面向集群环境的ETL调度算法

引用

计算机与数字工程 2017年第5期45卷 793-796,829页

作者：韩文彪李晖陈梅戴震宇贵州大学先进计算与医疗信息服务工程实验室贵阳550025

论文设计并实现了一个集群式ETL(Extract-Transform-Load)任务处理平台,该平台支持异构数据源的多源数据集,提出了基于预测时间调度算法。该算法对任务进行调度优化,以提高数据抽取、转换和加载等任务的执行效率。基于实际应用的实验结... 详细信息

论文设计并实现了一个集群式ETL(Extract-Transform-Load)任务处理平台,该平台支持异构数据源的多源数据集,提出了基于预测时间调度算法。该算法对任务进行调度优化,以提高数据抽取、转换和加载等任务的执行效率。基于实际应用的实验结果证明,集群式ETL任务调度技术对于减少多个ETL任务并行执行的总时间,提升ETL任务的执行效率具有良好的效果。

关键词： ETL 调度系统异构数据源

来源：评论

学校读者我要写书评

暂无评论

ADCS:一种基于SSD的阵列数据库缓存技术

引用

计算机与数字工程 2017年第5期45卷 929-934页

作者：杨庆李晖陈梅戴震宇朱明贵州大学计算机科学与技术学院贵阳550025 贵州大学贵州省先进计算与医疗信息服务工程实验室贵阳550025 中国科学院国家天文台北京100012

论文提出了在阵列数据库中引入固态硬盘作为Cache的内存-SSD-磁盘的多级存储架构,研发了以阵列数据库的存储单元chunk为粒度的缓存技术—ADCS,并在FASTDB中进行了实现。ADCS采用最近最少使用(LRU)算法作为缓存淘汰算法,得益于内存和磁... 详细信息

论文提出了在阵列数据库中引入固态硬盘作为Cache的内存-SSD-磁盘的多级存储架构,研发了以阵列数据库的存储单元chunk为粒度的缓存技术—ADCS,并在FASTDB中进行了实现。ADCS采用最近最少使用(LRU)算法作为缓存淘汰算法,得益于内存和磁盘之间的SSD cache构建技术,阵列数据库的查询性能提升了34%左右。

关键词：二级缓存阵列数据库 ADCS LRU

来源：评论

学校读者我要写书评

暂无评论

基于delta表的what-if分析性能优化

引用

计算机工程与设计 2016年第7期37卷 1906-1910,1946页

作者：郑雪梅陈梅李晖贵州大学计算机科学与技术学院贵州贵阳550025 贵州大学贵州省先进计算与医疗信息服务工程实验室贵州贵阳550025

针对基于delta表存储的what-if查询处理实现技术中查询性能较低的问题,对what-if分析的两个阶段提出优化方案:在假设视图生成阶段,提出基于Bloom filter算法实现what-if视图生成;在基于假设视图的OLAP查询阶段,提出基于Redis的查询缓存... 详细信息

针对基于delta表存储的what-if查询处理实现技术中查询性能较低的问题,对what-if分析的两个阶段提出优化方案:在假设视图生成阶段,提出基于Bloom filter算法实现what-if视图生成;在基于假设视图的OLAP查询阶段,提出基于Redis的查询缓存算法WFQC,提高基于假设视图的OLAP查询效率。实验结果表明,Bloom filter算法生成的what-if视图比使用传统的表连接算法生成的what-if视图性能提高了约32%;与传统的物化视图实现机制相比,基于Redis查询缓存的OLAP查询性能提升了2倍。

关键词：联机分析处理假设分析 delta表布隆过滤器查询缓存

来源：评论

学校读者我要写书评

暂无评论

FastATB:科学数据分析任务的可视化构建系统

引用

计算机工程与设计 2016年第6期37卷 1687-1692页

作者：吴彦陈梅李晖贵州大学计算机科学与技术学院贵州贵阳550025 贵州大学贵州省先进计算与医疗信息服务工程实验室贵州贵阳550025

为有效解决领域科学家编写复杂分析任务的难题,帮助领域科学家快速定义科学数据分析任务,减轻领域科学家学习复杂查询语言的复杂语法和语义规则的负担,提出一种数据查询和分析语句的可视化构建策略。基于该策略,结合阵列对象的特点,设... 详细信息

为有效解决领域科学家编写复杂分析任务的难题,帮助领域科学家快速定义科学数据分析任务,减轻领域科学家学习复杂查询语言的复杂语法和语义规则的负担,提出一种数据查询和分析语句的可视化构建策略。基于该策略,结合阵列对象的特点,设计科学数据分析任务的基本组件,在此基础上实现一个科学数据分析任务的可视化构建系统,使用拖拽操作可视化构建复杂查询序列,其可用性已在天文学领域得到验证。

关键词：科学数据可视化查询构建科学分析科学分析任务天文学

来源：评论

学校读者我要写书评

暂无评论

阵列数据库系统FASTDB的研究与实现

引用

计算机工程与设计 2016年第4期37卷 1107-1112页

作者：邱能俊陈梅李晖李宏源黄梦琳朱明贵州大学计算机科学与技术学院贵州贵阳550025 贵州大学贵州省先进计算与医疗信息服务工程实验室贵州贵阳550025 中国科学院国家天文台北京100012

为有效解决大规模科学数据的存储和分析问题,设计并实现一个分布式阵列数据库原型系统FASTDB,优化大规模科学数据的存储和分析性能,单独分析用户自己上传的科学数据。为验证FASTDB的性能优势,设计一组真实的天文领域科学分析任务,将FAS... 详细信息

为有效解决大规模科学数据的存储和分析问题,设计并实现一个分布式阵列数据库原型系统FASTDB,优化大规模科学数据的存储和分析性能,单独分析用户自己上传的科学数据。为验证FASTDB的性能优势,设计一组真实的天文领域科学分析任务,将FASTDB系统与SkyServer系统进行实验比较,实验结果表明,FASTDB系统在多数科学大数据分析场景下的性能远强于SkyServer系统。

关键词：科学数据阵列数据库系统科学分析性能分析大规模数据

来源：评论

学校读者我要写书评

暂无评论

一种负载敏感的OLAP查询结果缓存管理技术

引用

微型机与应用 2016年第3期35卷 31-34页

作者：阳颖灿张小平李晖贵州大学计算机科学与技术学院贵州贵阳550025 贵州大学贵州省先进计算与医疗信息服务工程实验室贵州贵阳550025

OLAP(On Line Analysis Processing)是数据仓库的典型应用,在数据仓库中频繁并发地执行涉及较大数据量的OLAP查询时,其查询处理效率易于逐渐降低。缓存技术是一种有效降低OLAP查询处理延时的方法。在现有的缓存数据存储、淘汰策略等研... 详细信息

OLAP(On Line Analysis Processing)是数据仓库的典型应用,在数据仓库中频繁并发地执行涉及较大数据量的OLAP查询时,其查询处理效率易于逐渐降低。缓存技术是一种有效降低OLAP查询处理延时的方法。在现有的缓存数据存储、淘汰策略等研究工作的基础上,结合OLAP任务的负载特性、OLAP任务的结果集大小等因素对性能的影响,提出了一种负载敏感的OLAP查询缓存管理技术Workload-LRU,并实现了一个ROLAP(Relational OLAP)原型系统。实验证明,Workload-LRU技术获得了较好的性能提升效果。

关键词：联机分析处理缓存策略负载敏感数据仓库查询效率

来源：评论

学校读者我要写书评

暂无评论

基于分布式计算的what-if分析并行处理策略

引用

微型机与应用 2016年第9期35卷 81-84页

作者：郑雪梅陈梅李晖贵州大学计算机科学与技术学院贵州贵阳550025 贵州大学贵州省先进计算与医疗信息服务工程实验室贵州贵阳550025

根据基于OLAP的what-if分析的查询特点,使用分布式并行处理技术解决what-if分析性能较低的问题。以星座模型为基础的what-if分析中,将多维聚集查询分布到不同计算节点进行聚集计算,然后将各个计算节点的聚集计算结果合并输出。该方法根... 详细信息

根据基于OLAP的what-if分析的查询特点,使用分布式并行处理技术解决what-if分析性能较低的问题。以星座模型为基础的what-if分析中,将多维聚集查询分布到不同计算节点进行聚集计算,然后将各个计算节点的聚集计算结果合并输出。该方法根据基于OLAP的what-if分析中其维表远远小于事实表的特性,将事实表中的记录进行水平分片,充分利用各节点计算和I/O处理能力,以解决OLAP查询中计算密集型及I/O消耗过大的难题。在该方法中,随着计算节点数目的增加,其查询时间随之减少,有效地提升了分析效率。

关键词： OLAP what-if分析分布式并行处理

来源：评论

学校读者我要写书评

暂无评论

面向容器的云平台数据重分布策略研究

引用

微型机与应用 2016年第5期35卷 26-29页

作者：丁玺润陈梅李晖贵州大学计算机科学与技术学院贵州贵阳550025 贵州大学贵州省先进计算与医疗信息服务工程实验室贵州贵阳550025

随着Docker等的问世,基于容器的操作系统级虚拟化技术受到云计算厂商的广泛关注。针对云平台上不同应用领域的数据库容器(面向事务型任务的数据库容器与面向分析型任务的数据库容器)在运行时对宿主机资源需求的差异,提出一种面向容器的... 详细信息

随着Docker等的问世,基于容器的操作系统级虚拟化技术受到云计算厂商的广泛关注。针对云平台上不同应用领域的数据库容器(面向事务型任务的数据库容器与面向分析型任务的数据库容器)在运行时对宿主机资源需求的差异,提出一种面向容器的数据重分布策略,用于优化容器中数据库服务的性能。实验结果表明,该策略达到了预期效果,可以有效提升容器中数据库服务的性能。

关键词：云计算虚拟化数据库容器数据重分布

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：