检索结果-内蒙古大学图书馆

您好，读者！请登录

内蒙古大学图书馆

首页
概况
党建
资源
服务
科研支持
- 论文收录引用证明
- 科技查新
知识产权
档案馆
帮助

咨询与建议

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

您的常用邮箱：*

您的手机号码：*

问题描述：

当前已输入0个字，您还可以输入200个字

全部搜索
期刊论文
图书
学位论文
标准
纸本馆藏
外文资源发现
数据库导航
超星发现

高级检索

时间限定

出版年份：

文献类型

图书期刊文献学位论文多媒体

馆藏选择

电子馆藏纸本馆藏

核心期刊

全部期刊 SCI 收录期刊 SSCI 收录期刊 EI 收录期刊 CSCD 收录期刊 CSSCI 收录期刊

语言

中文英文

文献类型

期刊文献图书学位论文标准纸本馆藏

帮助

文字说明：

T=题名（书名、题名），A=作者（责任者），K=主题词，P=出版物名称，PU=出版社名称，O=机构（作者单位、学位授予单位、专利申请人），L=中图分类号，C=学科分类号，U=全部字段，Y=年（出版发行年、学位年度、标准发布年）

检索规则说明：

AND代表“并且”；OR代表“或者”；NOT代表“不包含”；(注意必须大写,运算符两边需空一格)

检索范例：

范例一：(K=图书馆学 OR K=情报学) AND A=范并思 AND Y=1982-2016
范例二：P=计算机应用与软件 AND (U=C++ OR U=Basic) NOT K=Visual AND Y=2011-2016

分类表

所选分类

>> <<

限定检索结果

文献类型

29 篇 专利
3 篇 学位论文
1 篇 期刊文献

馆藏范围

33 篇 电子文献
0 种 纸本馆藏

日期分布

学科分类号

4 篇 管理学
- 4 篇 管理科学与工程(可...
1 篇 经济学
- 1 篇 应用经济学
1 篇 理学
- 1 篇 数学
- 1 篇 统计学（可授理学、...
1 篇 工学
- 1 篇 控制科学与工程
- 1 篇 计算机科学与技术...
- 1 篇 软件工程

主题

4 篇 大规模数据分析
1 篇 混合架构
1 篇 关系数据
1 篇 流式处理
1 篇 数据挖掘
1 篇 mapreduce
1 篇 统计学
1 篇 性能评价
1 篇 分布式并行计算
1 篇 数据库
1 篇 列式存储
1 篇 随机梯度下降算法
1 篇 机器学习

机构

2 篇 国家电网有限公司
2 篇 成方金融科技有限...
2 篇 国网浙江省电力有...
2 篇 宁波送变电建设有...
2 篇 西北农林科技大学
2 篇 山东大学
2 篇 国网辽宁省电力有...
2 篇 国网辽宁省电力有...
2 篇 杭州电子科技大学
2 篇 武汉大学
2 篇 北京搜狐新媒体信...
2 篇 国网辽宁省电力有...
1 篇 华中科技大学
1 篇 中石化安全工程研...
1 篇 北方民族大学
1 篇 许昌学院
1 篇 南京大学
1 篇 跬云信息科技有限...
1 篇 天津南大通用数据...
1 篇 北京科东电力控制...

作者

2 篇 李铮
2 篇 赵跃
2 篇 王帅
2 篇 佟琪
2 篇 潘杰锋
2 篇 王猛
2 篇 陈艳姣
2 篇 林龙
2 篇 杨跃平
2 篇 汪云海
2 篇 梁洪涛
2 篇 朱丹峰
2 篇 戚浩金
2 篇 范士新
2 篇 王建中
2 篇 杨扬
2 篇 邬春媛
2 篇 雷琦
2 篇 张威风
2 篇 秦桑

语言

33 篇 中文

检索条件"主题词=大规模数据分析"

共 33 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

结合MapReduce与数据库的大规模数据分析关键技术研究

结合MapReduce与数据库的大规模数据分析关键技术研究

引用

作者：覃左言中国人民大学

学位级别：硕士

近年来，数据分析市场的需求正快速发生变化。越来越多的企业和组织需要对大量数据进行分析，这些数据包括爬取的网页、搜索日志和点击流等。与此同时，需要存储和处理的数据正在急剧增长。越来越多数据产生与处理流程的电子化、自动化... 详细信息

近年来，数据分析市场的需求正快速发生变化。越来越多的企业和组织需要对大量数据进行分析，这些数据包括爬取的网页、搜索日志和点击流等。与此同时，需要存储和处理的数据正在急剧增长。越来越多数据产生与处理流程的电子化、自动化使数据呈现爆炸趋势。随着数据的快速增长，数据分析任务往往需要成百上千的机器同时运行才能完成。\n 众所周知，并行数据库因为高效性和稳定性一度成为数据分析的首选。随着基于成本的考虑和云计算概念的推动，将大规模数据分析任务从部署在并行数据库的高端服务器转移至更便宜的无共享体系结构的低端服务器集群上，成为当下海量数据分析的真正首选。HyDB基本思想就是结合数据库的高性能和MapReduce的容错性和扩展性，提供一个基于代价的高效的应对大规模数据分析任务的系统框架。\n 本文设计了完善的结合并行MapReduce和数据库的高效混合架构，实现了HyDB系统，通过对数据的存储模型和查询模型进行研究，提出了优化的数据存储和查询技术，设计了基于队列的作业调度算法，提出了针对简约查询的快速响应模式，并对数据加载、事务和容错的实现进行了讨论。同时，为了进一步提高查询效率，首次提出了混合模型下的基于代价的查询优化方案，研究了混合模型下的统计信息收集方法和代价计算公式，并针对混合架构的特点提出了基于动态规划的最优计划搜索算法，该算法基于数据的存储模型对各种不同类型的执行路径进行综合考虑，并根据代价模型寻找最优的执行方案。最后经过多方面的实验和分析，证明我们的系统具有很好的加载性能、查询性能和容错能力。\n 总之，本文实现了HyDB系统——集成MapReduce和数据库的高效混合架构，就大规模数据分析的一些关键问题进行了研究，对高效可靠的大规模数据分析技术进行了探索。

关键词：数据库大规模数据分析混合架构性能评价

来源：评论

学校读者我要写书评

暂无评论

一种基于DBSCAN算法的大规模数据分析方法

一种基于DBSCAN算法的大规模数据分析方法

引用

作者：卢宇彤张元胤陈志广 510275 广东省广州市海珠区新港西路135号

本发明公开了一种基于DBSCAN算法的大规模数据分析方法，包括如下步骤：步骤一、通过环形通信计算邻接表；步骤二、局部初步确定核心点的临时簇号；步骤三、轮流广播同步核心点簇号；步骤四、反向环形通信更新边界点簇号。本发明能很好... 详细信息

标准号: CN114706688A

本发明公开了一种基于DBSCAN算法的大规模数据分析方法，包括如下步骤：步骤一、通过环形通信计算邻接表；步骤二、局部初步确定核心点的临时簇号；步骤三、轮流广播同步核心点簇号；步骤四、反向环形通信更新边界点簇号。本发明能很好地解决DBSCAN算法在大规模数据聚类分析中的效率问题，本发明巧妙地分解DBSCAN算法递归计算过程计算步骤依赖问题，使其适用于分布式的执行模型，使得集群中不同结点的工作负载尽量平衡。极大减少分布式计算中的通信量，并利用非阻塞通信方式让计算和通信重叠，减少空闲等待时间。充分利用计算结点的内存，使得集群上的海量数据聚类分析成为现实。

关键词：算法环形通信聚类分析集群大规模数据分析大规模数据非阻塞通信分布式计算递归计算工作负载过程计算海量数据计算结点空闲等待效率问题边界点邻接表通信量结点内存轮流分解平衡更新广播通信

来源：评论

学校读者我要写书评

暂无评论

基于MapReduce的关系数据联机分析处理技术研究

基于MapReduce的关系数据联机分析处理技术研究

引用

作者：张冬洁华中科技大学

学位级别：硕士

随着数据量的不断增长，关系数据分析系统面临着可扩展性和查询性能的挑战，许多查询任务都必须通过使用大规模的集群实现并行处理才能获得较好的查询响应时间。面对大数据处理的需求，并行数据库系统实现了高效的查询性能，但是难以扩... 详细信息

随着数据量的不断增长，关系数据分析系统面临着可扩展性和查询性能的挑战，许多查询任务都必须通过使用大规模的集群实现并行处理才能获得较好的查询响应时间。面对大数据处理的需求，并行数据库系统实现了高效的查询性能，但是难以扩展；而现有的基于MapReduce的数据分析系统虽然具有高可扩展性和容错性，但是查询效率较低。基于MapReduce的关系数据联机分析系统Alovera有效地解决了上述问题，实现了对大规模关系数据的高效分析。该系统通过使用MapReduce模型整合数据库集群，实现MapReduce框架和数据库系统对查询任务的共同执行。针对关系数据分析任务的特点，Alovera系统从数据的存储方式、查询计划和查询执行三个方面进行优化。系统使用面向列的关系数据存储方式，在查询执行时动态地进行数据导入。通过基于查询的数据导入方式，系统生成优化的查询计划，将尽可能多的查询任务分配给数据库执行。此外，系统对MapReduce框架进行了扩展，使得数据在MapReduce作业内部和作业之间以流的方式被处理，实现了查询任务的流式处理。通过上面的改进和优化，Alovera系统实现了高可扩展性和查询的高效性。通过在相同的数据集和环境中对Alovera系统和基于MapReduce框架的数据分析系统Hive、HadoopDB进行一系列的对比测试，结果表明Alovera系统的查询性能普遍优于其它的两个系统，特别是在选择和聚集查询上系统的查询响应时间远优于Hive和HadoopDB系统。

关键词：大规模数据分析 MapReduce 关系数据列式存储流式处理

来源：评论

学校读者我要写书评

暂无评论

基于分布式并行计算的随机梯度下降算法在大规模数据中的应用研究

基于分布式并行计算的随机梯度下降算法在大规模数据中的应用研究

引用

作者：曹煜北方民族大学

学位级别：硕士

随着数据的爆炸式增长,针对大规模数据的分析模型正面临巨大的挑战,传统统计方法的分析效率逐渐降低。科研工作者在统计学的基础上配合计算机技术提出了许多改进方法,其中随机梯度下降算法(Stochastic gradient descent,SGD)在众多模型... 详细信息

随着数据的爆炸式增长,针对大规模数据的分析模型正面临巨大的挑战,传统统计方法的分析效率逐渐降低。科研工作者在统计学的基础上配合计算机技术提出了许多改进方法,其中随机梯度下降算法(Stochastic gradient descent,SGD)在众多模型的优化中得到比较广泛的应用。随机梯度下降策略可以加快算法优化过程,将SGD算法扩展到大规模数据的应用中是目前的研究热点之一。本文主要研究SGD算法与几种推广变体的并行与分布式化方法,以及它们在大规模统计分析中的应用,具体的研究工作如下: (1)提出一种基于无锁共享内存的异步并行SGD算法(Lock-Free and sharedmemory Asynchronous SGD,LFA-SGD)。本文先构建无锁共享内存的异步计算框架,将SGD、自适应随机梯度下降(ASGDs)算法与异步计算框架相结合,设计出系列基于LFA-SGD与LFA-ASGDs算法的卷积神经模型(Convolutional Neural Network,CNN),并将其应用于大规模天体光谱检测工作中。实验表明:并行框架下基于LFA-SGD与LFA-ASGDs算法的神经网络模型不仅收敛速度快,而且可以获得较高的分类精确度,同时模型也可以使GPU利用率从56.67%提升到96.67%。 (2)提出同步自适应(Synchronous and Adaptive,SA)的SGD算法和同步自适应随机方差缩减梯度下降(SVRG)算法。本文在Spark分布式框架下,采用Yarn资源管理调度方法,将SGD、SVRG算法与同步计算框架相结合,设计出系列基于SA-SGD和SA-SVRG算法的支持向量机、Logistic回归模型,并将这些模型应用于糖尿病性视网膜病变检测中。实验表明:分布式框架下基于SA-SGD和SA-SVRG算法的模型,不仅收敛速度得到了明显地加快,准确率也有着显著地提升。

关键词：随机梯度下降算法机器学习分布式并行计算大规模数据分析

来源：评论

学校读者我要写书评

暂无评论

一种流数据的高效检索、压缩系统及压缩方法

一种流数据的高效检索、压缩系统及压缩方法

引用

作者：张立华焦健张沛轩林野 211800 江苏省南京市浦口区新北路1号江北国际智谷B座601

本发明公开了一种流数据的高效检索、压缩系统及方法，属于物联网数据技术领域，包括：流数据读取模块，用于读取流数据；数据解构模块，对流数据进行解构；数据压缩模块，将数据解构模块传来的数据根据数据类型进行压缩，并将压缩后的... 详细信息

标准号: CN115982436A

本发明公开了一种流数据的高效检索、压缩系统及方法，属于物联网数据技术领域，包括：流数据读取模块，用于读取流数据；数据解构模块，对流数据进行解构；数据压缩模块，将数据解构模块传来的数据根据数据类型进行压缩，并将压缩后的数据存储到数据存储模块；数据存储模块，用于存储压缩后的数据。本发明的有益效果是，根据ChunkSize选择的数值不同，节省流数据存储空间50％‑95％；提高大规模数据分析速度50％以上。

关键词：流数据数据存储模块压缩大规模数据分析读取数据压缩模块物联网数据存储空间读取模块对流数据高效检索数据存储数据类型压缩系统存储

来源：评论

学校读者我要写书评

暂无评论

数据统计方法、装置、电子设备和存储介质

数据统计方法、装置、电子设备和存储介质

引用

作者：梁洪涛吴会霞 100033 北京市西城区金融街百盛大厦9层

本发明涉及数据处理技术领域，提供一种数据统计方法、装置、电子设备和存储介质，该方法包括：将每日增量数据存储至对应的业务数据表中；根据业务数据表中的业务数据每日同步更新终态数据表以及非终态数据表，其中，终态数据表中存储... 详细信息

标准号: CN117851478A

本发明涉及数据处理技术领域，提供一种数据统计方法、装置、电子设备和存储介质，该方法包括：将每日增量数据存储至对应的业务数据表中；根据业务数据表中的业务数据每日同步更新终态数据表以及非终态数据表，其中，终态数据表中存储着业务状态为终态的业务数据，非终态数据表中存储着业务状态为非终态的业务数据；根据终态数据表获取终态统计结果以及根据非终态数据表获取非终态统计结果，并合并展示终态统计结果与非终态统计结果。本发明通过将业务状态变化的数据按终态、非终态区分，并分别统计存储，显著降低数据读写更新规模，能满足大规模数据分析，通用性好。

关键词：终态统计结果业务数据存储业务状态大规模数据分析数据处理技术业务状态变化存储介质电子设备数据读写数据统计同步更新增量数据与非合并更新统计展示

来源：评论

学校读者我要写书评

暂无评论

一种基于分布式数据库的SQL性能优化方法

一种基于分布式数据库的SQL性能优化方法

引用

作者：刘政 300384 天津市滨海新区华苑产业区海泰发展六道6号海泰绿色产业基地J-518

本发明提供了一种基于分布式数据库的SQL性能优化方法，包括排查各个服务器节点的磁盘空间使用情况，以及文件系统故障和硬件故障，并反馈排查结果；分析单条SQL任务的执行计划，排查在多表关联场景下的数据重分布情况和拉复制表情况，... 详细信息

标准号: CN117971889A

本发明提供了一种基于分布式数据库的SQL性能优化方法，包括排查各个服务器节点的磁盘空间使用情况，以及文件系统故障和硬件故障，并反馈排查结果；分析单条SQL任务的执行计划，排查在多表关联场景下的数据重分布情况和拉复制表情况，排查可合并的多步骤任务，并反馈排查结果；根据分析和排查结果，改造随机分布表以减少数据重分布次数，将维度表、码表的类型创建为replicated复制表以减少拉复制表次数，合并排查到的多步骤任务；记录SQL性能优化前后的性能差异，以验证本次优化是否具有进步效果。本发明有益效果：改善数据库的响应速度、负载均衡和资源利用率，确保在处理大规模数据分析时的高效性和可靠性。

关键词：排查性能优化复制大规模数据分析分布式数据库服务器节点资源利用率磁盘空间负载均衡关联场景进步效果随机分布文件系统性能差异硬件故障反馈合并高效性单条码表维度数据库分析验证响应记录创建改造优化

来源：评论

学校读者我要写书评

暂无评论

数据统计方法、装置、电子设备和存储介质

数据统计方法、装置、电子设备和存储介质

引用

作者：梁洪涛吴会霞 100033 北京市西城区金融街百盛大厦9层

标准号: CN117851478B

来源：评论

学校读者我要写书评

暂无评论

基于线段KD树的支持大规模时序数据交互方法及系统

基于线段KD树的支持大规模时序数据交互方法及系统

引用

作者：汪云海赵跃张烜 266237 山东省青岛市即墨滨海路72号

本发明提供了一种基于线段KD树的支持大规模时序数据交互方法，将每个时间序列分割为多个线段，并计算每个线段对应的斜率；为分割后的所有线段建立在三维空间的KD树索引结构；计算每个KD树节点中的空间跨度信息；对于交互目标区域，查... 详细信息

标准号: CN113535712B

本发明提供了一种基于线段KD树的支持大规模时序数据交互方法，将每个时间序列分割为多个线段，并计算每个线段对应的斜率；为分割后的所有线段建立在三维空间的KD树索引结构；计算每个KD树节点中的空间跨度信息；对于交互目标区域，查询KD树索引结构中经过所选区域内的所有线段信息，进行交互式查询。本发明效地解决了当前大规模数据分析中存在的查询困难问题，易于用户观察。

关键词：线段索引结构三维空间大规模时序数据大规模数据分析交互式查询查询交互目标空间跨度困难问题时间序列所选区域线段信息分割观察

来源：评论

学校读者我要写书评

暂无评论

一种大数据分析任务的高效云配置选择算法

一种大数据分析任务的高效云配置选择算法

引用

作者：陈艳姣林龙 430072 湖北省武汉市武昌区珞珈山武汉大学

本发明提出了一种大数据分析任务的高效云配置选择算法，通过选取部分输入数据进行小规模集群实验，进而构建性能预测模型，利用性能预测模型预估任务在大规模集群上的性能表现，并且通过性能预测结果来确定最佳的云配置。通过使用上述... 详细信息

标准号: CN110048886A

本发明提出了一种大数据分析任务的高效云配置选择算法，通过选取部分输入数据进行小规模集群实验，进而构建性能预测模型，利用性能预测模型预估任务在大规模集群上的性能表现，并且通过性能预测结果来确定最佳的云配置。通过使用上述算法，能够用更低的模型训练时间和成本来有效地帮助用户找到最佳的云配置。为部署在云计算平台上的大规模数据分析任务选择最佳的云配置，可以显著提高其运行效率，并且降低运行成本。

关键词：性能预测模型算法配置大规模数据分析性能预测结果预估大规模集群云计算平台模型训练配置选择任务选择运行成本运行效率大数据有效地构建集群部署表现分析帮助

来源：评论

学校读者我要写书评

暂无评论

没有更多数据了...

全选清除本页清除全部题录导出标记到“检索档案”

共4页 << < 1 2 3 4 > >>

检索报告对象比较合并检索0

隐藏清空

合并搜索

回到顶部

执行限定条件

内容：

评分：

请选择保存的检索档案：

请选择收藏分类：

订阅名称：

通借通还

温馨提示：

图书名称：

借书校区：

取书校区：

手机号码：

邮箱地址：

一卡通帐号：

电话和邮箱必须正确填写，我们会与您联系确认。

联系人：

所在院系：

联系邮箱：

联系电话：

内蒙古自治区呼和浩特市赛罕区大学西街235号邮编: 010021

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：