检索结果-内蒙古大学图书馆

作者：全传晓魏建华章松杨李方祥孙奕为 276000 山东省临沂市兰山区柳青街道颐高上海街三期E栋

本发明涉及一种基于大数据引擎计算的数据同步方法，通过创建虚拟节点，作为控制节点的指定任务开始；通过创建数据同步节点，从源数据库中抽取待同步的数据并传输到大数据平台上并按照分区规则进行划分，从而保证目标数据仓库与源数据... 详细信息

标准号: CN116821246A

本发明涉及一种基于大数据引擎计算的数据同步方法，通过创建虚拟节点，作为控制节点的指定任务开始；通过创建数据同步节点，从源数据库中抽取待同步的数据并传输到大数据平台上并按照分区规则进行划分，从而保证目标数据仓库与源数据库中的数据完全一致；通过创建ODPS节点，对待同步的数据进行清洗、转换和格式化处理，使其适配目标数据仓库的存储格式和结构；通过创建数据同步节点，将预处理后的数据传输到目标数据仓库中并按照分区规则进行存储和归档。通过构建运维中心，保证目标数据仓库中的数据与源数据库中的数据完全一致。本方法数据处理速度快、容量大、效率高、准确性高、可扩展性好，能够满足当今大规模数据分析和应用的需求。

关键词：目标数据数据同步源数据库仓库分区规则大数据同步的创建预处理大规模数据分析格式化处理存储格式可扩展性控制节点数据传输虚拟节点数据处理归档构建适配运维引擎抽取清洗存储保证传输转换应用

来源：评论

学校读者我要写书评

暂无评论

一种大数据分析任务的高效云配置选择算法

一种大数据分析任务的高效云配置选择算法

引用

作者：陈艳姣林龙 430072 湖北省武汉市武昌区珞珈山武汉大学

本发明提出了一种大数据分析任务的高效云配置选择算法，通过选取部分输入数据进行小规模集群实验，进而构建性能预测模型，利用性能预测模型预估任务在大规模集群上的性能表现，并且通过性能预测结果来确定最佳的云配置。通过使用上述... 详细信息

标准号: CN110048886B

本发明提出了一种大数据分析任务的高效云配置选择算法，通过选取部分输入数据进行小规模集群实验，进而构建性能预测模型，利用性能预测模型预估任务在大规模集群上的性能表现，并且通过性能预测结果来确定最佳的云配置。通过使用上述算法，能够用更低的模型训练时间和成本来有效地帮助用户找到最佳的云配置。为部署在云计算平台上的大规模数据分析任务选择最佳的云配置，可以显著提高其运行效率，并且降低运行成本。

关键词：性能预测模型算法配置大规模数据分析性能预测结果预估大规模集群云计算平台模型训练配置选择任务选择运行成本运行效率大数据有效地构建集群部署表现分析帮助

来源：评论

学校读者我要写书评

暂无评论

一种三维可视化电网运行数据分析系统

一种三维可视化电网运行数据分析系统

引用

作者：潘杰锋戚浩金李琪郑瑞云王辉华杨跃平秦桑杨扬叶夏明徐科兵俞佳捷吴凯王猛李鹏 315000 浙江省宁波市海曙区丽园北路1408号

本发明公开了一种三维可视化电网运行数据分析系统，包括：数据采集模块，连续采集需要监控的设备的运行参数；数据预处理模块，连接数据采集模块，对采集到的运行参数进行缺省修正并进行样本提取；数据分析模块，连接数据预处理模块，... 详细信息

标准号: CN113159517B

本发明公开了一种三维可视化电网运行数据分析系统，包括：数据采集模块，连续采集需要监控的设备的运行参数；数据预处理模块，连接数据采集模块，对采集到的运行参数进行缺省修正并进行样本提取；数据分析模块，连接数据预处理模块，利用历史样本对神经网络模型进行训练，并利用训练好的模型对实时样本进行数据分析；交互模块，连接数据分析模块，将分析结果呈现在三维可视化显示设备。本发明的实质性效果包括：基于大规模数据分析和机器学习技术分析电网运行参数，合理利用多维数据，效率较高，并通过三维可视化显示设备进行显示，可以帮助工作人员提前发现和消除设备隐患，加强设备相关因素的管理和控制，提高设备运行可靠性。

关键词：三维可视化连接数据显示设备运行参数大规模数据分析设备运行可靠性数据预处理模块电网运行参数电网运行数据机器学习技术神经网络模型数据采集模块数据分析模块管理和控制实质性效果预处理模块采集模块多维数据分析模块分析系统加强设备交互模块历史样本连续采集数据分析消除设备样本提取缺省样本采集修正监控分析帮助发现

来源：评论

学校读者我要写书评

暂无评论

数据挖掘:统计学的分支?

引用

江苏统计 2002年第9期 7-8页

作者：李经振南京大学商学院金融系江苏南京210093

与统计相似,数据挖掘也是一门揭示存在于数据里的模式或数据间关系的学科,但它强调对大规模数据的处理。数据挖掘与统计学有着密切的关系,但数据、方法等方面的差异决定它不是统计学的子学科。

关键词：数据挖掘统计学大规模数据分析

来源：评论

学校读者我要写书评

暂无评论

一种大数据可视化处理方法以及可读存储介质

一种大数据可视化处理方法以及可读存储介质

引用

作者：邱吉刚吴新勇刘念林杨佳唐安琳 621000 四川省绵阳市科创园区九华路6号

本发明提供了一种大数据可视化处理方法以及可读存储介质，方法包括以下步骤：按照可视化要求对从数据源读取的数据进行数据格式转换；对转换后的数据进行预处理，所述预处理包括排序和过滤；将经过预处理的数据汇集到数据表中表示；利... 详细信息

标准号: CN110109989A

本发明提供了一种大数据可视化处理方法以及可读存储介质，方法包括以下步骤：按照可视化要求对从数据源读取的数据进行数据格式转换；对转换后的数据进行预处理，所述预处理包括排序和过滤；将经过预处理的数据汇集到数据表中表示；利用可缩放矢量图形地图算法将所述数据表中不同数据维度的数据映射到视觉元素的不同属性中，以形成静态和动态的视觉图形，从而完成数据的可视化视图显示。本发明构建了可视化数据模型，并引入了字段表驱动算法、优化链表插入排序、混合过滤技术、可缩放矢量图形地图布局算法以及交互技术等，实现了针对大规模数据分析以及可视化显示。

关键词：预处理可缩放矢量图形可视化算法排序过滤大规模数据分析可读存储介质数据格式转换读取可视化处理可视化数据可视化显示布局算法交互技术视觉图形视觉元素视图显示数据汇集数据维度数据映射大数据动态的数据源字段表构建链表驱动引入转换优化

来源：评论

学校读者我要写书评

暂无评论

一种基于超低功率电磁阀的大数据处理方法

一种基于超低功率电磁阀的大数据处理方法

引用

作者：雷琦陈张平朱丹峰王建中李保红 310018 浙江省杭州市下沙高教园区2号大街

本发明公开了一种基于超低功率电磁阀的大数据处理方法，本发明通过在Apache Spark框架实现了迭代优化模糊c均值算法以实现快速准确地处理电磁阀测得的数据的目的。模糊聚类算法作为无监督机器学习的主要技术之一，是用模糊理论对重要... 详细信息

标准号: CN109210268B

本发明公开了一种基于超低功率电磁阀的大数据处理方法，本发明通过在Apache Spark框架实现了迭代优化模糊c均值算法以实现快速准确地处理电磁阀测得的数据的目的。模糊聚类算法作为无监督机器学习的主要技术之一，是用模糊理论对重要数据分析和建模的方法，建立了样本类属的不确定性描述，能比较客观地反映现实世界，它已经有效地应用在大规模数据分析、数据挖掘、矢量量化、图像分割、模式识别等领域，具有重要的理论与实际应用价值，随着应用的深入发展，模糊聚类算法的研究不断丰富。

关键词：模糊聚类算法电磁阀应用大规模数据分析模糊c均值算法不确定性超低功率迭代优化机器学习模糊理论模式识别矢量量化数据挖掘图像分割现实世界重要数据数据处理无监督有效地建模类属样本分析研究

来源：评论

学校读者我要写书评

暂无评论

一种基于超低功率电磁阀的大数据处理方法

一种基于超低功率电磁阀的大数据处理方法

引用

作者：雷琦陈张平朱丹峰王建中李保红 310018 浙江省杭州市下沙高教园区2号大街

标准号: CN109210268A

来源：评论

学校读者我要写书评

暂无评论

基于OLAP的多维数据处理方法及系统

基于OLAP的多维数据处理方法及系统

引用

作者：刘文政李栋李扬韩卿 200120 上海市浦东新区中国(上海)自由贸易试验区亮秀路112号B座401室

本发明实施例公开一种基于OLAP的多维数据处理方法及系统，其中方法包括如下步骤：同步底层数据库的数据表，基于用户定义的OLAP模型对底层数据源数据进行预计算，生成Cube预计算结果集，并基于XMLA协议向客户端暴露Cube结构。将客户端... 详细信息

标准号: CN110222124A

本发明实施例公开一种基于OLAP的多维数据处理方法及系统，其中方法包括如下步骤：同步底层数据库的数据表，基于用户定义的OLAP模型对底层数据源数据进行预计算，生成Cube预计算结果集，并基于XMLA协议向客户端暴露Cube结构。将客户端对Cube的数据查询操作对应的查询MDX，转化成SQL去访问Cube预计算结果集，并将SQL查询结果转换为MDX查询结果，返回给客户端。采用本发明，通过XMLA协议向客户端暴露Cube结构，并将客户端的MDX查询转化为SQL去查询目标结果，可以解决大规模数据分析受限的问题。

关键词：客户端预计算结果集大规模数据分析底层数据库查询查询结果查询目标底层数据结果转换数据查询用户定义数据处理源数据暴露多维受限转化返回客户访问

来源：评论

学校读者我要写书评

暂无评论

一种面向软件缺陷分析的大规模数据预处理方法

一种面向软件缺陷分析的大规模数据预处理方法

引用

作者：平源李慧娜 461000 河南省许昌市八一路88号

本发明公开了一种面向软件缺陷分析的大规模数据预处理方法。本发明涉及数据分析技术领域，目前在对软件开发完毕后，很难将软件分析报告中的大数据缺陷给找出，使开发出来的软件质量会有所降低，包括消停用词、相似度计算、二次计算、... 详细信息

标准号: CN115248777A

本发明公开了一种面向软件缺陷分析的大规模数据预处理方法。本发明涉及数据分析技术领域，目前在对软件开发完毕后，很难将软件分析报告中的大数据缺陷给找出，使开发出来的软件质量会有所降低，包括消停用词、相似度计算、二次计算、检测重复缺陷报告、缺陷处理、软件质量评估，根据每个缺陷报告中的分离单词进行建立VSM，每个缺陷报告为一个文档，每个单词为一维，计算文本相似度。该面向大规模数据分析的预处理方法，通过根据每个缺陷报告中的分离单词进行建立VSM，对重现缺陷时程序记录的日志文件，利用NL‑S进行向量空间化，然后计算文本相似度E‑S，起到了双重的检测作用，进而能够将软件报告中潜在的缺陷给找出来，从而提高了软件的开发质量。

关键词：缺陷报告单词预处理文本相似度大规模数据分析数据分析技术大规模数据相似度计算程序记录缺陷处理日志文件软件分析软件开发软件缺陷向量空间质量评估大数据潜在的检测文档重现开发重复分析

来源：评论

学校读者我要写书评

暂无评论

一种数据抽取、转换及装载的方法

一种数据抽取、转换及装载的方法

引用

作者：陈光林海峰丁水平刘涛 100085 北京市海淀区清河小营东路15号

一种数据抽取、转换及装载的方法，包括转换的过程步骤，数据源组装的过程步骤，规定数据流向的过程步骤，执行顺序连线的过程和指定任务设置执行条件的步骤。本发明设有两种脚本文件，转换和工作，转换完成针对数据的基础转换，工作则... 详细信息

标准号: CN105787122A

一种数据抽取、转换及装载的方法，包括转换的过程步骤，数据源组装的过程步骤，规定数据流向的过程步骤，执行顺序连线的过程和指定任务设置执行条件的步骤。本发明设有两种脚本文件，转换和工作，转换完成针对数据的基础转换，工作则完成整个工作流的控制。解决大规模数据分析利用不能快速响应业务的变化、数据复用程度低、技术和业务混杂、以及分析效率和交付质量不高的问题。

关键词：过程步骤转换大规模数据分析分析效率基础转换脚本文件快速响应任务设置数据抽取数据复用数据流向执行条件工作流数据源连线混杂装载组装交付

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：