检索结果-内蒙古大学图书馆

作者：周朝坤唐永徐文涛李欣沅谢泰安吴睿张青 650200 云南省昆明市官渡区北京路136号

本发明提供一种基于大数据分析和云计算的安全防护方法及系统，涉及数据安全技术领域，包括：获取待处理数据，根据待处理数据，通过数据划分算法将待处理数据对数据键进行查找，并将待处理数据表示为数据键和数据值，基于数据键和数据... 详细信息

标准号: CN117749527B

本发明提供一种基于大数据分析和云计算的安全防护方法及系统，涉及数据安全技术领域，包括：获取待处理数据，根据待处理数据，通过数据划分算法将待处理数据对数据键进行查找，并将待处理数据表示为数据键和数据值，基于数据键和数据值得到敏感数据；根据敏感数据，通过预设的云端服务器对敏感数据进行加密，生成加密数据集，根据加密数据集，代理服务器根据数据加密算法生成加密结果；通过多方传输算法建立所述代理服务器与用户间的安全通信通道，并根据加密结果计算通信协议，根据通信协议和多方传输算法中的秘密共享方案将加密结果进行分割，并以加密形式传输给用户，用户根据加密数据集进行解密，得到敏感数据。

关键词：待处理数据敏感数据加密数据集加密结果数据键代理服务器传输算法通信协议安全通信通道数据安全技术数据划分算法数据加密算法云端服务器安全防护加密形式秘密共享大数据云计算解密预设加密查找传输分割分析

来源：评论

学校读者我要写书评

暂无评论

基于大数据分析和云计算的安全防护方法及系统

基于大数据分析和云计算的安全防护方法及系统

引用

作者：周朝坤唐永徐文涛李欣沅谢泰安吴睿张青 650200 云南省昆明市官渡区北京路136号

标准号: CN117749527A

来源：评论

学校读者我要写书评

暂无评论

一种面向时空大数据流处理引擎的动态资源调度方法

一种面向时空大数据流处理引擎的动态资源调度方法

引用

作者：方钰翟鹏珺陈欣如 200092 上海市杨浦区四平路1239号

一种面向时空大数据流处理引擎的动态资源调度方法在本发明中被提出。当前的流处理引擎通常借助集群或高性能的硬件来提升处理数据的效率，仅仅支持处理实时的流数据，不能同时处理无界的实时数据和有界的存储数据，且随机分配处理任务... 详细信息

标准号: CN115510100A

一种面向时空大数据流处理引擎的动态资源调度方法在本发明中被提出。当前的流处理引擎通常借助集群或高性能的硬件来提升处理数据的效率，仅仅支持处理实时的流数据，不能同时处理无界的实时数据和有界的存储数据，且随机分配处理任务的方式不能依据上层需求针对性的提升数据处理速率。本发明面向时空大数据，改进了数据划分算法，将流数据划分为有界和无界两种数据类型，并分别从全局和局部资源范围对数据处理任务设计了动态资源调度策略，使得算法在保证无界任务处理实时性的同时，扩大了处理有界任务的总量，由此使得流处理引擎具备同时处理无界、有界数据的能力，且在集群环境下实现资源高效分配，以提高流处理引擎的吞吐量，并降低处理时延。

关键词：流处理引擎动态资源调度数据处理流数据数据划分算法时空处理时延处理数据处理引擎存储数据大数据流高效分配集群环境局部资源任务处理任务设计实时数据数据类型随机分配大数据实时性集群算法吞吐量上层全局改进保证

来源：评论

学校读者我要写书评

暂无评论

一种利用梯度下降的学习索引

一种利用梯度下降的学习索引

引用

作者：高隽陈珊珊 210003 江苏省南京市栖霞区仙林街道亚东新城区文苑路9号南京邮电大学

本发明公开了一种利用梯度下降的学习索引模型，属于数据库优化领域，主要解决的数据库索引随着数据量爆炸式增加，空间和时间开销越来越大的问题，提升数据库数据查询的速度和减少索引结构的空间开销。具体实现的步骤包括：(1)将数据... 详细信息

标准号: CN115129721A

本发明公开了一种利用梯度下降的学习索引模型，属于数据库优化领域，主要解决的数据库索引随着数据量爆炸式增加，空间和时间开销越来越大的问题，提升数据库数据查询的速度和减少索引结构的空间开销。具体实现的步骤包括：(1)将数据空间划分为多个子空间，子空间之间无重叠；(2)根据划分的子空间训练对应的拟合函数；(3)递归调用数据划分算法和数据拟合算法构建上层结构；(4)利用链表结构解决数据插入问题。本发明利用机器学习模型拟合数据分布规律，来代替传统数据库索引结构。利用了机器学习技术学习数据潜在的分布规律构建索引模型，可以大大减少索引结构的空间开销和查询时的时间消耗。

关键词：索引结构空间开销索引模型子空间构建机器学习技术机器学习模型数据划分算法传统数据库数据库数据数据库索引数据库优化查询递归调用分布规律链表结构拟合函数拟合算法上层结构时间开销时间消耗数据分布数据空间学习数据爆炸式潜在的数据量无重叠拟合学习

来源：评论

学校读者我要写书评

暂无评论

基于Co-location模式和本体的商业地址选择方法

基于Co-location模式和本体的商业地址选择方法

引用

作者：王丽珍包旭光陈红梅肖清 650091 云南省昆明市五华区翠湖北路2号

本发明公开了基于Co‑location模式和本体的商业地址选择方法，以城市兴趣点数据为源数据，根据各个兴趣点的类型进行分类，并创建相应本体；定义两个兴趣点之间的关键距离；重新评估每个兴趣点的边长，给出了实际情况下的邻近关系定义... 详细信息

标准号: CN107330734B

本发明公开了基于Co‑location模式和本体的商业地址选择方法，以城市兴趣点数据为源数据，根据各个兴趣点的类型进行分类，并创建相应本体；定义两个兴趣点之间的关键距离；重新评估每个兴趣点的边长，给出了实际情况下的邻近关系定义；提出了基于网格法的在地球球体上的数据划分算法以更快更准确地得到每个兴趣点的邻近兴趣点集合，并将该集合按照语义是否相同进行分类存储。当指定一个需要选址的兴趣点特征，寻找包含该特征的关键co‑location模式；在最终的选址方式上，需考虑用户的选址偏向，不同的地址偏向采用不同的剪枝策略；最后向用户推荐满足用户需求的适合创建该兴趣点类型的地址列表供用户进行进一步地评估。

关键词：兴趣点选址集合邻近数据划分算法兴趣点数据语义地球球体分类存储剪枝策略商业地址选址方式用户推荐用户需求网格法源数据边长评估创建分类

来源：评论

学校读者我要写书评

暂无评论

面向大数据平台的数据迁移关键技术研究

面向大数据平台的数据迁移关键技术研究

引用

作者：伍秋平华南师范大学

学位级别：硕士

随着大数据和云计算的发展，分布式文件系统在众多的存储系统中扮演着越来越重要的角色。与此同时，数据仓库也经历了概念的提出、理论的逐步完善、初步建立仓库，到现在发展成熟等过程。到目前为止，绝大多数数据仓库还是使用传统的关... 详细信息

随着大数据和云计算的发展，分布式文件系统在众多的存储系统中扮演着越来越重要的角色。与此同时，数据仓库也经历了概念的提出、理论的逐步完善、初步建立仓库，到现在发展成熟等过程。到目前为止，绝大多数数据仓库还是使用传统的关系型数据库来管理其中的数据。然而，随着数据仓库的发展，传统的关系型数据库已不能满足数据仓库建设和维护的需要。互联网上日积月累并不断涌现大量内容丰富、种类各异的数据，使得今天的应用系统要处理的数据对象，成为了海量的结构化、半结构化、非结构化数据并存混合型数据。分布式数据库应运而生，它是一种基于分布式平台的数据库系统，比较典型的有hive和habse。它能够用来处理这些海量、异构、复杂和个性化的数据。\n 因此，企业或机构开始把数据仓库中的数据存入到分布式文件系统。但现在企业或机构中仍有大量应用是基于传统数据库或传统文件系统的，而传统关系数据库中依然存放着大量的数据。企业或机构需要将数据文件从关系型数据库迁移到分布式文件系统。\n Sqoop是Apache的一个数据抽取转换工具，通过自动生成MapReduce代码来实现大数据平台的数据导入导出。将关系型数据库的数据导入到大数据平台分为以下几个步骤:首先，发出一条查询语句，得出待导入数据表的表结构信息（包括字段名称和类型等）。然后，根据命令中指定的split-by列（即划分字段）将数据行划分到不同的map。最后，将划分好的数据交给不同的map去执行MapReduce导入任务。\n 首先，在导入过程中划分数据到不同map中时，Sqoop的本身实现中采用的是均分点范围划分算法。而数据的分布往往是不均匀的，原划分算法会导致map间数据划分不均匀的问题。本文基于对Sqoop的研究，利用先探测数据分布再划分的思想，提出了一种基于循环的高位统计的数据均匀划分算法，能够有效地将待导入数据进行均匀划分。\n 另外，本文基于并行化rsync算法重新实现了Sqoop的增量导入功能。rsync是一种数据的增量传输算法，它不但能够只传送少量的增量数据，而且能够利用原数据中已存在的数据块对数据文件进行重构，极大地减少了数据的传送量。因此，它能够有效提高数据的增量导入性能。本文通过将rsync算法并行化，提出了一种基于并行化rsync的增量导入算法。该算法能够有效地提高Sqoop增量导入性能。\n 最后，本文设计和开发了一个面向大数据平台的数据迁移原型系统。该系统采用JSP为前端和Servlet为后端，以改进后的Sqoop为底层，实现了一个大数据平台的数据导入导出的Web系统。\n 实验结果表明，基于循环的高位统计的数据划分算法通过均匀划分map，使集群各节点的负载更均衡，有效地提高了大数据平台的节点资源利用率，缩短了数据导入导出时间。另外，并行化的rysnc算法从有别于Sqoop原有实现的角度，实现了数据的增量导入，也有效地提高了Sqoop的性能，并增强了导入的灵活性。

关键词：数据库分布式平台数据划分算法数据转移资源利用率

来源：评论

学校读者我要写书评

暂无评论

基于Co‑location模式和本体的商业地址选择方法

基于Co‑location模式和本体的商业地址选择方法

引用

作者：王丽珍包旭光陈红梅肖清 650091 云南省昆明市五华区翠湖北路2号

标准号: CN107330734A

来源：评论

学校读者我要写书评

暂无评论

一般性问题

引用

测绘文摘 2007年第1期 12-26页

来源：评论

学校读者我要写书评

暂无评论

pC++语言中数据划分算法的研究与改进

引用

软件学报 1999年第9期10卷 985-988页

作者：石威方滨兴胡铭曾哈尔滨工业大学计算机科学与工程系哈尔滨150001

大规模并行计算是当前该领域研究的一大热点．由于大多数应用问题是数据并行问题，所以人们更多地采用数据并行计算方法来解决实际问题．在数据并行计算中，影响计算速度的一个重要因素是数据的划分状况．该文针对一种较为流行的面向对... 详细信息

大规模并行计算是当前该领域研究的一大热点．由于大多数应用问题是数据并行问题，所以人们更多地采用数据并行计算方法来解决实际问题．在数据并行计算中，影响计算速度的一个重要因素是数据的划分状况．该文针对一种较为流行的面向对象数据并行语言——ｐＣ＋＋的数据划分算法进行了分析，并指出了其不足之处，同时提出了一种改进的数据划分算法．实验表明。

关键词：面向对象数据划分算法 PC++语言 C++语言

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：