检索结果-内蒙古大学图书馆

计算机应用 2024年第6期44卷 1727-1733页

作者：李旭何玉林崔来中黄哲学 PHILIPPE Fournier-Viger 人工智能与数字经济广东省实验室(深圳) 广东深圳518107 深圳大学计算机与软件学院广东深圳518060

观测点分类器(OPC)是一种试图通过将多维样本空间线性不可分问题转换成一维距离空间线性可分问题的有监督学习模型,对高维数据的分类问题尤为有效。针对OPC在处理大数据分类问题时表现的较高训练复杂度,在Spark框架下设计一款基于大数... 详细信息

观测点分类器(OPC)是一种试图通过将多维样本空间线性不可分问题转换成一维距离空间线性可分问题的有监督学习模型,对高维数据的分类问题尤为有效。针对OPC在处理大数据分类问题时表现的较高训练复杂度,在Spark框架下设计一款基于大数据的随机样本划分(RSP)的分布式OPC(DOPC)。首先,在分布式计算环境下生成大数据的RSP数据块,并将它转换为弹性分布式数据集(RDD);其次,在RSP数据块上协同式地训练一组OPC,由于每个RSP数据块上的OPC独立训练,因此有高效的Spark可实现性;最后,在Spark框架下将在RSP数据块上协同训练的OPC集成为DOPC,对新样本进行类标签预测。在8个大数据集上,对Spark集群环境下实现的DOPC的可行性、合理性和有效性进行实验验证,实验结果显示,DOPC能够以更低的计算消耗获得比单机OPC更高的测试精度,同时相较于Spark框架下实现的基于RSP模型的神经网络(NN)、决策树(DT)、朴素贝叶斯(NB)和K最近邻(KNN),DOPC分类器具有更强的泛化性能。测试结果表明,DOPC是一种高效低耗的处理大数据分类问题的有监督学习算法。

关键词：大数据分类分布式文件系统随机样本划分观测点分类器 Spark计算框架

来源：评论

学校读者我要写书评

暂无评论

大数据随机样本划分模型及相关分析计算技术

引用

数据采集与处理 2019年第3期34卷 373-385页

作者：黄哲学何玉林魏丞昊张晓亮深圳大学计算机与软件学院大数据技术与应用研究所深圳518060 深圳大学大数据系统计算技术国家工程实验室深圳518060

设计了一种新的适用于大数据的管理和分析模型大数据随机样本划分(Random samplepartition,RSP)模型,它是将大数据文件表达成一系列RSP数据块文件的集合,分布存储在集群节点上。RSP的生成操作使每个RSP数据块的分布与大数据的分布保持... 详细信息

设计了一种新的适用于大数据的管理和分析模型大数据随机样本划分(Random samplepartition,RSP)模型,它是将大数据文件表达成一系列RSP数据块文件的集合,分布存储在集群节点上。RSP的生成操作使每个RSP数据块的分布与大数据的分布保持统计意义上的一致,因此,每个RSP数据块是大数据的一个随机样本数据,可以用来估计大数据的统计特征,或建立大数据的分类和回归模型。基于RSP模型,大数据的分析任务可以通过对RSP数据块的分析来完成,不需要对整个大数据进行计算,极大地减少了计算量,降低了对计算资源的要求,提高了集群系统的计算能力和扩展能力。本文首先给出RSP模型的定义、理论基础和生成方法;然后介绍基于RSP数据块的渐近式集成学习Alpha计算框架;之后讨论基于RSP模型和Alpha框架的大数据分析相关计算技术,包括:数据探索与清洗、概率密度函数估计、有监督子空间学习、半监督集成学习、聚类集成和异常点检测;最后讨论RSP模型在分而治之大数据分析和抽样方法上的创新,以及RSP模型和Alpha计算框架实现大规模数据分析的优势。

关键词：大数据随机样本划分渐近式集成学习人工智能

来源：评论

学校读者我要写书评

暂无评论

大数据随机样本划分模型及相关分析计算技术

大数据随机样本划分模型及相关分析计算技术

引用

第六届中国计算机学会大数据学术会议

作者：黄哲学何玉林魏丞昊张晓亮深圳大学计算机与软件学院大数据技术与应用研究所广东深圳518060 大数据系统计算技术国家工程实验室广东深圳 518060

本文设计了一种新的适用于大数据的管理和分析模型——大数据随机样本划分模型(Random Sample Partition模型,简称RSP模型),它是将大数据文件表达成一系列RSP数据块文件的集合,分布存储在集群节点上.RSP的生成操作使每个RSP数据块的数... 详细信息

本文设计了一种新的适用于大数据的管理和分析模型——大数据随机样本划分模型(Random Sample Partition模型,简称RSP模型),它是将大数据文件表达成一系列RSP数据块文件的集合,分布存储在集群节点上.RSP的生成操作使每个RSP数据块的数据分布与大数据的分布保持统计一致,因此,每个RSP数据块是大数据的一个随机样本数据,可以用来估计大数据的统计特征,或建立大数据的分类和回归模型.基于RSP模型,大数据的分析任务可以通过对RSP数据块的分析来完成,不需要对整个大数据进行计算,极大地减少了计算量,降低了对计算资源的要求,提高了集群系统的计算能力和扩展能力.本文首先给出RSP模型的定义、理论基础和生成方法;然后介绍基于RSP数据块的逼近式集成学习Alpha计算框架;之后讨论基于RSP模型和Alpha框架的大数据分析相关计算技术,包括:数据探索与清洗、概率密度函数估计、有监督子空间学习、半监督集成学习、聚类集成、异常点检测;最后讨论RSP模型在分而治之大数据分析和抽样方法上的创新,以及RSP模型和Alpha计算框架实现大规模数据分析的优势.

关键词：大数据分析随机样本划分逼近式集成学习

来源：评论

学校读者我要写书评

暂无评论

针对大规模数据的分布一致缺失值插补算法

引用

清华大学学报（自然科学版） 2023年第5期63卷 740-753页

作者：余嘉茵何玉林崔来中黄哲学深圳大学计算机与软件学院大数据所深圳518060 广东省人工智能与数字经济实验室(深圳) 深圳518107

缺失值插补(missing value imputation,MVI)作为数据挖掘领域的重要研究分支,旨在为机器学习算法的训练提供高质量的数据支持。不同于现有的以算法性能提升为导向的MVI算法,为对大规模数据的缺失值进行有效插补,该文提出一种以数据结构... 详细信息

缺失值插补(missing value imputation,MVI)作为数据挖掘领域的重要研究分支,旨在为机器学习算法的训练提供高质量的数据支持。不同于现有的以算法性能提升为导向的MVI算法,为对大规模数据的缺失值进行有效插补,该文提出一种以数据结构还原为导向的数据分布一致MVI(distribution consistency-based MVI, DC-MVI)算法。首先,DC-MVI算法基于概率分布一致性原则构建了用于确定最优插补值的目标函数;其次,利用推导出的可行缺失值优化规则获取与原始完整值保持最大分布一致性且方差最为接近的插补值;最后,在分布式环境下,针对大数据的随机样本划分(random sample partition, RSP)数据块并行训练DC-MVI算法,获得大规模数据缺失值对应的插补值。实验结果表明:DC-MVI算法不仅能生成与原始完整值保持给定显著性水平下概率分布一致的插补值,还具有比另外5种经典的和3种最新的MVI算法更快的插补速度和更好的插补效果,进而证实DC-MVI算法是一种可行的大规模数据MVI算法。

关键词：文字信息处理缺失值插补分布一致性最大均值差异大规模数据随机样本划分分布式计算

来源：评论

学校读者我要写书评

暂无评论

混合属性数据集分布一致性度量的新方法

引用

深圳大学学报（理工版） 2021年第2期38卷 170-179页

作者：何玉林金一戴德鑫黄柏皓黄家杰深圳大学计算机与软件学院广东深圳518060 深圳大学大数据系统计算技术国家工程实验室广东深圳518060 中国刑事警察学院刑事科学技术学院辽宁沈阳110854

数据分布一致性的度量是大数据随机样本划分生成过程中的一个关键问题,如何针对混合属性的数据集进行合理有效的分布一致性度量是目前随机样本划分技术研究的重点.提出一种新的基于深度编码和最大平均差异的混合属性数据集分布一致性度... 详细信息

数据分布一致性的度量是大数据随机样本划分生成过程中的一个关键问题,如何针对混合属性的数据集进行合理有效的分布一致性度量是目前随机样本划分技术研究的重点.提出一种新的基于深度编码和最大平均差异的混合属性数据集分布一致性度量方法,不直接对两个不同的原始数据集进行分布一致性的度量,而是首先对混合属性中的离散属性进行独热编码,得到独热编码数据集;之后对独热编码数据集进行自编码处理,得到深度编码数据集;最后基于最大均值差异指标对两个不同的深度编码数据集进行分布一致性的度量.在Adult、Australian、CRX和German标准混合属性数据集上对所提方法进行性能实验验证,结果表明,与基于离散属性独热编码的最大平均差异方法和基于连续属性二进制化的相似性度量方法相比,新方法能够更加准确地对混合属性数据进行分布一致性的度量.

关键词：人工智能随机样本划分分布一致性最大均值差异混合属性数据独热编码深度编码

来源：评论

学校读者我要写书评

暂无评论

分布式子空间局部链接随机向量函数链接网络

引用

深圳大学学报（理工版） 2022年第6期39卷 675-683页

作者：于万国袁镇濠陈佳琪何玉林河北民族师范学院数学与计算机科学学院河北承德067000 深圳大学计算机与软件学院广东深圳518060 人工智能与数字经济广东省实验室(深圳) 广东深圳518107

为解决随机向量函数链接(random vector functional link,RVFL)网络处理大规模数据分类时表现出的泛化能力差和计算复杂度高的问题,基于Spark框架设计与实现一种分布式子空间局部链接的RVFL(distributed RVFL with subspace-based local... 详细信息

为解决随机向量函数链接(random vector functional link,RVFL)网络处理大规模数据分类时表现出的泛化能力差和计算复杂度高的问题,基于Spark框架设计与实现一种分布式子空间局部链接的RVFL(distributed RVFL with subspace-based local connections,DRVFL-SLC)网络.利用弹性分布式数据集(resilient distributed dataset,RDD)的分区并行性,对存于Hadoop分布式文件系统(Hadoop distributed file system,HDFS)的大规模数据集进行随机样本划分(random sample partition,RSP)操作,保证每个RSP数据块对应RDD的1个分区.其中,RSP数据块是在给定的显著性水平下与大数据保持概率分布一致性的数据子集.在分布式环境下对包含多个分区的RDD调用mapPartitions转换算子并行高效地训练对应的最优RVFL-SLC网络.利用collect执行算子将RDD每个分区对应的最优RVFL-SLC网络进行高效率地渐近融合获得DRVFLSLC网络以实现对大数据分类问题的近似求解.在部署了6个计算节点的Spark集群上,基于8个百万条记录的大规模数据集对DRVFL-SLC网络的可行性和有效性进行了验证.结果表明,DRVFL-SLC网络拥有很好的加速比、可扩展性以及规模增长性,同时能够获得比在单机上利用全量数据训练的RVFL-SLC网络更好的泛化表现.

关键词：人工智能随机向量函数链接网络子空间局部链接随机样本划分 Hadoop分布式文件系统

来源：评论

学校读者我要写书评

暂无评论

基于标签迭代的聚类集成算法

引用

智能科学与技术学报 2024年第4期6卷 466-479页

作者：何玉林杨锦黄哲学尹剑飞人工智能与数字经济广东省实验室(深圳) 广东深圳518107 深圳大学计算机与软件学院广东深圳518060

现有的“数据相同,算法不同”式的聚类集成算法训练策略普遍存在处理大规模数据性能受限以及共识函数适应性不强的缺点。为此,对“数据不同,算法相同”式的聚类集成算法训练策略进行了研究,构建了一种基于标签迭代的聚类集成(LICE)算法... 详细信息

现有的“数据相同,算法不同”式的聚类集成算法训练策略普遍存在处理大规模数据性能受限以及共识函数适应性不强的缺点。为此,对“数据不同,算法相同”式的聚类集成算法训练策略进行了研究,构建了一种基于标签迭代的聚类集成(LICE)算法。首先,该算法在原始数据集的随机样本划分(RSP)数据块上训练若干基聚类器。接着,利用最大平均差异准则对聚类簇数相同的基聚类结果进行融合,并基于标签确定的RSP数据块训练一个启发式分类器。之后,迭代式地利用启发式分类器对标签不确定的RSP数据块中的样本点进行标签预测,利用分类标签与聚类标签一致的样本点强化启发式分类器的性能。最后,通过一系列可信的实验对LICE算法的可行性和有效性进行验证,结果显示在代表性数据集上,LICE算法对应的标准互信息、调整兰德系数、Fowlkes-Mallows指数以及纯度在第5次迭代时相比于迭代起始分别平均提升了17.23%、16.75%、31.29%和12.37%。与7种经典的聚类集成算法相比,在选用的数据集上,这4个指标的值分别平均提升了11.76%、16.50%、9.36%和14.20%。实验证实了LICE算法是一种高效合理的、能够处理大数据聚类问题的聚类集成算法。

关键词：聚类集成算法集成学习随机样本划分最大平均差异标签迭代

来源：评论

学校读者我要写书评

暂无评论

基于统计感知的大数据系统计算框架

引用

深圳大学学报（理工版） 2018年第5期35卷 441-443页

作者：魏丞昊黄哲学何玉林深圳大学计算机与软件学院大数据技术与应用研究所广东深圳518060

为在一定计算资源条件下实现大数据可计算化,本研究提出一种基于统计感知思想的Tbyte级大数据系统计算框架Bigdata-α,该框架的核心为大数据随机样本划分模型和逼近式集成学习模型.前者保证了划分后每个子数据块所包含的样本与大数据总... 详细信息

为在一定计算资源条件下实现大数据可计算化,本研究提出一种基于统计感知思想的Tbyte级大数据系统计算框架Bigdata-α,该框架的核心为大数据随机样本划分模型和逼近式集成学习模型.前者保证了划分后每个子数据块所包含的样本与大数据总体概率分布的一致性.后者通过分析若干个随机样本数据块替代了Tbyte级全量数据分析.使用1 Tbyte模拟数据集验证随机样本划分模型的有效性,通过逐渐增加随机样本块的个数,提升了Higgs数据集基分类器的分类准确度,证明该方法能克服大数据分析中计算资源的限制瓶颈.

关键词：计算机系统结构大数据随机样本划分逼近式集成学习并行分布式计算分布式处理系统

来源：评论

学校读者我要写书评

暂无评论

面向数据分析的分布式数据管理系统

面向数据分析的分布式数据管理系统

引用

作者：吴胤旭中国科学院大学(中国科学院深圳先进技术研究院)

学位级别：硕士

随着工业4.0与互联网+的相关产业发展,大数据成为业界的一个普遍现象,也逐渐在方方面面影响着大众的生活。如何管治与利用好大数据,是目前众多政府机关与企业所面临的难题,而目前的大数据生态圈正处于一个刚刚为大众所了解,正在稳步发... 详细信息

随着工业4.0与互联网+的相关产业发展,大数据成为业界的一个普遍现象,也逐渐在方方面面影响着大众的生活。如何管治与利用好大数据,是目前众多政府机关与企业所面临的难题,而目前的大数据生态圈正处于一个刚刚为大众所了解,正在稳步发展的局面;关于数据的收集、存储、处理及分析建模,已经有系统或者架构可以初步完成这些任务,然而随着数据量的增大、模型的复杂度增加,正让目前的系统显得力不从心、效率低下。研究如何快速、低成本地完成海量数据的分析与建模具有一定的应用价值与现实意义。当前业界仍然是认为分析全量数据才能全面分析数据,而分析全量数据的代价是非常巨大的;另一方面,大数据的管理方式也是基于全量数据的顺序进行分块,这也导致了分析全量数据的必然性。现有分布式系统的各种开销,使得大数据分析的迫切性与困难之间的矛盾日益突出,直到随机样本划分(Random Sample Partition,简称RSP)研究表明,分析一个与全量数据分布相似的数据子集,可以达到近似分析全量数据的效果,并可通过子集数量的增加,对全量建模结果逼近。本文研究重点是基于随机样本划分的面向数据分析的分布式数据管理系统。研究与应用基于随机样本划分的大数据管理新方法,为数据分析建模提供快速、灵活的支持。本论文主要内容包括以下几点:1.提出了分布式随机样本划分算法:本文在随机样本划分数据表达模型的基础上,提出了分布式随机样本划分算法,该算法对每一条记录生成一个分区编号,全体分区编号服从均匀分布,随后根据分区编号进入对应的分区,算法是一个典型的Map Reduce过程,也可应用于Spark平台,具有良好的可扩展性,通过验证实验,分布式算法的可行性及有效性得到证明,在相同的建模条件下,使用1%的数据量获得与全量数据接近的模型精度,并且训练时间仅为全量数据的十分之一,达到了分析少量子集数据即可逼近全量数据的目的。2.提出了随机样本划分存储模型:面向数据分析及建模的需求,结合随机样本划分数据表达模型的特性,本文设计了随机样本划分存储模型,对划分后的数据进行了结构化的存储,达成了提供对分区与相关元数据的快速随机访问的目标。3.研发基于随机样本划分的数据管理原型系统:基于随机样本划分及其存储模型,借助现有分布式系统的并行及高可用性,构建具有统计感知的数据管理系统(Random Sample Partition Data Management System,简称RSPDMS),以满足大数据快速分析建模需求,并且具有横向扩展性;通过良好的系统架构与设计,与企业的大数据平台进行对接,对系统进行的各项测试和分析,达到了预期的目标。如何快速高效地对大数据进行分析、建模是国内外大数据系统研究的共同目标,本文针对传统大数据管理系统的数据组织方面的不足,提出了基于随机样本划分的优化方法,借助对数据进行随机样本划分以及针对数据分析建模的存储模型,建立了分布式数据管理系统。

关键词：大数据分布式数据管理系统随机样本划分随机样本划分存储模型

来源：评论

学校读者我要写书评

暂无评论

分布一致为导向的聚类集成方法研究

分布一致为导向的聚类集成方法研究

引用

作者：杜雪琴深圳大学

学位级别：硕士

聚类集成作为一种利用多个聚类结果的互补性而得到比单个聚类质量更好的有效无监督学习方式,解决了在没有先验知识的情况下,为给定数据集选取合适的聚类方法的难题。不同于传统数据聚类方法直接得到最终的聚类结果,聚类集成方法通过多... 详细信息

聚类集成作为一种利用多个聚类结果的互补性而得到比单个聚类质量更好的有效无监督学习方式,解决了在没有先验知识的情况下,为给定数据集选取合适的聚类方法的难题。不同于传统数据聚类方法直接得到最终的聚类结果,聚类集成方法通过多次聚类结果来反映数据集的内部结构,并利用集成学习的思想融合多个基聚类得到最终的聚类划分。聚类集成通过任意的生成机制和一致性划分方法的结合来提高聚类结果的健壮性和鲁棒性,获得了学术界的广泛关注,然而聚类集成的效果却受困于基聚类质量不佳和一致性方法的选取。为了解决现有聚类集成方法的局限性,本文以分布一致性为导向分别探讨了如何进一步提升基聚类质量和如何构建新的融合过程得到聚类质量更优的一致性划分结果。 (1)基于随机样本划分的大数据聚类集成方法(Random Sample Partition-Based Clustering Ensemble Algorithm for Big Data,简称RSP-CE),本研究首先将数据集划分成多个与原始数据集分布一致且不相交的随机数据子集(简称RSP数据块),从而为不同数据子集上的基聚类结果近似逼近整个数据集的聚类结果提供了可能性;其次在RSP数据块上生成基聚类结果后,利用最大均值差异准则(Maximum Mean Discrepancy Criterion,简称MMD)对不同基聚类中的簇进行重标记;最后利用邻近投票法来进一步修正细化该样本点的最终分类结果。通过标准互信息(Normalized Mutual Information,简称NMI)和FM指数(Fowlkes-Mallows Index,简称FMI)两个聚类效果评价指标对RSP-CE算法的性能进行了验证,实验结果表明RSP-CE是一种可行有效的、能够充分利用分治融合思想来处理大数据无监督学习问题的聚类集成算法。 (2)成员增强为导向的聚类集成方法(Member Enhancement-Driven for Ensemble Clustering,简称MECE),本研究通过度量预设簇分布与实际簇分布之间数据分布的差异度,在聚类集成的生成机制阶段引入新的集成成员生成方法。通过对基聚类中的簇进行“划分合并”来对基聚类质量做出优化,使得相同簇的类内相似度最高,不同簇的类间差异性尽可能大。首先对基聚类中的每个簇模拟生成服从高斯和高斯混合分布的随机样本点集合;其次引入MMD来度量两个随机样本点集合的分布相似度,使得异簇相互分离;然后利用两个簇之间邻近点的“反向邻域准则”来合并高邻域密度簇进而得到同质簇,以此构建一个优化后的基聚类结果;最后提出成员增强为导向的聚类集成算法并得到一个新的一致性划分结果。通过标准互信息(Normalized Mutual Information,简称NMI)、调整兰德系数(Adjusted Rand Index,简称ARI)、FM指数(Fowlkes-Mallows Index,简称FMI)以及纯度(Purity)多个聚类指标的评价,实验结果证实了MECE算法的鲁棒性和有效性。

关键词：聚类集成算法最大均值差异准则随机样本划分基聚类质量同质簇异质簇

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：