检索结果-内蒙古大学图书馆

北京交通大学学报 2006年第5期30卷 15-18页

作者：谢纪刚裘正定北京交通大学计算机与信息技术学院北京100044

非平衡数据是指两类问题中正类样本与负类样本个数不相等,甚至相比悬殊.非平衡数据集会导致许多分类器的性能下降,这与分类器的构造原理有关.本文首先阐述了Fisher线性判别的分类机制,指出当两类样本的协方差矩阵不同时,样本不平衡会导... 详细信息

非平衡数据是指两类问题中正类样本与负类样本个数不相等,甚至相比悬殊.非平衡数据集会导致许多分类器的性能下降,这与分类器的构造原理有关.本文首先阐述了Fisher线性判别的分类机制,指出当两类样本的协方差矩阵不同时,样本不平衡会导致Fisher线性判别的性能下降.在此基础上,提出了一种加权Fisher线性判别(WFLD),以减小样本不平衡的影响.然后,从UCI中选择了8个非平衡数据集,并采用ROC曲线下面积作为评估指标进行比较,实验结果证明了WFLD模型的有效性.

关键词：非平衡数据集 Fisher线性判别 ROC曲线下面积(AUC)

来源：评论

学校读者我要写书评

暂无评论

一种基于核SMOTE的非平衡数据集分类方法

引用

电子学报 2009年第11期37卷 2489-2495页

作者：曾志强吴群廖备水高济厦门理工学院计算机科学与技术系福建厦门361024 浙江大学计算机科学与技术学院浙江杭州310027

本文提出一种基于核SMOTE(Synthetic Minority Over-sampling Technique)的分类方法来处理支持向量机(SVM)在非平衡数据集上的分类问题.其核心思想是首先在特征空间中采用核SMOTE方法对少数类样本进行上采样,然后通过输入空间和特征空... 详细信息

本文提出一种基于核SMOTE(Synthetic Minority Over-sampling Technique)的分类方法来处理支持向量机(SVM)在非平衡数据集上的分类问题.其核心思想是首先在特征空间中采用核SMOTE方法对少数类样本进行上采样,然后通过输入空间和特征空间的距离关系寻找所合成样本在输入空间的原像,最后再采用SVM对其进行训练.实验表明,核SMOTE方法所合成的样本质量高于SMOTE算法,从而有效提高SVM在非平衡数据集上的分类效果.

关键词：非平衡数据集支持向量机输入空间特征空间原像

来源：评论

学校读者我要写书评

暂无评论

非平衡数据集的改进SMOTE再抽样算法

引用

统计研究 2012年第6期29卷 95-98页

作者：薛薇中国人民大学应用统计科学研究中心中国人民大学统计学院

非平衡数据集的不均衡学习特点通常表现为负类的分类效果不理想。改进SMOTE再抽样算法,将过抽样和欠抽样方式有机结合,有针对性地选择近邻并采用不同策略合成样本。实验表明,分类器在经此算法处理后的非平衡数据集的正负两类上,均可获... 详细信息

非平衡数据集的不均衡学习特点通常表现为负类的分类效果不理想。改进SMOTE再抽样算法,将过抽样和欠抽样方式有机结合,有针对性地选择近邻并采用不同策略合成样本。实验表明,分类器在经此算法处理后的非平衡数据集的正负两类上,均可获得较理想的分类效果。

关键词： SMOTE算法再抽样非平衡数据集

来源：评论

学校读者我要写书评

暂无评论

非平衡数据集分类方法探讨

引用

计算机科学 2012年第B06期39卷 304-308页

作者：职为梅郭华平范明叶阳东郑州大学信息工程学院郑州450052

由于数据集中类分布极不平衡,很多分类算法在非平衡数据集上失效,而非平衡数据集中占少数的类在现实生活中通常具有显著意义,因此如何提高非平衡数据集中少数类的分类性能成为近年来研究的热点。详细讨论了非平衡数据集分类问题的本质... 详细信息

由于数据集中类分布极不平衡,很多分类算法在非平衡数据集上失效,而非平衡数据集中占少数的类在现实生活中通常具有显著意义,因此如何提高非平衡数据集中少数类的分类性能成为近年来研究的热点。详细讨论了非平衡数据集分类问题的本质、影响非平衡数据集分类的因素、非平衡数据集分类通常采用的方法、常用的评估标准以及该问题中存在的问题与挑战。

关键词：非平衡数据集分类抽样技术代价敏感学习

来源：评论

学校读者我要写书评

暂无评论

非平衡数据集分类问题研究进展

引用

计算机科学 2008年第4期35卷 10-13页

作者：高嘉伟梁吉业山西大学计算智能与中文信息处理省部共建教育部重点实验室

非平衡数据集广泛存在于现实世界中,其分类问题已经成为目前数据挖掘领域中的一个研究热点。文章综述了非平衡数据集分类问题的评价方法及其常用分类算法,分析了目前存在的主要困难,并指出需进一步解决的几个问题。

关键词：非平衡数据集分类算法

来源：评论

学校读者我要写书评

暂无评论

针对动态非平衡数据集鲁棒的在线极端学习机

引用

计算机研究与发展 2015年第7期52卷 1487-1498页

作者：张晶冯林大连理工大学电子信息与电气工程学部计算机科学与技术学院辽宁大连116024 大连理工大学创新实验学院辽宁大连116024

动态数据存在数据量动态改变,数据类别分布非平衡、不稳定等问题,这些问题成为分类的难点.针对该问题,通过对在线极端学习机模型进行拓展,提出鲁棒的权值在线极端学习机算法.为解决动态数据非平衡性,该算法借助代价敏感学习理论生成局... 详细信息

动态数据存在数据量动态改变,数据类别分布非平衡、不稳定等问题,这些问题成为分类的难点.针对该问题,通过对在线极端学习机模型进行拓展,提出鲁棒的权值在线极端学习机算法.为解决动态数据非平衡性,该算法借助代价敏感学习理论生成局部动态权值矩阵,从而优化分类模型产生的经验风险.同时,算法进一步考虑动态数据由于时序性质改变造成的数据分布变化,而引入遗忘因子增强分类器对数据分布变更的敏感性.算法在不同数据分布的24个非平衡动态数据集上测试,取得了较好的效果.

关键词：非平衡数据集极端学习机在线极端学习机代价敏感学习遗忘因子

来源：评论

学校读者我要写书评

暂无评论

非平衡数据集的再抽样方法及在邮件识别中的应用

非平衡数据集的再抽样方法及在邮件识别中的应用

引用

作者：修思阳中国人民大学

学位级别：硕士

邮件识别问题的本质属于数据挖掘中的分类问题。在现实生活中，经过邮件的过滤和屏蔽处理之后，不可避免地有部分垃圾邮件没有被滤掉。这些垃圾邮件中的某些包含恶意文件的邮件将产生巨大危害，而此类邮件的数量又远远少于其他类别，出... 详细信息

邮件识别问题的本质属于数据挖掘中的分类问题。在现实生活中，经过邮件的过滤和屏蔽处理之后，不可避免地有部分垃圾邮件没有被滤掉。这些垃圾邮件中的某些包含恶意文件的邮件将产生巨大危害，而此类邮件的数量又远远少于其他类别，出现非平衡数据集问题。在这种情况下，分类器通常会倾向于将测试样本全部判别为多数类而忽视少数类样本，使分类器在少数类样本上效果变差。\n 解决此类非平衡数据集的分类问题常用的方法大致可以分为两类:基于数据层面和基于算法层面的方法。SMOTE(Synthetic Minority Over-samplingTEchnique)算法就是基于数据层面提出的过抽样方法，通过少数类样本之间的插值合成新的少数类样本以平衡数据集的分布。但是，SMOTE算法在合成样本的过程中存在一定的盲目性。为了进一步控制合成样本的质量，提高少数类样本的识别率，本文提出了一种基于改进SMOTE算法的再抽样方法。\n 这种方法分析了数据集的结构，对少数类的样本进行分类和识别，并从中选择一部分参与人工样本的合成。在合成的过程中，有选择的调整少数类的近邻，在近邻候选集合中去除距离较远的少数类样本，并允许部分距离少数类样本较近的多数类样本参与到新样本的合成过程中。结合欠抽样处理，对合成之后的数据集用ENN方法进行欠抽样，去掉多数类中的冗余样本或边界上的噪声数据。该算法结合了过抽样和欠抽样两种方法的优势，一方面通过自适应选择近邻的方法增加少数类样本的方式强调了少数类，另一方面对多数类进行适当程度的欠抽样，减少其规模，达到多数类和少数类样本在一定程度上的相对平衡，从而可以有效地处理非平衡数据集分类问题，提高分类器的性能。\n 本文通过对分类算法和抽样率参数设定的讨论，在基于改进SMOTE算法的再抽样方法的基础上，结合K近邻分类，构建分类模型，并选择适合非平衡数据集分类性能评价的准则，进行了实验验证和比较分析，验证了该算法的有效性。

关键词：电子邮件识别技术非平衡数据集再抽样方法

来源：评论

学校读者我要写书评

暂无评论

非平衡数据集下基于机器学习的蛋白质翻译后修饰位点分类研究

非平衡数据集下基于机器学习的蛋白质翻译后修饰位点分类研究

引用

作者：申燕霞景德镇陶瓷大学

学位级别：硕士

蛋白质翻译后修饰(Post-Translational Modification,PTMs)是调节蛋白质功能的重要机制,其在生物过程和信号通路中起着主要的作用。正常的PTMs可以调节蛋白质的生理功能,而异常的PTMs会导致蛋白质构象改变、功能紊乱以及生理活性丧失,... 详细信息

蛋白质翻译后修饰(Post-Translational Modification,PTMs)是调节蛋白质功能的重要机制,其在生物过程和信号通路中起着主要的作用。正常的PTMs可以调节蛋白质的生理功能,而异常的PTMs会导致蛋白质构象改变、功能紊乱以及生理活性丧失,引起疾病的发生。因此对修饰位点的识别有助于理解蛋白质的细胞功能和分子机制。此外,蛋白质翻译后修饰位点预测是典型的非平衡数据集分类问题,由于传统的机器学习算法不适用于非平衡数据集,所以需要探索发现有效的平衡数据集的方法。针对蛋白质S-亚磺酰化位点的预测问题,本文尝试使用了两种处理非平衡数据集的方法。第一种,从数据层面出发,使用重采样算法对训练数据进行SMOTE过采样以及One Sided Selection欠采样操作后,使用平衡的训练集基于随机森林算法构建预测器。第二种,从算法层面出发,运用集成学习的思想,使用集成随机森林算法构建预测器。通过大量的实验,分析对比了两种方式构建的预测器性能,在本文选用的S-亚磺酰化数据集下,集成随机森林的性能更好。针对蛋白质琥珀酰化位点的预测问题,首先,采用了频率向量、氨基酸物理化学性质、OneHot编码作为特征提取方法。其次,为了降低特征维数,提高特征表达性,对氨基酸理化性质使用了离散小波变换,对OneHot编码使用了Extra-Trees特征选择算法。最后,使用宽度学习算法构建预测器i Succ Lys-BLS,并在宽度学习算法的基础上提出随机标记样本法解决非平衡数据问题。通过大量的实验验证,以及与同类型预测器的比较,i Succ Lys-BLS对正样本的分类性能最佳。说明基于宽度学习的随机标记样本法具有实际意义和有效性,是解决非平衡数据问题的新思路。此外为了方便广大研究者对本论文研究成果的使用,已将i Succ Lys-BLS部署到了线上服务器上,网址为:http://***/i Succ Lys-BLS。

关键词：翻译后修饰位点非平衡数据集宽度学习随机标记样本琥珀酰化 S-亚磺酰化

来源：评论

学校读者我要写书评

暂无评论

非平衡数据集分类算法的改进和并行化研究

非平衡数据集分类算法的改进和并行化研究

引用

作者：王莉西南交通大学

学位级别：硕士

非平衡数据集分类是指在数据集中各类样本数目不相等的分类问题。传统的分类算法大多是建立在样本分布均等或者样本错分代价相同的基础之上,因此在处理非平衡数据时较容易出现少数类样本的错分现象。随着互联网的广泛应用,网络中储存的... 详细信息

非平衡数据集分类是指在数据集中各类样本数目不相等的分类问题。传统的分类算法大多是建立在样本分布均等或者样本错分代价相同的基础之上,因此在处理非平衡数据时较容易出现少数类样本的错分现象。随着互联网的广泛应用,网络中储存的信息量变得相当庞大,同时这些大数据中含有非平衡数据集,为提取信息带来了巨大的挑战。***(Synthetic Minority Over-sampling Technique)在进行样本合成时只在少数类中求其K近邻,这会导致过采样之后少数类样本的密集程度不变的问题。鉴于此,提出一种新的过采样算法NKSMOTE(New Kernel Synthetic Minority Over-Sampling Technique)。该算法首先利用一个非线性映射函数将样本映射到一个高维的核空间,在核空间上计算少数类样本在所有样本中的K个近邻,然后根据少数类样本的分布对算法分类性能的影响程度,赋予少数类样本不同的向上采样倍率,从而改变数据集的非平衡度。实验分别采用决策树(Decision Tree,简称DT)、误差逆传播算法(error Back Propagation,简称BP)、随机森林(Random Forest,简称RF)作为分类算法。并将几类经典的过采样方法和NKSMOTE方法进行多组对比实验。在UCI数据集上的实验结果表明NKSMOTE算法具有更好的分类性能。2.在代价敏感的理论基础上,结合RareBoost算法和GMBoost算法的思想,给出一种将代价敏感思想与过采样技术相结合的非平衡数据分类算法—NIBoost算法。该算法首先在每次迭代过程当中使用过采样算法(NKSMOTE)对数据集进行过采样,然后在该数据集上对分类器进行训练;随后根据分类结果的类标不同分别调整样本的权值。实验分别采用决策树、朴素贝叶斯算法作为弱分类器算法,在UCI数据集上的实验结果表明NIBoost算法在处理非平衡数据分类问题上具有一定的优势。3.大数据中存在一定数量的非平衡数据集,通过采用MapReduce并行计算框架,基于NIBoost算法设计并行非平衡数据处理算法PNIBoost,使其在大数据环境下可以较好的对非平衡数据集进行处理。在UCI数据集上进行了实验,实验结果表明该算法在大数据环境下具有良好的并行性能。4.构建了基于B/S结构的非平衡数据集分类系统,该系统将本文所提到的过采样算法和分类算法进行了集成,以及为了方便用户对集群的管理,同时提供了集群管理界面。

关键词：非平衡数据集 SMOTE算法代价敏感 MapReduce 分类系统

来源：评论

学校读者我要写书评

暂无评论

非平衡数据集分类方法研究及其在电信行业中的应用

非平衡数据集分类方法研究及其在电信行业中的应用

引用

作者：王春玉浙江大学

学位级别：硕士

近年来,非平衡数据集分类问题一直是数据挖掘和机器学习领域的研究难点。所谓非平衡数据集分类问题,是指训练样本数量存在类分布不平衡的模式分类问题。在许多实际问题中,数据集是非平衡的,即某些类的样本量比其他类少得多。当使用传统... 详细信息

近年来,非平衡数据集分类问题一直是数据挖掘和机器学习领域的研究难点。所谓非平衡数据集分类问题,是指训练样本数量存在类分布不平衡的模式分类问题。在许多实际问题中,数据集是非平衡的,即某些类的样本量比其他类少得多。当使用传统的机器学习算法来解决该问题时,往往会出现少数类的预测准确率大大低于多数类的情况,从而导致分类器性能大幅度下降。本论文针对非平衡数据集分类困难的问题,尤其是少数类识别困难问题,提出一种新的算法——AdaBoost-SVM-OBMS,该算法结合集成算法和采用错分样本点生成新样本点的过抽样技术。同时,在研究电信数据集特点和非平衡数据集分类方法的基础上,针对电信数据挖掘的常用主题——欠费挖掘,对电信欠费预测做了深入的研究和探讨。论文的主要研究工作如下： 1.针对非平衡数据集分类问题,本文提出一种新的算法——AdaBoost-SVM-OBMS.该算法结合boosting算法和基于错分样本产生新样本的过抽样技术。在新算法中,以支持向量机为元分类器,每次boosting迭代中标记出错分的样本点,然后在错分样本点与其近邻样本间随机产生一定数量与错分样本点同一类别的新样本点。新产生样本点加入原训练集中重新训练学习,以提高分类困难样本的识别率。在AUC,F-value和G-mean等3个不同价格的评价指标下,针对8个benchmark数据集上对AdaBoost-SVM-OBMS算法进行了实验,实验结果表明了AdaBoost-SVM-OBMS算法在非平衡数据集分类中的对少数类和多数类具有较高的预测准确率。 2.针对电信欠费数据挖掘本身的特点,结合电信行业专家经验,提出一种处理电信欠费数据集的分类策略,并应用于实际电信数据,取得了一些有价值的结果。

关键词：电信数据挖掘电信欠费非平衡数据集海量数据支持向量机提升

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：