检索结果-内蒙古大学图书馆

作者：王骏浙江工业大学

学位级别：硕士

近些年来,数据挖掘一直是信息技术产业圈内重点关注的技术点,究其原因主要在于信息技术产业拥有大量数据可供广泛使用,而这些数据背后所隐藏的有价值的知识信息有待被挖掘出来。这些被提取出来的信息可以在金融市场,商业贸易,学术科研... 详细信息

近些年来,数据挖掘一直是信息技术产业圈内重点关注的技术点,究其原因主要在于信息技术产业拥有大量数据可供广泛使用,而这些数据背后所隐藏的有价值的知识信息有待被挖掘出来。这些被提取出来的信息可以在金融市场,商业贸易,学术科研等领域发挥重要的导向作用。而其中聚类又是数据挖掘中最为关键的一项研究课题。在这个网络信息技术发展疾速的年代,所产生的数据信息往往具有各不相同的结构和属性,而这使得数据挖掘将迎来新的艰难挑战。在现代的许多应用领域中,比如在无线传感器发射与信号收集的场景中,无线传感器无法像有线通讯设备一样始终连续地发射和接收信号,由于受到外界干扰或者技术限制,其信号具有离散性;然而,自然界真实的环境变化是连续性的,这就导致了无线传感器收集到的信号是不确定性的;在对于这一类的数据进行统计,处理与分析时,在考虑该数据整体性的同时必须兼顾其不确定性,这样才能更为客观的体现数据的本质特性,才能更好地得到数据处理结果,而这无疑使传统确定性数据挖掘研究面临了新难题。处理不确定性数据的数学工具有概率密度函数,模糊数,区间数以及联系数等。其中联系数是一种较新的,专门用来研究不确定数据问题的数学工具,目前已经在诸如水资源系统评价,多属性多目标评估,群决策等领域有着广泛的运用。但在数据挖掘聚类领域的应用还十分少见。本文的主要工作内容和研究成果如下:1.本文首先对大数据环境下的数据挖掘以及数据挖掘中重要课题聚类进行了介绍,论述了本文研究重点不确定性数据产生的背景和原因,然后详细讲解聚类的定义,相似性度量方式,常见的聚类方法等;接着介绍了不确定性数据的表示方式,以及提出了本文核心数学工具-联系数理论,并做了详细介绍,为本文后续章节的核心内容研究做理论铺垫;最后介绍说明了不确定性数据聚类的研究现状。2.针对于目前划分一类的不确定性数据聚类,为了克服其聚类运算时的计算复杂度高,处理数据时忽视不确定性对聚类结果影响等缺点,本文提出了一种基于联系数的不确定性数据划分聚类算法,该算法不但大大降低计算复杂度,而且在聚类过程中兼顾考虑了不确定性数据整体位置和不确定性变化趋势对聚类结果的影响。实验数据显示,本算法聚类效果好,质量高且性能优越。3.针对于目前基于密度的不确定性数据聚类较为匮乏,而基于划分的聚类算法又有无法区分任意形状的簇以及难以发现离群点等缺点,本文提出了一种基于联系数的不确定性数据密度聚类算法,该算法降低了计算复杂度,提出新的距离衡量标准,考虑了不确定性变化趋势,而且大大降低了基于密度这一类聚类算法的参数敏感性。实验结果表明,本算法以较少的参数完成了较高质量的聚类,具有高可操作性,实用性和高效性。

关键词：数据挖掘聚类不确定性数据联系数密度划分

来源：评论

学校读者我要写书评

暂无评论

海洋台站不确定性数据管理技术的研究

海洋台站不确定性数据管理技术的研究

引用

作者：郭利锐上海海洋大学

学位级别：硕士

在诸多领域中不确定性的数据的重要性越来越受到人们的重视。但是传统的数据库都是确定性的，不能对不确定性信息进行处理。因此，不确定性数据管理技术逐渐成为研究的热点之一。本文首先对可能世界模型和不确定性数据在关系模型上的扩... 详细信息

在诸多领域中不确定性的数据的重要性越来越受到人们的重视。但是传统的数据库都是确定性的，不能对不确定性信息进行处理。因此，不确定性数据管理技术逐渐成为研究的热点之一。本文首先对可能世界模型和不确定性数据在关系模型上的扩展模型进行了介绍。然后介绍了不确定性数据的简单查询处理操作，接着进一步介绍了在不确定性数据上的聚集查询与传统关系数据库上的聚集查询的不同之处，并提出了不确定性数据上的多种聚集查询的定义。接着本文分析了海洋台站不确定数据产生的原因和特点，并在研究国外不确定数据表示方法的基础上，提出了一种适合于海洋台站不确定性数据的表示方法。实验结果表明，该方法能够消除现有表示方法可能产生的冗余信息并有效减少生成的关系表的数量。在第四章的最后，我们讨论了本文的改进的台站不确定数据的表示方法的实现。由于在可能世界模型下的聚集函数是直接应用于每一个可能世界实例的，在线性时间内是无法计算的。本文从可能世界实例角度对海洋台站不确定性数据的聚集查询方法进行了阐述，然后把聚集函数直接应用于不确定性关系，通过转换和存储过程等方法把对可能世界实例上的聚集操作对应为对每一个元组的操作，这样既保证了原有聚集操作的语义，又使得每种操作能够在线性时间内计算出结果。由于在所有的可能世界实例中分别进行聚集查询得到的结果值是确定性聚集查询结果值的指数倍，得到这么多的值并不利于对不确定性数据的分析。这里我们对每种台站不确定性数据上的聚集查询定义了三个方面分别进行处理，以实现从多个方面来分析不确定数据上的聚集查询结果。在第五章的最后，我们在本文的改进的表示方法的基础上讨论了各种查询的实现方法。本文的主要创新点在于分析了台站不确定数据的产生和特点，并对台站不确定数据的表示及聚集查询操作进行了探索，为台站不确定数据的有效管理提供了一个参考。

关键词：不确定性数据可能世界模型聚集函数

来源：评论

学校读者我要写书评

暂无评论

面向不确定性数据的贝叶斯分类方法研究

面向不确定性数据的贝叶斯分类方法研究

引用

作者：陈显露中山大学

学位级别：硕士

近年来数据挖掘技术在各个领域取得巨大进步，但如何处理带误差的不确定性数据仍然是数据挖掘算法的一个挑战。传统的数据挖掘算法通常都假设收集到的数据是精确的，没有丝毫误差。然而，在很多应用领域，由于采样误差，仪器误差的存在... 详细信息

近年来数据挖掘技术在各个领域取得巨大进步，但如何处理带误差的不确定性数据仍然是数据挖掘算法的一个挑战。传统的数据挖掘算法通常都假设收集到的数据是精确的，没有丝毫误差。然而，在很多应用领域，由于采样误差，仪器误差的存在或是隐私保护的原因需要对数据进行扰动，导致数据本质上是不确定的。不确定性数据的特征值不再是一个单一的值，而是一个区间，服从某个概率分布。现已有一些传统的分类算法，比如决策树，支持向量机等，被扩展为可以处理不确定性数据。在本文中，我们创新性地使用贝叶斯分类器来处理不确定性数据分类问题，对一些UCI数据集，分类精度可有接近10％的提高。\n 贝叶斯分类器是一个基于贝叶斯理论的分类器，在许多领域被广泛使用。根据贝叶斯定理，测试样本的后验概率可以通过类条件概率和先验概率求得，最终把测试样本分类为使后验概率最大的类。贝叶斯分类器的核心问题是怎样估计类条件概率。估计类条件概率有两大类方法，一类是带参数估计，包括最大似然估计和贝叶斯估计；另一类是无参数估计，也就是是核密度估计。类条件概率估计一般采用核密度估计方法，因为其简单且不需要事先知道有关概率分布的任何先验知识(比如假设服从正态分布等)。传统的类条件概率估计是基于数据的每个特征是单一值的精确数据，但对不确定性数据的分类问题，需要从表示为概率分布的不确定性数据中学习类条件概率。一个简单的方法是求每个不确定性数据的均值，然后使用这些均值来构建贝叶斯分类器。但是这种方法没有充分利用不确定性数据中的概率分布信息，为了解决这个问题，本文提出了一个基于双重积分求期望的算法，分为基于公式的算法和基于采样的算法两种情况。当不确定性数据服从正态分布和均匀分布，经过推导可以把类条件概率估计公式中的双重积分符号去掉，使其不包含积分符号，这时使用基于公式的算法可以精确且高效地计算类条件概率；当不能通过公式推导把类条件概率估计公式中的双重积分符号去掉，使用基于采样的算法来计算核密度估计公式里双重积分的值。从对UCI上的大量数据实验表明，在朴素贝叶斯分类器框架下，充分利用不确定性数据的概率分布信息的基于双重积分求期望的算法，分类精度比仅利用不确定性数据均值的基于均值的算法要好。

关键词：数据挖掘贝叶斯分类类条件概率估计核密度估计不确定性数据

来源：评论

学校读者我要写书评

暂无评论

不确定性数据频繁项集挖掘算法

引用

计算机系统应用 2014年第11期23卷 160-164页

作者：张常品刘广钟上海海事大学信息工程学院上海201306

由于不确定性数据大量存在于传感器网络,移动计算,军事,电信等应用领域,传统的频繁项集挖掘算法难以适用到不确定性数据挖掘.为了解决这个问题,本文提出了一种快速有效的算法,该算法基于可能世界模型,只需要扫描一次数据库,且没有建树... 详细信息

由于不确定性数据大量存在于传感器网络,移动计算,军事,电信等应用领域,传统的频繁项集挖掘算法难以适用到不确定性数据挖掘.为了解决这个问题,本文提出了一种快速有效的算法,该算法基于可能世界模型,只需要扫描一次数据库,且没有建树的过程,通过实验证明,我们提出的算法比UF_Growth算法效率更高.

关键词：频繁项集不确定性数据频繁模式关联规则可能世界模型

来源：评论

学校读者我要写书评

暂无评论

基于贝叶斯网的不确定性数据清洗

基于贝叶斯网的不确定性数据清洗

引用

作者：李鑫刚云南大学

学位级别：硕士

随着信息技术的迅速发展,信息数据急剧增长。由于原始数据本身不准确或是采用了粗粒度的数据集合,产生了大量的不确定性数据(Uncertain data),这些数据普遍存在于经济、军事、物流、金融、电信和科学计算等领域中。在不确定性关系数据库... 详细信息

随着信息技术的迅速发展,信息数据急剧增长。由于原始数据本身不准确或是采用了粗粒度的数据集合,产生了大量的不确定性数据(Uncertain data),这些数据普遍存在于经济、军事、物流、金融、电信和科学计算等领域中。在不确定性关系数据库中,传统的关系数据库处理方法已经不能完全满足不确定性数据的处理需要。而数据清洗作为提高数据质量,完善数据查询结果的重要技术途径,受到越来越多的关注和重视。在元组带有概率维的不确定性数据库中进行SPJ查询(Select, Project, Join Query)的过程中,查询输出带有的概率维是为用户决策提供的一个重要参考和依据。本文针对不确定性数据库中SPJ查询的实时性和准确性,着眼于查询结果元组概率值的计算,以贝叶斯网(BN Bayesian Network)这一重要的不确定性知识表示及推理工具,结合不确定性数据库查询计划的具体特点,研究不确定性数据库中SPJ查询过程的数据清洗问题。本文的主要工作可概括如下： ·基于不确定性查询计划的贝叶斯网构建。本文将从不确定性查询计划的特点入手,采用图遍历思想,构建贝叶斯网的有向无环图(DAG, Directed Acyclic Graph)结构,进而根据查询计划中元组的因果依赖关系给出DAG中各结点的条件概率参数(CPT, Conditional Probability Table),从而完成带有查询因果依赖关系的查询贝叶斯网(QBN Query BN)的构建,作为后续概率值清洗的基础。 ·概率推理是QBN构建的直接目的。为了实现实时正确的查询结果输出,本文结合SPJ查询的具体特点,采用吉布斯采样(Gibbs Sampling)的思想,提出了QBN的近似推理算法,由此计算查询输出结果中元组的概率值,为用户提供一个尽可能正确的答案和参考依据。 ·基于QBN推理计算出的概率值,本文将定义一个查询结果元组概率值与QBN推理计算概率值的比较方法,从而完成对元组概率维的数据清洗目的。 ·本文将通过实验,实现提出的QBN构建、推理及相应的概率值清洗方法,并对构建QBN的效率、推理算法的收敛性、以及数据清洗的准确率进行了实验测试,实验结果表明,本文提出的方法可行,比较高效。

关键词：不确定性数据数据清洗贝叶斯网近似推理

来源：评论

学校读者我要写书评

暂无评论

k-匿名隐私保护模型中不确定性数据建模及存储问题的研究

k-匿名隐私保护模型中不确定性数据建模及存储问题的研究

引用

作者：吴佳伟东华大学

学位级别：硕士

随着隐私保护意识的提高,人们越来越重视发布数据的隐私泄露问题。为了使隐私信息尽可能少地被泄露,研究人员提出各种隐私保护手段,不确定性的k-匿名隐私保护模型已经成为数据发布者可信的隐私保护模型。然而,受隐私保护要求的制约,即... 详细信息

随着隐私保护意识的提高,人们越来越重视发布数据的隐私泄露问题。为了使隐私信息尽可能少地被泄露,研究人员提出各种隐私保护手段,不确定性的k-匿名隐私保护模型已经成为数据发布者可信的隐私保护模型。然而,受隐私保护要求的制约,即使最优化的k-匿名算法,也不能产生完全精确的数据,正因为这种不精确性导致了数据可用性的降低,数据接受者当作垃圾数据而拒之门外。为了使数据接受者能够更好地处理和管理k-匿名隐私保护模型中的数据而提高其可用性,在文中从另外一个角度来研究k-匿名数据,即把k-匿名隐私保护模型中的数据看成是一种不确定性数据,用不确定性的方式来处理它。建模是不确定性数据管理的基础,k-匿名隐私保护模型中不确定性数据有其特殊性：它是人为泛化后的不确定性数据,泛化后的每个实例还原成泛化前元组的概率是相等的。由于其特殊性,以往针对非人为造成不确定性的数据建模方法已经不能简单用于描述k-匿名隐私保护模型中的不确定性数据。为了描述k-匿名隐私保护模型中不确定性数据,文中提出几种新的建模方法：kattr模型使用attribute-ors方法来描述k-匿名数据中准标识符属性值的不确定性；ktuple模型把k-匿名表中不确定的属性值转化成一个关系表形式的值,对关系表使用tuple-ors方法来描述；kupperlower模型把k-匿名表中泛化属性分开成两个字段：上限字段和下限字段,使用两个字段的具体值来表示泛化值不确定性值；ktree模型根据k-匿名表是对普通表通过泛化树泛化而形成这一特性逆向把泛化值拆分成树型结构,用树来表示k-匿名数据的不确定性。将由这几种模型及它们之间的组合构成了一个描述k-匿名隐私保护模型中不确定性数据的模型空间,根据实际情况从中选择最适合的描述模型,然后讨论了模型空间中各模型的完备性和封闭性性质,形式化地证明了模型的完备性和封闭性问题。在文章的最后探讨了模型的存储问题。经典的关系型数据库模型无法考虑数据的不确定性,要想把模型中不确定性数据存储在关系数据库中,需要在存储之前对数据进行合理地处理。从数据的匿名化过程可以知道k-匿名数据表中每个字段的值都是根据相互独立的泛化树通过泛化而成,因此k-匿名数据属性之间是相互独立的,从而可以对不确定性数据进行垂直分割,再使用列存储的方式把数据存储于关系数据库中。本文先把不同模型的格式统一转化成一种关系型模型,然后在关系表基础上进行垂直分割,使用列存储方式存储每个不确定性属性的具体实例值。最终用多个关系表把不确定性的k-匿名隐私保护模型中的数据存储在关系型数据库中。

关键词：建模不确定性数据 k-匿名存储

来源：评论

学校读者我要写书评

暂无评论

面向不确定性数据的决策树分类方法研究

面向不确定性数据的决策树分类方法研究

引用

作者：秦旭东东北大学

学位级别：硕士

信息技术的快速发展使社会各行各业都拥有了大量的数据,对大量数据进行分析处理,挖掘出其中隐藏的有价值知识意义重大。数据挖掘正是在这样的时代需求下产生并迅速发展起来的一门技术。分类是数据挖掘的其中一个重要的分支,它能够对各... 详细信息

信息技术的快速发展使社会各行各业都拥有了大量的数据,对大量数据进行分析处理,挖掘出其中隐藏的有价值知识意义重大。数据挖掘正是在这样的时代需求下产生并迅速发展起来的一门技术。分类是数据挖掘的其中一个重要的分支,它能够对各个行业提供良好的决策支持。决策树算法在数据分类领域占有重要的地位。但是所获得的数据中,有大量的数据具有不确定性的特点,经典的面向确定性数据的决策树算法无法从这类数据中挖掘出相应的信息,如何将面向确定性数据的决策树算法扩展为面向不确定性数据的决策树算法已经成为数据挖掘热点研究方向之一。本文针对不确定性数据的决策树算法展开了研究。在进行数据分类之前,一个必不可少的步骤就是对数据进行预处理。本文根据不确定性数据的特点建立起以概率密度函数为基础的不确定性数据的数学模型,以此数学模型为前提选取与算法相适应的数据预处理方法实现数据预处理的过程,并将这个过程形成一个完整的体系,即按照数据筛选、剔除异常值、分布标准化以及测量误差修正和误差处理这个过程完成对待分类的数据集进行预处理,使之能够更好地适用于面向不确定性数据的决策树算法。在决策树的构建过程中,属性选择和分裂点计算是决策树构建的核心工作。在属性选择的过程中,根据所建立的数学模型的特点引入了数据可视化的思想,并结合经典决策树的属性选择算法,提出了基于可视化的面向不确定性数据集的决策树算法,通过统计学的方法进行分裂点的计算,从数据的整体考虑均值与方差,不需要对连续值进行额外的处理。在分裂点计算的过程中,以不确定性数据分布的概率密度函数为基础,分别针对概率密度函数曲线无重叠区域和有重叠区域,提出了基于概率密度函数的分裂点计算方法,使决策树算法能够适用于不同特点的不确定性数据。仿真分析验证了算法所提出的基于可视化的面向不确定性数据集的决策树算法的可行性,本方法可以处理不确定性连续数据,而且对于存在缺失值的数据集具有一定的鲁棒性。

关键词：数据挖掘分类决策树算法不确定性数据可视化概率密度函数

来源：评论

学校读者我要写书评

暂无评论

基于信息熵的不确定性数据清理

基于信息熵的不确定性数据清理

引用

作者：覃远翔云南大学

学位级别：硕士

不确定性数据(Uncertain data)是数据采集及处理技术的进步与发展的产物,近年来受到学术界和工业界的广泛关注。不确定性数据产生的原因特殊,可能是采用了粗粒度的数据集合或是原始数据本身不准确,也可能是为了满足特殊的应用目的,或是... 详细信息

不确定性数据(Uncertain data)是数据采集及处理技术的进步与发展的产物,近年来受到学术界和工业界的广泛关注。不确定性数据产生的原因特殊,可能是采用了粗粒度的数据集合或是原始数据本身不准确,也可能是为了满足特殊的应用目的,或是在数据集成过程中、处理缺失值而产生；与此同时不确定性数据的表现形式也多种多样,它们可以是流数据、移动对象数据、关系型数据或者半结构化数据形式。基于种种原因,这些不确定性数据中往往会存在一部分异常数据,而人们希望得到的能够正常使用的不确定性数据是可靠的、没有错误的。不确定性数据的清理已经成为了一个热点问题。目前针对不确定性数据的质量管理方法以及形式差异,研究者、学者已经提出了很多关于不确定性数据的数据模型,这些数据模型的核心就是可能世界模型。可能世界模型可以将不确定性数据演化为多个可能世界实例,同时可能世界实例又对应有一个概率,方便对不确定性数据质量进行管理研究。然而可能世界实例的规模远远大于不确定性数据库的规模,所以将可能世界模型作为不确定性数据的数据模型时必须运用剪枝、排序等启发式技术设计新型算法,用以提高效率,这势必将会是一个异常繁琐的过程。信息熵是信息论中用以定量描述信息的不确定性、稳定程度和信息量大小的方法。本文将不确定性数据的信息量大小定义为不确定度,以信息熵为支撑理论,通过不确定性数据的概率,定量地计算不确定性数据的信息量。基于此可以有效减少可能世界实例,高效地完成不确定性数据的清理。以信息熵为支撑理论,本文的主要工作包括： ·将信息熵的理论引入到不确定性数据中,计算不确定性数据的不确定度,以此作为计算不确定性数据可信区间划分标准的前提。 ·结合数理统计的方法,针对数值型不确定性数据,通过计算得到不确定性数据可信区间的划分标准,并给出可信区间。 ·清理不确定性数据库中不在可信区间内的不确定性数据数据,更新不确定性数据库,完成清理工作。 ·进行不确定性数据清理的模拟实验,通过实验验证了本文方法的高效性和有效性。

关键词：不确定性数据数据清理信息熵不确定度可信区间

来源：评论

学校读者我要写书评

暂无评论

不确定性数据中的关联规则研究

引用

中国科技信息 2010年第2期 48-49+52页

作者：赵昌赣云南科技信息职业学院

本文把不确定性数据引入到了关联分析中。文章概述了不确定性数据研究的情况及不确定性数据经典的模型—可能世界模型;扩展了经典的关联分析算法,称之为U-Apriori和U-H-mine,并对经典的FP-Tree结构在不确定性数据上的缺陷进行了理论分析... 详细信息

本文把不确定性数据引入到了关联分析中。文章概述了不确定性数据研究的情况及不确定性数据经典的模型—可能世界模型;扩展了经典的关联分析算法,称之为U-Apriori和U-H-mine,并对经典的FP-Tree结构在不确定性数据上的缺陷进行了理论分析;最后文章就U-Apriori和U-H-mine算法在真实数据集在做了对比试验,发现U-H-mine在总体表现上优于U-Apriori。

关键词：不确定性数据可能世界模型 U-Apriori U-H-mine FP-Tree结构

来源：评论

学校读者我要写书评

暂无评论

不确定性数据的聚类分析研究及应用

引用

河北工程大学学报（自然科学版） 2012年第1期29卷 109-112页

作者：顾洪博张继怀东北石油大学计算机与信息技术学院黑龙江大庆163318 大庆市让胡路区政府黑龙江大庆163712

对近年来不确定性数据聚类算法的研究现状与进展进行总结。首先对较有代表性的聚类算法,从思想、关键技术和优缺点等方面进行分析。其次选用数据集对基于密度的算法进行测试和对比分析。并给出基于不确定性数据的聚类算法,上述工作将为... 详细信息

对近年来不确定性数据聚类算法的研究现状与进展进行总结。首先对较有代表性的聚类算法,从思想、关键技术和优缺点等方面进行分析。其次选用数据集对基于密度的算法进行测试和对比分析。并给出基于不确定性数据的聚类算法,上述工作将为不确定数据管理提供有益的参考。

关键词：聚类分析不确定性数据基于密度基于划分

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：