检索结果-内蒙古大学图书馆

计算机研究与发展 2004年第3期41卷 477-484页

作者：杨风召朱扬勇施伯乐南京财经大学电子商务实验室南京210003 复旦大学计算机与信息技术系上海200433

异常检测是数据挖掘领域研究的最基本的问题之一 ,它在欺诈甄别、贷款审批、气象预报、客户分类等方面有广泛的应用以前的异常检测算法只适应于静态环境 ,在数据更新时需要进行重新计算在基于密度的局部异常检测算法LOF的基础上 ,提... 详细信息

异常检测是数据挖掘领域研究的最基本的问题之一 ,它在欺诈甄别、贷款审批、气象预报、客户分类等方面有广泛的应用以前的异常检测算法只适应于静态环境 ,在数据更新时需要进行重新计算在基于密度的局部异常检测算法LOF的基础上 ,提出一种在动态环境下局部异常挖掘的增量算法IncLOF ,当数据库中的数据更新时 ,只对受到影响的点进行重新计算 ,这样可以大大提高异常的挖掘速度实验表明 ,在动态环境下IncLOF的运行时间远远小于LOF的运行时间 ,并且用户定义的邻域中的最小对象个数与记录数之比越小。

关键词：数据挖掘异常检测局部异常因子局部可达密度增量挖掘算法

来源：评论

学校读者我要写书评

暂无评论

基于概念格的频繁闭项集增量挖掘算法研究

引用

哈尔滨工程大学学报 2007年第2期28卷 194-197,227页

作者：战立强刘大昕哈尔滨工程大学计算机学院黑龙江哈尔滨150001

近年的研究表明,概念格可以应用于解决频繁闭项集的挖掘问题.针对已有渐进式概念格构造算法中存在的问题,提出了一种基于概念格的频繁闭项集增量挖掘新算法——FIPT-I算法.新算法利用模式树对概念格进行组织,并利用模式树压缩数据库中... 详细信息

近年的研究表明,概念格可以应用于解决频繁闭项集的挖掘问题.针对已有渐进式概念格构造算法中存在的问题,提出了一种基于概念格的频繁闭项集增量挖掘新算法——FIPT-I算法.新算法利用模式树对概念格进行组织,并利用模式树压缩数据库中的事务,在渐进式构造概念格的同时实现了事务的批处理,减少了概念格的调整操作时间.实验结果表明,与其他同类算法相比,FIPT-I算法对于增量挖掘频繁闭项集来说具有更高的效率.

关键词：频繁闭项集增量挖掘算法模式树概念格

来源：评论

学校读者我要写书评

暂无评论

基于关联规则的增量挖掘算法的研究与设计

基于关联规则的增量挖掘算法的研究与设计

引用

作者：吴立锋中南民族大学

学位级别：硕士

在关联规则挖掘问题的研究上，除了在用户给定明确的最小支持度和最小置信度后需要有快速高效的挖掘算法外，提出新的算法以解决如何在用户无法预先明确知道能够获得满意结果的最小支持度的情况下也能够快速有效地进行挖掘处理，是一个... 详细信息

在关联规则挖掘问题的研究上，除了在用户给定明确的最小支持度和最小置信度后需要有快速高效的挖掘算法外，提出新的算法以解决如何在用户无法预先明确知道能够获得满意结果的最小支持度的情况下也能够快速有效地进行挖掘处理，是一个更加实用化的研究课题。另外，基于数据库时时在被更新这样的现实，除了需要相同最小支持度的条件下的有效更新算法外，允许调整最小支持度的有效更新算法也是非常重要的研究课题。\n 简单介绍了数据挖掘的基本定义、常用技术以及其相关知识，综述了数据挖掘的发展和现状，指出了增量数据挖掘的重要意义。\n 分析了挖掘关联规则的经典算法Apriori以及常用的几种改进算法，指出了他们的共同特点：以逐层搜索的迭代方法来挖掘频繁项集，以及存在的固有缺陷,并给出了每一种缺陷的改进方法。\n 对目前的增量数据挖掘算法进行了分类，对每一种分类详细的介绍了各自对应的算法，指出其都不能解决最小支持度和最小置信度发生变化的同时数据库也发生变化的增量更新问题。\n 对于关联规则的更新问题一种最直接的方法是重新运行一遍Apriori算法，但是由于没有充分利用以前的挖掘结果，增加很多不必要的运算时间。在分析总结原有算法的基础上，针对现行增量挖掘算法的困难和不足，提出了HIUA(Hash Incremental Update Algorithm)算法，该算法充分利用以前挖掘的结果，将链表插入、删除以及hash定位高效率的特性结合起来，摆脱了传统算法多次迭代的不足，只需扫描一次数据库，就能满足各种要求，通过以空间换取时间，大大提高了挖掘效率。同时将挖掘出来的结果有效地保存，以便下次增量挖掘时充分利用。\n 实现了HIUA算法，通过对其测试结果与Apriori算法的测试结果进行比较，进一步证明了该算法的高效性。

关键词：关联规则挖掘增量挖掘算法逐层搜索 HIUA算法 Apriori算法

来源：评论

学校读者我要写书评

暂无评论

基于事务线索树的一次扫描关联规则增量挖掘算法

引用

应用科学学报 2004年第2期22卷 200-204页

作者：业宁董逸生王厚立东南大学计算机科学与工程系江苏南京210096 南京林业大学计算机系江苏南京210037

首先将事务数据库压缩存储到一棵事务线索树(TT-tree)的结点上,并建立这些结点的索引表,然后寻找结点索引表的最后结点到根结点的全部路径,这些路径及路径的交集包含了用于挖掘关联规则的频繁集.该算法只需扫描事务数据库一次,由于采用... 详细信息

首先将事务数据库压缩存储到一棵事务线索树(TT-tree)的结点上,并建立这些结点的索引表,然后寻找结点索引表的最后结点到根结点的全部路径,这些路径及路径的交集包含了用于挖掘关联规则的频繁集.该算法只需扫描事务数据库一次,由于采用了逆向搜索TT-tree的方法,搜索的时间开销非常少.该算法可以挖掘中短模式的海量数据,具有很好的伸缩性,同时该算法具有增量挖掘的功能.通过大量的实验数据进行比较,该算法的速度约是Apriori算法的10倍.

关键词：事务线索树一次扫描关联规则增量挖掘算法可伸缩性频繁集事务数据库

来源：评论

学校读者我要写书评

暂无评论

入侵检测的日志综合分析模型研究

入侵检测的日志综合分析模型研究

引用

作者：李晨旸北京邮电大学

学位级别：硕士

伴随着网络技术的飞速发展,网络逐渐成为人们工作和生活中不可或缺的部分。同时,日渐复杂的网络攻击行为给人们带来了巨大的损失,这使得网络安全技术受到了研究者的广泛关注。在日益复杂的安全实践中,以防火墙为代表的第一代网络安全技... 详细信息

伴随着网络技术的飞速发展,网络逐渐成为人们工作和生活中不可或缺的部分。同时,日渐复杂的网络攻击行为给人们带来了巨大的损失,这使得网络安全技术受到了研究者的广泛关注。在日益复杂的安全实践中,以防火墙为代表的第一代网络安全技术暴露出一些缺陷,而入侵检测系统逐渐成为网络安全体系的重要组成部分。然而,伴随着高速网络的发展和网络带宽的增长,入侵检测系统逐渐暴露出日志误报漏报严重、不同系统日志重复信息过多、攻击识别率较低等问题,使入侵检测的改进及日志分析成为网络安全领域的研究热点。已有的研究成果为日志分析奠定了基础,但仍存在聚类方法不合理、挖掘方式效率较低、日志信息利用不充分、未有效解决漏报问题等缺陷。针对上述问题,本文提出了由预处理、知识库离线学习及事件关联分析三个模块构成的入侵检测日志综合分析模型,引入攻击事件的阶段模型及分类体系构造合理的事务集,有效地利用新的增量挖掘算法分析得到客观的关联规则,并提出漏报补偿匹配方法完成攻击场景重构和攻击结果的分析。基于该模型,本文设计并实现了模型的验证系统,并完成了日志分析实验。实验结果从关联规则的合理性及分析结果的有效性两方面证实该模型能够减少误报和漏报,产生通用易懂的日志。

关键词：入侵检测日志分析检测事件攻击结果向量增量挖掘算法漏报补偿匹配

来源：评论

学校读者我要写书评

暂无评论

联机增量数据挖掘研究

联机增量数据挖掘研究

引用

作者：徐雄南京邮电学院

学位级别：硕士

该文是一篇关于联机数据挖掘系统、体系结构及实现的文章.文章首先总结了现有数据挖掘系统即传统数据挖掘系统的各个方向的发展现状,其中包括体系结构,算法、计算技术以及数据挖掘的标准化工作等;继而在研究相关文献的基础上提出了在联... 详细信息

该文是一篇关于联机数据挖掘系统、体系结构及实现的文章.文章首先总结了现有数据挖掘系统即传统数据挖掘系统的各个方向的发展现状,其中包括体系结构,算法、计算技术以及数据挖掘的标准化工作等;继而在研究相关文献的基础上提出了在联机数据库系统中进行实时数据挖掘的体系结构,新的系统突破了传统的在数据仓库系统中进行全局数据挖掘的一贯做法,使得构建数据挖掘系统的代价大为减小;通过引入分布式网络计算模式,使得从操作型原始数据到发现数据模式的过程非常紧凑;同时研究了联机数据挖掘系统中的并行.挖掘算法和增量挖掘算法,使得发现数据模式的效率大为提高,实现了实时数据挖掘的概念.

关键词：数据挖掘数据仓库联机分析知识发现并行挖掘算法增量挖掘算法

来源：评论

学校读者我要写书评

暂无评论

基于新闻数据的交通事故风险因素挖掘算法及预测模型研究

基于新闻数据的交通事故风险因素挖掘算法及预测模型研究

引用

作者：叶颖婕北京工业大学

学位级别：硕士

随着社会的进步与经济的迅速发展，城市中机动车保有量不断增加，随之而来的是一系列道路交通安全问题。在中国每年因交通事故死亡的人数超过26万人，造成了巨大人员伤亡和财产损失，道路交通安全分析成为国内外学者们研究的热点。最早... 详细信息

随着社会的进步与经济的迅速发展，城市中机动车保有量不断增加，随之而来的是一系列道路交通安全问题。在中国每年因交通事故死亡的人数超过26万人，造成了巨大人员伤亡和财产损失，道路交通安全分析成为国内外学者们研究的热点。最早对交通事故的致因分析主要是对事故的宏观分析和数据的统计分析，重点分析人、车、路、环境这几种因素对交通事故的影响。随着进一步研究，认为交通事故的原因是多方面、系统的，有内在联系的，加之近年来大数据智能分析技术的发展和应用，利用数据挖掘、机器学习相关技术对交通数据加以分析计算，朔源事故原因，找出潜在风险因素，有利于提出针对性措施，避免并预防交通事故的发生，具有良好的应用意义。　　本文针对交通事故原因多样性特点，同时考虑到新闻报道真实性和时效性的特征，利用交通事故相关的新闻数据，对导致交通事故的风险因素加以挖掘分析。论文以新浪网站交通事故新闻为数据源，从新闻事件中提取引发交通事故的风险因素，使用Neo4j图数据库进行存储。克服经典Apriori只适用于单一维度的关联挖掘以及需要频繁扫描数据库的缺点，提出了改进的多值属性MA-Apriori算法，以省市为关注点，挖掘出导致事故发生的多种风险因素组合。为提高对新增数据进行在线学习的能力，本文参考Fast Update(FUP)增量挖掘算法的思想，进一步对关联规则学习算法改进，建立交通事故风险因素的增量挖掘分析算法。最后根据挖掘结果，总结出省市多发交通事故的规律，利用贝叶斯网络构建了交通事故风险预测模型，为交通事故进行早期预防的措施提供依据。本文的主要工作和创新点如下:　　1、建立新闻交通事故记录数据库。在对交通事故的研究中，以交通事故相关的新闻报道数据为基础，考虑到气象对交通的影响，力图从新闻报道结合实时天气挖掘事故诱发因素，建立了交通事故记录数据库。本文使用爬虫技术对新浪网站2015至2017年的新闻数据进行抓取，对数据清洗的基础上，通过文本关键词提取方法过滤与交通事故无关的数据。最后，从筛选后的新闻中提取出交通事故的风险因素，包括事故发生的时间、地点、天气、事故原因、交通方式和事故类型6个属性，并采用Neo4j图数据库存储交通事故记录，构建了包含1177条数据的交通事故记录数据库。　　2、提出基于多值属性关联规则的改进算法。本文采用Apriori算法对交通事故因素的关联规则加以挖掘，考虑到事故风险因素是多维因素之间的关系，采用多维关联规则挖掘。克服Apriori算法只适用于单一维度的关联挖掘以及需要多次扫描数据库，导致计算效率低下的缺点，本文提出一种改进的MA-Apriori算法，根据交通事故新闻数据的特性，在连接步过程中加入对是否包含“地点”和“事故类型”这两个维度的判断，并且在剪枝步只考虑生成“事故类型”的频繁项，在挖掘所需的规则同时提高挖掘计算效率。使用传统Apriori算法和MA-Apriori算法在交通事故数据集上进行对比实验，结果表明，支持率越小，改进的算法效率越高。　　3、提出改进增量式关联规则算法。随着新增数据不断获取，有利于挖掘更为有效的交通事故引发因素及关联关系，然而采用传统的Apriori算法，则需要重新扫描包括原始和新增数据的整个数据库，未充分利用已获取的知识，导致耗费大量的时间和空间，本文参考FUP算法的思想，提出改进增量式关联规则算法UMA-Apriori算法，利用原始数据库获得的频繁集为基础，再计算新增数据集的频繁集，然后对两个频繁集进行比较，保留下相同的部分，对于不同的部分，分别计算在数据库中的支持度，留下满足最小支持度的频繁集，最终使用结合后的频繁集计算出强关联规则。通过对新增数据进行增量关联规则挖掘，结果验证了UMA-Apriori算法相比原算法的效率有所提高，并且随着增量数据越多，效果越明显。　　4、构建交通事故风险预测模型。贝叶斯网络是不确定知识和推理领域最有效的模型之一，对于数据分析与预测具有很大优势。因此，本文选择贝叶斯网络作为构建交通事故风险预测模型的基本模型，利用所获得的事故风险因素为基础，通过计算各影响因素间的条件概率来计算事故发生的概率，达到事故风险预测的目的。本文分别使用所建立的原始交通事故数据集和新增数据集，对构建的风险预测模型进行测试，并对风险预测模型的有效性进行分析，在训练集上的预测准确率达到94.2％，在测试集上的准确率为86.1％，证明该预测模型是有效的。

关键词：交通事故风险因素新闻数据增量挖掘算法关联规则

来源：评论

学校读者我要写书评

暂无评论

基于模式分解树的增量挖掘

引用

常州工学院学报 2005年第3期18卷 27-30页

作者：殷凯黄树成常州工学院计算机信息工程学院江苏常州213002

数据挖掘具有广泛的应用,频繁模式发现是关联规则挖掘问题的重要组成部分。频繁模式的增量挖掘是一个挑战性的任务,已有的几种基于Apriori思想的方法,具有代价太高的弱点。本文提出了一个基于模式分解树,不需要扫描原数据库的增量挖掘... 详细信息

数据挖掘具有广泛的应用,频繁模式发现是关联规则挖掘问题的重要组成部分。频繁模式的增量挖掘是一个挑战性的任务,已有的几种基于Apriori思想的方法,具有代价太高的弱点。本文提出了一个基于模式分解树,不需要扫描原数据库的增量挖掘算法。通过合理地组织候选项索引,可以取得较高的效率。

关键词：模式分解 Apriori 关联规则挖掘增量挖掘算法数据挖掘组成部分模式发现频繁模式挑战性数据库地组织

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：