检索结果-内蒙古大学图书馆

自动化学报 2009年第7期35卷 990-996页

作者：黄文良刘勇钟志强沈仲明浙江大学工业控制技术国家重点实验室杭州310027 浙江大学智能系统与控制研究所杭州310027 中国联合网络通信有限公司浙江分公司杭州310006

对垃圾短信发送用户的识别和过滤具有十分重要的研究价值和社会意义.随着新形式和内容的垃圾短信出现,传统的关键字匹配和发送速度频率过滤方法无法有效地处理这一问题.在对短信发送/接收网络形式化表达的基础上,以真实短信发送和接收... 详细信息

对垃圾短信发送用户的识别和过滤具有十分重要的研究价值和社会意义.随着新形式和内容的垃圾短信出现,传统的关键字匹配和发送速度频率过滤方法无法有效地处理这一问题.在对短信发送/接收网络形式化表达的基础上,以真实短信发送和接收以及通话关系数据为例,统计和分析了短信发送网络的网络特性.进一步分析和挖掘了垃圾短信用户在网络上发送接收的异常模式和行为,并以此提出了一个基于语音关联程度和短信回复比率的过滤算法(NASFA算法).通过实验和分析表明,本文的算法能够高效地识别垃圾短信发送用户,同时能够有效地控制将正常用户误识别为垃圾短信用户的比率.

关键词：复杂网络无标度网络垃圾短信过滤幂律出入度比

来源：评论

学校读者我要写书评

暂无评论

垃圾短信过滤关键技术研究

垃圾短信过滤关键技术研究

引用

作者：黄文良浙江大学

学位级别：博士

垃圾短信泛滥是近年来困扰运营商和普通用户的一个重大问题。本文针对垃圾短信过滤中的垃圾短信判别问题,利用机器学习领域中的Bayes分类方法、SVM分类方法和社会网络方法,结合短信发送过程中的具体限制性条件,对垃圾短信内容识别和垃... 详细信息

垃圾短信泛滥是近年来困扰运营商和普通用户的一个重大问题。本文针对垃圾短信过滤中的垃圾短信判别问题,利用机器学习领域中的Bayes分类方法、SVM分类方法和社会网络方法,结合短信发送过程中的具体限制性条件,对垃圾短信内容识别和垃圾短信发送用户的识别这两个问题中的关键技术进行了深入的研究。完成的主要工作包括: 1、统一垃圾短信过滤模型本文中提出了一个可以解决多种短信发送方式的过滤模型——统一垃圾短信过滤模型。该模型即考虑到了不同发送端短信的具体特征,又尽可能利用现有的针对短信和短信发送用户的短信阻止机制,能够有效地过滤各种类型的垃圾短信,减少改造成本。 2、基于多特征的垃圾短信识别算法设计了一种基于多特征的垃圾短信识别算法,综合考虑短信发送的行为特征、短信的文本分词后特征,利用Bayes分类和SVM分类方法分别离线与在线的实现对垃圾短信内容的学习和实时分类;并通过一组基于反馈的自学习机制,使分类器具备增量式学习能力。实验和分析表明:本文的算法相比传统方法在过滤效率和准确率两方面均获得大幅度提升。 3、基于社会网络的垃圾短信发送用户识别从社会网络的角度对短信发送问题进行形式化的建模,通过实验验证了短信发送网络所具有的社会性特征,如小世界原理、幂率等,并在此基础上进一步分析和挖掘了垃圾短信用户在网络上发送接收的异常模式和行为,并以此提出了一个基于语音关联程度和短信回复比率的过滤算法（NASFA算法）。实验和分析表明:算法不仅能够高效的识别垃圾短信发送号码,同时能够有效的控制将正常用户误识别为垃圾短信用户的比率。 4、基于位置特征的垃圾短信发送用户识别对于垃圾短信发送者而言,其在地理位置上具有明显的特征。据此提出了一个利用位置特征和短信发送内容的垃圾短信发送用户识别算法。 5、面向网络端发送短信的快速匹配过滤算法针对网络端发送的短信具有发送速度快、发送频率变化范围大、不具备社会性特征和分类特征过少等特点,本文提出了一种适用于网络端口发送类垃圾短信的监控和过滤解决方案,通过编码预处理算法来克服反过滤干扰手段,并根据短信日发送数量、短信内容等特征,采用模糊匹配和频度监控相结合的方法动态进行短信过滤。此外,还引入了关键字加权控制频度方法,根据短信长度修正过滤的阀值。最后对全文进行概括性总结,并指出了下一步重点需要研究和突破的方向。

关键词：垃圾短信过滤文本分类学习社会网络短信预处理

来源：评论

学校读者我要写书评

暂无评论

垃圾短信过滤中字特征与词特征对过滤效果的比较研究

垃圾短信过滤中字特征与词特征对过滤效果的比较研究

引用

作者：冯鸥鹏北京邮电大学

学位级别：硕士

十多年来,短信服务在世界各国电信市场中得到巨大的发展。而手机短信发送量的增长伴随而来的就是日趋泛滥的垃圾短信。词特征数量多,维数大,需要进行特征选择,否则会严重影响过滤效果。在中文文本中,中文分词是提取词特征必不可少的工作... 详细信息

十多年来,短信服务在世界各国电信市场中得到巨大的发展。而手机短信发送量的增长伴随而来的就是日趋泛滥的垃圾短信。词特征数量多,维数大,需要进行特征选择,否则会严重影响过滤效果。在中文文本中,中文分词是提取词特征必不可少的工作,中文分词算法复杂,计算量大,需要耗费大量的计算资源。这些缺陷意味着在使用词特征时需要较好的硬件设备和较多的处理时间。而在垃圾短信过滤的实际应用中,这些条件常常无法满足。针对词特征的缺陷,本实验使用字特征来代替词特征。字特征维数有限,无需分词的特点可以有效地节约计算资源,减少计算量,缩短处理时间,解决词特征在垃圾短信过滤中存在的应用问题。本实验使用柏努利贝叶斯、多项式贝叶斯、径向基支持向量机、C4.5决策树四种分类器,几率比、信息增益、互信息三种特征选择方法,500维、1000维、1500维、2000维、全维度五种维度的空间,通过不同分类器、特征选择方法、维度空间的交叉使用,共构建了52种不同的过滤条件,分别使用字特征和词特征得到过滤的正确率,共52对对比结果。对比结果显示,在C4.5决策树、低维度的柏努利贝叶斯和低维度的互信息选出的特征空间等三种条件下,字特征的过滤效果都要优于词特征;在其它条件下,字特征的过滤效果与词特征差距也不大。分析结果可知,在硬件设备和处理时间有限的条件下,使用字特征和柏努利贝叶斯或C4.5决策树搭配进行垃圾短信过滤可以得到非常不错的过滤效果。

关键词：字特征词特征垃圾短信过滤文本分类

来源：评论

学校读者我要写书评

暂无评论

垃圾短信过滤与举报系统的设计与服务器端的实现

垃圾短信过滤与举报系统的设计与服务器端的实现

引用

作者：战扬北京大学

学位级别：硕士

伴随着手机用户的迅猛增长，短信业务借助其使用方便、收费低廉和随时随地收发等优点成为人们日常工作生活中沟通和交流的重要方式，但同时也带来了垃圾短信的泛滥。由于短信收发自由、难以控制等客观原因引发了诸多安全问题和社会问题... 详细信息

伴随着手机用户的迅猛增长，短信业务借助其使用方便、收费低廉和随时随地收发等优点成为人们日常工作生活中沟通和交流的重要方式，但同时也带来了垃圾短信的泛滥。由于短信收发自由、难以控制等客观原因引发了诸多安全问题和社会问题，严重影响到了手机用户的正常生活，垃圾短信的治理工作迫在眉睫。\n 在垃圾短信治理中，垃圾短信的取证是工作的难点之一，传统的举报方式因口误、方言、输入错误等问题，在很大程度上影响了取证的客观性，为政府部门后续的治理工作带来困难。如何客观、有效地对垃圾短信进行取证是需要急待解决的问题。另外，垃圾短信的判别标准很难统一，不同用户人群对垃圾短信的判断标准不同，这样就很难在短信网关端进行很严格的过滤。\n 本文所描述的项目是国家工业和信息化部授权、中国互联网协会12321网络不良与垃圾信息举报受理中心主持的治理垃圾短信专项行动中的一部分，目的是为了加强我国的垃圾短信的治理，净化我国网络环境。该项目通过在手机端使用过滤规则和采用一键式举报的方式，尝试解决以上所描述的问题。\n 本文论述了一个垃圾短信过滤与举报系统的理论基础、设计及其服务器端的实现。目前垃圾短信过滤软件经常采用的垃圾短信过滤技术一般包括白名单与黑名单技术、规则过滤以及基于

关键词：神经网络垃圾短信过滤举报系统手机用户

来源：评论

学校读者我要写书评

暂无评论

基于朴素贝叶斯和支持向量机的自适应垃圾短信过滤系统

引用

计算机应用 2008年第3期28卷 714-718页

作者：金展范晶陈峰徐从富浙江大学计算机科学与技术学院杭州310027 浙江省公安厅科技处杭州310009

随着短信业务的不断发展,垃圾短信的特征和内容也在不断变化,传统垃圾短信过滤系统中存在的主要问题是,短信特征和内容未能得到及时更新而导致过滤性能降低。考虑朴素贝叶斯的快速统计分类及支持向量机(SVM)的增量训练等特点,将其应用... 详细信息

随着短信业务的不断发展,垃圾短信的特征和内容也在不断变化,传统垃圾短信过滤系统中存在的主要问题是,短信特征和内容未能得到及时更新而导致过滤性能降低。考虑朴素贝叶斯的快速统计分类及支持向量机(SVM)的增量训练等特点,将其应用于垃圾短信过滤中,并把分析结果及时反馈给在线过滤子系统,使得系统具有更好的自适应性。实验结果表明,该方法可有效地解决当前垃圾短信过滤系统中存在的问题。

关键词：垃圾短信过滤朴素贝叶斯支持向量机

来源：评论

学校读者我要写书评

暂无评论

一种高效垃圾短信过滤系统的实现

引用

电信科学 2008年第5期24卷 61-67页

作者：黄文良陈纯罗云彬中国联合通信有限公司北京100032 浙江大学杭州310027

本文提出了一种适用于对互联网发送的垃圾短信进行监控和过滤的解决方案,该方案根据短信日发送频度、短信内容、短信长度等特征,采用模糊匹配和频度监控相结合的方法进行短信监控和过滤。系统中创新性地提出了内容预变换、关键字加权控... 详细信息

本文提出了一种适用于对互联网发送的垃圾短信进行监控和过滤的解决方案,该方案根据短信日发送频度、短信内容、短信长度等特征,采用模糊匹配和频度监控相结合的方法进行短信监控和过滤。系统中创新性地提出了内容预变换、关键字加权控制频度等方法,相比传统方法而言,本系统在过滤准确度和误判率两方面的指标均获得大幅度提升。

关键词：垃圾短信过滤模糊匹配频度监控

来源：评论

学校读者我要写书评

暂无评论

设计科学视角的垃圾短信过滤算法研究

引用

计算机工程与应用 2016年第19期52卷 111-116页

作者：夏火松罗盼高苗苗武汉纺织大学管理学院武汉430073

基于设计科学的视角,利用回复率规则,提出了度量短信重要性的Sms Rank算法,并将该方法引入到垃圾短信的过滤算法中。通过实验,使用R语言验证了该算法在过滤垃圾短信的有效性,并且与SVM算法的分类结果做对比,结果表明其精准率明显优于SV... 详细信息

基于设计科学的视角,利用回复率规则,提出了度量短信重要性的Sms Rank算法,并将该方法引入到垃圾短信的过滤算法中。通过实验,使用R语言验证了该算法在过滤垃圾短信的有效性,并且与SVM算法的分类结果做对比,结果表明其精准率明显优于SVM算法。最后,利用该算法提出了基于短信服务中心的应用模式。

关键词：设计科学 SmsRank算法垃圾短信过滤 R语言 SVM算法应用模式

来源：评论

学校读者我要写书评

暂无评论

面向垃圾短信过滤的亚文档集成学习

引用

郑州大学学报（理学版） 2017年第3期49卷 59-64页

作者：刘伍颖王琳广东外语外贸大学语言工程与计算实验室广东广州510420

针对垃圾短信过滤问题,提出了一种亚文档集成学习方法.该方法采用亚文档集成学习框架将短文本在线二值分类问题转化成若干个子分类问题,并通过线性组合多个子问题的分类结果得出最终的分类预测.利用基于串频索引的文本分类算法实现了一... 详细信息

针对垃圾短信过滤问题,提出了一种亚文档集成学习方法.该方法采用亚文档集成学习框架将短文本在线二值分类问题转化成若干个子分类问题,并通过线性组合多个子问题的分类结果得出最终的分类预测.利用基于串频索引的文本分类算法实现了一种有效的弱分类器.实验数据表明亚文档集成学习框架能够提高现有文本分类算法的效能,而在亚文档集成学习框架下,基于串频索引的弱分类器过滤效果最佳.

关键词：垃圾短信过滤亚文档集成学习串频索引 TREC评测

来源：评论

学校读者我要写书评

暂无评论

Hadoop平台下垃圾短信过滤系统的研究

Hadoop平台下垃圾短信过滤系统的研究

引用

作者：宋晓莹西安理工大学

学位级别：硕士

近年来,随着手机用户的增长,短信作为其主要业务成为了用户日常交流的主要工具之一,但是与此同时也滋生出大量的垃圾短信,这些垃圾短信的出现已经对用户的正常生活和财产安全造成了非常严重的影响。如何快速并且精确的对接收到的未知短... 详细信息

近年来,随着手机用户的增长,短信作为其主要业务成为了用户日常交流的主要工具之一,但是与此同时也滋生出大量的垃圾短信,这些垃圾短信的出现已经对用户的正常生活和财产安全造成了非常严重的影响。如何快速并且精确的对接收到的未知短信分类并且将垃圾短信进行过滤已经成为现阶段刻不容缓的需要解决的问题。对现有的垃圾短信过滤技术进行研究发现其中存在一些不足,基于关键字的过滤算法操作简单但是过滤精度太低,基于内容的过滤算法过滤效果好但是对设备要求高且实现过程复杂。本文主要研究工作如下:1.首先研究了近年来比较流行的云计算中的Hadoop平台,发现其具有很高的可靠性,可扩展性和容错性,并且对硬件设备的要求很低等优势,选取Hadoop平台作为垃圾短信过滤系统的应用平台。2.通过对现阶段常用的垃圾短信过滤算法进行分析和比较,发现贝叶斯算法相比较其他算法而言分类时间较短,因此选取贝叶斯算法作为主要的过滤算法。3.短信过滤系统中,在短信预处理阶段选取特征向量的时候,为了减小特征向量的维度,使得每个向量更准确的表示短信的类别信息,将传统的特征降维函数TFIDF的参数进行改进,更加精确的把权重较小的特征向量筛选掉;短信过滤系统的分类阶段,为了减少正常短信被判定为垃圾短信时产生的风险,本文通过判定时产生的决策因子,计算出判定为各个类别的短信的条件风险,最后将未知短信归类到条件风险较小的一类中。4.将改进的垃圾短信过滤系统通过Hadoop平台上的MapReduce编程模型分别对其训练过程和分类过程进行Map函数和Reduce函数的编程实现,并使用Hadoop平台上的HBase存储数据库对短信类别的文件信息进行存储。通过对垃圾短信过滤系统的性能进行对比实验发现,引入Hadoop平台,垃圾短信过滤系统的加速比较普通PC单机上增加了 0.227,改进的贝叶斯算法和TFIDF算法的融合使垃圾短信过滤系统的准确率提高了 3%左右,查准率和召回率也有了较为明显的提高。

关键词：垃圾短信过滤 Hadoop平台贝叶斯算法决策因子

来源：评论

学校读者我要写书评

暂无评论

基于文本分类的中文垃圾短信过滤研究

基于文本分类的中文垃圾短信过滤研究

引用

作者：莫阳桂林电子科技大学

学位级别：硕士

随着人工智能技术的成熟，以机器学习技术为基础的反垃圾短信技术开始流行，其中最主要的一类方法便是基于短信内容的机器学习垃圾分类方法。垃圾短信的过滤问题本质是一个二分类问题，对于基于内容的统计学习垃圾短信过滤方法，采用文... 详细信息

随着人工智能技术的成熟，以机器学习技术为基础的反垃圾短信技术开始流行，其中最主要的一类方法便是基于短信内容的机器学习垃圾分类方法。垃圾短信的过滤问题本质是一个二分类问题，对于基于内容的统计学习垃圾短信过滤方法，采用文本分类技术将待分类短信样本加载进训练好的分类模型来实现自动分类，这类方法在短信分类中计算速度较快且分类效果较好，同时避免了人为介入的规则设置，智能化的水平更高。\n 本文首先针对 KNN算法在文本分类的决策规则上存在的样本权重相同的缺点，提出了基于文本加权的KNN文本分类算法，并应用于垃圾短信的分类；在提取出特征词之后，考虑到特征词在文本中出现的频率对文本重要性的影响，引入第一个加权公式，同时针对垃圾短信数据集，采用关联规则算法挖掘出在垃圾短信中频繁出现的共现词组，并以此引入第二个加权公式，最后将引入的两种文本权重计算公式对每个短信文本进行复合加权处理，以区分各个训练样本对于判定隶属类别的影响程度，从而在分类决策规则上作出改进，提升短信分类效果。\n 其次，针对关联规则在短文本分类特征扩展过程中存在的扩展特征类别偏向不统一而导致扩展特征质量不高的缺点，设计了一种改进的特征扩展算法模型，1）首先提出一个类别频繁因子（label frequency factor，LFF）概念，根据LFF值对不同类别的频繁词集挖掘采取不一样的最小支持度阈值，使得每个类别的频繁词集得到充分挖掘；2）对于频繁词集中扩展特征的类别倾向性分析，通过人工设置阈值计算特征的类别倾向的方法人工干预过多，且阈值会随着数据集的改变而改变，本文融合X2检验算法对扩展特征进行二次筛选，以产生高质量的特征扩展词语集合并作为训练集和测试集扩展特征的背景知识库，避免了人工设参，提高了程序和算法可控性。\n 最后，考虑在传统的文本分类表示模型中，典型的比如空间向量模型-TFIDF算法对于短信这种短文本内容的分类，即便通过特征扩展，文本规模也很难与长文本相提并论，存在特征稀疏、信息量不够的缺点。本文通过词向量模型将短信文本的表示映射到N维向量空间中，使得短信文本具有更深层的特征表示。同时考虑到词向量模型改良了特征的深层表示、解决了特征高维稀疏的问题，而迭代决策树算法GBDT模型更加适用于非高维稠密特征，因此将在词向量模型融合迭代决策树算法（GBDT）在文本分类的应用上进行实践，通过词语的分布式表示即词向量的方式并用在GBDT模型上对短信进行分类。

关键词：文本分类文本加权垃圾短信过滤特征扩展词向量迭代决策树

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：