检索结果-内蒙古大学图书馆

计算机学报 2014年第5期37卷 1159-1169页

作者：刘燕兵邵妍王勇刘庆云郭莉中国科学院信息工程研究所北京100093 信息内容安全技术国家工程实验室北京100093 北京邮电大学计算机学院北京100876 国家计算机网络与信息安全管理中心北京100029

对大量有害的url进行过滤,是目前网络安全应用系统中所亟需的关键技术.使用经典的串匹配算法检测庞大的url规则集,需要消耗大量的计算资源和存储资源,性能十分低下.该文设计了一种适合于大规模url过滤的多模式串匹配算法——SOGOPT.该... 详细信息

对大量有害的url进行过滤,是目前网络安全应用系统中所亟需的关键技术.使用经典的串匹配算法检测庞大的url规则集,需要消耗大量的计算资源和存储资源,性能十分低下.该文设计了一种适合于大规模url过滤的多模式串匹配算法——SOGOPT.该算法在经典的SOG算法基础上,针对url规则的特点,提出了最优窗口选择、模式串分组规约这两种优化技术,大幅度提高了SOG算法的匹配速度,在大规模url规则集上效果尤其显著.该文设计的算法非常适合于大规模(100万级)url实时在线匹配的应用环境.

关键词：多模式串匹配 url过滤最优窗口选择模式串分组规约信息安全网络安全

来源：评论

学校读者我要写书评

暂无评论

Web语料抓取中基于相似度的url过滤规则生成算法

引用

模式识别与人工智能 2014年第7期27卷 631-637页

作者：陈荟慧舒云星林丽洛阳理工学院计算机与信息工程系洛阳471023 解放军外国语学院亚非语系洛阳471003

Web语料是语料库的重要组成部分,但对冗余url的访问开支影响大规模语料爬取工作的质量和效率,使用高效的url过滤规则可提高Web爬取的质量和效率.因网站虚拟目录下的文件分布不均匀,为发现目标文件聚集区域,提出一种生成url过滤规则的方... 详细信息

Web语料是语料库的重要组成部分,但对冗余url的访问开支影响大规模语料爬取工作的质量和效率,使用高效的url过滤规则可提高Web爬取的质量和效率.因网站虚拟目录下的文件分布不均匀,为发现目标文件聚集区域,提出一种生成url过滤规则的方法.该方法使用正则表达式将url元素通配化,归并相同元素后划分为子集,再计算子集内url之间的相似度,并根据相似程度较高的url构造虚拟目录树,基于虚拟目录树生成语料爬取的url过滤规则和分类规则.文中详细介绍虚拟目录树的生成算法,并通过实验对比不同相似度阈值对目录树生成结果和url过滤效果的影响.

关键词： url相似度 Web语料爬取 url过滤语料分类

来源：评论

学校读者我要写书评

暂无评论

基于哈希表的高性能url过滤器研究

引用

小型微型计算机系统 2005年第2期26卷 178-180页

作者：郑卫斌张德运丁会宁李继华高磊西安交通大学电子与信息工程学院陕西西安710049 西安交通大学西北网络中心陕西西安710049

防火墙通过 url 过滤控制对因特网信息资源的访问 .为了在高速防火墙上实现 url 过滤 ,本文提出了位图法以改进url过滤器的哈希表数据结构 ,提高哈希表查找速度 ;提出了快速压缩法 ,降低过滤器的空间占用 .经过位图法和快速压缩法改进 ... 详细信息

防火墙通过 url 过滤控制对因特网信息资源的访问 .为了在高速防火墙上实现 url 过滤 ,本文提出了位图法以改进url过滤器的哈希表数据结构 ,提高哈希表查找速度 ;提出了快速压缩法 ,降低过滤器的空间占用 .经过位图法和快速压缩法改进 ,并应用高速缓存优化后 ,采用实验对 U RL 过滤器进行性能评价 ,发现 url 过滤的平均时间下降了 2 5 3.7% ,空间下降了2 5 .7% .

关键词： url过滤哈希表数据结构防火墙

来源：评论

学校读者我要写书评

暂无评论

面向移动终端的url过滤方法

引用

计算机工程与应用 2011年第18期47卷 68-72页

作者：刘夏刘萍刘燕兵谭建龙中国科学院计算技术研究所北京100190 信息安全技术国家工程实验室北京100190 中国科学院研究生院北京100049

在移动终端内容安全检测中",黑名单"过滤是一种常用的手段,但有限的存储空间制约了它的应用。根据"黑名单"过滤特点研究了一种多串匹配算法的改进,以Aho-Corasick算法为例,采用两种启发式策略从不等长的url串中提... 详细信息

在移动终端内容安全检测中",黑名单"过滤是一种常用的手段,但有限的存储空间制约了它的应用。根据"黑名单"过滤特点研究了一种多串匹配算法的改进,以Aho-Corasick算法为例,采用两种启发式策略从不等长的url串中提取具有代表性的、等长的模式子串,并使用双数组进一步压缩。在Nokia 5230上的测试表明,该算法的存储空间是经典AC算法的0.7%,而速度可达到95%以上。

关键词：移动终端 Aho-Corasick算法空间压缩启发式策略 url过滤

来源：评论

学校读者我要写书评

暂无评论

大规模url过滤技术研究

大规模URL过滤技术研究

引用

作者：刘夏中国科学院研究生院

学位级别：硕士

庞大的互联网资源使人们通过浏览器就能便捷地获取日常生活或工作生产过程中所需要的各种信息,给人们的工作、生活带来的革命性便利。然而正因为互联网资源的庞大和多样,各种网站质量良莠不齐。有很多不法分子利用网站散播暴力色情信息... 详细信息

庞大的互联网资源使人们通过浏览器就能便捷地获取日常生活或工作生产过程中所需要的各种信息,给人们的工作、生活带来的革命性便利。然而正因为互联网资源的庞大和多样,各种网站质量良莠不齐。有很多不法分子利用网站散播暴力色情信息或者埋下安全隐患。广大网民上网浏览网页时常常被网页中包含的不良信息侵害,遭受精神或经济损失。因此为保证网民的上网安全,营造绿色上网环境,应该对人们上网行为进行监管和控制,将包含不良信息的网站屏蔽。\n 一个有效的方法是从网页的url着手。首先可将不良网址url存储成黑名单,在用户上网时,将其浏览的url并将其与黑名单中的url进行匹配判定。如果某条url在黑名单中出现,过滤系统就将其屏蔽。由于如今网址数量十分庞大,url黑名单数量也可能达到百万或者千万级别,如何有效进行大规模url过滤是一个重要的研究问题,也是本文讨论与研究的主要内容,本文就此课题有以下三个方面的贡献:\n 一、是针对基于关键词匹配的大规模url过滤匹配的问题,通过对通用字符串匹配算法进行改进,提出一种基于子串抽取,优先定位,建立二级匹配结构的方法。基于关键词匹配的方式即url黑名单中存储url片段和敏感词,对待判定的url查找其是否包含黑名单中的任意一个敏感词,若包含则判定为屏蔽。基于子串抽取的具体方法是:对每条模式串选取“重复度”最低的子串,将抽取得到的子串集合利用双数组压缩的Aho-Corasick自动机表示;而在自动机的每个终结点上利用Wu-Manber算法对该子串对应的模式串集合建立SHIFT表,从而形成二级匹配结构。实验证明,基于子串抽取的方法相比DAC和Wu-Manber算法,是最适宜大规模字符串匹配的方法。\n 二、是提出一种基于url结构分段的后缀前缀匹配方法。url黑名单中除配置关键词外,还可能配置完整结构的url。这时,需要考虑到url不同于一般字符串的独特结构特点和语法语义,为其制定更有效的匹配方式。本文基于url字符串的特性设计一种基于url结构分段的后缀前缀匹配方法,实验证明,此方法相比基于关键词的url过滤方法,更适合完成大规模url过滤任务。\n 三、是大规模url过滤测试系统的设计与实现。由于大规模的url匹配对于机器要求较高,且对匹配速度的要求更为苛刻,故本文采用分离式设计,将url匹配这部分模块放在远程服务器上。在用户上网的主机仅安装轻量级的内核模块和用户态程序,实现url浏览的网址和Web服务器的IP获取,并将网址和IP发送到服务器进行url过滤检测。若过滤判定为成功,则将该IP发回客户端,客户端程序对内核进行设置,从而屏蔽来自该IP的数据包。

关键词： url过滤 Aho-Corasick算法 Wu-Manber算法子串抽取关键词匹配

来源：评论

学校读者我要写书评

暂无评论

一种高速url过滤算法的研究与应用

引用

现代计算机 2016年第2期22卷 13-16页

作者：黄诚四川大学计算机学院成都610065

当前,传统防火墙的url过滤方式只是对于规则库中的url进行过滤,对于新增的涉黄涉暴网站无能为力,或者管理员响应迟钝。针对当前这种现状,提出一种局域网内url过滤系统,基于网络爬虫和敏感词过滤技术通过爬去网页文本和对于网页文本分析... 详细信息

当前,传统防火墙的url过滤方式只是对于规则库中的url进行过滤,对于新增的涉黄涉暴网站无能为力,或者管理员响应迟钝。针对当前这种现状,提出一种局域网内url过滤系统,基于网络爬虫和敏感词过滤技术通过爬去网页文本和对于网页文本分析来判断指定url是否合法。考虑到匹配效率和本过滤系统所使用的内存空间,使用MD5对url计算摘要值,在此之上建立黑白名单,再结合Bloom Filter算法和改进的Hash表数据结构用以实现对url的高速过滤。

关键词： url过滤网络爬虫敏感词过滤 Bloom Filter Hash表 MD5

来源：评论

学校读者我要写书评

暂无评论

一种可自定义url分类的过滤方法研究

一种可自定义URL分类的过滤方法研究

引用

作者：罗汉林华中科技大学

学位级别：硕士

近十多年来,互联网在飞速发展的同时,网络安全问题也日益严重。当前互联网防火墙的主要手段是基于内容的过滤和基于url的过滤,基于内容的过滤在处理速度上尚不如意,而url过滤是绝大多数企业网防火墙中非常流行的过滤方法。在面对庞大的... 详细信息

近十多年来,互联网在飞速发展的同时,网络安全问题也日益严重。当前互联网防火墙的主要手段是基于内容的过滤和基于url的过滤,基于内容的过滤在处理速度上尚不如意,而url过滤是绝大多数企业网防火墙中非常流行的过滤方法。在面对庞大的互联网信息资源时,对信息内容的分类和选择性过滤变得越来越重要,可自定义url分类的过滤服务是当前网络安全中的热门需求。本文从当下互联网新一代防火墙发展趋势出发,根据不同用户对网络安全的不同过滤需求,提出一种能普遍部署在网络安全设备上的面向url可自定义分类的过滤方法。本文提出的过滤方法,首先根据网络安全设备的存储能力导入相应规模的url分类信息,其中集中了大多数访问频度和流行度最高的url。设计了规则选取方法、信息组织方式以及对分类信息可靠性的考虑。基于此预定义分类库提供可自定义url规则、分类、动作和策略,支持引用预定义url规则和分类、添加新url规则和分类等各种自定义功能,用户管理员根据自身发展需要灵活地定制策略进行流量控制。网络设备本身的存储有限,对于本地未知的url采取云查询的方式向远端大容量服务器获取分类信息。该方法能面对互联网上不计其数的url流量,根据用户的自定义策略,完成灵活,高效、完善、稳定的流量监控,实现面向用户的自定义安全的可靠过滤。本文也设计了安全快速的查询过程,并建立动态分类学习机制,减少不必要的云端查询。本文对上述过滤方法设计了过滤系统并进行了工程设计和编码实现,部署到网络设备上并进行了真实的流量控制测试,结果表明该过滤方法是可行的,对今后的互联网安全有很高的实际应用价值。

关键词： url过滤预定义自定义分类云查询分类学习

来源：评论

学校读者我要写书评

暂无评论

一种高速url过滤算法的研究与应用

引用

现代计算机 2016年第3期

作者：黄诚四川大学计算机学院

关键词： url过滤网络爬虫敏感词过滤 Bloom Filter Hash表 MD5

来源：评论

学校读者我要写书评

暂无评论

基于概率模型的主题爬虫的研究和实现

引用

计算机工程与科学 2013年第1期35卷 160-165页

作者：白玉昭梁久祯江南大学物联网工程学院江苏无锡214122

在现有多种主题爬虫的基础上,提出了一种基于概率模型的主题爬虫。它综合抓取过程中获得的多方面的特征信息来进行分析,并运用概率模型计算每个url的优先值,从而对url进行过滤和排序。基于概率模型的主题爬虫解决了大多数爬虫抓取策略... 详细信息

在现有多种主题爬虫的基础上,提出了一种基于概率模型的主题爬虫。它综合抓取过程中获得的多方面的特征信息来进行分析,并运用概率模型计算每个url的优先值,从而对url进行过滤和排序。基于概率模型的主题爬虫解决了大多数爬虫抓取策略单一这个缺陷,它与以往主题爬虫的不同之处是除了使用主题相关度评价指标外,还使用了历史评价指标和网页质量评价指标,较好地解决了"主题漂移"和"隧道穿越"问题,同时保证了资源的质量。最后通过多组实验验证了其在主题网页召回率和平均主题相关度上的优越性。

关键词：主题爬虫概率模型 url过滤 url排序优先值

来源：评论

学校读者我要写书评

暂无评论

Web内容过滤实现方法的研究

引用

计算机工程 2004年第B12期30卷 588-589,628页

作者：马文斌王庆上海交通大学计算机科学与工程系上海200030 中信实业银行上海分行信息技术部上海200002

介绍了Web内容过滤的技术原理以及如何通过防火墙实现的方法。通过所设计的"内容过滤模型"体现出"用防火墙实现内容过滤"的优势。该模型把url过滤和文本关键词过滤二种技术相结合。在不降低过滤精度的基础上提高... 详细信息

介绍了Web内容过滤的技术原理以及如何通过防火墙实现的方法。通过所设计的"内容过滤模型"体现出"用防火墙实现内容过滤"的优势。该模型把url过滤和文本关键词过滤二种技术相结合。在不降低过滤精度的基础上提高了过滤速度。还论述了对经典过滤算法以及参数设置的改进,最后以实例介绍在防火墙上的实现方法。

关键词：内容过滤关键词匹配 url过滤关键词权重防火墙

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：