检索结果-内蒙古大学图书馆

南京邮电大学学报（自然科学版） 2016年第3期36卷 85-91页

作者：陈春玲陈琳熊晶余瀚南京邮电大学计算机学院江苏南京210023

为了在大规模文档去重中提高相似数据检测的精度,对基于simhash算法的大规模文档去重技术进行深入研究。在原有算法的基础之上对simhash签名值的计算过程作出改进,引入ICTCLAS分词技术,将TF-IDF技术作为计算权重的主要方法,同时将特征... 详细信息

为了在大规模文档去重中提高相似数据检测的精度,对基于simhash算法的大规模文档去重技术进行深入研究。在原有算法的基础之上对simhash签名值的计算过程作出改进,引入ICTCLAS分词技术,将TF-IDF技术作为计算权重的主要方法,同时将特征值的词性与词长两大影响因素考虑其中。然后对产生的签名值进行汉明距离的比较,从而精确地判定出待比较者是否为相似数据。实验结果表明:改进的算法性能得到提高,并且总体优于Shingle算法和原simhash算法。通过提高签名值的精度能够实现大规模文档中相似技术的精确检测,达到理想的去重效果。

关键词：相似检测 simhash算法 TF-IDF技术指纹计算汉明距离

来源：评论

学校读者我要写书评

暂无评论

simhash算法在试题查重中的应用

引用

软件导刊 2018年第2期17卷 151-153,157页

作者：冉崇善邵春霞陕西科技大学电气与信息工程学院陕西西安710021

随着在线教育平台的兴起,为了解决大量试题带来的存储开支问题,试题查重技术应运而生。提出将改进的simhash算法应用到试题查重中,首先根据结巴分词技术将试题文本进行切分,然后根据TF-IDF技术并结合词语的词性及词长算出关键词权重,以... 详细信息

随着在线教育平台的兴起,为了解决大量试题带来的存储开支问题,试题查重技术应运而生。提出将改进的simhash算法应用到试题查重中,首先根据结巴分词技术将试题文本进行切分,然后根据TF-IDF技术并结合词语的词性及词长算出关键词权重,以期达到对simhash签名值的精确计算,最后通过带有索引功能的海明距离检测出相似试题。实验结果验证了此方案的可行性。

关键词：试题查重 simhash算法海明距离签名值

来源：评论

学校读者我要写书评

暂无评论

基于simhash算法相似聚类的海量文本去重技术研究

基于Simhash算法相似聚类的海量文本去重技术研究

引用

作者：何丹丹北京工业大学

学位级别：硕士

在这个信息高速发展的时代，各种数据呈爆炸式增长，但很多文本数据都是相似的，相似的数据不仅会阻碍人们找到有效的信息，也为有限的存储设备与极大的网络开销带来巨大的挑战，为此，海量文本去重技术成为研究者们广泛热爱的课题。本... 详细信息

在这个信息高速发展的时代，各种数据呈爆炸式增长，但很多文本数据都是相似的，相似的数据不仅会阻碍人们找到有效的信息，也为有限的存储设备与极大的网络开销带来巨大的挑战，为此，海量文本去重技术成为研究者们广泛热爱的课题。本文对海量相似文本的检测与去重进行了深入研究分析，提出了基于simhash算法相似聚类的海量文本去重算法，并使用相应的数据集进行了实验验证。　　首先，本文在传统simhash算法的基础上，使用了TF-IDF算法计算特征词权重，但是针对TF-IDF特征词权重算法仅考虑TF(特征词词频)、IDF(逆向文档频率)，忽略了特征词的其他特征的问题，本文重新定义了特征词权重的综合计算公式，自适应确定特征词权重。经实验表明，改进的TF-IDF算法在文本相似性识别应用上有更高的准确率和召回率。　　其次，本文在经典K-means聚类算法的基础上，改进了初始中心点选取方法和确定最佳聚类数目的方法，提出了基于密度选取初始聚类中心点算法和自适应确定聚类数目算法BWP_KM，结合以上两种优化，提出了IMKmeans算法，该算法首先生成初始中心点候选集合，并结合聚类有效性指标-BWP指标均值确定数据集的最佳聚类数目。经实验表明，该算法提高了传统K-means算法的稳定性和准确性。　　最后，针对传统重删算法的指纹计算、对比以及I/O瓶颈难题，提出了基于simhash算法相似聚类的海量文本去重算法，该算法结合改进的simhash算法和IMKmeans算法，提出了ASTCA自适应聚类算法，根据文本simhash指纹值之间的海明距离，进行ASTCA聚类，设计双索引结构，将K个簇类中心定义为父索引，存放在内存中，然后计算簇类中的文本MD5值，将簇类中的文本信息作为子索引存放在磁盘中。当进行待检测文本重复性时，调取与待检测文本最为相似的簇类进入内存中，进行MD5指纹对比。经实验表明，该算法与传统的重复数据删除算法相比，算法性能明显提升且没有误判率。

关键词：文本去重 simhash算法 TF-IDF算法 ASTCA聚类双索引结构

来源：评论

学校读者我要写书评

暂无评论

基于simhash算法的案件辅助判决系统研究

引用

湖北工业大学学报 2017年第5期32卷 67-72页

作者：李锐游景扬刘稳王锦陈建峡湖北工业大学计算机学院

为提高法院工作效率和判案的公正性,开发了案件辅助判决系统。将裁判文书分为刑事、民事、执行、赔偿、行政5大案件类型,便于对判决书的处理,存储和查询。系统采用simhash算法,对用户提交的判决书提取关键信息,查找出数据库中同类型判... 详细信息

为提高法院工作效率和判案的公正性,开发了案件辅助判决系统。将裁判文书分为刑事、民事、执行、赔偿、行政5大案件类型,便于对判决书的处理,存储和查询。系统采用simhash算法,对用户提交的判决书提取关键信息,查找出数据库中同类型判决书中相似度最高的判决书推荐给用户。

关键词：裁判文书 simhash算法辅助判决系统

来源：评论

学校读者我要写书评

暂无评论

基于改进的simhash算法的相似文档识别技术

引用

计算机科学与应用 2020年第2期10卷 371-378页

作者：张兴兰何丹丹北京工业大学北京

[目的/意义]:为了实现在海量文本中更加高效准确检测出相似文本。[方法]:本文对基于simhash算法的相似文档识别技术进行研究改进,对simhash签名值的计算方法作出改进,分词阶段使用ICTCLAS分词系统,文本特征词的权重计算方法采用TF-IDF技... 详细信息

[目的/意义]:为了实现在海量文本中更加高效准确检测出相似文本。[方法]:本文对基于simhash算法的相似文档识别技术进行研究改进,对simhash签名值的计算方法作出改进,分词阶段使用ICTCLAS分词系统,文本特征词的权重计算方法采用TF-IDF技术,同时将特征词的词性、词长、是否为标志词与是否被包含在标题中几大方面作为权重计算的考虑因素。最后使用汉明距离对文档签名值进行比较,从海量文档中精确地找出相似文档。[结论]:通过改进TF-IDF权重,使得改进的simhash算法在相似文档识别准确率上优于其他算法。

关键词：相似文档检测 simhash算法 TF-IDF算法指纹计算汉明距离

来源：评论

学校读者我要写书评

暂无评论

利用simhash算法构建网络安全漏洞监测体系研究

引用

网络空间安全 2022年第5期13卷 87-91页

作者：陈伟李圆智欧阳亨威国网安徽省电力有限公司安徽合肥230061 国网安徽省电力有限公司电力科学研究院安徽合肥230000 国网安徽省电力有限公司淮南供电公司安徽淮南232007

[目的/意义]传统的网络安全防护技术,只能依据本身的数据规则库,将外部入侵操作、库内的数据特征比对,却难以阻止和应对不确定的入侵攻击、数据盗用行为.[方法/过程]利用大数据Hadoop分布式网络监测架构、simhash算法,搜集和整合外部入... 详细信息

[目的/意义]传统的网络安全防护技术,只能依据本身的数据规则库,将外部入侵操作、库内的数据特征比对,却难以阻止和应对不确定的入侵攻击、数据盗用行为.[方法/过程]利用大数据Hadoop分布式网络监测架构、simhash算法,搜集和整合外部入侵攻击的安全漏洞信息,建立不同网络安全漏洞指标的标准化关系矩阵、安全态势评估模型,对大规模网络的多个控制节点进行模块权重设置、安全态势评估,并在Spark集群数据服务平台做出模拟仿真实验.[结果/结论]客观、准确的网络安全漏洞检测和管理结果表明,大数据技术用于网络安全管理的效果更好.

关键词：大数据 simhash算法网络安全应用研究数据安全治理

来源：评论

学校读者我要写书评

暂无评论

基于simhash算法的大数据网络安全态势的评估

引用

机械设计与制造工程 2022年第5期51卷 125-129页

作者：童伟传淳安县数据资源中心浙江淳安311700

在网络数据量日益增大及维度逐渐升高的背景下,为了更好地解决传统网络安全态势评估模型存储量小、执行率低的问题,构建了基于simhash算法的安全态势评估模型。首先对大规模的网络进行划分,得到多个网络模块;然后预处理安全要素数据,将... 详细信息

在网络数据量日益增大及维度逐渐升高的背景下,为了更好地解决传统网络安全态势评估模型存储量小、执行率低的问题,构建了基于simhash算法的安全态势评估模型。首先对大规模的网络进行划分,得到多个网络模块;然后预处理安全要素数据,将处理结果存储在大数据平台中;最后利用simhash算法进行节点安全态势评估,基于节点与模块权重获取模块和网络的实际安全态势数据信息。实验结果表明,算法可准确、实时评估网络安全态势,为大数据领域的网络安全态势评估提供了一种新的方法。

关键词： simhash算法大数据网络安全

来源：评论

学校读者我要写书评

暂无评论

基于simhash算法的主机网络嗅探攻击自主检测方法

引用

电子设计工程 2023年第13期31卷 79-82,88页

作者：何珏常安孙萌黄怀霖中国南方电网超高压输电公司广东广州510700

目前提出的主机网络嗅探攻击自主检测方法转发包数据过高,导致嗅探攻击成本过低,难以在短时间内实现嗅探攻击检测。为了解决上述问题,以simhash算法作为检测核心,提出了一种新的主机网络嗅探攻击自主检测方法。嗅探器在捕获主机网络系... 详细信息

目前提出的主机网络嗅探攻击自主检测方法转发包数据过高,导致嗅探攻击成本过低,难以在短时间内实现嗅探攻击检测。为了解决上述问题,以simhash算法作为检测核心,提出了一种新的主机网络嗅探攻击自主检测方法。嗅探器在捕获主机网络系统内通信信息时,利用通信链路的特点和算法,建立三个约束条件用于选择最佳通信链路的最佳路径,通过路径剔除确定主机内非法信息的通信路径,确保嗅探器获取通信链路信息的真实性。计算比特流向量序列,检测数据错误包,通过数据信息的切割提高嗅探攻击成本,实现了主机网络嗅探攻击自主检测。实验结果表明,基于simhash算法的主机网络嗅探攻击自主检测方法能够提高嗅探攻击成本,在短时间内实现主机网络嗅探攻击自主检测。

关键词： simhash算法主机网络嗅探攻击自主检测

来源：评论

学校读者我要写书评

暂无评论

基于simhash算法的海量文本相似性检测方法研究

引用

计量与测试技术 2018年第4期45卷 78-80页

作者：任民山蔡红霞上海大学智能制造及机器人重点实验室上海200072

为了在知识文档搜索中更加精确的为用户推荐更多语义内容相似的文档。本文对基于simhash算法的文档相似性计算技术进行深入研究,引入ICT-CLAS分词技术,将TF-IDF技术作为计算权重的主要方法,对原有的simhash算法作出改进,采用海明距离对S... 详细信息

为了在知识文档搜索中更加精确的为用户推荐更多语义内容相似的文档。本文对基于simhash算法的文档相似性计算技术进行深入研究,引入ICT-CLAS分词技术,将TF-IDF技术作为计算权重的主要方法,对原有的simhash算法作出改进,采用海明距离对simhash指纹值进行相似性度量计算。最后以民机研制领域的工序数据为实验数据进行相关实验,实验结果表明:改进的方案性能得到提高,并且总体优于Shingle算法和原simhash算法,能够实现大规模文档中相似性的精确检测。

关键词：相似性计算 simhash算法 TF-IDF技术海明距离指纹值

来源：评论

学校读者我要写书评

暂无评论

基于simhash算法的Android恶意程序检测

引用

计算机技术与发展 2017年第10期27卷 121-125页

作者：李红灵詹翊云南大学信息学院计算机科学与工程系云南昆明650091 云南省信息安全测评中心云南昆明650000

针对当前Android应用程序良莠不齐,存在大量的恶意程序对个人隐私和信息安全构成严重威胁的现状,在分析基于MD5的传统特征代码检测技术的基础上,提出了利用simhash算法,经过APK文件特征文本提取,特征文本数字指纹生成,数字指纹比对及比... 详细信息

针对当前Android应用程序良莠不齐,存在大量的恶意程序对个人隐私和信息安全构成严重威胁的现状,在分析基于MD5的传统特征代码检测技术的基础上,提出了利用simhash算法,经过APK文件特征文本提取,特征文本数字指纹生成,数字指纹比对及比对结果分析三个步骤,进行Android恶意程序检测的新方法。为实现APK文件特征文本化,引入恶意软件分析程序***,同时,考虑到Android特征的有效性,经研究需要选取Android程序的权限及调用映射、广播接收器、服务等核心信息组合成对应APK文件的复合特征文本,将复合特征文本转换为字符串后利用程序进行海明距离计算,由海明距离判断待测试APK文件的安全性。通过实验进行实例分析,并将得到的检测效果与360杀毒软件做比较,发现基于simhash算法的恶意程序检测方法,检测率高于360。

关键词： simhash算法 Android恶意程序检测复合特征文本相似性比较

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：