检索结果-内蒙古大学图书馆

作者：李强西安工业大学

学位级别：硕士

人们对互联网以及智联终端的依赖和持续增长的接入将导致网络入侵行为愈发频繁,若缺乏高效的网络安全技术,极易引发个人信息泄露和财产损失。网络安全领域,入侵检测系统发挥着关键作用,被誉为继防火墙之后的第二道防线。区别于传统的方... 详细信息

人们对互联网以及智联终端的依赖和持续增长的接入将导致网络入侵行为愈发频繁,若缺乏高效的网络安全技术,极易引发个人信息泄露和财产损失。网络安全领域,入侵检测系统发挥着关键作用,被誉为继防火墙之后的第二道防线。区别于传统的方法,数据驱动的网络入侵检测通常依赖于机器学习和人工智能算法来分析网络流量和用户行为,能识别异常模式,这些模式表明可能发生了网络入侵,所以在识别零日漏洞方面拥有天然的优势。通过收集和分析数据,能够更准确地识别新型和复杂的网络威胁。然而现有的入侵检测模型的研究,依然存在着训练数据集不均衡、数据特征维度过大、模型泛化能力较弱等问题。首先,针对入侵检测数据集中的数据不均衡问题,本文研究了SWAG(Semi-Wise Adversarial Generator)的数据增强方法。此种策略对数据集中的稀有类别样本实施适当的数据扩充,以实现数据集中各种类型样本的均衡分配,以此保证在梯度下降的过程中模型能够充分捕捉到数据集中的所有种类样本的特性。其次,面对数据集维度过大问题,本研究使用极限学习机自编码器来进行数据集降维,将原有的数据特征项进行特征提取,将其中隐藏的非线性关系投影到一个低维度的空间中,为模型提供了高质量的数据输入,有效的提高了模型执行数据处理的效率一定程度地提升了模型的泛化能力。在入侵检测模型上,设计并使用Wpe-Transformer(Transformer without Positional Encoding)的网络结构,作为入侵检测模型的主要结构。另外,在训练时利用L＿shade算法对模型的超参数进行寻优降低了调参的成本,科学地对参数的向量空间进行搜索,保证了全局最优解。最后利用级联分类器(Cascade Classifier)的思想,将训练好的分类器串行。此级联方法在提高检测速度和减少计算负担的同时,也缓解了数据不均衡问题,从而提高了分类器的准确性。

关键词：数据驱动网络异常检测不均衡数据处理 L_SHADE

来源：评论

学校读者我要写书评

暂无评论

基于聚类簇结构特性的自适应综合采样法在入侵检测中的应用

引用

控制与决策 2021年第8期36卷 1920-1928页

作者：刘金平周嘉铭刘先锋唐朝晖马天雨湖南师范大学智能计算与语言信息处理湖南省重点实验室长沙410081 中南大学自动化学院长沙410083

基于机器学习的网络入侵检测方法将恶意网络行为(入侵)检测转化为模式识别(分类)问题,因其适应性强、灵敏度高等优点,受到国内外广泛关注.然而,现有的模式分类器往往假设数据集的分布是均衡的,而真实的网络环境中,入侵行为要远少于正常... 详细信息

基于机器学习的网络入侵检测方法将恶意网络行为(入侵)检测转化为模式识别(分类)问题,因其适应性强、灵敏度高等优点,受到国内外广泛关注.然而,现有的模式分类器往往假设数据集的分布是均衡的,而真实的网络环境中,入侵行为要远少于正常访问,这给网络入侵行为检测带来巨大挑战.因此,提出一种基于聚类簇结构特性的综合采样法(CSbADASYN),通过挖掘少数类样本的内部结构对其进行自适应过采样,以获得样本分布结构特性保持的均衡数据样本,解决因数据不均衡带来的分类偏向.CSbADASYN先采用谱聚类方法对数据集中的少数类样本进行聚类分析,再根据所获得的聚类簇结构自适应插值,将获得样本分布结构保持的均衡样本用于分类器模型学习.在经典的NSL-KDD和KDD99数据集上进行大量的验证性和对比性实验,结果表明,CSbADASYN能使传统分类器模型在不均衡数据集上的分类性能得到明显提升.与传统的未经样本均衡处理和其他的带均衡处理的入侵检测方法相比,该方法能获得更低的误报率和漏报率.

关键词：网络入侵检测不均衡数据处理分布结构保持谱聚类自适应综合采样法过采样

来源：评论

学校读者我要写书评

暂无评论

基于图像信息挖掘的电影推荐算法研究

基于图像信息挖掘的电影推荐算法研究

引用

作者：李硕吉林大学

学位级别：硕士

随着互联网与信息技术的飞速发展,人们每天需要花费越来越多的时间从海量信息中筛选对自己有价值的内容,电影信息服务商们也越来越难以针对每个独立的个体提供个性化的优质服务。传统的信息数据处理手段如搜索引擎等技术已经无法满足现... 详细信息

随着互联网与信息技术的飞速发展,人们每天需要花费越来越多的时间从海量信息中筛选对自己有价值的内容,电影信息服务商们也越来越难以针对每个独立的个体提供个性化的优质服务。传统的信息数据处理手段如搜索引擎等技术已经无法满足现今人们对信息质量的要求,因此如何打破网络信息与用户之间的壁垒成为了一个难以忽视的问题。在这样的社会背景下,推荐算法作为一种解决信息过载问题的有效手段越来越受到研究者与信息服务商的关注,其中电影推荐因为其商业价值高、使用频繁、数据类型多样等原因成为该领域的重点研究方向。传统电影推荐算法往往使用现有的文字标签与用户信息进行推荐,例如电影名称、发布时间、主演等等,然而其中却忽略了电影本身所具备的多媒体信息。电影海报作为一部电影故事与艺术的高度浓缩,不仅影响观众对电影的第一印象也能反映出电影所属的抽象类别。近年来随着电子硬件技术的快速进步,对于图像等非结构化数据信息的处理、挖掘也越来越便捷,衍生出相关技术也越来越丰富。因此将图像信息挖掘手段应用到传统电影推荐系统中拥有重要的研究意义。本文以互联网上公开的电影海报图像为研究对象,融合使用多标签学习方法、不均衡数据处理方法和卷积神经网络方法对其进行信息挖掘,以达到扩充原始电影类型集合的目的,利用新的电影类型集合再对传统的电影推荐算法进行优化,从而获得更加精准的推荐列表。该文章的主要内容如下:（1）针对电影推荐场景中海报图像的数据特点,对电影样本的类型分布进行统计分析,通过融合选择的多标签学习框架（Calibrated Label Ranking）、不均衡数据处理方法（Easy Ensemble）和卷积神经网络解决了电影海报类型难以提取的问题。（2）研究了单一浅层学习方法与深度学习模型的数学原理和优缺点,分析两者在电影海报分类上的性能差异,通过设置多种实验方案进行性能比较,构建出适合用于在两种电影类型间分类的基分类器。（3）针对由于电影ID、名称等数据内容之间的差异较大而产生的分布稀疏问题,通过引入嵌入矩阵避免了传统One-hot编码产生的维度爆炸现象。从特征融合和模型训练的角度分析,选择使用文本卷积网络避免电影名称特征提取困难的问题。本文实验采用公开数据集MovieLens 1M的电影数据与IMDB网站上爬取的电影海报图像进行推荐算法性能分析。以测试集准确率、TopN精确度作为评判指标,通过比较多种模型结构选择性能更为优秀的组合。实验结果证明了将电影海报信息融合到电影推荐算法中比传统方法更有优势,同时也从另一个角度证明了电影海报可以反映出一部电影的大致类型。

关键词：推荐算法多标签学习不均衡数据处理卷积神经网络

来源：评论

学校读者我要写书评

暂无评论

基于梯度提升决策树组合模型的二手车金融用户画像系统

基于梯度提升决策树组合模型的二手车金融用户画像系统

引用

作者：潘浩楠中国科学院大学(中国科学院人工智能学院)

学位级别：硕士

中国线上二手车交易起步较晚,且国内信用体系尚待完善。目前国内二手车的金融用户筛选主要使用规则模型系统,通过人工拨打电话,近期浏览内容等较为初级的手段判断用户的金融意向高低。该模型系统覆盖面小,适用条件生硬,服务效率低下,不... 详细信息

中国线上二手车交易起步较晚,且国内信用体系尚待完善。目前国内二手车的金融用户筛选主要使用规则模型系统,通过人工拨打电话,近期浏览内容等较为初级的手段判断用户的金融意向高低。该模型系统覆盖面小,适用条件生硬,服务效率低下,不能适应越来越频繁的业务变化,因此需要一个更加完善,更加高效的金融用户画像系统。针对现状,本文采用模型结构简单,非线性效果优良,可解释性高的梯度提升决策树(Gradient Boosting Decision Tree,GBDT),以及逻辑简单,执行迅速的逻辑回归(Logistic Regression,LR)模型的组合模型。通过分析挖掘用户在平台近段时间的浏览日志数据,预测未来一周内用户金融成交的概率。更加高效,更加全面的服务二手车用户。本文完成的主要工作如下:(1)海量数据处理与效率优化:使用Spark分布式集群进行数据处理,提升数据处理速度,避免本地内存占用。使用宽窄表转换,时间区间标志位,Spark常驻内存策略提升处理性能;(2)不均衡数据处理:提出一种新的基于业务逻辑的样本扩充方法,对稀少正样本进行扩充。对负样本则采用随机降采样,均衡正负样本比例;(3)特征工程:使用时间窗口和时间加权处理,对特征进行升维。构建多维度用户金融特征,并统计用户在过去7天,每天看车价格区间的分布以及最近购车时间等特征;(4)建模:使用GBDT+LR模型进行预测,使用GBDT进行初步建模,将连续数值离散化,并进行编码,后续送入LR模型中,进行最终的预测。通过与现有线上模型系统进行A/B测试(A/B测试即使用相同的环境,对比几个模型的实际表现,选取最优的模型),对比三个关键指标,判定优劣。结果证明,本文在精度上更加精确,同时在覆盖范围上更加广泛,执行速度更快,效果较线上模型系统有较大的提升。在二手车金融用户甄别方面具有较高的实用价值。

关键词：不均衡数据处理 Spark SQL 用户画像机器学习效率优化

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：