检索结果-内蒙古大学图书馆

计算机应用研究 2021年第6期38卷 1678-1682,1688页

作者：吴珊李英祥徐鸿雁张仕霞施宜军西南财经大学天府学院智能科技学院四川绵阳621000 成都信息工程大学通信工程学院成都610103 工业和信息化部电子第五研究所广州510507

通过对文本内容中敏感词过滤方法及相关技术的研究,提出了一种基于改进的Trie树和DFA的敏感词过滤算法,解决了敏感词过滤技术中的人工干扰、分词障碍等关键问题,提高了文本中敏感词过滤的准确性和有效性。提出的算法包括三个步骤:基于... 详细信息

通过对文本内容中敏感词过滤方法及相关技术的研究,提出了一种基于改进的Trie树和DFA的敏感词过滤算法,解决了敏感词过滤技术中的人工干扰、分词障碍等关键问题,提高了文本中敏感词过滤的准确性和有效性。提出的算法包括三个步骤:基于排列组合的数学原理对中文词向中拼混合词进行扩充;采用改进的Trie树结构来存储DFA的所有状态,构建敏感词树;根据构建的敏感词树结构以及采用最小匹配规则对文本内容中的敏感词进行检测和过滤。通过分析得到构建敏感词树算法的时间复杂度为O(n×len),敏感词检测及过滤算法时间复杂度为O(L)。实验结果表明,本算法其查准率为100%,查全率约为87%~100%。

关键词：改进的Trie树确定有穷自动机(DFA) 敏感词过滤最小匹配规则

来源：评论

学校读者我要写书评

暂无评论

基于敏感词过滤的企业论坛系统设计与实现

基于敏感词过滤的企业论坛系统设计与实现

引用

作者：韦敬宣首都经济贸易大学

学位级别：硕士

论坛具有操作门槛低、信息获取广、使用者参与性强的特点。企业论坛作为员工相互交流的平台在传递讯息、保持企业良好氛围,凝聚共识汇聚力量等方面发挥着不可代替的作用。但是着眼当前,很多企业内部论坛年久失修,存在着缺乏管理的问题,... 详细信息

论坛具有操作门槛低、信息获取广、使用者参与性强的特点。企业论坛作为员工相互交流的平台在传递讯息、保持企业良好氛围,凝聚共识汇聚力量等方面发挥着不可代替的作用。但是着眼当前,很多企业内部论坛年久失修,存在着缺乏管理的问题,名存实亡。在当前满布着各种形形色色言论的互联网上企业论坛作为公司门户应该保持自己的原则性,不给任何反动、反科学、反社会的言论提供平台,如何更好更高效地审核帖子对论坛管理提出了新的挑战。基于以上两点,本文结合文本过滤技术面向企业提出了一种方便管理员管理、界面简洁美观的论坛解决方案。系统在设计方面使用B/S架构,后台采用了Springboot框架进行开发,前端展示界面使用Thymeleaf模板引擎进行渲染,管理、数据后台使用Vue框架。通过前缀树算法实现对敏感词识别过滤,所有包含有敏感词的帖子交由管理员人工审核,通过Echarts图表对当前论坛各类统计分析的内容进行可视化展示。通过包括自动审核、论坛信息可视化方法可以帮助管理员更好地了解论坛、管理论坛。本文首先阐述传统BBS论坛的诞生及发展历程和当前研究现状,接着具体介绍了在开发中使用的包括Springboot、前缀树算法、Vue框架、Echarts可视化图表等技术;再次依照当前企业期望进行全面的需求分析,按照开发需求进行系统的总体框架设计及具体模块划分和实现,最后对系统进行全面测试来保证稳定可用。

关键词： BBS 企业内部论坛敏感词过滤 SpringBoot

来源：评论

学校读者我要写书评

暂无评论

维吾尔语网页正文提取与敏感词过滤的研究

维吾尔语网页正文提取与敏感词过滤的研究

引用

作者：王瑞中国科学院研究生院

学位级别：硕士

随着新疆维吾尔自治区社会经济文化的不断发展，互联网中的维吾尔语网页信息量呈指数增长的趋势，但是与此同时，各种不良信息也同样开始大量充斥其中。因此研究和开发科学的、高效率的维吾尔语网页监控系统，及时了解和掌握互联网上维... 详细信息

随着新疆维吾尔自治区社会经济文化的不断发展，互联网中的维吾尔语网页信息量呈指数增长的趋势，但是与此同时，各种不良信息也同样开始大量充斥其中。因此研究和开发科学的、高效率的维吾尔语网页监控系统，及时了解和掌握互联网上维吾尔语信息情况，不仅可以为少数民族网民查询互联网信息提供有效的工具，更重要的是可以为技术侦查部门了解和掌握不良信息在互联网的动态提供更好的服务。\n 针对维吾尔语网页源代码编码不规范现象较多这一特点，首先对维吾尔语网页源代码进行预处理，使其编码规范化。本文设计并实现了一种基于正则规则的维吾尔语网页源代码编码转换算法，将维吾尔语网页源代码统一转换为Unicode编码的格式。\n 随后本文设计并实现了一种基于正文相关度的正文提取算法。该算法首先利用DOM树结构的方法解析出网页的基本结构，然后计算每个节点的正文相关度，再根据一个阈值对每个节点进行初步过滤。并且针对维吾尔语论坛型网页较多的特点进行数据平滑，提出了节点间正文比例这一概念，利用它和上下文正文密度对每个节点是否为正文节点再次判断，提高了正文提取的效果。在对1200余个维吾尔网页的正文提取实验中，该算法取得了理想的正确率和返回率。\n 正文中含有大量不良词汇，也就是敏感词，是不良网页的重要特征之一，网页监测系统需要快速有效地监测出其是否含有敏感词和含有哪些敏感词。根据监测到的敏感词情况，再结合下一步的文本分类技术，就可以判定一个网页是否为不良网页。但是维吾尔语网页是个海量数据库，敏感词过滤的速度严重影响着整个维吾尔语不良网页监测系统监测的速度。以著名的网络入侵预防软件与网络入侵检测软件Snort为例，据统计，敏感词匹配占系统整个运行时间的70％和运行指令的80％以上[1]。本文设计实现了一种改进的基于位图的Aho-Corasick算法，在对维吾尔语网页进行敏感词过滤实验中，取得了理想的过滤速度和内存占用率。

关键词：多模式匹配 Aho-Corasick算法维吾尔语网页正文提取敏感词过滤

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的敏感词过滤系统设计与实现

基于深度学习的敏感词过滤系统设计与实现

引用

作者：符晓丰电子科技大学

学位级别：硕士

文字作为信息传播的重要载体,在网络发达的今天被广泛传播。不当信息的传播会给国家和社会带来恶劣的影响。对网络中传播的信息进行敏感词检测意义重大,尤其是针对网络视频。但当下对视频中的敏感词检测更多还是采取发布前审核的方式,... 详细信息

文字作为信息传播的重要载体,在网络发达的今天被广泛传播。不当信息的传播会给国家和社会带来恶劣的影响。对网络中传播的信息进行敏感词检测意义重大,尤其是针对网络视频。但当下对视频中的敏感词检测更多还是采取发布前审核的方式,依赖于人工或者高性能的服务器,有效率低和成本高的缺点,并且无法应对一些数据实时生成的场景和突发情况。为了应对这一问题,本论文基于光学字符识别(OCR)算法,面向嵌入式平台,针对网络视频设计开发了一套文本内容过滤系统,能够对视频中的文本进行实时检测,一旦发现敏感内容就会截断视频流的输出,阻止有害信息传播。本文整个敏感词过滤系统的工作,可分为算法和系统两个部分。在算法部分主要是对图像中的文本信息进行提取。系统部分需要实现视频抽帧以及文本敏感性判定等功能。在算法部分,采用了三阶段的设计方案,将整个文本提取过程分为文本检测、文本校正和文字识别三个阶段。针对每个阶段进行算法的调研比对,结合嵌入式的应用场景,选择适合的算法进行模型训练,随后将三个部分进行融合串联,构建出了一个高效的图像文本提取系统。针对文字检测部分,还做了大量的改进优化。在DB算法的基础上,为了降低时延,使用更轻量化的骨干网络Mobile Net来替换DB模型中的Res Net,并且降低了特征输出的通道数。随后通过往模型骨干网络中的合适位置插入Non-local模块,提高了模型的精度。此外还采用了知识蒸馏、Collaborative Mutual Learning、Warm-up等一系列训练策略在不改变模型结构的前提下进一步提高精度。在系统部分,本文基于国产化的嵌入式平台(瑞芯微RK3588),进行了系统软件的开发和网络模型的移植部署。使用DFA算法来对网络模型提取到的文本进行敏感词比对,查找效率非常高。整个程序框架采用多线程的并发设计,将视频抽帧、AI处理以及播放控制等功能采用单独的线程进行处理,并通过采取多开线程的方案,从软件设计层面缓解了视频检测过程中的漏检问题。最后对系统进行了测试,测试结果表明该系统具有较高的准确率和实时性。同时,该系统在嵌入式平台上的应用具备较好的可扩展性和适应性。本研究的成果表明,基于OCR算法,面向嵌入式平台的敏感词过滤系统具有广阔的应用前景。该系统的开发和应用为网络媒体内容管理和监管提供了一种有效的解决方案。

关键词： OCR DB算法 Non-local 嵌入式部署敏感词过滤

来源：评论

学校读者我要写书评

暂无评论

一种基于本体的敏感词过滤方法研究

一种基于本体的敏感词过滤方法研究

引用

作者：温都日娜吉林大学

学位级别：硕士

锡林郭勒职业学院是位于内蒙古锡林浩特的一所公办职业学校，2003年九所职业学校合并而成的锡林郭勒职业学院拥有在校生一万八千余人，教职员工近九百人。随着网络科技的飞速发展，为了顺应网络信息时代的浪潮，学院网上办公系统和学生... 详细信息

锡林郭勒职业学院是位于内蒙古锡林浩特的一所公办职业学校，2003年九所职业学校合并而成的锡林郭勒职业学院拥有在校生一万八千余人，教职员工近九百人。随着网络科技的飞速发展，为了顺应网络信息时代的浪潮，学院网上办公系统和学生论坛等网络平台也在逐步的建立当中。然而，在信息公开的同时，也带来不少现实问题，例如虚假广告信息、学生不良言论、反动分子的蓄意破坏等都给网络平台的发展提出了现实的挑战。针对锡林郭勒职业学院网络信息化的实际需求，本文拟设计一套敏感词过滤方法。通过对广告、不良言论、不和谐词汇的过滤，实现灵活准确网络信息管理。本文的主要工作包括如下几个方面。首先，通过对现有的经典敏感词过滤方法进行全面调研，分析比较现有方法的特点，发现现有经典算法和扩展算法更多的注重过滤的效率而忽视了准确度指标。针对这一薄弱环节，本文提出了一种基于本体的敏感词过滤方法。其核心是对敏感词进行分类，对敏感词之间可能的语义关联进行发掘并加以利用，从而达到缩小过滤范围，提高过滤准确度的目的。其次，为了支撑有效的精确的敏感词过滤，我们建立了高校学生论坛敏感词过滤领域本体，对于学生信息、敏感词词条和管理规范三类信息进行了梳理，对学生属性、敏感词语法语义信息以及管理规范等进行了形式化建模。通过OWL语言和Protégé工具，对于形式化模型进行了描述。建立了包括21个类，15个属性和303个个体实例的本体。再次，依据学院网络信息平台的实际需求，对本文提出的敏感词过滤算法进行了设计与实现。通过分析总体需求和详细需求，对算法进行了总体设计和详细设计，进而使用OWL‐API和Swing等java程序包，对算法进行了实现。最后，通过系统集成，在学院网络信息平台上验证了方法的可行性和运行效率，从实际用力方面验证了方法在敏感词过滤准确度方面的提高。本项目的顺利完成，为敏感词过滤提出了一种新的思路。将语义关联应用在敏感词过滤范围的动态确定角度，达到了提升准确度的目的。本文提出的方法是本体工程技术在实际领域现实问题的解决中又一次有益的尝试。

关键词：敏感词过滤本体语义匹配

来源：评论

学校读者我要写书评

暂无评论

基于聚合词树匹配的证券信息敏感词过滤系统设计与实现

基于聚合词树匹配的证券信息敏感词过滤系统设计与实现

引用

作者：梁展波广西大学

学位级别：硕士

证券公司从股票交易的各种通知到对客户的日常关怀,都会产生大量的交互信息,这些信息通常以短信的方式进行推送,在推送给客户之前需要对信息进行敏感词过滤,以避免不良短信大规模下发造成的负面影响。本文对一种基于聚合词树匹配的敏感... 详细信息

证券公司从股票交易的各种通知到对客户的日常关怀,都会产生大量的交互信息,这些信息通常以短信的方式进行推送,在推送给客户之前需要对信息进行敏感词过滤,以避免不良短信大规模下发造成的负面影响。本文对一种基于聚合词树匹配的敏感词过滤方法进行研究并实现。该方法分为敏感词库初始化与敏感词匹配处理两个阶段。在初始化阶段将敏感词库中的每个词条按照聚合词方式建立词链,多条词链聚合成一棵词树并装载到缓存。敏感词匹配阶段则在完成初始化之后读取待匹配信息,顺序扫描其中的每个字,判断是否匹配敏感词树中的词链,匹配命中后在缓存中进行计数,当计数达到阀值后触发告警。本文将此过滤方法优化后应用于大规模短信处理场景,在敏感词初始化阶段引入多线程处理机制并将聚合词树进行缓存,同时把待过滤的目标短信通过取模进行分块处理并存入缓存中,这样匹配阶段都在内存中执行,获得良好的性能。在此基础上,本文设计一个基于聚合词树匹配的敏感词过滤系统,并进行了系统需求分析、总体架构设计、数据结构设计等,最后介绍了系统的实现和测试情况。系统应用和测试结果表明,所提出的证券信息敏感词过滤方法能够为券商的IT系统提供一种良好的数据安全预警机制。

关键词：敏感词过滤聚合词树证券信息化

来源：评论

学校读者我要写书评

暂无评论

基于DFA的中拼混合敏感词过滤算法

引用

软件工程与应用 2022年第6期11卷 1310-1318页

作者：杨扬游福成北京印刷学院信息工程学院北京

本文针对当前网络上通过各种干扰形式“伪装”的敏感词,提出了一种基于DFA的中拼混合敏感词过滤算法,解决了一般的系统过滤方法难以成功检测过滤该类敏感词的问题,提高了包含该类敏感词文本过滤的查全率和查准率。本文提出的算法包括中... 详细信息

本文针对当前网络上通过各种干扰形式“伪装”的敏感词,提出了一种基于DFA的中拼混合敏感词过滤算法,解决了一般的系统过滤方法难以成功检测过滤该类敏感词的问题,提高了包含该类敏感词文本过滤的查全率和查准率。本文提出的算法包括中文拼音敏感词库的扩充算法、敏感词树的构建算法、待检测文本的预处理算法以及敏感词过滤算法,通过实验得到该算法查准率为100%,查全率约为95%~100%,算法复杂度较低,满足实际应用需要。

关键词： DFA 词库构建敏感词过滤

来源：评论

学校读者我要写书评

暂无评论

基于MSER视频字幕敏感词过滤算法

引用

现代信息科技 2023年第21期7卷 80-84,89页

作者：李雅静丁海洋北京印刷学院信息工程学院北京102600

当前网络视频中充斥着涉及敏感信息的内容且不易识别,提出了一种基于最大稳定极值区域和字典树的视频字幕敏感词过滤算法,达到对此类视频内容过滤、处理的目的。该方法采用MSER算法对文字进行检测与定位,来获得候选文字区域,然后通过使... 详细信息

当前网络视频中充斥着涉及敏感信息的内容且不易识别,提出了一种基于最大稳定极值区域和字典树的视频字幕敏感词过滤算法,达到对此类视频内容过滤、处理的目的。该方法采用MSER算法对文字进行检测与定位,来获得候选文字区域,然后通过使用几何和笔画宽度属性来减少这些可能区域的数量,再经过几何过滤的方法对候选区域进行筛选、优化,连接候选区域以获得文本区域,最后利用字典树算法进行敏感词过滤。实验结果表明,该方法可以有效地对视频字幕敏感信息进行检测和过滤。

关键词：最大稳定极值区域文字检测视频图像文字定位敏感词过滤

来源：评论

学校读者我要写书评

暂无评论

基于IPTV运营平台的智能语音交互及敏感词过滤系统

引用

广播电视信息 2021年第11期28卷 58-59页

作者：任晓瑛山西广播电视传媒集团

本文就山西IPTV运营平台的智能语音遥控功能及敏感词过滤系统的设计、开发及部署进行探讨,其重点是提升IPTV产品的市场竞争力及保障播出的安全性。

关键词： IPTV 新媒体语音遥控人工智能人机交互敏感词过滤

来源：评论

学校读者我要写书评

暂无评论

一种基于Java Web的敏感词过滤方法研究与实现

引用

智能计算机与应用 2017年第4期7卷 21-23页

作者：傅明建福州大学数学与计算机科学学院福州350007

本文研究一种基于Java Web的敏感词过滤系统,能够识别敏感词,在客户端用户发送数据时,系统能够自动阻断聊天内容,并且将敏感词替换为指定特殊符号关键词的敏感词。该系统基于B/S结构的Java Web分层框架结构进行架构设计,能够在对用户透... 详细信息

本文研究一种基于Java Web的敏感词过滤系统,能够识别敏感词,在客户端用户发送数据时,系统能够自动阻断聊天内容,并且将敏感词替换为指定特殊符号关键词的敏感词。该系统基于B/S结构的Java Web分层框架结构进行架构设计,能够在对用户透明的情况下,自动阻断含有敏感词的聊天内容提交,并且将敏感词替换为指定特殊符号关键词。实验结果表明该系统能够有效阻止含有敏感关键词的聊天内容提交。

关键词：敏感词过滤 Java Web 聊天系统关键词替换

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：