检索结果-内蒙古大学图书馆

计算机应用与软件 2022年第12期39卷 187-194页

作者：曹卫东潘红坤中国民航大学计算机科学与技术学院天津300300

使用Word2vec训练词向量、循环神经网络和注意力机制进行情感分析时,存在着文本特征提取不全面、计算资源消耗过多、计算时间较长的问题。为解决这些问题,提出新的CBSA网络模型。该模型使用Cw2vec预训练的词向量作为输入,双向长短期记... 详细信息

使用Word2vec训练词向量、循环神经网络和注意力机制进行情感分析时,存在着文本特征提取不全面、计算资源消耗过多、计算时间较长的问题。为解决这些问题,提出新的CBSA网络模型。该模型使用Cw2vec预训练的词向量作为输入,双向长短期记忆网络(BiLSTM)来对这些具有时序信息的文本进行全面特征的提取;使用分解后的稀疏自注意力机制(Sparse Self-Attention)再次对这些文本特征进行权重赋予;由Softmax对文本进行情感的分类。实验结果表明,使用Cw2vec训练的词向量相比Word2vec, F1-Score大约提高0.3%;CBSA模型相比未分解的自注意力机制(Self-Attention),内存消耗减少了大约200 MB,训练时间缩短了210 s。

关键词： Cw2vec 细粒度情感分析循环神经网络双向长短期记忆网络稀疏自注意力机制

来源：评论

学校读者我要写书评

暂无评论

融合RNN与稀疏自注意力的文本摘要方法

引用

计算机工程 2025年第1期51卷 312-320页

作者：刘钟唐宏王宁喆朱传润重庆邮电大学通信与信息工程学院重庆400065 重庆邮电大学移动通信技术重庆市重点实验室重庆400065

随着深度学习的高速发展,基于序列到序列(Seq2Seq)架构的文本摘要方法成为研究焦点,但现有大多数文本摘要模型受限于长期依赖,忽略了注意力机制复杂度以及词序信息对文本摘要生成的影响,生成的摘要丢失关键信息,偏离原文内容与意图,影... 详细信息

随着深度学习的高速发展,基于序列到序列(Seq2Seq)架构的文本摘要方法成为研究焦点,但现有大多数文本摘要模型受限于长期依赖,忽略了注意力机制复杂度以及词序信息对文本摘要生成的影响,生成的摘要丢失关键信息,偏离原文内容与意图,影响用户体验。为了解决上述问题,提出一种基于Transformer改进的融合递归神经网络(RNN)与稀疏自注意力的文本摘要方法。首先采用窗口RNN模块,将输入文本按窗口划分,每个RNN对窗口内词序信息进行压缩,并通过窗口级别的表示整合为整个文本的表示,进而增强模型捕获局部依赖的能力;其次采用基于递归循环机制的缓存模块,循环缓存上一文本片段的信息到当前片段,允许模型更好地捕获长期依赖和全局信息;最后采用稀疏自注意力模块,通过块稀疏矩阵对注意力矩阵按块划分,关注并筛选出重要令牌对,而不是在所有令牌对上平均分配注意力,从而降低注意力的时间复杂度,提高长文本摘要任务的效率。实验结果表明,该方法在数据集text8、enwik8上的BPC分数相比于LoBART模型降低了0.02,在数据集wikitext-103以及ptb上的PPL分数相比于LoBART模型分别降低了1.0以上,验证了该方法的可行性与有效性。

关键词：序列到序列架构文本摘要 Transformer模型递归神经网络递归循环机制稀疏自注意力机制

来源：评论

学校读者我要写书评

暂无评论

基于稀疏自注意力的偏振表面法线估计

引用

光学精密工程 2024年第20期32卷 2987-2998页

作者：于智超万振华赵开春清华大学精密仪器系北京100084 广西大学机械工程学院广西南宁530004

对于物体表面法线的准确估计在各种计算机视觉任务中扮演着重要角色。采用基于物理的偏振表面法线估计方法存在诸多限制,限制了其实用性。相反,基于深度学习的偏振表面法线估计方法在精度和适用性上均超越了基于物理的方法,为了进一步... 详细信息

对于物体表面法线的准确估计在各种计算机视觉任务中扮演着重要角色。采用基于物理的偏振表面法线估计方法存在诸多限制,限制了其实用性。相反,基于深度学习的偏振表面法线估计方法在精度和适用性上均超越了基于物理的方法,为了进一步提高基于深度学习的偏振表面法线估计精度,以使其能适用于更多的实际任务,本文提出了一种新的方法。首先,结合斯托克斯矢量提出了一种新的偏振信息表示方法,旨在提高模型对偏振物理先验信息的提取能力。随后结合基于双层路由的稀疏自注意力机制,以改进模型对全局上下文信息的感知能力,来更好地对局部偏振信息消歧。在DeepSfP数据集和自建测试数据进行测试。实验结果表明:提出的方法在DeepSfP数据集上平均角度误差为13.37°,并在精度和角度误差等所有测试指标上均优于现有方法,证明了该方法在估计法线效果方面的显著改进。通过引入新的偏振信息表示方法和稀疏自注意力机制,我们的方法提高了偏振表面法线估计的精度和适用性,为实际任务的应用提供了更强的支持。

关键词：偏振信息表达稀疏自注意力机制偏振表面法线估计

来源：评论

学校读者我要写书评

暂无评论

基于稀疏自注意力和可见-近红外光谱的土壤氮含量预测

引用

农业机械学报 2024年第10期55卷 392-398,409页

作者：冀荣华李常昊郑立华宋丽芬中国农业大学烟台研究院海洋与农业工程学院烟台264670 中国农业大学信息与电气工程学院北京100083

氮是影响作物生长的关键因素,精准获取土壤氮含量是实施各类农田水肥管理技术的基础。利用可见-近红外光谱技术可以快速检测土壤氮含量,预测模型精度和泛化能力是制约将光谱技术应用于土壤氮含量检测的瓶颈。为此,提出了一种基于稀疏自... 详细信息

氮是影响作物生长的关键因素,精准获取土壤氮含量是实施各类农田水肥管理技术的基础。利用可见-近红外光谱技术可以快速检测土壤氮含量,预测模型精度和泛化能力是制约将光谱技术应用于土壤氮含量检测的瓶颈。为此,提出了一种基于稀疏自注意力和可见-近红外光谱的土壤氮含量预测模型(Visible-near-infrared reflection spectrum and sparse transformer,VNIRSformer)用于提升预测精度和泛化能力。模型由输入层、嵌入层、编码器、解码器、预测层和输出层组成。采用大型公开数据集(Land use/cover area frame statistical survey,LUCAS)训练模型以提升模型泛化能力。实验测试VNIRSformer模型在15种不同光谱波长间隔下的性能,发现:随着波长间隔增加,预测精度先升后降,模型规模不断变小。波长间隔为1 nm时模型预测精度最低,RMSE为0.47 g/kg,R^(2)为0.78。波长间隔为5 nm时模型预测精度最高,RMSE为0.35 g/kg,R^(2)为0.89。当波长间隔从0.5 nm增加至1 nm时,模型规模下降最快,下降比例约为72%。当增加至5 nm后,模型规模匀速下降,下降比例约为5%。综合考虑模型规模及性能,最佳波长间隔设为5 nm。与6种不同预测模型(2种卷积神经网络、传统自注意力模型、偏最小二乘回归、支持向量机回归和K近邻回归)进行对比实验,发现:VNIRSformer模型性能最佳,RMSE为0.35 g/kg,R^(2)为0.89,RPD为2.95。测试VNIRSformer对不同等级的土壤氮含量预测能力,发现:VNIRSformer模型能够较好预测小于5 g/kg的土壤氮含量。将VNIRSformer模型直接应用于自采数据集,发现:R^(2)下降约0.17,表明模型具有一定泛化能力。研究表明,选取波长间隔为5 nm的光谱数据作为VNIRSformer模型输入,预测性能最佳,规模适中;稀疏注意力机制有助于提升模型预测精度,降低模型训练时间;预测模型具有一定泛化能力。研究结果可为基于可见-近红外光谱的土壤氮含量预测技术田间实际应用提供理论支持。

关键词：土壤氮含量预测模型稀疏自注意力机制可见-近红外光谱

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的尿沉渣有形成分检测研究

基于深度学习的尿沉渣有形成分检测研究

引用

作者：胡雅婷安徽建筑大学

学位级别：硕士

随着时代的发展与科学技术的提升,医疗手段不断朝着快速精准的方向发展。在这一进程中,尿沉渣检查作为探索肾脏疾病的关键手段,其重要性不言而喻。借助对尿沉渣有形成分的精确分析,医学专家能够对患者的健康状况做出更加准确的评估,并... 详细信息

随着时代的发展与科学技术的提升,医疗手段不断朝着快速精准的方向发展。在这一进程中,尿沉渣检查作为探索肾脏疾病的关键手段,其重要性不言而喻。借助对尿沉渣有形成分的精确分析,医学专家能够对患者的健康状况做出更加准确的评估,并监控治疗进展。随着技术的不断革新,尿沉渣检测已从依赖人工操作、效率低下及易出错的传统方法,向自动化、高效率的现代检测手段转变。特别是计算机技术和深度学习的进步,使得目标检测技术在此领域的应用日益广泛,取得显著成就。尽管如此,尿液显微图像的采集难度、数据量的局限性、图像背景的复杂性及尿沉渣成分的多样性、小尺度等因素依然给深度学习目标检测算法的发展应用带来了阻碍。基于上述背景,本文主要工作与创新如下: 1.遵循目标检测数据集的严格制作标准,构建包含36个种类的尿沉渣图像数据集,并从多个角度对数据集的特性进行深入分析,为后续目标检测算法的研究提供坚实基础。 2.本文针对YOLOv8s在识别小尺度目标方面的局限性提出了MACNet模型。相较于YOLOv8s,该模型整体性能提升了0.6。具体而言,采用了一种创新的基于图像内容的采样方法,以提升在尿沉渣成分上的检测性能,并提取更丰富的目标特征信息。同时,通过优化卷积策略,成功减少模型近30%的计算量,增强算法在实际应用中的可行性和便捷性。 3.针对DETR模型中传统注意力机制存在的大量不必要计算问题,本文引入稀疏自注意力机制,降低模型的计算量和参数量。另外,通过对关键且重要的特征赋予更多的注意力,成功在DETR基础上实现了1的性能提升。 4.使用其他主流目标检测算法在本文提出的数据集上进行验证测试,深入评估该数据集的有效性。此外,通过分析不同因素对尿沉渣有形成分检测效果的影响,探讨其在目标检测领域面临的挑战与可能的解决策略。图[32]表[11]参[68]

关键词：深度学习算法尿沉渣检测特征采样卷积稀疏自注意力机制

来源：评论

学校读者我要写书评

暂无评论

城市综合管廊时序数据异常检测模型研究与应用

城市综合管廊时序数据异常检测模型研究与应用

引用

作者：孙佳杰南京邮电大学

学位级别：硕士

时间序列异常检测旨在发现对应时序特征中不符合一般规律的特殊模式,是机器学习领域的经典问题,无论在学术界或工业界都具有重大意义。在现代城市综合管廊智能运维项目中,为了提高管廊的综合治理能力和运维效率,需要对涉及的生产过程进... 详细信息

时间序列异常检测旨在发现对应时序特征中不符合一般规律的特殊模式,是机器学习领域的经典问题,无论在学术界或工业界都具有重大意义。在现代城市综合管廊智能运维项目中,为了提高管廊的综合治理能力和运维效率,需要对涉及的生产过程进行持续监控,监控方法是通过传感器不断采集关键的时间序列数据,然后对其进行实时的建模分析,及时发现异常并作出预防措施。而随着我国城市综合管廊的建设逐渐趋于自动化、大型化、系统化,所采集的时间序列数据日趋复杂,呈现出数据量大、非线性等特点。传统方法计算效率较低、不能捕获长时间序列相关性,且不擅长高维时序数据建模,逐渐难以应对这样的复杂场景,如何高效、准确地对这些海量时间序列数据进行异常检测,已成为亟需解决的问题。本文以城市综合管廊时间序列数据为研究对象,研究无监督的时间序列异常检测方法,并构建城市综合管廊时序数据异常检测原型系统,主要工作内容如下:1.针对现有时序数据异常检测模型计算效率低、难以有效挖掘长时间序列远程相关性的问题,提出了一种基于长时间序列预测的异常检测模型。通过卡尔曼滤波降低数据冗余性,使用膨胀因果卷积捕获相邻时间序列之间的局部相关性,使用改进的稀疏自注意力机制学习长距离时间序列的远程相关性。与传统异常检测模型相比,建模阶段使用完全由注意力机制组成的网络结构能够有效降低时间消耗,并且由于能够捕获时间序列的局部相关性和远程相关性,提高了异常检测精度。2.针对现有时序数据异常检测模型维护成本高、难以有效利用多维时序变量之间依赖关系的问题,提出了一种基于生成对抗网络的多维时间序列异常检测模型。使用所提出的长时间序列预测模型捕获正常状态下的时序相关性,将其嵌入到生成对抗的框架中,并充分利用生成器和判别器,通过判别结果和重建误差来检测异常。所提出的多维时间序列异常检测模型并不是单独处理每个数据流,而是同时考虑整个变量集来捕捉变量之间的潜在交互作用,并且训练好的模型能够适配于多个管廊子系统,使其具备了可扩展性,降低了模型维护开销。3.结合上述两种时间序列异常检测模型,采用前后端分离技术,设计并实现了面向城市综合管廊的时序数据异常检测原型系统。该系统主要使用所提出的异常检测模型,实现管廊时间序列数据的预测及异常检测功能,同时提供运维信息管理、管廊数据可视化、预警报警等功能,以方便运维人员实时了解管廊现场状态、及时在事故发生时采取应对措施,验证了所提模型的可行性。

关键词：时间序列异常检测长时间序列预测稀疏自注意力机制生成对抗网络

来源：评论

学校读者我要写书评

暂无评论

面向学习轨迹的知识追踪预测模型

引用

沈阳航空航天大学学报 2024年第3期41卷 61-70页

作者：张翼飞张加金关凯俊张玉雪沈阳航空航天大学计算机学院沈阳110136

基于transformer架构,提出一种面向学习轨迹的知识追踪预测模型(knowledge tracing prediction model for learning trajectories,LTKT),解决知识追踪领域使用transformer架构所存在的问题:网络中缺乏知识点信息、注意力被分散到众多关... 详细信息

基于transformer架构,提出一种面向学习轨迹的知识追踪预测模型(knowledge tracing prediction model for learning trajectories,LTKT),解决知识追踪领域使用transformer架构所存在的问题:网络中缺乏知识点信息、注意力被分散到众多关联较小的试题及忽略了学习能力在答题决策中的影响。LTKT在数据预处理阶段,采用教育领域的知识融通机制整合题目涉及的多个知识点,作为模型学习的一个信息维度。在编码器与解码器结构中,根据注意力呈现长尾分布的特点引入稀疏自注意力机制,并在其中嵌入包含绝对距离和相对距离的位置编码,使注意力集中在少数高度相似的试题上,同时加强模型对位置信息的感知。在预测策略上,使用双线性层融合学习能力特征与学生的知识状态,综合预测学生下一时刻的作答表现。在两个真实的大型公开数据集上进行实验,与其他优秀模型进行对比,结果显示LTKT的AUC有了明显提升。

关键词：知识追踪深度学习稀疏自注意力机制预测策略融通知识

来源：评论

学校读者我要写书评

暂无评论

基于深度卷积神经网络的痛苦表情识别算法

引用

计算机仿真 2024年

作者：胡卓成陈仕国叶智国吴传宇福建农林大学机电工程学院

针对传统卷积神经网络难以有效提取人脸表情特征，易出现梯度异常而导致识别准确率不佳等问题，建立了一种基于残差学习策略的深度卷积神经网络，并引入稀疏自注意力机制和形变卷积核改进网络性能，改进后的网络命名为Cross＿PainRec＿... 详细信息

针对传统卷积神经网络难以有效提取人脸表情特征，易出现梯度异常而导致识别准确率不佳等问题，建立了一种基于残差学习策略的深度卷积神经网络，并引入稀疏自注意力机制和形变卷积核改进网络性能，改进后的网络命名为Cross＿PainRec＿Net。根据科学的疼痛评估法建立了三分类的痛苦表情数据库。利用上述数据库设置网络性能验证实验、消融实验和网络性能对比实验，结果表明Cross＿PainRec＿Net的痛苦表情识别准确率达到94.2%，比经典的图片分类网络MobileNet、VggNet、ResNet分别高出46.5%、19%和3.2%，消融实验证明稀疏自注意力模块和形变卷积模块对网络均有增益作用。

关键词：痛苦表情特征深度卷积神经网络残差学习稀疏自注意力机制形变卷积

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：