基于音视频信息融合与Self-Attention-DSC-CNN6网络的鲈鱼摄食强度分类方法

作     者：李道亮 李万超 杜壮壮 LI Daoliang;LI Wanchao;DU Zhuangzhuang

作者机构：中国农业大学信息与电气工程学院北京100083 国家数字渔业创新中心北京100083 天津农学院计算机与信息工程学院天津300392 

出 版 物：《农业机械学报》 (Transactions of the Chinese Society for Agricultural Machinery)

年 卷 期：2025年第56卷第1期

页      面：16-24页

核心收录：

学科分类：08[工学] 0828[工学-农业工程] 082801[工学-农业机械化工程] 

基　　金：国家重点研发计划项目(2022YFD2001703) 

主　　题：鲈鱼 摄食强度分类 多模态融合 Self-Attention-DSC-CNN6 

摘      要：摄食强度识别分类是实现水产养殖精准投喂的重要环节。现有的投喂方式存在过度依赖人工经验判断、投喂量不精确、饲料浪费严重等问题。基于多模态融合的鱼类摄食程度分类能够综合不同类型的数据(如:视频、声音和水质参数),为鱼群的投喂提供更加全面精准的决策依据。因此,提出了一种融合视频和音频数据的多模态融合框架,旨在提升鲈鱼摄食强度分类性能。将预处理后的Mel频谱图(Mel Spectrogram)和视频帧图像分别输入到Self-Attention-DSC-CNN6(Self-attention-depthwise separable convolution-CNN6)优化模型进行高层次的特征提取,并将提取的特征进一步拼接融合,最后将拼接后的特征经分类器分类。针对Self-Attention-DSC-CNN6优化模型,基于CNN6算法进行了改进,将传统卷积层替换为深度可分离卷积(Depthwise separable convolution,DSC)来达到减少计算复杂度的效果,并引入Self-Attention注意力机制以增强特征提取能力。实验结果显示,本文所提出的多模态融合框架鲈鱼摄食强度分类准确率达到90.24%,模型可以有效利用不同数据源信息,提升了对复杂环境中鱼群行为的理解,增强了模型决策能力,确保了投喂策略的及时性与准确性,从而有效减少了饲料浪费。