基于多模态信息融合的皮蛋溏心沙心分类方法

作     者：汤文权 王巧华 张浩 杨烝 范维 TANG Wenquan;WANG Qiaohua;ZHANG Hao;YANG Zheng;FAN Wei

作者机构：华中农业大学工学院武汉430070 农业农村部长江中下游农业装备重点实验室武汉430070 国家蛋品加工技术研发分中心武汉430070 

出 版 物：《农业机械学报》 (Transactions of the Chinese Society for Agricultural Machinery)

年 卷 期：2025年第56卷第1期

页      面：92-101页

核心收录：

学科分类：0832[工学-食品科学与工程（可授工学、农学学位）] 08[工学] 083203[工学-农产品加工及贮藏工程] 

基　　金：国家自然科学基金面上项目(32072302) 湖北省重点研发计划项目(20230611) 重庆市技术创新与应用发展专项乡村振兴(对口帮扶)项目(CSTB2023TIAD-ZXX0011) 

主　　题：皮蛋 多模态信息融合 ResNet 红外图像 可见/近红外光谱 溏心沙心 

摘      要：溏心皮蛋与沙心皮蛋有着各自的口感和味道,均有各自受众,目前只能根据腌制时间来判断是溏心皮蛋还是沙心皮蛋,而这种方法不仅需要丰富的经验且误判比例较高。为了解决这一问题,本文设计了皮蛋红外图像和可见/近红外光谱采集装置,以及配套的溏心皮蛋和沙心皮蛋的分类模型。根据采集到的红外图像数据,在ResNet18网络添加MLCA(Mixed local channel attention)模块,得到的改进模型ResNet_MLCA实现了溏心皮蛋和沙心皮蛋的分类,准确率为95.0%。根据采集到的可见/近红外光谱数据,基于一维卷积设计了一维残差模块用于可见/近红外光谱数据的特征提取和分类,其对溏心皮蛋和沙心皮蛋分类准确率也达到95.0%。为了进一步提高模型检测准确率,将ResNet_MLCA模型所提取的红外图像特征和1D_ResNet所提取的可见/近红外光谱特征进行融合,得到的融合模型ResNet_OP对溏心皮蛋和沙心皮蛋分类准确率达到98.3%。研究成果提供了一种更低计算成本、更高准确率的溏心皮蛋和沙心皮蛋分类模型,对于指导皮蛋生产和提升皮蛋品质具有重要意义。