面向可重构结构的LSTM混合压缩优化方法

作     者：吴海 蒋林 李远成 刘朋飞 

作者机构：西安科技大学通信与信息工程学院 西安科技大学计算机科学与技术学院 

出 版 物：《电讯技术》 (Telecommunication Engineering)

年 卷 期：2025年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：科技创新2030-“新一代人工智能”重大项目(2022ZD0119005) 

主　　题：长短期记忆网络 模型压缩 可重构结构 现场可编程门阵列 加速比 

摘      要：可重构结构因其高灵活性和高并行性的特点，已成为如长短期记忆（Long Short-Term Memory，LSTM）网络等计算密集型应用的最佳选择之一。然而，随着参数和计算量的增加，带来存储和带宽的更高需求，严重限制了计算效率的提升。针对该问题，提出了一种面向可重构结构的LSTM混合压缩优化方法。基于LSTM网络在训练过程中对误差的敏感性，利用不同的压缩算法对LSTM网络进行压缩，并在压缩后再训练，分析模型精度恢复情况及收敛时间，将网络中的门控单元分为误差敏感组和误差不敏感组。使用Top-k（Top-k Pruning）剪枝策略和块循环矩阵变换策略分别对误差敏感组和误差不敏感组的门控单元进行压缩。最后，基于Virtex UltraScale VU440 FPGA（Field Programmable Gate Array）开发板搭建的可重构阵列处理器上实现LSTM网络。结果表明，LSTM网络的压缩比达到了38.4×，硬件加速比达到了1.41，精度损失约为1.7%，且硬件资源消耗也有一定减少。