基于梯度显著度的情报分析BERT算法可视化解释研究

作     者：张涛 马海群 姜磊 Zhang Tao;Ma Haiqun;Jiang Lei

作者机构：黑龙江大学信息管理学院哈尔滨150080 黑龙江大学信息资源管理研究中心哈尔滨150080 

出 版 物：《图书情报工作》 (Library and Information Service)

年 卷 期：2025年第69卷第1期

页      面：80-91页

核心收录：

学科分类：1205[管理学-图书情报与档案管理] 12[管理学] 120501[管理学-图书馆学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 120502[管理学-情报学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家社会科学基金一般项目“数智环境下情报分析算法风险治理路径研究”(项目编号:22BTQ064)研究成果之一 

主　　题：可解释性 BERT 深度学习 情报分析算法 梯度显著度 

摘      要：[目的/意义]随着预训练模型不断展现出的惊人能力,越来越多研究者将BERT引入到情报分析领域,并且呈现出从单一BERT模型向融合BERT模型方向演进的趋势,但预训练语言模型预测结果不可解释的问题给算法在情报分析领域的通用化带来一定程度的风险。[方法/过程]以情报分析广泛应用到的BERT算法为例,利用显著度理论,通过计算BERT内部隐层状态值的Token Embeddings显著度,进而探寻影响最终分类结果的关键因素,最终以团队数据安全政策分类情报分析项目为例,通过可视化方式深入剖析情报分析BERT算法可解释性。[结果/结论]基于梯度显著度的可视化解释模型清晰的窥探BERT算法每一层运行状态,并且通过对错分样本重新标注使得验证集的准确率由原来的96.74%提升至97.78%,这也说明该方法应用于政策文本分类任务中能有效指导数据集的标注,并能够为情报分析领域更广泛的应用该模型提供借鉴思路。