语言模型攻击性的自动评价方法

作     者：侯丹阳 庞亮 丁汉星 兰艳艳 程学旗 HOU Danyang;PANG Liang;DING Hanxing;LAN Yanyan;CHENG Xueqi

作者机构：中国科学院计算技术研究所数据智能系统研究中心北京100190 中国科学院计算技术研究所中国科学院网络数据科学与技术重点实验室北京100190 中国科学院大学北京100049 

出 版 物：《中文信息学报》 (Journal of Chinese Information Processing)

年 卷 期：2022年第36卷第1期

页      面：12-20页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：北京智源人工智能研究院(BAAI2020ZJ0303) 国家自然科学基金(61773362,61906180) 中国科学院青年创新促进会项目(2016102) 国家重点研发计划(2016QY02D0405) 腾讯AI Lab犀牛鸟专项研究计划(JR202033) 

主　　题：文本生成 语言模型 自动评价 

摘      要：基于大规模语料训练的语言模型,在文本生成任务上取得了突出性能表现。然而研究发现,这类语言模型在受到扰动时可能会产生攻击性的文本。这种不确定的攻击性给语言模型的研究和实际使用带来了困难,为了避免风险,研究人员不得不选择不公开论文的语言模型。因此,如何自动评价语言模型的攻击性成为一项亟待解决的问题。针对该问题,该文提出了一种语言模型攻击性的自动评估方法。它分为诱导和评估两个阶段。在诱导阶段,基于即插即用可控文本生成技术,利用训练好的文本分类模型提供的梯度方向更新语言模型的激活层参数,增加生成的文本具有攻击性的可能性。在评估阶段,利用训练好的文本分类模型的判别能力,估计诱导产生的攻击性文本的占比,用以评估语言模型的攻击性。实验评估了不同设置下的预训练模型的攻击性水平,结果表明该方法能够自动且有效地评估语言模型的攻击性,并进一步分析了语言模型的攻击性与模型参数规模、训练语料以及前置单词之间的关系。