影响预训练语言模型数据泄露的因素研究

作     者：钱汉伟 彭季天 袁明 高光亮 刘晓迁 王群 朱景羽 Qian Hanwei;Peng Jitian;Yuan Ming;Gao Guangliang;Liu Xiaoqian;Wang Qun;Zhu Jingyu

作者机构：江苏警官学院计算机信息与网络安全系南京210013 计算机软件新技术国家重点实验室(南京大学)南京210093 

出 版 物：《信息安全研究》 (Journal of Information Security Research)

年 卷 期：2025年第11卷第2期

页      面：181-188页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(72401110) 江苏省高校哲学社会科学研究项目(2024SJYB0345) 2023年江苏高校“青蓝工程”优秀青年骨干教师项目 

主　　题：自然语言处理 预训练语言模型 隐私数据泄露 模型反演攻击 模型架构 

摘      要：当前广泛使用的预训练语言模型是从海量训练语料中学习通用的语言表示.自然语言处理领域的下游任务在使用预训练语言模型后性能得到显著提升,但是深度神经网络过拟合现象使得预训练语言模型可能存在泄露训练语料隐私的风险.选用T5,GPT-2,OPT等广泛使用的预训练语言模型作为研究对象,利用模型反演攻击探索影响预训练语言模型数据泄露的因素.实验过程中利用预训练语言模型生成大量样本,以困惑度等指标选取最有可能发生数据泄露风险的样本进行验证,证明了T5等不同模型均存在不同程度的数据泄露问题;同一种模型,模型规模越大数据泄露可能性越大;添加特定前缀更容易获取泄露数据等问题.对未来数据泄露问题及其防御方法进行了展望.