一种基于LDA的CRF自动文摘方法

作     者：吴晓锋 宗成庆 WU Xiaofeng;ZONG Chengqing

作者机构：中国科学院自动化研究所模式识别国家重点实验室北京100190 

出 版 物：《中文信息学报》 (Journal of Chinese Information Processing)

年 卷 期：2009年第23卷第6期

页      面：39-45页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：计算机应用 中文信息处理 自然语言处理 自动文摘 狄利赫雷分布 条件随机场 

摘      要：浅层狄利赫雷分配(Latent Dirichlet Allocation,LDA)方法近年来被广泛应用于文本聚类、分类、段落切分等等,并且也有人将其应用于基于提问的无监督的多文档自动摘要。该方法被认为能较好地对文本进行浅层语义建模。该文在前人工作基础上提出了基于LDA的条件随机场(Conditional Random Field,CRF)自动文摘(LCAS)方法,研究了LDA在有监督的单文档自动文摘中的作用,提出了将LDA提取的主题(Topic)作为特征加入CRF模型中进行训练的方法,并分析研究了在不同Topic下LDA对摘要结果的影响。实验结果表明,加入LDA特征后,能够有效地提高以传统特征为输入的CRF文摘系统的质量。