微调大语言模型驱动的短文本动态主题建模方法

作     者：何多魁 唐中君 陈倩倩 王怡然 胡锋 

作者机构：北京工业大学经济与管理学院 北京现代制造业发展研究基地 

出 版 物：《数据分析与知识发现》 (Data Analysis and Knowledge Discovery)

年 卷 期：2025年

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：“国家自然科学基金类型”基金项目(项目编号:71672004)的研究成果之一 

主　　题：大语言模型 指令微调 RAG 短文本 动态主题建模 

摘      要：[目的] 提出一种微调大语言模型驱动的能保证主题识别准确度且能揭示主题演化规律的短文本动态主题建模方法。[方法] 该方法结合指令微调、检索增强生成（RAG）和聚类技术，以提升主题识别准确度；基于主题映射关系，依时间顺序对主题进行全面统计，以便揭示主题演化规律。[结果] 通过对四个短文本数据集的验证，本研究提出的动态主题建模方法在主题一致性（TC）和主题多样性（TD）得分上分别比次优模型平均高出6.15和7.71个百分点。消融实验进一步分析了微调、RAG和聚类技术对主题识别性能的影响。此外，研究还揭示了不同数据集中的主题演化规律，包括“M型和“L型等模式。[局限] 后续研究可结合知识图谱优化 RAG 提升主题识别能力，并选取多个领域的短文本验证模型的普适性。[结论] 实验证明，本文所提方法在主题识别和主题演化方面具有明显优势。