为了改善零样本文本分类任务中无标签数据存在的类别不平衡问题,并充分发挥预训练语言模型在该任务中的推理能力,该文提出了一种自监督知识增强的零样本文本分类方法(Knowledge Enhanced Zero-shot Text Classification,KE0TC)。该方法...
详细信息
为了改善零样本文本分类任务中无标签数据存在的类别不平衡问题,并充分发挥预训练语言模型在该任务中的推理能力,该文提出了一种自监督知识增强的零样本文本分类方法(Knowledge Enhanced Zero-shot Text Classification,KE0TC)。该方法利用提示模板引导大规模预训练语言模型扩展类别标签并构建知识图谱,通过图结构进行去噪和自监督数据生成;然后,采用段落采样等方式将提取的带标签数据隐式映射到分类器的参数空间中,进而在不收集无标签训练数据的情况下实现对分类空间的建模。在三个文本分类数据集上与四个基线方法相比,KE0TC能基于较少的训练语料,以较低的耗时达到较高分类性能。
随着互联网技术的发展以及社交网络的扩大,网络平台已经成为人们获取信息的一个重要途径。标签的引入提升了信息分类及检索效率。同时,标签推荐系统的出现不仅方便了用户输入标签,还提高了标签的质量。传统的标签推荐算法通常只考虑标签和项目两个主体,而忽略了用户在选择标签时个人意图所起到的重要作用。由于在标签推荐系统中标签最终由用户确定,因此用户的偏好在标签推荐中起着关键作用。为此,引入用户作为主体,并结合用户发布的历史帖子的先后顺序,将标签推荐任务建模为更加符合真实场景的序列标签推荐任务。提出了一种基于MLP的序列标签推荐方法(MLP for Sequential Tag Recommendation, MLP4STR),该方法显式地建模用户偏好用于引导整体标签推荐。MLP4STR采用一种跨特征对齐的MLP序列特征提取框架,将文本和标签的特征对齐,获取用户的历史帖子信息和历史标签信息中隐含的用户动态兴趣。最后,结合帖子内容和用户偏好进行标签推荐。在4个真实世界的数据集上得到的实验结果表明,MLP4STR能够有效地学习序列标签推荐中的用户历史行为序列的信息,其中,评价指标F1@5较最优的对比算法有显著提升。
暂无评论