大语言模型的出现对自然语言处理产生了广泛的影响，已有研究表明大语言模型在各类下游任务中具有出色的Zero-shot及Few-shot能力，而对于大语言模型的语义分析能力的评估仍然比较缺乏。因此，本文基于汉语框架语义分析中的三个子任务：框架识别、论元范围识别和论元角色识别，分别在Zero-shot及Few-shot设定下评估了ChatGPT、Gemini和ChatGLM三个大语言模型在CFN2.0数据集上的语义分析能力，并与目前基于BERT(Bidirectional Encoder Representations from Transformers)的SOTA模型进行了比较。在框架识别任务中，大语言模型的准确率仅比SOTA模型低0.04；但在论元范围识别与论元角色识别任务上，大语言模型表现不佳，与SOTA(State of the Art)模型相比，F1分数分别相差0.13和0.39。以上结果表明，大语言模型虽具备一定的框架语义分析能力，但进一步提升大语言模型的语义分析能力仍然是一个具有挑战性的工作。
粒度支持向量机(Granular support vector machine,GSVM)通过选取粒的代表点构成精简训练集以提高支持向量机(Support vector machine,SVM)的学习效率,然而选取个别代表点有可能丢失部分重要分类信息,导致模型泛化能力不高。针对这一问...
详细信息
粒度支持向量机(Granular support vector machine,GSVM)通过选取粒的代表点构成精简训练集以提高支持向量机(Support vector machine,SVM)的学习效率,然而选取个别代表点有可能丢失部分重要分类信息,导致模型泛化能力不高。针对这一问题,提出基于粒分布的GSVM(Distribution based GSVM,DGSVM)加速训练方法,该方法依照粒内正负样本分布选取粒代表点,根据粒的混合度将这些代表点分为精简训练样本集和修正集,使用精简训练样本集训练得到分类器,用修正集迭代优化分类器。本质上DGSVM是用少量难分的样本训练快速得到初始分类器,然后再进行进一步调整。在标准数据集上的实验结果表明DGSVM方法可以在保证算法学习效率的同时提高分类器的泛化能力。
暂无评论