大型语言模型(large language model(s),LLM(s))在多数自然语言处理任务中表现出了卓越的性能。然而，直接应用通用LLM往往无法满足特定领域的应用需求。为解决此问题，通常需要通过从头开始训练模型或微调通用模型来定制。从头训练能...
详细信息
大型语言模型(large language model(s),LLM(s))在多数自然语言处理任务中表现出了卓越的性能。然而，直接应用通用LLM往往无法满足特定领域的应用需求。为解决此问题，通常需要通过从头开始训练模型或微调通用模型来定制。从头训练能实现高度定制化，确保与需求匹配并保护数据隐私，但存在成本过高且技术难度大的问题；因此现有方法多通过对通用模型进行微调来提升模型性能，但全参量微调会面临GPU内存限制的挑战；现有的参数高效微调技术虽然能够缓解内存限制，但该技术难以同时在多个任务中保持性能，而且在持续微调过程中也可能会出现灾难性遗忘现象。为了解决该问题，提出了一种既能维持多个领域性能又能缓解灾难性遗忘现象的新方法，即基于优化算法的逐层自适应高效合并方法(A layer-wise adaptive and efficient merging method based on black-box optimization,简称LAEM)。该方法以LoRA模块合并的形式进行：首先对多种特定任务中微调过的LoRA模块进行去冗余操作；其次，通过引入共享LoRA模块的思想，并利用逐层自适应加权平均的方法，将去冗余后的不同任务所对应的LoRA模块与共享模块进行合并，LAEM可以根据模型内部不同层的具体表现和对最终结果的贡献，灵活设定权重，从而更精准地融合多个模型的优势，充分释放模型在各层的潜能，达到更佳的整体性能表现。实验结果表明，LAEM不仅使模型具备了多种能力，而且在一定程度上缓解了灾难性遗忘的现象，同时避免了传统方法在模型合并时忽略层间特征差异的问题。
心理健康支持旨在帮助求助者应对心理健康问题。使用大语言模型(Large Language Models,LLMs)生成心理健康支持回复,有助于减轻心理咨询师的负担,提高心理健康支持的效率。尽管近期关于思维链(Chain-of-Thought,CoT)Prompting的研究旨...
详细信息
心理健康支持旨在帮助求助者应对心理健康问题。使用大语言模型(Large Language Models,LLMs)生成心理健康支持回复,有助于减轻心理咨询师的负担,提高心理健康支持的效率。尽管近期关于思维链(Chain-of-Thought,CoT)Prompting的研究旨在指导LLMs自动规划活动,取得了一定的成功,但这些研究没有对以往的经验进行提炼,导致LLMs生成的内容缺乏针对性和共情性,在心理健康支持场景下,这一问题尤为突出。为解决这个问题,该文定义了一种基于支持策略规划的心理健康支持生成框架S2P-MSG。该框架利用小语言模型(Small Language Models,SLMs)学习心理咨询师回复中支持策略规划的“人工经验”,生成多条动态策略链;使用Prompting方法引导LLMs选择最恰当的动态策略链,激发LLMs“智能”;并基于选中的动态策略链引导LLMs生成心理健康支持回复。该文在广泛使用的PsyQA数据集上进行了丰富的实验。实验结果表明,与SLMs模型及常见的Prompting方法相比,S2P-MSG框架生成的回复具有更高的相关性、帮助性和共情性。实验还发现,在应对心理健康风险水平较高和自我披露程度较高的求助帖时,S2P-MSG框架展现出了更为优异的性能。
暂无评论