提出一种基于多粒度融合和跨尺度感知的跨模态行人重识别网络,该网络能够有效提取行人图像特征并减少图像间的模态差异。首先,提出多尺度特征融合注意力机制并设计一种多粒度非局部融合框架,有效融合不同模态和不同尺度的图像特征;其次,提出一种跨尺度特征信息感知策略,该策略可有效降低因视角变化、行人背景变化等产生的无关噪声对行人判别的影响;最后,针对行人图像特征信息不足,设计并行空洞卷积残差模块,获取更为丰富的行人特征信息。将所提方法在2个标准公共数据集与当前先进的跨模态行人重识别方法比较。实验结果表明,所提方法在SYSU-MM01数据集的全搜索模式下的R-1和平均精度(mAP)分别达到75.9%和73.3%,在RegDB数据集的可见光到红外的搜索(VIS to IR)模式下的Rank-1和mAP分别达到93.7%和89.3%,优于所对比的方法,充分证实了所提方法的有效性。
针对中医问诊领域数据规模大,以及医生在问诊中主观性强、数据对齐难的问题,提出了一种中医问答领域的大语言模型ChatTCM。利用大语言模型(large language model,LLM)在处理自然语言理解与文本生成方面的强大能力,通过对大语言模型进行...
详细信息
针对中医问诊领域数据规模大,以及医生在问诊中主观性强、数据对齐难的问题,提出了一种中医问答领域的大语言模型ChatTCM。利用大语言模型(large language model,LLM)在处理自然语言理解与文本生成方面的强大能力,通过对大语言模型进行微调,使LLM具有在中医问答领域的专业知识和能力,避免模型在生成时出现幻觉的现象。提取中医书籍中的三元组信息,构建中医知识图谱数据库,实现中医知识的数据对齐与系统化整合,并为大语言模型生成答案提供背景知识;结合思维链(chain-of-thought,COT)与知识图谱数据库的动态交互,生成客观的推理过程,确保诊疗建议具有科学依据;把思维链与知识图谱的推理结果作为新知识进行存储,从而不断扩展本地知识库。与中医领域的HuaTuoGPT模型对比实验表明,ChatTCM模型在MedChatZH数据集上BLEU-4和ROUGE-L的评测指标分别提高了10.6和10.5个百分点,并且在已开源的数据集上准确度达到了70%,比同类型的MedChatZH模型提升了10个百分点。
暂无评论