多聚焦图像3维形貌重建旨在利用不同聚焦水平的图像序列恢复场景的3维结构信息.现有的3维形貌重建方法大多从单一尺度对图像序列的聚焦水平进行评价，通过引入正则化或后处理方法引导重建过程，由于深度信息选择空间的局限性往往导致重建结果无法有效收敛.针对上述问题，提出一种多尺度代价聚合的多聚焦图像3维形貌重建框架MSCAS（multi-scale cost aggregation framework for shape from focus），该框架首先引入非降采样的多尺度变换增加输入图像序列的深度信息选择空间，然后联合尺度内序列关联与尺度间信息约束进行代价聚合，通过这种扩张-聚合模式实现了场景深度表征信息的倍增与跨尺度和跨序列表征信息的有效融合.作为一种通用框架，MSCAS框架可实现已有模型设计类方法和深度学习类方法的嵌入进而实现性能提升. 实验结果表明：MSCAS框架在嵌入模型设计类SFF方法后4组数据集中的均方根误差RMSE（root mean squared error）平均下降14.91%，结构相似性SSIM（structural similarity index measure）平均提升56.69%，嵌入深度学习类SFF方法后4组数据集中的RMSE平均下降1.55%，SSIM平均提升1.61%.验证了MSCAS框架的有效性和通用性.
[目的/意义]大语言模型(Large Language Models,LLMs)依托其强大的认知理解和内容生成能力,发展迅速,有望成为智慧农业领域一种全新的研究范式。然而,由于通用LLMs缺乏农业领域知识,对于专业性问题通常会产生事实性错误或信息不完备的...
详细信息
[目的/意义]大语言模型(Large Language Models,LLMs)依托其强大的认知理解和内容生成能力,发展迅速,有望成为智慧农业领域一种全新的研究范式。然而,由于通用LLMs缺乏农业领域知识,对于专业性问题通常会产生事实性错误或信息不完备的回复。为提升大模型在农业领域的适应性,本研究提出了一种知识图谱引导的农业LLMs--KGLLM。[方法]该模型基于信息熵实现知识过滤,并在解码阶段显式利用知识图谱的语义信息约束其内容生成。具体而言,将输入问题中的关键实体链接到农业知识图谱,形成知识推理路径和问答依据。为保证此外源知识的有效性,进一步评估引入每条知识前后模型输出内容的熵差,对无法提升答案确定性的知识进行过滤。经筛选的知识路径将被用于调整词表概率,以增加与知识高度相关词的输出,实现知识图谱对LLMs的显式引导。[结果和讨论]本研究在5种主流的通用LLMs上实现了农业知识图谱引导技术,包括Baichuan、ChatGLM、Qwen等开源大模型,同时与最优的知识图谱检索增强生成技术进行了对比。实验结果表明,本研究提出的方法在内容流畅性、准确性、真实性和领域忠诚度方面都有显著提升,相较于GPT-4o,在Mean BLEU、ROUGE、BertScore上分别平均提升了2.5923、2.8151和9.84%。通过消融实验亦证明了知识引导的农业LLMs不仅实现了冗余知识过滤,而且在解码过程中可有效调整词表输出分布,有助于提升通用LLMs在农业领域的适应性及问答的可解释性。[结论]本研究为后续农业LLMs的构建提供了可借鉴思路,表明知识图谱引导的方法在提升模型的领域适应性和回答质量具有潜在的应用价值。
暂无评论