版权所有：内蒙古大学图书馆 技术提供：维普资讯• 智图
内蒙古自治区呼和浩特市赛罕区大学西街235号 邮编: 010021
一种多模态密集预测的深度信息传输模型的构建方法
专利申请号：CN202011307818.X
公 开 号：CN112396000B
代 理 人：广州粤高专利商标代理有限公司刘俊
代理机构：广州粤高专利商标代理有限公司
专利类型：发明专利
申 请 日：20230905
公 开 日：20201119
专利主分类号：G06V20/52
关 键 词：多模态 构建 分布模块 信息聚合 传输 传输模型 方案显示 互补信息 密度预测 模式共享 平移不变 深度信息 完成信息 信息分布 信息聚集 信息提取 对齐 子网络 预测 模态 整合 捕捉 学习 网络
摘 要：本发明提供一种多模态密集预测的深度信息传输模型的构建方法，该方法首先，构建多个子网络是用于RGB图或热图表征学习，再构建一个子网络用于为模式共享；然后，构建一个信息聚集‑分布模块IADM，用于完成平移不变的信息提取以及信息聚合传输、信息分布传输。本发明通过学习多模态对齐表示，建立一个包含信息聚合分布模块的多模态密集预测框架，能够充分捕捉不同模态之间的互补信息，很好的完成信息整合。在各种多模态密度预测任务中，该方案显示出了有效性和通用性。
