一种基于记忆增强的视频描述生成方法

专利申请号：CN202311009538.4

公 开 号：CN116916031A

发 明 人：许辉 秦一心 张浩楠 付骏峰 李岳铿 

代 理 人：吕春艳

代理机构：北京正华智诚专利代理事务所(普通合伙)

专利类型：发明专利

申 请 日：20231020

公 开 日：20230810

专利主分类号：H04N19/20

关 键 词：记忆增强 特征信息 视频描述 编码器 解码器 上下文信息 视觉记忆 视频特征 语言记忆 最终视频 集合 视频 文本 解码器生成 传统视频 生成数据 原始视频 最佳性能 解码 隐式 拼接 捕获 外部 

摘      要：本发明公开了一种基于记忆增强的视频描述生成方法，包括以下步骤：S1、提取原始视频的第一特征信息和第二特征信息，并将第一特征信息和第二特征信息拼接，得到最终视频特征；S2、根据步骤S1中最终视频特征与视觉记忆，利用记忆增强编码器进行编码，得到集合视频上下文信息的视频特征；S3、根据步骤S2中集合视频上下文信息的视频特征与语言记忆，利用记忆增强解码器进行解码，生成视频描述文本；本发明所提出的一种基于记忆增强的视频描述生成方法，通过加入视觉记忆和语言记忆进入编码器和解码器，能够有效捕获多种隐式外部知识，提高了记忆增强编码器和记忆增强解码器生成文本的能力，从而在多个传统视频描述生成数据集上达到了最佳性能。