检索结果-内蒙古大学图书馆

计算机学报 2025年

作者：贺巩山赵传磊蒋金虎张为华陈左宁复旦大学计算机科学技术学院复旦大学大数据研究院复旦大学并行处理研究所中国工程院

随着数据总量和计算能力的不断提升，以深度学习和大模型为代表的人工智能技术获得了迅速的发展，并成功应用于计算机视觉和自然语言处理等领域。然而，随着GPU等加速器运算速度的提高，数据存储已经成为了深度学习训练和推理的主要瓶... 详细信息

随着数据总量和计算能力的不断提升，以深度学习和大模型为代表的人工智能技术获得了迅速的发展，并成功应用于计算机视觉和自然语言处理等领域。然而，随着GPU等加速器运算速度的提高，数据存储已经成为了深度学习训练和推理的主要瓶颈之一，主要表现为：（1）数据集的规模快速增长，无法完全缓存在内存中；（2）若无额外处理，数据集主要由小文件组成。在每轮训练中，训练任务会随机读取训练集中的文件；（3）与GPU等加速器相比，存储设备的带宽增长缓慢，二者之间的差距正在不断变大；（4）模型参数和中间数据等模型状态非常大，经常超过了GPU等加速器的存储容量，出现了内存墙的问题；（5）为了实现容错，训练任务通常会执行检查点操作，保存最新的模型状态，但这引入了较高的性能开销。因此，面向人工智能（尤其是深度学习）的数据存储技术成为了热门的研究领域，受到了学术界和工业界的广泛关注。本文首先介绍了深度学习的相关背景，包括流程、模型以及分布式训练。其次，本文总结了深度学习的数据特点，包括数据集和模型的规模与类型，以及数据准备（包括数据加载和数据预处理）和模型计算（包括模型训练和模型推理）的数据访问模式。接着，本文分析了深度学习在数据加载、数据预处理以及模型计算阶段的数据存储需求，提出了面向深度学习的数据存储技术研究框架。然后，本文梳理了现有的相关工作，并根据针对的阶段不同将其分为3类：（1）面向数据加载的存储优化技术关注于如何加速数据加载阶段，包括数据集存储格式、数据集存储系统、数据集缓存系统以及数据加载器；（2）面向数据预处理的存储优化技术关注于如何加速数据预处理阶段，包括数据预处理流水线、分离式数据预处理、数据预处理缓存以及近存储数据预处理；（3）面向模型计算的存储优化技术关注于如何加速模型计算阶段，包括模型状态存储技术、模型训练容错技术、模型存储系统以及性能测试与分析工具。最后，本文讨论了现有工作存在的问题，提出了未来可能的研究方向。

关键词：深度学习数据存储技术数据加载优化数据预处理优化模型计算优化

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：