大小模型端云协同进化技术进展

作     者：王永威 沈弢 张圣宇 吴帆 赵洲 蔡海滨 吕承飞 马利庄 杨承磊 吴飞 Wang Yongwei;Shen Tao;Zhang Shengyu;Wu Fan;Zhao Zhou;Cai Haibin;Lyu Chengfei;Ma Lizhuang;Yang Chenglei;Wu Fei

作者机构：浙江大学人工智能研究所杭州310058 浙江大学上海高等研究院上海201203 上海交通大学计算机科学与工程系上海200241 华东师范大学软件工程学院上海200062 淘宝(中国)软件有限公司杭州310023 山东大学软件学院济南250011 

出 版 物：《中国图象图形学报》 (Journal of Image and Graphics)

年 卷 期：2024年第29卷第6期

页      面：1510-1534页

核心收录：

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 081104[工学-模式识别与智能系统] 08[工学] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 

基　　金：新一代人工智能国家科技重大专项(2022ZD0119100) 国家自然科学基金项目(62037001,62441605) 浙江省科技计划项目(2022C01044) 繁星科学基金项目(浙江大学) 

主　　题：生成式大模型 大模型小型化 大小模型协同进化 端云协同进化 生成式智能体 生成式人工智能 

摘      要：生成式基座大模型正在引发人工智能领域的重大变革,在自然语言处理、多模态理解与内容合成等任务展现通用能力。大模型部署于云侧提供通用智能服务,但面临时延大、个性化不足等关键挑战,小模型部署于端侧捕捉个性化场景数据,但存在泛化性不足的难题。大小模型端云协同技术旨在结合大模型通用能力和小模型专用能力,以协同交互方式学习演化进而赋能下游垂直行业场景。本文以大语言模型和多模态大模型为代表,梳理生成式基座大模型的主流架构、典型预训练技术和适配微调等方法,介绍在大模型背景下模型剪枝、模型量化和知识蒸馏等大模型小型化关键技术的发展历史和研究近况,依据模型间协作目的及协同原理异同,提出大小模型协同训练、协同推理和协同规划的协同进化分类方法,概述端云模型双向蒸馏、模块化设计和生成式智能体等系列代表性新技术、新思路。总体而言,本文从生成式基座大模型、大模型小型化技术和大小模型端云协同方式3个方面探讨大小模型协同进化的国际和国内发展现状,对比优势和差距,并从应用前景、模型架构设计、垂直领域模型融合、个性化和安全可信挑战等层面分析基座赋能发展趋势。