大语言模型主流架构的特征要求与路径构建

作     者：傅文军 毛雄飞 徐晓 Fu Wenjun;Mao Xiongfei;Xu Xiao

作者机构：浙江移动信息系统集成有限公司浙江杭州310006 中国移动通信集团浙江有限公司浙江杭州310016 中国移动通信集团浙江有限公司绍兴分公司浙江绍兴321000 

出 版 物：《中国仪器仪表》 (China Instrumentation)

年 卷 期：2025年第1期

页      面：17-21页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：大语言模型 主流架构 仅编码器 

摘      要：在人工智能大模型架构演进的过程中,大规模语言模型已由传统的神经网络架构逐步演变为基于Transformer的框架。近期,以Transformer为基础的仅解码器(Decoder-Only)架构在参数规模、效能及适用性方面取得了显著进步,逐渐成为大规模语言模型发展和研究的主要方向。尽管仅解码器(Decoder-Only)具备相对优势,但随着大型模型不断地发展与优化,编码器-解码器(Encoder-Decoder)模型在在特定任务上的表现仍然具有竞争力,仍需从构建安全发展策略来夯实大语言模型高质量发展的实践基础。