咨询与建议

看过本文的还看了

相关文献

该作者的其他文献

文献详情 >大语言模型主流架构的特征要求与路径构建 收藏

大语言模型主流架构的特征要求与路径构建

Feature Specifications and Pathway Development for the Predominant Architecture of a Large-scale Language Model

作     者:傅文军 毛雄飞 徐晓 Fu Wenjun;Mao Xiongfei;Xu Xiao

作者机构:浙江移动信息系统集成有限公司浙江杭州310006 中国移动通信集团浙江有限公司浙江杭州310016 中国移动通信集团浙江有限公司绍兴分公司浙江绍兴321000 

出 版 物:《中国仪器仪表》 (China Instrumentation)

年 卷 期:2025年第1期

页      面:17-21页

学科分类:12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术(可授工学、理学学位)] 

主  题:大语言模型 主流架构 仅编码器 

摘      要:在人工智能大模型架构演进的过程中,大规模语言模型已由传统的神经网络架构逐步演变为基于Transformer的框架。近期,以Transformer为基础的仅解码器(Decoder-Only)架构在参数规模、效能及适用性方面取得了显著进步,逐渐成为大规模语言模型发展和研究的主要方向。尽管仅解码器(Decoder-Only)具备相对优势,但随着大型模型不断地发展与优化,编码器-解码器(Encoder-Decoder)模型在在特定任务上的表现仍然具有竞争力,仍需从构建安全发展策略来夯实大语言模型高质量发展的实践基础。

读者评论 与其他读者分享你的观点

用户名:未登录
我的评分