自然语言处理NLP(Natural Language Processing)始于上世纪50年代,是人工智能(AI)研究的重要方向,2018年以来,NLP从预训练语言模型PLM(Pre-trained Language Models)进化到大规模语言模型LLM(Large Language Models),GPT-4的问世标志LL...
详细信息
自然语言处理NLP(Natural Language Processing)始于上世纪50年代,是人工智能(AI)研究的重要方向,2018年以来,NLP从预训练语言模型PLM(Pre-trained Language Models)进化到大规模语言模型LLM(Large Language Models),GPT-4的问世标志LLM的发展和应用进入新纪元,而DeepSeek开源模型的横空出世,更是以低成本、高性能震撼业界。本文简要回顾了AI、NLP的发展过程,以DeepSeek模型为例,对LLM构建路径与应用拓展进行了综述,总结了LLM构建准备、构建实施以及应用拓展的路径,分析了目标确定与团队组建、开闭源策略选择、算力获取、数据准备的主要内容,讨论了算法与算力优化、数据加工、训练优化、模型定制、模型蒸馏的关键路径,梳理了通过应用程序接口、检索增强技术构建AI应用的实现过程,希望对初创者选择研发路径实现弯道超车有所启示。
暂无评论