随着大型语言模型(Large Language Models,LLMs)在语言理解、文本生成和机器翻译等领域的卓越表现,已成为目前自然语言处理研究的热点,但由于庞大的参数和复杂的结构,使得在训练和部署时需要消耗大量的计算资源和时间,所以对大语言模型...
详细信息
随着大型语言模型(Large Language Models,LLMs)在语言理解、文本生成和机器翻译等领域的卓越表现,已成为目前自然语言处理研究的热点,但由于庞大的参数和复杂的结构,使得在训练和部署时需要消耗大量的计算资源和时间,所以对大语言模型的压缩成为当前研究的重点。在模型压缩领域,模型剪枝作为其中的关键技术,对LLMs的压缩发挥着越来越重要的作用。为了更加详细地了解剪枝算法在LLMs上的表现,本文根据剪枝算法所用的结构化或非结构化的修剪策略对算法进行分类,并对近几年主流的算法进行分析和归类,总结每类方法的研究思路和特点,最后对LLMs剪枝方法的未来发展进行展望。
暂无评论