检索结果-内蒙古大学图书馆

自动化学报 2025年第2期51卷 327-342页

作者：徐正斐辛欣北京理工大学计算机学院北京100081 北京理工大学北京市海量语言信息处理与云计算应用工程技术研究中心北京100081

近年来,大语言模型(Large language model,LLM)在自然语言处理中取得重大进展.在模型足够大时,大语言模型涌现出传统的预训练语言模型(Pre-trained language model,PLM)不具备的推理能力.为了探究如何将大语言模型的涌现能力应用于中文... 详细信息

近年来,大语言模型(Large language model,LLM)在自然语言处理中取得重大进展.在模型足够大时,大语言模型涌现出传统的预训练语言模型(Pre-trained language model,PLM)不具备的推理能力.为了探究如何将大语言模型的涌现能力应用于中文实体链接任务,适配了以下四种方法:知识增强、适配器微调、提示学习和语境学习(In-context learning,ICL).在Hansel和CLEEK数据集上的实证研究表明,基于Qwen-7B/ChatGLM3-6B的监督学习方法超过基于小模型的方法,在Hansel-FS数据集上提升3.9%~11.8%,在Hansel-ZS数据集上提升0.7%~4.1%,在CLEEK数据集上提升0.6%~3.7%.而当模型参数量达到720亿时,Qwen-72B的无监督方法实现与监督微调Qwen-7B相近的结果(-2.4%~+1.4%).此外,大语言模型Qwen在长尾实体场景下有明显的优势(11.8%),且随着参数量的增加,优势会更加明显(13.2%).对错误案例进行分析(以下简称错误分析)发现,实体粒度和实体类别相关错误占比较高,分别为36%和25%.这表明在实体链接任务中,准确划分实体边界以及正确判断实体类别是提高系统性能的关键.

关键词：实体链接大语言模型知识增强适配器微调提示学习语境学习

来源：评论

学校读者我要写书评

暂无评论

基于预训练语言模型和双模态编码器的远程监督关系抽取方法

引用

北京理工大学学报 2025年第3期45卷 308-320页

作者：刘琼昕方胜牛文涛北京市海量语言信息处理与云计算应用工程技术研究中心北京100081 北京理工大学计算机学院北京100081

针对远程监督关系抽取中文本语义信息表征不足导致噪声识别能力有限和信息传递不足导致长尾关系学习不充分的问题,提出了一种将预训练模型(BERT)集成到多实例学习中的两阶段框架,利用预训练语言模型学习文本语义以识别和缓解噪声,并在... 详细信息

针对远程监督关系抽取中文本语义信息表征不足导致噪声识别能力有限和信息传递不足导致长尾关系学习不充分的问题,提出了一种将预训练模型(BERT)集成到多实例学习中的两阶段框架,利用预训练语言模型学习文本语义以识别和缓解噪声,并在框架中设计了双模态编码器自动学习实体类型和关系的信息传播模式以解决长尾问题.该方法在GDS数据集上的AUC值为0.912,P@100与P@200值分别为100.0%和98.7%;在NYT-570K数据集上的长尾指标Hits@K较先前的先进模型均有提升.在这两个广泛使用的数据集上的实验结果表明,该方法在去噪和长尾关系抽取方面均取得了显著提升.

关键词：关系抽取远程监督长尾问题自然语言处理

来源：评论

学校读者我要写书评

暂无评论

非支配排序粒子群遗传算法解决车辆位置路由问题

引用

吉林大学学报(工学版) 2024年

作者：刘琼昕王甜甜王亚男北京市海量语言信息处理与云计算应用工程技术研究中心北京理工大学计算机学院

本文提出了混合全局局部搜索的非支配排序粒子群遗传算法，能够有效解决车辆位置路由问题。全局搜索使用粒子群和遗传算法，提高算法的收敛速度，使用第三代非支配排序遗传算法挑选种群下一代个体，保留种群多样性。局部搜索策略针对优... 详细信息

本文提出了混合全局局部搜索的非支配排序粒子群遗传算法，能够有效解决车辆位置路由问题。全局搜索使用粒子群和遗传算法，提高算法的收敛速度，使用第三代非支配排序遗传算法挑选种群下一代个体，保留种群多样性。局部搜索策略针对优质和次优个体进行，提高得到更优解的概率，对种群中后1/12个体打乱用户顺序，提高种群质量。使用开放标准数据集将本文提出算法与基准算法对比，本文算法从种群质量、多样性上均更优，能够为车辆位置路由问题提供有效的解决方案。

关键词：计算机应用技术车辆位置路由问题第三代非支配排序遗传算法粒子群算法遗传算法

来源：评论

学校读者我要写书评

暂无评论

一种融合关系抽取的推荐系统

引用

北京理工大学学报 2022年第11期42卷 1191-1199页

作者：高春晓卢士帅刘琼昕宋祥北京理工大学北京市海量语言信息处理与云计算应用工程技术研究中心北京100081 北京理工大学计算机学院北京100081

针对现有基于内容的推荐方法中存在的知识利用不充分问题,提出了一种融合关系抽取的推荐系统,在用word2vec模型对物品知识进行编码的基础上,用补充模板特征的关系抽取模型对物品知识进行了更深层次的挖掘,构建了增强知识图谱,进而获得... 详细信息

针对现有基于内容的推荐方法中存在的知识利用不充分问题,提出了一种融合关系抽取的推荐系统,在用word2vec模型对物品知识进行编码的基础上,用补充模板特征的关系抽取模型对物品知识进行了更深层次的挖掘,构建了增强知识图谱,进而获得增强实体特征,与文本特征、基础实体特征融合后构建物品特征.实验证明,融合关系抽取的推荐系统推荐效果优于同类模型,并且各个部分的改进都是有效的.

关键词：人工智能深度学习关系抽取推荐系统模板特征

来源：评论

学校读者我要写书评

暂无评论

基于全局覆盖机制与表示学习的生成式知识问答技术

引用

自动化学报 2022年第10期48卷 2392-2405页

作者：刘琼昕王亚男龙航王佳升卢士帅北京市海量语言信息处理与云计算应用工程技术研究中心北京100081 北京理工大学计算机学院北京100081

针对现有生成式问答模型中陌生词汇导致答案准确率低下的问题和模式混乱导致的词汇重复问题,本文提出引入知识表示学习结果的方法提高模型识别陌生词汇的能力,提高模型准确率.同时本文提出使用全局覆盖机制以平衡不同模式答案生成的概率... 详细信息

针对现有生成式问答模型中陌生词汇导致答案准确率低下的问题和模式混乱导致的词汇重复问题,本文提出引入知识表示学习结果的方法提高模型识别陌生词汇的能力,提高模型准确率.同时本文提出使用全局覆盖机制以平衡不同模式答案生成的概率,减少由预测模式混乱导致的重复输出问题,提高答案的质量.本文在知识问答模型基础上结合知识表示学习的推理结果,使模型具备模糊回答的能力.在合成数据集和现实世界数据集上的实验证明了本模型能够有效地提高生成答案的质量,能对推理知识进行模糊回答.

关键词：生成式知识问答覆盖机制知识表示学习自然语言处理深度学习

来源：评论

学校读者我要写书评

暂无评论

基于知识增强的深度新闻推荐网络

引用

北京理工大学学报 2021年第3期41卷 286-294页

作者：刘琼昕宋祥覃明帅北京理工大学计算机学院北京100081 北京市海量语言信息处理与云计算应用工程技术研究中心北京100081

在新闻推荐场景下,传统的基于文本特征的新闻推荐模型只考虑了词的共现关系,无法捕获词语的隐含词义和关联知识;而基于深度学习的推荐模型在融合知识图谱信息中仅仅考虑实体的信息,忽略了远距离实体之间的联系,造成实体之间的关联信息... 详细信息

在新闻推荐场景下,传统的基于文本特征的新闻推荐模型只考虑了词的共现关系,无法捕获词语的隐含词义和关联知识;而基于深度学习的推荐模型在融合知识图谱信息中仅仅考虑实体的信息,忽略了远距离实体之间的联系,造成实体之间的关联信息和深层次语义联系的缺失.针对该问题提出了一种基于知识增强的深度新闻推荐网络(deep knowledge-enhanced network,DKEN),利用长短期记忆网络提取知识图谱中的实体路径特征,补充到注意力网络中,然后针对不同的候选新闻动态地构建用户的特征.实验表明该实体路径信息能提高模型的效果,在F1指标上提升大约1%.

关键词：知识增强深度新闻推荐网络知识图谱实体路径特征

来源：评论

学校读者我要写书评

暂无评论

基于短语向量和主题加权的关键词抽取方法

引用

电子学报 2021年第9期49卷 1682-1690页

作者：孙新盖晨申长虹张颖捷北京理工大学计算机学院北京市海量语言信息处理与云计算应用工程技术研究中心北京100081 北京理工大学东南信息技术研究院福建莆田351100

现有关键词抽取算法缺乏对短语的有效表示,为抽取出更能反映文本主题的关键短语,本文提出一种基于短语向量的关键词抽取方法 PhraseVecRank.首先设计基于LSTM(Long Short-Term Memory)和CNN(Convolutional Neural Network)自编码器的短... 详细信息

现有关键词抽取算法缺乏对短语的有效表示,为抽取出更能反映文本主题的关键短语,本文提出一种基于短语向量的关键词抽取方法 PhraseVecRank.首先设计基于LSTM(Long Short-Term Memory)和CNN(Convolutional Neural Network)自编码器的短语向量构建模型,解决复杂短语的语义表示问题.然后,利用短语向量对每个候选短语计算主题权重,通过主题加权排序提高关键词抽取的效果.在公共数据集和学术论文数据上的实验表明,本文提出的方法能够有效提取与文本主题信息相关的关键短语,同时利用自编码器构造的短语向量可以更好地表示短语的语义信息.

关键词：短语向量自编码器主题加权关键词抽取

来源：评论

学校读者我要写书评

暂无评论

稀缺资源语言神经网络机器翻译研究综述

引用

自动化学报 2021年第6期47卷 1217-1231页

作者：李洪政冯冲黄河燕北京理工大学计算机学院北京100081 北京市海量语言信息处理与云计算应用工程技术研究中心北京100081 北京理工大学外国语学院北京102488 语言工程与认知计算工信部重点实验室北京102488

作为目前主流翻译方法的神经网络机器翻译已经取得了很大突破,在很多具有丰富数据资源的语言上的翻译质量也不断得到改善,但对于稀缺资源语言的翻译效果却仍然并不理想.稀缺资源语言机器翻译是目前机器翻译领域的重要研究热点之一,近几... 详细信息

作为目前主流翻译方法的神经网络机器翻译已经取得了很大突破,在很多具有丰富数据资源的语言上的翻译质量也不断得到改善,但对于稀缺资源语言的翻译效果却仍然并不理想.稀缺资源语言机器翻译是目前机器翻译领域的重要研究热点之一,近几年来吸引了国内外的广泛关注.本文对稀缺资源语言机器翻译的研究进行比较全面的回顾,首先简要介绍了与稀缺资源语言翻译相关的学术活动和数据集,然后重点梳理了目前主要的研究方法和一些研究结论,总结了每类方法的特点,在此基础上总结了不同方法之间的关系并分析了目前的研究现状.最后,对稀缺资源语言机器翻译未来可能的研究趋势和发展方向进行了展望,并给出了相关建议.

关键词：稀缺资源语言神经网络机器翻译迁移学习枢轴语言回译多语言翻译无监督翻译

来源：评论

学校读者我要写书评

暂无评论

基于细粒度可解释矩阵的摘要生成模型

引用

北京大学学报（自然科学版） 2021年第1期57卷 23-30页

作者：王浩男高扬冯俊兰胡珉王惠欣柏宇北京理工大学计算机学院北京100081 中国移动通信研究院北京100032 北京市海量语言信息处理与云计算应用工程技术研究中心北京100081

针对摘要模型中总结并解释长篇上下文信息存在的困难,提出一种基于细粒度可解释矩阵,先抽取再生成的摘要模型(fine-grained interpretable matrix,FGIM),提升长文本对显著度、更新性和相关度的可解释抽取能力,引导系统自动生成摘要。该... 详细信息

针对摘要模型中总结并解释长篇上下文信息存在的困难,提出一种基于细粒度可解释矩阵,先抽取再生成的摘要模型(fine-grained interpretable matrix,FGIM),提升长文本对显著度、更新性和相关度的可解释抽取能力,引导系统自动生成摘要。该模型通过一个句对判别(pair-wise)抽取器对文章内容进行压缩,捕获文章中心度高的句子,将抽取后的文本与生成器相结合,实现摘要生成。在生成端通过可解释的掩码矩阵,控制生成摘要的内容属性,在编码器端分别使用多层Transformer和预训练语言模型BERT来验证其适用性。在标准文本摘要数据集(CNN/DailyMail和NYT50)上的实验表明,所提模型的ROUGE指标和人工评估结果均优于当前最好的基准模型。实验中还构建两个测试数据集来验证摘要的更新度和相关度,结果表明所提模型在可控生成方面取得相应的提升。

关键词：生成式摘要可解释抽取中心度掩码矩阵可控生成

来源：评论

学校读者我要写书评

暂无评论

中文动词实现状态数据集构建

引用

中文信息学报 2025年第2期39卷 27-40页

作者：徐进辛欣北京理工大学计算机学院北京100081 北京理工大学北京市海量语言信息处理与云计算应用工程技术研究中心北京100081

判断动词是否在现实中真实发生是自然语言理解中的重要问题,其不仅能够为事件抽取等自然语言处理应用提供支撑,也有助于更深入地理解语言。虽然动词实现状态的辨析在英文领域已有一定的研究基础,但中文领域的相关工作仍比较缺乏。一方面... 详细信息

判断动词是否在现实中真实发生是自然语言理解中的重要问题,其不仅能够为事件抽取等自然语言处理应用提供支撑,也有助于更深入地理解语言。虽然动词实现状态的辨析在英文领域已有一定的研究基础,但中文领域的相关工作仍比较缺乏。一方面,中文动词实现状态缺乏标注规范;另一方面,缺乏相关的中文语料。针对目前中文动词实现状态缺乏标注规范的问题,该文在英文规范的基础上,分析《人民日报》中文语料,结合时间提示词、句式等信息,总结了中文动词实现状态标注规范。针对中文目前缺少动词实现状态相关语料的问题,该文构建了中文动词实现状态数据集,包括5430条语句和21226个中文动词实例。实验表明,神经网络模型在处理描述客观规律以及缺少时间提示词等情况下的分类时还欠准确。

关键词：中文动词实现状态数据集构建

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：