检索结果-内蒙古大学图书馆

中文信息学报 2013年第6期27卷 1-5,44页

作者：曹自强李素建北京大学计算语言学教育部重点实验室北京100871

该文探讨了无指导条件下的中文分词,这对构建语言无关的健壮分词系统大有裨益。互信息与HDP(Hierarchical Dirichlet Process)是无指导情况下常用的分词模型,该文将两者结合,并改进了采样算法。不考虑标点符号,在两份大小不同的测试语... 详细信息

该文探讨了无指导条件下的中文分词,这对构建语言无关的健壮分词系统大有裨益。互信息与HDP(Hierarchical Dirichlet Process)是无指导情况下常用的分词模型,该文将两者结合,并改进了采样算法。不考虑标点符号,在两份大小不同的测试语料上获得的F值为0.693与0.741,相比baseline的HDP分别提升了5.8%和3.9%。该文还用该模型进行了半指导分词,实验结果比常用的CRF有指导分词提升了2.6%。

关键词： HDP 互信息无指导分词

来源：评论

学校读者我要写书评

暂无评论

中文关键词提取技术研究

中文关键词提取技术研究

引用

作者：翁伟北京大学

学位级别：硕士

关键词是代表文章重要内容的一组词。对文本聚类、分类、自动摘要等起重要的作用。此外，它还能使人们便捷浏览和获取信息。现实中大量文本不包含关键词，自动提取关键词技术有也因此重要意义和价值。本文分析了关键词提取的三个重要方... 详细信息

关键词是代表文章重要内容的一组词。对文本聚类、分类、自动摘要等起重要的作用。此外，它还能使人们便捷浏览和获取信息。现实中大量文本不包含关键词，自动提取关键词技术有也因此重要意义和价值。本文分析了关键词提取的三个重要方面：1、候选的选取；2、候选信息的分析。3、基于所获信息的关键词提取算法。\n 围绕着这三个方面，首先本文介绍了LDA模型及其参数估计方法。结合主题模型的生成过程，提出了首先利用主题模型进行关键词提取的算法。然后，提出了一种基于词义相似度提取关键词的算法。通过在网络上检索解释词语对应文本，计算文本的相似度来获得词义相似度。利用聚类算法将词语分成类别，在每个类别中选择代表性的词作为关键词。最后，本文使用无参数贝叶斯模型尝试解决候选选取的相关问题。\n 在信息选取方面，本文考虑在统计信息之外，在引入词义信息方面进行了相关尝试。研究了基于LDA的主题分析技术以及通过网络获取词语的解释文本来计算词语间的相似度。\n 在算法方面，本文研究了利用主题模型生成过程，以及结合词语自身特征提\n 取关键词的算法。本文还研究了基于文本间的相似度。使用聚类技术，将候选词分为重要类别，综合词义表示与统计特征，从每个类别中选出一个代表词作为关键词。\n 在候选提取阶段，未登录词对分词会造成的影响，为了尝试解决非登陆词识别问题，文还研究了基于贝叶斯的无指导分词。探索了Dirichlet过程，以及层次Dirichlet过程的应用。

关键词：中文关键词提取算法主题模型词义相似度无指导分词

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：