全词消歧(All-Words Word Sense Disambiguation)本质上是一个序列标注问题,本文提出了两种用于全词消歧的序列标注方法,它们分别基于隐马尔可夫模型(Hidden Markov Model,HMM)和最大熵马尔可夫模型(MaximumEntropy Markov Model,MEMM)...
详细信息
全词消歧(All-Words Word Sense Disambiguation)本质上是一个序列标注问题,本文提出了两种用于全词消歧的序列标注方法,它们分别基于隐马尔可夫模型(Hidden Markov Model,HMM)和最大熵马尔可夫模型(MaximumEntropy Markov Model,MEMM)模型。首先,我们用HMM对全词消歧进行建模。然后,针对HMM只能利用观察值的缺点,我们将上述HMM模型推广为MEMM模型,将大量上下文特征集成到模型中。对于全词消歧这类超大状态问题,在HMM和MEMM模型中均存在数据稀疏和时间复杂度过高的问题,我们通过柱状搜索Viterbi算法和平滑策略来解决。最后,我们在Senseval-2和Senseval-3的数据集上进行了评测,本文提出的MEMM方法的性能超过该评测上所有的序列标注方法。
暂无评论