基于最大熵模型解决协同过滤稀疏性问题研究

作     者：杨磊 

作者单位：中国科学技术大学 

学位级别：硕士

授予年度：2011年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

主      题：网上购物 最大熵模型 协同过滤 数据稀疏性 混合推荐系统 

摘      要：伴随着Internet的普及，网上购物已经越来越成为一种重要的消费行为，但在呈指数级增长的海量信息面前，用户往往无法快速、准确的挑选到自己钟爱的商品，而推荐系统这是基于这样的背景产生的。推荐系统主要通过挖掘用户的兴趣爱好，从而为用户提供推荐。 协同过滤作为目前推荐质量最高的推荐系统，也是应用最为广泛的推荐系统。它主要利用用户对于商品的历史评分数据，计算出当前用户的“最近邻集合，然后利用这些“邻居计算出当前用户对于目标项目的预测评分，最后根据预测评分形成推荐。虽然协同过滤有着诸如算法简单、可以处理不同特征数据、挖掘用户潜在兴趣等优点，但它也存在着很多缺点。其最大的缺点即数据稀疏性，数据稀疏性实际上就是一个用户—项目评分矩阵稀疏的问题，因为在现实生活中，大部分的用户都只对少部分的项目有评分，所以大部分的评分都是空白，当然也就无法保证良好的推荐质量。 最大熵模型作为一个基本预测模型，它的基本思想就是在只掌握未知部分的部分知识时，我们应该选取符合这些知识并且熵值最大的概率分布。最大熵模型最大的特点就是可以将不同源的信息集中到一个框架下进行综合考虑。大众分类标签（tag）是伴随着web 2.0和3.0 才被广泛应用的，是分享知识的一种机制。Tag的最大特点是充分反映了用户的主观性。 为了解决传统协同过滤推荐系统中的稀疏性问题，本文提出了一个基于最大熵模型，且综合考虑用户—评分信息（rating）和tag 信息的混合推荐系统。文中构建的最大熵模型把rating 信息和tag 信息作为模型输入，在经过最大熵模型处理后，把当前用户对于目标项目的评分作为模型输出结果，从而形成推荐。 基于理论研究，本文设计了3组仿真实验从不同的角度来验证基于最大熵模型的混合推荐系统的推荐质量，实验结果表明，混合推荐系统较传统协同过滤有着较高的优越性