检索结果-内蒙古大学图书馆

用户在面对海量信息时无法从中获得对自己真正有用的那部分信息,对信息的使用效率反而降低,这就是信息超载问题。推荐系统是一种解决信息超载问题非常有效的办法,它根据用户的信息、兴趣等,将用户感兴趣的信息或商品推荐给用户。然而,现有的推荐系统大多是通过定期计算来更新推荐结果,造成推荐结果不够精确,这就是推荐系统的实时性问题。另外,对于新加入的用户或商品由于缺少必要的数据,因此无法对其产生推荐,这就是所谓的冷启动问题。针对上述问题,本文旨在解决推荐算法的冷启动问题和推荐系统的实时性问题,并设计与实现一个基于Spark实时流计算的推荐系统,即根据实时数据更新推荐结果。本文的主要研究内容包括:(1)针对推荐算法的冷启动问题,提出基于聚类与特征映射的矩阵分解算法。该算法首先对用户/商品的属性信息进行聚类,得出新用户/新商品的k个最近邻。然后对新用户/新商品进行特征映射,用k近邻的特征信息计算出新用户/新商品的特征向量,有了这些特征向量就可以对新用户/新商品进行推荐,解决了算法的冷启动问题。实验表明本文提出的基于聚类与特征映射的矩阵分解算法的推荐结果更加精确。(2)针对推荐系统的实时性问题,设计一个能够实时计算的流处理架构。该架构把推荐系统分成离线计算和在线计算两部分,能够充分利用传统的离线推荐算法,并结合在线处理方法,提高推荐系统实时计算的能力。所设计的实时推荐系统采用Spark做在线处理,并且能够根据用户在线评分和历史评分数据集来实时计算,实现了推荐结果的实时更新。(3)基于Spark的实时流计算推荐系统的设计与实现。首先对实时流计算的推荐系统进行需求分析,包含功能需求分析、性能需求分析和总体架构分析。然后对系统进行设计,包括三个关键模块:一是对模拟用户评分模块进行设计,包含数据的范围、数据的格式和数据产生的频率及数量等。二是对基于Spark Streaming的实时流计算模块进行设计,包含实时流计算和一些关键性的功能的设计。三是基于MLlib对推荐引擎模块进行设计,包含模型的训练、模型的测试和推荐商品等。最后完成了实时流计算的推荐系统的实现,主要实现模拟用户评分、实时流计算和推荐引擎三个主要功能。

关键词：冷启动问题实时性问题实时流计算在线计算推荐系统

来源：评论

学校读者我要写书评

暂无评论

基于流式计算的商品推荐系统的设计与实现

基于流式计算的商品推荐系统的设计与实现

引用

作者：申建平上海交通大学

学位级别：硕士

随着互联网与信息技术的迅速发展,人们越来越喜欢从网络上购买商品。电子商务的兴起确实从很大程度上满足了人们便捷购物的需求,然而当商品数量趋于海量时,消费者面对琳琅满目的商品却有一种无从下手的感觉,这就是信息量达到一定规模时... 详细信息

随着互联网与信息技术的迅速发展,人们越来越喜欢从网络上购买商品。电子商务的兴起确实从很大程度上满足了人们便捷购物的需求,然而当商品数量趋于海量时,消费者面对琳琅满目的商品却有一种无从下手的感觉,这就是信息量达到一定规模时出现的信息过载困扰。从电商网站的角度看,如何让广大消费者喜欢和购买自己的商品,尤其是让长尾商品展现在需要的消费者面前;从广大消费者的角度看,如何在商品数量越来越多的情况下,迅速找到自己需要的商品,而不被噪声信息所干扰,推荐系统就是用来解决这一矛盾的重要工具。通过对用户过往历史数据的挖掘分析,从性别、年龄、兴趣爱好等多个维度,构建出用户特征模型,当用户下一次在网站上产生行为时,就能根据特征模型为用户进行推荐。推荐系统大多都面临实时性和冷启动问题,原因是计算用户、物品相似度矩阵或者进行矩阵分解需要进行离线计算且比较耗时。推荐冷启动是因为新注册的用户或新加入的商品还没有产生过行为,由于缺乏历史数据无法计算出正确的特征模型,因此不能给出准确的推荐结果。解决推荐冷启动有三种可选方案,一是根据用户的注册信息进行用户年龄、性别和地域推荐;二是引导用户将自己的偏好表达出来,利用收集到的用户兴趣标签进行推荐;三是将最近一段时间的热门商品推荐给用户。还有一种是通过第三方平台,利用该用户在第三方平台的行为记录作为推荐依据。本文主要采用热门商品推荐和流式计算来解决推荐冷启动问题,通过灰度测试验证表明,该方案能够有效解决推荐冷启动和实时性问题。通过对现有推荐系统和流式处理技术的深入研究,本文提出了面向流式计算的实时推荐方案。通过建立多层次数据分析处理平台,有效地解决了历史数据计算耗时和新数据实时响应的矛盾。该方案基于Apache开源的Storm和Hadoop框架,结合了Redis和Elastic Search的技术特点,从架构层面实现了离线计算、近线计算和在线计算。对历史数据的分析和建模,主要在离线计算平台中完成,用户实时交互数据的计算主要集中在近线计算平台,对推荐结果融合业务规则和重排序通过在线计算平台实现,各计算平台之间数据传输和共享通过Kafka消息队列和Redis缓存实现。实时商品推荐系统从架构设计上严格遵守了软件系统高内聚、低耦合、可扩展的原则。论文结构上,首先对推荐系统相关技术进行了综述,分析和比较了国内外推荐技术的研究现状和行业发展;其次分析了推荐系统的现实需求和现有推荐系统面临的实时性、冷启动以及多样性等问题,在此基础上总结出具有实时快速响应用户行为的推荐系统架构;最后,阐述了实时商品推荐系统架构及其实现方法。

关键词：流式计算近线计算实时性问题机器学习

来源：评论

学校读者我要写书评

暂无评论

具有ms级实时性的卫星测试系统设计实现

具有ms级实时性的卫星测试系统设计实现

引用

2014年全国工业控制计算机技术年会

作者：李贵明曾春平胡越欣北京控制工程研究所北京 100190

为了满足卫星控制系统测试任务对地面测试设备的实时性需求,在Windows操作系统下,引入了基于Windows的硬实时方案RTX(Real Time Extension),通过开发相关板卡设备在RTX下的驱动程序,最终,在一台工业控制计算机上,实现了非实时的界面交... 详细信息

为了满足卫星控制系统测试任务对地面测试设备的实时性需求,在Windows操作系统下,引入了基于Windows的硬实时方案RTX(Real Time Extension),通过开发相关板卡设备在RTX下的驱动程序,最终,在一台工业控制计算机上,实现了非实时的界面交互与实时性的底层操作的结合,使实时性地面测试系统的控制周期达到毫秒量级.设计的测试系统,已经成功应用在某型卫星的地面测试任务中,系统稳定、可靠,星地闭环姿态控制性能优异.

关键词：人造卫星地面测试系统结构设计实时性问题

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：