检索结果-内蒙古大学图书馆

计算机应用与软件 2019年第7期36卷 43-49页

作者：赵会群李子木郭峰慕善文北方工业大学计算机学院北京100144 大规模流数据集成与分析技术北京市重点实验室(北方工业大学) 北京100144

随着电子商务技术的飞速发展,用户量剧增。利用使用者在电商平台上的浏览痕迹对用户行为进行分析,实现商品的精准推荐,已经成为电子商务的一个热点应用技术和领域。用户行为的有效分析强烈地依赖对用户属性、行为和期待数据画像的精准... 详细信息

随着电子商务技术的飞速发展,用户量剧增。利用使用者在电商平台上的浏览痕迹对用户行为进行分析,实现商品的精准推荐,已经成为电子商务的一个热点应用技术和领域。用户行为的有效分析强烈地依赖对用户属性、行为和期待数据画像的精准刻画。然而,就目前的方法和技术而言,在数据画像模型的表现能力和推荐算法的处理效率方面还有许多技术挑战。面对上述挑战,利用数据画像和数据画像概率分配模型等概念,提出基于贝叶斯网络的预测推荐算法,通过构建用户行为的先验概率计算可能产生消费的后验概率。对信用卡APP的真实浏览日志数据进行测试,验证了该算法的可行性和有效性。实验表明,基于贝叶斯网络的推荐算法有着高于传统营销模型的准确性。

关键词：数据画像模型用户行为分析贝叶斯网络

来源：评论

学校读者我要写书评

暂无评论

电能质量异常数据在线检测方法

引用

计算机工程与应用 2020年第9期56卷 240-247页

作者：刘杰房俊雷峰津北方工业大学计算机学院北京100144 大规模流数据集成与分析技术北京市重点实验室北京100144

电网电能质量监测数据大多数监测指标具有周期性变化规律、波动性大等特征,现有的异常数据检测方法在针对此类数据做异常值检测时具有适应性差等问题。针对上述问题,将控制图和时间序列数据预测方法有机结合,提出了基于控制图的动态阈... 详细信息

电网电能质量监测数据大多数监测指标具有周期性变化规律、波动性大等特征,现有的异常数据检测方法在针对此类数据做异常值检测时具有适应性差等问题。针对上述问题,将控制图和时间序列数据预测方法有机结合,提出了基于控制图的动态阈值电能质量异常数据在线检测方法。利用电能质量数据的变化趋势数据替代控制图中心线,将控制图的控制线化直为曲,结合ARIMA模型动态计算控制图的控制线,实现了电能质量异常数据的在线检测。实验结果表明提出的方法是有效的。

关键词：异常检测动态阈值控制图电能质量

来源：评论

学校读者我要写书评

暂无评论

基于日志挖掘的电商查询建议方法

引用

计算机工程与科学 2018年第2期40卷 231-237页

作者：王菁王若飞大规模流数据集成与分析技术北京市重点实验室北京100144 北方工业大学数据工程研究院北京100144

查询建议可以有效减少用户输入、消除查询歧义,提高信息检索的便捷性和准确率。随着电子商务的发展,查询建议也越来越多地应用于电子商务网站的商品搜索中。然而,传统的基于Web搜索的查询建议方法在电商领域并不能完全适用。针对电商这... 详细信息

查询建议可以有效减少用户输入、消除查询歧义,提高信息检索的便捷性和准确率。随着电子商务的发展,查询建议也越来越多地应用于电子商务网站的商品搜索中。然而,传统的基于Web搜索的查询建议方法在电商领域并不能完全适用。针对电商这一特定领域,对不同的查询建议技术进行比较,提出了一种综合考虑用户的搜索以及购物行为的查询建议方法,运用MapReduce技术对用户日志进行挖掘,以此生成检索词词库;并通过在线计算与离线计算结合的方法,为用户提供实时查询建议。实验结果表明,本文提出的基于日志挖掘的电商查询建议方法能有效提高查询建议的准确率,并且具有良好的处理性能。

关键词：查询建议日志挖掘电子商务准确率 MapReduce

来源：评论

学校读者我要写书评

暂无评论

基于负载均衡的多源流数据实时存储系统

引用

计算机工程与科学 2017年第4期39卷 641-647页

作者：郭会云房俊李冬大规模流数据集成与分析技术北京市重点实验室北京100144 北方工业大学数据工程研究院北京100144

物联网感知流数据多以时序数据为主,具有数据量大、连续到达、多来源等特点。现有的基于HBase的交通流数据存储系统在数据写入并发量大时,仍然存在存储效率低与系统可用性不高的问题。针对该问题,设计并实现了基于负载均衡的多源流数据... 详细信息

物联网感知流数据多以时序数据为主,具有数据量大、连续到达、多来源等特点。现有的基于HBase的交通流数据存储系统在数据写入并发量大时,仍然存在存储效率低与系统可用性不高的问题。针对该问题,设计并实现了基于负载均衡的多源流数据实时存储系统。该系统将数据代理扩展为集群架构,提出了一种基于负载均衡的任务调度算法,实现了任务与数据代理之间的按序匹配,使数据代理集群负载均衡地处理任务,实现数据并行存储到HBase数据库中。实验对比结果表明:该系统使各数据代理的数据分配比例维持在0.3~0.4,同时以约1.5倍于单数据代理的速度将数据写入HBase数据库。

关键词：多源流数据 HBase 实时存储系统数据代理负载均衡任务调度

来源：评论

学校读者我要写书评

暂无评论

一种面向异构大数据计算框架的监控及调度服务

引用

计算机科学 2018年第6期45卷 67-71,95页

作者：胡雅鹏丁维龙王桂玲北方工业大学数据工程研究院北京100144 大规模流数据集成与分析技术北京市重点实验室北京100144

各种类型的大数据计算框架存在各自专用的管理方法。传统的监控和调度服务在异构环境下的操作由于无法获取集群整体的运行状态而受到限制,且无法综合多粒度的运行时资源状态来调度不同的计算作业。这不仅浪费了集群的可用资源,而且增加... 详细信息

各种类型的大数据计算框架存在各自专用的管理方法。传统的监控和调度服务在异构环境下的操作由于无法获取集群整体的运行状态而受到限制,且无法综合多粒度的运行时资源状态来调度不同的计算作业。这不仅浪费了集群的可用资源,而且增加了计算作业的等待时间。针对上述两个问题,提出了一种面向异构大数据计算框架的一体化监控及动态调度管理服务。该服务可以自动适应并监控多种类型的大数据计算框架及计算作业,并对多类型作业提供一体化调度。针对Hadoop和Storm两种计算框架,实现了原型系统并进行了实验。实验结果表明,所提服务在异构环境下的大数据计算框架中能降低人工操作的复杂度,并且能提高作业的调度效率。

关键词：作业调度集群监控管理服务作业提交

来源：评论

学校读者我要写书评

暂无评论

面向移动端基于社交关系的图片缓存替换算法

引用

计算机工程与科学 2017年第2期39卷 267-274页

作者：王菁牛利杰大规模流数据集成与分析技术北京市重点实验室北京100144 北方工业大学数据工程研究院北京100144

随着移动终端深入人们的生活,移动社交APP得到了广泛使用。在移动社交APP中往往会使用大量的图片资源,如微信朋友圈、Instagram的图片分享等。在APP中浏览图片会消耗较多的网络流量,影响加载速度,因此大部分APP采用首先显示缩略图,根据... 详细信息

随着移动终端深入人们的生活,移动社交APP得到了广泛使用。在移动社交APP中往往会使用大量的图片资源,如微信朋友圈、Instagram的图片分享等。在APP中浏览图片会消耗较多的网络流量,影响加载速度,因此大部分APP采用首先显示缩略图,根据用户需求再加载原图的策略。在服务器端也采用缓存技术来加快缩略图产生时间,减少磁盘I/O。但是,当前的缓存机制更多关注的是缓存的访问频率、最近访问时间等因素,并没有过多关注数据生成用户之间的社交关系,也没有考虑移动用户对缩略图和原图的不同访问模式。把缓存划分为两个部分:缩略图缓存区和原图缓存区,提出了基于社交关系的图片缓存替换算法,在传统缓存替换算法的基础上增加用户的社交关系以及缩略图和原图的关联关系,通过计算图片的缓存价值进行缓存替换。实验表明,所提出的基于社交关系的图片缓存替换算法对于缩略图和原图的缓存命中率都有明显提高。

关键词：移动社交缓存价值缩略图缓存区原图缓存区

来源：评论

学校读者我要写书评

暂无评论

HDFS异构集群中的分级存储调度机制

引用

小型微型计算机系统 2017年第1期38卷 29-34页

作者：杨冬菊李青邓崇彬北方工业大学云计算研究中心北京100144 大规模流数据集成与分析技术北京市重点实验室北京100144

大部分存储集群构建时可能包含有遗留设备及新购置设备,这些设备在存储性能方面存在较大差异.采用HDFS默认的机架感知存储策略时,可能使访问频率高的数据存储在低性能节点上,而访问频率低的数据存储在高性能节点上,既影响集群响应时间,... 详细信息

大部分存储集群构建时可能包含有遗留设备及新购置设备,这些设备在存储性能方面存在较大差异.采用HDFS默认的机架感知存储策略时,可能使访问频率高的数据存储在低性能节点上,而访问频率低的数据存储在高性能节点上,既影响集群响应时间,又降低了资源利用率.针对以上问题,提出一种分级存储调度机制.在HDFS机架感知调度策略基础上,首先根据节点的CPU、内存大小、磁盘大小、磁盘I/O等固有硬件性能将节点划分为高配置节点和低配置节点,其次根据节点的CPU使用率、内存使用率、网络带宽使用率、磁盘使用率等性能的动态因素建立节点的性能评价模型,并建立三个性能级别.根据节点配置情况、性能级别及网络位置等多方面因素进行综合调度.同时在集群运行过程中,会根据数据的访问频率对数据块的分布进行动态调整.实验结果表明,本文提出的分级存储调度机制可以在HDFS异构集群中提高数据的访问效率,优化集群性能.

关键词：云存储 HDFS 异构集群分级存储存储调度

来源：评论

学校读者我要写书评

暂无评论

基于可变时间窗口的增量数据抽取模型

引用

计算机科学 2018年第11期45卷 204-209,230页

作者：刘杰王桂玲左小将北方工业大学计算机学院北京100144 大规模流数据集成与分析技术北京市重点实验室北京100144

基于合适的数据抽取模型持续不断地将变化的数据从各个数据源系统进行抽取集成,是各个异构系统之间进行数据共享融合的关键,也是构建增量式数据仓库来进行数据分析的关键。传统的时间戳变化数据捕获方式存在因数据抽取过程中发生异常而... 详细信息

基于合适的数据抽取模型持续不断地将变化的数据从各个数据源系统进行抽取集成,是各个异构系统之间进行数据共享融合的关键,也是构建增量式数据仓库来进行数据分析的关键。传统的时间戳变化数据捕获方式存在因数据抽取过程中发生异常而导致数据抽取失效,进而影响数据抽取效率的问题。鉴于此,文中借鉴时间窗口的思想,采用先抽取少量重复记录再去重的做法,对传统的时间戳增量数据捕获模型进行了改进,提出了基于可变时间窗口的增量数据抽取模型。该模型减少了异常对数据抽取的影响,增强了时间戳增量数据抽取ETL流程的可靠性,在一定程度上提高了数据的抽取效率。

关键词：变化数据的捕获增量抽取时间戳 ETL

来源：评论

学校读者我要写书评

暂无评论

HTML5混合式移动社交应用中缓存管理机制的研究

引用

计算机科学 2017年第2期44卷 82-87,111页

作者：仲媛王菁韩燕波邢起源北方工业大学云计算研究中心北京100144 大规模流数据集成与分析技术北京市重点实验室北京100144

随着移动互联网的发展,混合式开发作为一种快速开发的方式已经成为一种趋势,这种方式既可以体现Web应用可以同时适用于IOS平台和Android平台的特点,又能解决Web应用中不能调用操作系统底层资源的问题。当今社交类应用中普遍存在大量的图... 详细信息

随着移动互联网的发展,混合式开发作为一种快速开发的方式已经成为一种趋势,这种方式既可以体现Web应用可以同时适用于IOS平台和Android平台的特点,又能解决Web应用中不能调用操作系统底层资源的问题。当今社交类应用中普遍存在大量的图片,重复图片从服务器多次存取会消耗客户端流量、增加访问延迟,当今混合式开发框架中的缓存机制并不能解决这个问题。因此提出一个可以适用于混合式移动社交应用的图片缓存管理机制,提供缓存图片管理的原生模块供开发者在混合模式下使用,并将其应用于社交应用中。同时提出了一种基于社交关系的图片缓存替换算法,该算法结合了社交应用中用户之间的社交关系亲密值、LRU算法、图片占用空间大小。实际应用表明,该算法可以提高混合式移动社交应用中的缓存命中率。

关键词：混合式应用缓存移动社交移动应用

来源：评论

学校读者我要写书评

暂无评论

基于缓存的分布式统一身份认证优化机制研究

引用

计算机科学 2018年第3期45卷 300-304,310页

作者：杨冬菊冯凯大规模流数据集成与分析技术北京市重点实验室北京100144 北方工业大学云计算研究中心北京100144

企业在进行应用系统集成时,普遍使用独立的身份认证系统来实现平台中身份信息的交换和共享。如何应对高并发、大用户流量的用户请求,是保障认证系统稳定、高效运行的重要问题。针对单认证中心负载过重,容易出现单点失效及系统响应慢的问... 详细信息

企业在进行应用系统集成时,普遍使用独立的身份认证系统来实现平台中身份信息的交换和共享。如何应对高并发、大用户流量的用户请求,是保障认证系统稳定、高效运行的重要问题。针对单认证中心负载过重,容易出现单点失效及系统响应慢的问题,提出了将认证服务器集群化的方案;将认证票据存储在缓存使得多个认证节点共享认证信息,并将重要且频繁使用的数据预存到缓存中以提高响应速度;结合复杂多样的用户行为提出了基于Hybrid的多因素缓存替换算法。实验结果表明,所采用的基于缓存的分布式认证架构能够保证系统的稳定性,提高系统的响应速度,改进的缓存替换算法提高了缓存命中率。

关键词：应用系统集成身份认证高可用性缓存机制缓存替换算法

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：