检索结果-内蒙古大学图书馆

计算机工程与科学 2017年第2期39卷 267-274页

作者：王菁牛利杰大规模流数据集成与分析技术北京市重点实验室北京100144 北方工业大学数据工程研究院北京100144

随着移动终端深入人们的生活,移动社交APP得到了广泛使用。在移动社交APP中往往会使用大量的图片资源,如微信朋友圈、Instagram的图片分享等。在APP中浏览图片会消耗较多的网络流量,影响加载速度,因此大部分APP采用首先显示缩略图,根据... 详细信息

随着移动终端深入人们的生活,移动社交APP得到了广泛使用。在移动社交APP中往往会使用大量的图片资源,如微信朋友圈、Instagram的图片分享等。在APP中浏览图片会消耗较多的网络流量,影响加载速度,因此大部分APP采用首先显示缩略图,根据用户需求再加载原图的策略。在服务器端也采用缓存技术来加快缩略图产生时间,减少磁盘I/O。但是,当前的缓存机制更多关注的是缓存的访问频率、最近访问时间等因素,并没有过多关注数据生成用户之间的社交关系,也没有考虑移动用户对缩略图和原图的不同访问模式。把缓存划分为两个部分:缩略图缓存区和原图缓存区,提出了基于社交关系的图片缓存替换算法,在传统缓存替换算法的基础上增加用户的社交关系以及缩略图和原图的关联关系,通过计算图片的缓存价值进行缓存替换。实验表明,所提出的基于社交关系的图片缓存替换算法对于缩略图和原图的缓存命中率都有明显提高。

关键词：移动社交缓存价值缩略图缓存区原图缓存区

来源：评论

学校读者我要写书评

暂无评论

HDFS异构集群中的分级存储调度机制

引用

小型微型计算机系统 2017年第1期38卷 29-34页

作者：杨冬菊李青邓崇彬北方工业大学云计算研究中心北京100144 大规模流数据集成与分析技术北京市重点实验室北京100144

大部分存储集群构建时可能包含有遗留设备及新购置设备,这些设备在存储性能方面存在较大差异.采用HDFS默认的机架感知存储策略时,可能使访问频率高的数据存储在低性能节点上,而访问频率低的数据存储在高性能节点上,既影响集群响应时间,... 详细信息

大部分存储集群构建时可能包含有遗留设备及新购置设备,这些设备在存储性能方面存在较大差异.采用HDFS默认的机架感知存储策略时,可能使访问频率高的数据存储在低性能节点上,而访问频率低的数据存储在高性能节点上,既影响集群响应时间,又降低了资源利用率.针对以上问题,提出一种分级存储调度机制.在HDFS机架感知调度策略基础上,首先根据节点的CPU、内存大小、磁盘大小、磁盘I/O等固有硬件性能将节点划分为高配置节点和低配置节点,其次根据节点的CPU使用率、内存使用率、网络带宽使用率、磁盘使用率等性能的动态因素建立节点的性能评价模型,并建立三个性能级别.根据节点配置情况、性能级别及网络位置等多方面因素进行综合调度.同时在集群运行过程中,会根据数据的访问频率对数据块的分布进行动态调整.实验结果表明,本文提出的分级存储调度机制可以在HDFS异构集群中提高数据的访问效率,优化集群性能.

关键词：云存储 HDFS 异构集群分级存储存储调度

来源：评论

学校读者我要写书评

暂无评论

HTML5混合式移动社交应用中缓存管理机制的研究

引用

计算机科学 2017年第2期44卷 82-87,111页

作者：仲媛王菁韩燕波邢起源北方工业大学云计算研究中心北京100144 大规模流数据集成与分析技术北京市重点实验室北京100144

随着移动互联网的发展,混合式开发作为一种快速开发的方式已经成为一种趋势,这种方式既可以体现Web应用可以同时适用于IOS平台和Android平台的特点,又能解决Web应用中不能调用操作系统底层资源的问题。当今社交类应用中普遍存在大量的图... 详细信息

随着移动互联网的发展,混合式开发作为一种快速开发的方式已经成为一种趋势,这种方式既可以体现Web应用可以同时适用于IOS平台和Android平台的特点,又能解决Web应用中不能调用操作系统底层资源的问题。当今社交类应用中普遍存在大量的图片,重复图片从服务器多次存取会消耗客户端流量、增加访问延迟,当今混合式开发框架中的缓存机制并不能解决这个问题。因此提出一个可以适用于混合式移动社交应用的图片缓存管理机制,提供缓存图片管理的原生模块供开发者在混合模式下使用,并将其应用于社交应用中。同时提出了一种基于社交关系的图片缓存替换算法,该算法结合了社交应用中用户之间的社交关系亲密值、LRU算法、图片占用空间大小。实际应用表明,该算法可以提高混合式移动社交应用中的缓存命中率。

关键词：混合式应用缓存移动社交移动应用

来源：评论

学校读者我要写书评

暂无评论

大数据环境下基于元模型控制的数据质量保障技术研究

引用

计算机工程与科学 2019年第2期41卷 197-206页

作者：杨冬菊徐晨阳大规模流数据集成与分析技术北京市重点实验室北京100144 北方工业大学云计算研究中心北京100144

数据集成环节,越来越丰富的异构源数据给集成后数据质量的提升带来了新的挑战和困难。针对传统ETL模型在数据集成后出现的数据冗余、无效、重复、缺失、不一致、错误值及格式出错等数据质量问题,提出了基于元数据模型控制的ETL集成模型... 详细信息

数据集成环节,越来越丰富的异构源数据给集成后数据质量的提升带来了新的挑战和困难。针对传统ETL模型在数据集成后出现的数据冗余、无效、重复、缺失、不一致、错误值及格式出错等数据质量问题,提出了基于元数据模型控制的ETL集成模型,并对数据集成过程中的各种映射规则进行了详细的定义,通过将抽取、转换、加载环节的元模型和映射机制相结合,能够有效地保证集成后数据的数据质量。提出的元模型已经应用到科技资源管理数据集成业务中。通过科技资源管理数据集成实例分析,验证了此数据集成方案能够有效地支撑大数据环境下数据仓库的构建和集成后数据质量的提升。

关键词：大数据数据仓库 ETL 元数据模型映射数据集成

来源：评论

学校读者我要写书评

暂无评论

基于可变时间窗口的增量数据抽取模型

引用

计算机科学 2018年第11期45卷 204-209,230页

作者：刘杰王桂玲左小将北方工业大学计算机学院北京100144 大规模流数据集成与分析技术北京市重点实验室北京100144

基于合适的数据抽取模型持续不断地将变化的数据从各个数据源系统进行抽取集成,是各个异构系统之间进行数据共享融合的关键,也是构建增量式数据仓库来进行数据分析的关键。传统的时间戳变化数据捕获方式存在因数据抽取过程中发生异常而... 详细信息

基于合适的数据抽取模型持续不断地将变化的数据从各个数据源系统进行抽取集成,是各个异构系统之间进行数据共享融合的关键,也是构建增量式数据仓库来进行数据分析的关键。传统的时间戳变化数据捕获方式存在因数据抽取过程中发生异常而导致数据抽取失效,进而影响数据抽取效率的问题。鉴于此,文中借鉴时间窗口的思想,采用先抽取少量重复记录再去重的做法,对传统的时间戳增量数据捕获模型进行了改进,提出了基于可变时间窗口的增量数据抽取模型。该模型减少了异常对数据抽取的影响,增强了时间戳增量数据抽取ETL流程的可靠性,在一定程度上提高了数据的抽取效率。

关键词：变化数据的捕获增量抽取时间戳 ETL

来源：评论

学校读者我要写书评

暂无评论

基于缓存的分布式统一身份认证优化机制研究

引用

计算机科学 2018年第3期45卷 300-304,310页

作者：杨冬菊冯凯大规模流数据集成与分析技术北京市重点实验室北京100144 北方工业大学云计算研究中心北京100144

企业在进行应用系统集成时,普遍使用独立的身份认证系统来实现平台中身份信息的交换和共享。如何应对高并发、大用户流量的用户请求,是保障认证系统稳定、高效运行的重要问题。针对单认证中心负载过重,容易出现单点失效及系统响应慢的问... 详细信息

企业在进行应用系统集成时,普遍使用独立的身份认证系统来实现平台中身份信息的交换和共享。如何应对高并发、大用户流量的用户请求,是保障认证系统稳定、高效运行的重要问题。针对单认证中心负载过重,容易出现单点失效及系统响应慢的问题,提出了将认证服务器集群化的方案;将认证票据存储在缓存使得多个认证节点共享认证信息,并将重要且频繁使用的数据预存到缓存中以提高响应速度;结合复杂多样的用户行为提出了基于Hybrid的多因素缓存替换算法。实验结果表明,所采用的基于缓存的分布式认证架构能够保证系统的稳定性,提高系统的响应速度,改进的缓存替换算法提高了缓存命中率。

关键词：应用系统集成身份认证高可用性缓存机制缓存替换算法

来源：评论

学校读者我要写书评

暂无评论

GitHub开源软件开发过程中影响因素的相关性分析

引用

软件学报 2017年第6期28卷 1330-1342页

作者：杨波于茜张伟吴际刘超北方工业大学计算机学院北京100144 大规模流数据集成与分析技术北京市重点实验室北京100144 北京航空航天大学计算机学院北京100191 中国科学院软件研究所北京100190

通过分析GitHub开源软件的开发过程,提出了问题解决速度、问题增加速度等影响因素,并对这些影响因素间的相关性进行了分析.经过实验证明了有些影响因素之间存在一定的相关性.同时,根据实验的结果还给出了针对GitHub开源软件开发过程的... 详细信息

通过分析GitHub开源软件的开发过程,提出了问题解决速度、问题增加速度等影响因素,并对这些影响因素间的相关性进行了分析.经过实验证明了有些影响因素之间存在一定的相关性.同时,根据实验的结果还给出了针对GitHub开源软件开发过程的一些建议.

关键词： GitHub 影响因素相关性分析开源软件数据挖掘

来源：评论

学校读者我要写书评

暂无评论

基于ARIMA模型的虚拟资源动态调度方法

引用

计算机科学 2017年第10期44卷 14-18,44页

作者：杨冬菊邓崇彬大规模流数据集成与分析技术北京市重点实验室北京100144 北方工业大学云计算研究中心北京100144

将应用部署到云端已经成为业界越来越普遍的做法,高并发、大流量已经成为多数云应用的一大特征。如何应对不断增长的高并发和用户流量的激增、合理利用资源、保障应用的稳定运行是云资源管理需要解决的重要问题。针对基于监控数据进行... 详细信息

将应用部署到云端已经成为业界越来越普遍的做法,高并发、大流量已经成为多数云应用的一大特征。如何应对不断增长的高并发和用户流量的激增、合理利用资源、保障应用的稳定运行是云资源管理需要解决的重要问题。针对基于监控数据进行资源调整的方式容易引发资源调整滞后的问题,提出了一种基于ARIMA预测模型进行资源调整的虚拟资源动态调度方法。该方法能够根据预测的请求量,结合当前资源的负载能力来计算所需的资源规模,从而进行虚拟机资源的配置或释放。实验结果表明,所采用的预测模型能够较好地拟合实验的场景,通过使用基于预测模型的资源调度算法能够及时、有效地保证云服务质量。

关键词：云应用流量激增服务质量预测模型资源动态调度

来源：评论

学校读者我要写书评

暂无评论

一种基于社交关系的移动缓存替换算法

引用

计算机科学 2016年第6期43卷 44-49页

作者：邢起源王菁闫阿宾韩燕波北方工业大学云计算研究中心北京100144 大规模流数据集成与分析技术北京市重点实验室北京100144

近年来移动互联网尤其是Android平台和iOS平台的兴起,移动应用的数量出现了爆炸式增长。这些移动应用中,用户可以发布数据或浏览其他用户发布的数据,由此产生了大量用户生成的数据。当手机使用者想要浏览这些由其他用户生成的数据时,每... 详细信息

近年来移动互联网尤其是Android平台和iOS平台的兴起,移动应用的数量出现了爆炸式增长。这些移动应用中,用户可以发布数据或浏览其他用户发布的数据,由此产生了大量用户生成的数据。当手机使用者想要浏览这些由其他用户生成的数据时,每次都向服务器请求数据的做法是不可取的,比较合适的方法是使用缓存技术将部分数据缓存在移动端,以此来降低数据的请求频率,减小无线网络带宽压力,提升用户体验。传统的缓存技术更多关注的是缓存的访问频率、最近访问时间等因素,但是很少关注数据生成用户之间的社交关系。在存在用户关系的移动网络中,用户相关数据的请求与用户之间的社交关系紧密联系。结合用户之间的社交关系、最近最久访问时间以及缓存中每块数据的大小,提出了一种基于社交关系的移动缓存替换算法。该算法综合计算数据的最近最久访问时间、数据产生用户与使用者之间的亲密值以及缓存占用存储空间的大小,在需要时进行缓存替换。实验证明在移动社交网络中,基于社交关系的缓存替换策略可以提高缓存命中率,使用户获得更好的体验。

关键词：移动社交网络移动应用最近最久未使用亲密值缓存大小

来源：评论

学校读者我要写书评

暂无评论

基于分词矩阵模型的模糊匹配查重算法研究

引用

计算机科学 2017年第B11期44卷 55-60,83页

作者：李成龙杨冬菊韩燕波大规模流数据集成与分析技术北京市重点实验室北京100144 北方工业大学云计算研究中心北京100144

针对中文文本查重的需求,利用分词的结果,将待查重的目标文本和查重样本文本转换为分词矩阵模型,然后扫描和分析矩阵,得到查重结果。由此提出了一种查重算法,并通过实例验证了该算法具有一定的实用效果。

关键词：相似度分词矩阵模型模糊匹配查重算法

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：