检索结果-内蒙古大学图书馆

计算机科学 2016年第6期43卷 44-49页

作者：邢起源王菁闫阿宾韩燕波北方工业大学云计算研究中心北京100144 大规模流数据集成与分析技术北京市重点实验室北京100144

近年来移动互联网尤其是Android平台和iOS平台的兴起,移动应用的数量出现了爆炸式增长。这些移动应用中,用户可以发布数据或浏览其他用户发布的数据,由此产生了大量用户生成的数据。当手机使用者想要浏览这些由其他用户生成的数据时,每... 详细信息

近年来移动互联网尤其是Android平台和iOS平台的兴起,移动应用的数量出现了爆炸式增长。这些移动应用中,用户可以发布数据或浏览其他用户发布的数据,由此产生了大量用户生成的数据。当手机使用者想要浏览这些由其他用户生成的数据时,每次都向服务器请求数据的做法是不可取的,比较合适的方法是使用缓存技术将部分数据缓存在移动端,以此来降低数据的请求频率,减小无线网络带宽压力,提升用户体验。传统的缓存技术更多关注的是缓存的访问频率、最近访问时间等因素,但是很少关注数据生成用户之间的社交关系。在存在用户关系的移动网络中,用户相关数据的请求与用户之间的社交关系紧密联系。结合用户之间的社交关系、最近最久访问时间以及缓存中每块数据的大小,提出了一种基于社交关系的移动缓存替换算法。该算法综合计算数据的最近最久访问时间、数据产生用户与使用者之间的亲密值以及缓存占用存储空间的大小,在需要时进行缓存替换。实验证明在移动社交网络中,基于社交关系的缓存替换策略可以提高缓存命中率,使用户获得更好的体验。

关键词：移动社交网络移动应用最近最久未使用亲密值缓存大小

来源：评论

学校读者我要写书评

暂无评论

大数据环境下基于元模型控制的数据质量保障技术研究

引用

计算机工程与科学 2019年第2期41卷 197-206页

作者：杨冬菊徐晨阳大规模流数据集成与分析技术北京市重点实验室北京100144 北方工业大学云计算研究中心北京100144

数据集成环节,越来越丰富的异构源数据给集成后数据质量的提升带来了新的挑战和困难。针对传统ETL模型在数据集成后出现的数据冗余、无效、重复、缺失、不一致、错误值及格式出错等数据质量问题,提出了基于元数据模型控制的ETL集成模型... 详细信息

数据集成环节,越来越丰富的异构源数据给集成后数据质量的提升带来了新的挑战和困难。针对传统ETL模型在数据集成后出现的数据冗余、无效、重复、缺失、不一致、错误值及格式出错等数据质量问题,提出了基于元数据模型控制的ETL集成模型,并对数据集成过程中的各种映射规则进行了详细的定义,通过将抽取、转换、加载环节的元模型和映射机制相结合,能够有效地保证集成后数据的数据质量。提出的元模型已经应用到科技资源管理数据集成业务中。通过科技资源管理数据集成实例分析,验证了此数据集成方案能够有效地支撑大数据环境下数据仓库的构建和集成后数据质量的提升。

关键词：大数据数据仓库 ETL 元数据模型映射数据集成

来源：评论

学校读者我要写书评

暂无评论

基于ARIMA模型的虚拟资源动态调度方法

引用

计算机科学 2017年第10期44卷 14-18,44页

作者：杨冬菊邓崇彬大规模流数据集成与分析技术北京市重点实验室北京100144 北方工业大学云计算研究中心北京100144

将应用部署到云端已经成为业界越来越普遍的做法,高并发、大流量已经成为多数云应用的一大特征。如何应对不断增长的高并发和用户流量的激增、合理利用资源、保障应用的稳定运行是云资源管理需要解决的重要问题。针对基于监控数据进行... 详细信息

将应用部署到云端已经成为业界越来越普遍的做法,高并发、大流量已经成为多数云应用的一大特征。如何应对不断增长的高并发和用户流量的激增、合理利用资源、保障应用的稳定运行是云资源管理需要解决的重要问题。针对基于监控数据进行资源调整的方式容易引发资源调整滞后的问题,提出了一种基于ARIMA预测模型进行资源调整的虚拟资源动态调度方法。该方法能够根据预测的请求量,结合当前资源的负载能力来计算所需的资源规模,从而进行虚拟机资源的配置或释放。实验结果表明,所采用的预测模型能够较好地拟合实验的场景,通过使用基于预测模型的资源调度算法能够及时、有效地保证云服务质量。

关键词：云应用流量激增服务质量预测模型资源动态调度

来源：评论

学校读者我要写书评

暂无评论

基于分词矩阵模型的模糊匹配查重算法研究

引用

计算机科学 2017年第B11期44卷 55-60,83页

作者：李成龙杨冬菊韩燕波大规模流数据集成与分析技术北京市重点实验室北京100144 北方工业大学云计算研究中心北京100144

针对中文文本查重的需求,利用分词的结果,将待查重的目标文本和查重样本文本转换为分词矩阵模型,然后扫描和分析矩阵,得到查重结果。由此提出了一种查重算法,并通过实例验证了该算法具有一定的实用效果。

关键词：相似度分词矩阵模型模糊匹配查重算法

来源：评论

学校读者我要写书评

暂无评论

基于数字指纹的智能终端缓存一致性技术的研究

引用

小型微型计算机系统 2017年第1期38卷 40-43页

作者：张艳飞王菁韩燕波北方工业大学云计算研究中心北京100041 北方工业大学大规模流数据集成与分析技术北京市重点实验室北京100041

针对智能终端存在与服务器数据不一致的问题,提出基于数字指纹的数据一致性保障方法.数字指纹又叫hash指纹,采用改进的BKDR哈希算法将消息数据和实体文件数据映射成相应的哈希码.将需要进行一致性处理的数据集按合适的粒度进行划分,并在... 详细信息

针对智能终端存在与服务器数据不一致的问题,提出基于数字指纹的数据一致性保障方法.数字指纹又叫hash指纹,采用改进的BKDR哈希算法将消息数据和实体文件数据映射成相应的哈希码.将需要进行一致性处理的数据集按合适的粒度进行划分,并在SOAP消息中附带hash指纹提取协议,智能终端通过Web服务从服务器端获取需要的hash指纹信息文件,然后通过比较智能终端和服务器的hash指纹信息文件消除差异,从而保障智能终端缓存与服务器数据的一致性.

关键词：智能终端数据一致性数字指纹数据缓存 Web服务

来源：评论

学校读者我要写书评

暂无评论

GitHub开源软件开发过程中影响因素的相关性分析

引用

软件学报 2017年第6期28卷 1330-1342页

作者：杨波于茜张伟吴际刘超北方工业大学计算机学院北京100144 大规模流数据集成与分析技术北京市重点实验室北京100144 北京航空航天大学计算机学院北京100191 中国科学院软件研究所北京100190

通过分析GitHub开源软件的开发过程,提出了问题解决速度、问题增加速度等影响因素,并对这些影响因素间的相关性进行了分析.经过实验证明了有些影响因素之间存在一定的相关性.同时,根据实验的结果还给出了针对GitHub开源软件开发过程的... 详细信息

通过分析GitHub开源软件的开发过程,提出了问题解决速度、问题增加速度等影响因素,并对这些影响因素间的相关性进行了分析.经过实验证明了有些影响因素之间存在一定的相关性.同时,根据实验的结果还给出了针对GitHub开源软件开发过程的一些建议.

关键词： GitHub 影响因素相关性分析开源软件数据挖掘

来源：评论

学校读者我要写书评

暂无评论

基于残差修正GM(1,1)模型的车流量预测

引用

计算机科学 2017年第4期44卷 96-99,130页

作者：赵卓峰杨宗润北方工业大学计算机学院北京100144 大规模流数据集成与分析技术北京市重点实验室北京100144

车流量预测是城市智能交通系统研究中的热难点问题之一,精确的车流量预测能有效地支持智能交通系统的发展,减少拥堵。同时车流量预测的精确度密切关系着居民的出行质量。然而车流量受诸多因素的不同程度的影响,具有一定程度的随机性、... 详细信息

车流量预测是城市智能交通系统研究中的热难点问题之一,精确的车流量预测能有效地支持智能交通系统的发展,减少拥堵。同时车流量预测的精确度密切关系着居民的出行质量。然而车流量受诸多因素的不同程度的影响,具有一定程度的随机性、灰色性和不确定性,从城市交叉路口得到的车流量监控数据也具有一定程度的缺失和偏差,简单、准确且高效地预测车流量成为一个挑战。基于交叉路口采集到的车牌识别数据,通过对比经典GM(1,1)得到的预测值与真实值计算出残差,用残差去修正计算模型进而得到修正GM(1,1)模型,再用得到的修正模型迭代处理同一数据集,最后,数值稳定收敛且精度高于未修正模型的结果。

关键词：车流量预测 GM(1,1)灰度模型残差

来源：评论

学校读者我要写书评

暂无评论

基于LSTM的设备故障在线检测方法

引用

计算机工程与应用 2020年第1期56卷 272-278页

作者：周剑飞刘晨北方工业大学大规模流数据集成与分析技术北京市重点实验室北京100144 北方工业大学计算机科学与技术学院北京100144

在工业4.0时代,随着IoT的广泛应用,工业设备的故障检测对于提高设备的可靠性具有重要的意义。在实际的工业场景中,由于设备之间的关系复杂多变,难以用统一的模型来表示设备的运行状态。近年来,随着深度学习技术的不断发展与进步,深度学... 详细信息

在工业4.0时代,随着IoT的广泛应用,工业设备的故障检测对于提高设备的可靠性具有重要的意义。在实际的工业场景中,由于设备之间的关系复杂多变,难以用统一的模型来表示设备的运行状态。近年来,随着深度学习技术的不断发展与进步,深度学习技术成为故障检测的主流解决方案。提出了一种基于长短记忆神经网络的在线故障检测模型,采用曲线排齐方法对传感器数据进行特征提取,基于长短时记忆神经网络(LSTM)开发故障检测模型,最后借助滑动窗口技术实现了设备故障的在线检测以及模型的在线更新。基于真实的发电厂传感数据进行了实验验证,实验结果表明了该方法的有效性。

关键词：故障检测特征提取长短时记忆神经在线更新

来源：评论

学校读者我要写书评

暂无评论

存储中的副本分级存储调度策略

引用

计算机科学 2017年第4期44卷 85-89页

作者：杨冬菊李青北方工业大学云计算研究中心北京100144 大规模流数据集成与分析技术北京市重点实验室北京100144

当集群中的部分节点是廉价主机时,采用HDFS的随机存储策略可能使访问频率高的数据存储在廉价节点上,受到廉价节点的性能影响,访问时间过长,降低了集群效率。为改善以上问题,提出一种改进的副本分级存储调度策略。为减少副本调度的次数,... 详细信息

当集群中的部分节点是廉价主机时,采用HDFS的随机存储策略可能使访问频率高的数据存储在廉价节点上,受到廉价节点的性能影响,访问时间过长,降低了集群效率。为改善以上问题,提出一种改进的副本分级存储调度策略。为减少副本调度的次数,先根据节点的CPU、内存、网络、存储负载以及网络距离来评价节点的性能,再从中选取高性能节点进行存储。副本调度以节点中副本的访问频率为依据,结合硬件配置,把访问频率高的副本尽可能存储在高性能、高配置的节点中,以加快集群响应速度。实验结果表明,改进后的策略可以在异构集群中提高副本的访问效率,优化负载均衡。

关键词：云存储 HDFS 分级存储副本调度

来源：评论

学校读者我要写书评

暂无评论

基于数据集元特征的超参数优化方法

引用

燕山大学学报 2023年第3期47卷 273-282页

作者：焦博扬王菁朱峰郭浩浩杨中国北方工业大学大规模流数据集成与分析技术北京市重点实验室北京100144 北京国电通网络技术有限公司北京100070

超参数优化问题一直是自动化机器学习研究的重点问题,针对特定的需求建立机器学习模型,需要调整大量的超参数。其中,超参数组合形成了大规模的超参数搜索空间,从而需要大量的运行时间。然而,有效探索大量超参数组合具有一定的挑战,现有... 详细信息

超参数优化问题一直是自动化机器学习研究的重点问题,针对特定的需求建立机器学习模型,需要调整大量的超参数。其中,超参数组合形成了大规模的超参数搜索空间,从而需要大量的运行时间。然而,有效探索大量超参数组合具有一定的挑战,现有的自动化超参数优化方法时间复杂度很高。为此,利用相似数据集的最优超参数区间的历史知识,提出了一种基于数据集元特征的超参数优化方法。首先,使用自动化机器学习系统寻找最优超参数的区间范围,然后对历史数据集元特征采用递归特征消除法进行特征提取作为特征向量,将此特征向量与最优超参数区间的对应关系利用XGBoost算法建立预测模型,并使用该模型预测新数据集的最优超参数区间。对OpenML平台的数据集进行实验,结果表明该方法预测的最优超参数区间的精度达87%。同时,把此预测区间作为自动化机器学习系统的搜索空间范围,在很大程度上缩短了运行时间,且确保一定的性能。

关键词：超参数优化自动化机器学习数据集元特征递归特征消除特征向量

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：