检索结果-内蒙古大学图书馆

计算机应用与软件 2016年第8期33卷 99-104页

作者：马倩王菁王岗北方工业大学大规模流数据集成与分析技术北京市重点实验室北京100144

随着教学信息化的不断深化,校园云平台越来越普及,但是实际应用中资源利用率仍然较低,核心问题在于当前的虚拟机调度机制未考虑校园应用的特征,从而导致负载不均和资源浪费。为了解决这一问题,提出面向校园云平台的虚拟机调度机制,定义... 详细信息

随着教学信息化的不断深化,校园云平台越来越普及,但是实际应用中资源利用率仍然较低,核心问题在于当前的虚拟机调度机制未考虑校园应用的特征,从而导致负载不均和资源浪费。为了解决这一问题,提出面向校园云平台的虚拟机调度机制,定义课程需求模型、物理机负载模型,并在此基础上提出虚拟机部署方法。该机制可适应教学应用周期性、可预测性、批量性等特点,并实现节能及负载均衡的目标。实际平台验证表明,该机制可有效降低能耗并实现负载均衡。

关键词：校园云调度机制虚拟机放置降低能耗负载均衡

来源：评论

学校读者我要写书评

暂无评论

基于ISE算法的分布式ETL任务调度策略研究

引用

计算机科学 2019年第12期46卷 1-7页

作者：王卓昊杨冬菊徐晨阳中国科学技术信息研究所北京100038 大规模流数据集成与分析技术北京市重点实验室北京100144 北方工业大学数据工程研究院北京100144

随着数据仓库的规模不断扩大,数据集成下的ETL(Extraction-Transformation-Loading)任务也随之增多,单机调度显然已经不能满足当下繁多复杂的ETL任务调度。针对ETL任务调度如何提高效率、缩短关键任务等待时间、提升资源利用率等问题,... 详细信息

随着数据仓库的规模不断扩大,数据集成下的ETL(Extraction-Transformation-Loading)任务也随之增多,单机调度显然已经不能满足当下繁多复杂的ETL任务调度。针对ETL任务调度如何提高效率、缩短关键任务等待时间、提升资源利用率等问题,构建了一套分布式ETL任务调度框架,该框架由调度器和若干执行器组成,通过任务预处理、任务调度分配、任务执行3个阶段来完成ETL任务调度。在任务预处理阶段,对ETL任务建立权重模型,并根据权重确定调度优先级。在任务调度分配阶段,调度器根据各个执行器节点的性能及负载情况来约束执行器节点的选择,并设计贪心平衡(Greedy Balance,GB)算法来进行ETL任务执行请求的分发,使执行器节点的负载相对均衡。在任务执行阶段,通过高响应比优先(Highest Response Ratio Next,HRRN)算法确定执行器节点队列下任务的执行优先级。实验结果表明,分布式ETL任务调度框架及相应的一体化调度执行(Integrated Scheduling Execution,ISE)算法能够有效提高集群资源的利用率,缩短任务调度的执行时间。

关键词：任务调度负载均衡动态分配分布式集群 ETL 数据集成

来源：评论

学校读者我要写书评

暂无评论

基于HBase的交通数据区域查询方法

引用

计算机与数字工程 2017年第2期45卷 230-234,278页

作者：李冬房俊北方工业大学大规模流数据集成与分析技术北京市重点实验室北京100041

随着智能交通的发展,交通数据呈现出指数性增长。为了提升时空区域查询性能,论文提出了一种基于HBase的交通数据区域查询方法 HRQ。该方法利用交通数据的三维时空特性,采用Geohash算法将交通数据的经纬度信息转为Geohash编码,然后与时... 详细信息

随着智能交通的发展,交通数据呈现出指数性增长。为了提升时空区域查询性能,论文提出了一种基于HBase的交通数据区域查询方法 HRQ。该方法利用交通数据的三维时空特性,采用Geohash算法将交通数据的经纬度信息转为Geohash编码,然后与时间组合作为HBase行键,并设计了相应的查询算法。实验结果表明,与直接组合经纬度和时间作为行键的方法相比,在基于时间范围的区域查询上HRQ方法的性能要高30%以上,在基于区域范围的区域查询上HRQ的性能优势随着查询区域的增大而增加。

关键词： HBase Geohash算法区域查询海量交通数据时空特性

来源：评论

学校读者我要写书评

暂无评论

面向校园云平台的虚拟机综合调度方法

引用

计算机与数字工程 2015年第10期43卷 1736-1741页

作者：王岗王菁高晶马倩北方工业大学大规模流数据集成与分析技术北京市重点实验室北京100144

论文从高校教学和科研应用需求出发,提出了面向校园云平台的虚拟机综合调度策略,定义了科研需求模型、教学需求模型,提出了一种虚拟机综合调度算法(CSA)。并实现了基于OpenStack开源云平台的可对云资源进行综合管理的校园云平台,通过实... 详细信息

论文从高校教学和科研应用需求出发,提出了面向校园云平台的虚拟机综合调度策略,定义了科研需求模型、教学需求模型,提出了一种虚拟机综合调度算法(CSA)。并实现了基于OpenStack开源云平台的可对云资源进行综合管理的校园云平台,通过实验验证了论文提出的虚拟机调度方法可满足高校的教学和科研应用需求,同时达到降低能耗及实现负载均衡的目标。

关键词：云计算 OpenStack 校园云平台节能负载均衡

来源：评论

学校读者我要写书评

暂无评论

综合数据特征与服务关联的机器学习流程生成

引用

计算机与数字工程 2020年第12期48卷 2875-2880页

作者：赵汝涛王菁北方工业大学大规模流数据集成与分析技术北京市重点实验室北京100144

针对数据分析领域中根据数据集自动生成机器学习流程耗时长性能低的问题,从数据特征与服务关联相结合的角度入手,提出一种DFSR(数据特征与服务关联)方法,可根据数据集自动生成机器学习流程,实验结果表明,其生成流程的性能达到了当前Aut... 详细信息

针对数据分析领域中根据数据集自动生成机器学习流程耗时长性能低的问题,从数据特征与服务关联相结合的角度入手,提出一种DFSR(数据特征与服务关联)方法,可根据数据集自动生成机器学习流程,实验结果表明,其生成流程的性能达到了当前AutoML较好水平,在耗时方面缩短至分钟级别,整体结果更加均衡。

关键词： AutoML 服务关联 MCTS 流程挖掘

来源：评论

学校读者我要写书评

暂无评论

基于车牌识别大数据的伴随车辆组发现方法

引用

计算机应用 2015年第11期35卷 3203-3207页

作者：曹波韩燕波王桂玲山东科技大学信息科学与工程学院山东青岛266590 大规模流数据集成与分析技术北京市重点实验室(北方工业大学) 北京100144

基于对车牌识别大数据的处理与分析,可以完成伴随车辆组的发现,在涉案车辆追踪等方面具有广泛的应用。然而当前单一机器模式下伴随车辆组发现算法存在时间和空间上处理性能低下等问题。针对此问题,提出了一种伴随车辆组发现方法——FP-... 详细信息

基于对车牌识别大数据的处理与分析,可以完成伴随车辆组的发现,在涉案车辆追踪等方面具有广泛的应用。然而当前单一机器模式下伴随车辆组发现算法存在时间和空间上处理性能低下等问题。针对此问题,提出了一种伴随车辆组发现方法——FP-DTC方法。该方法将传统的FP-Growth算法利用分布式处理框架Spark进行了并行化,并作了相应的改进和优化来更加高效地发现伴随车辆组。实验结果的分析表明,提出的方法能够很好地解决车牌识别大数据上的伴随车辆组发现问题,性能相比采用同样方法的Hadoop实现提升了近4倍。

关键词：智能交通系统车牌识别伴随车辆组 FP-Growth算法 Spark并行框架

来源：评论

学校读者我要写书评

暂无评论

云环境下面向感知数据汇集的通信服务系统设计与实现

引用

软件 2016年第2期37卷 155-159页

作者：王晓晖乔通北方工业大学大学规模流数据集成与分析技术北京市重点实验室北京100041

随着物联网技术的广泛应用和各类传感器的大量部署,越来越多的体现物理世界状态信息的感知数据被采集,而为了有效利用这些感知数据支撑智能家居、智慧环境等新型应用,需要为多源、多类感知数据的汇集管理提供有效的支撑。现有的技术在... 详细信息

随着物联网技术的广泛应用和各类传感器的大量部署,越来越多的体现物理世界状态信息的感知数据被采集,而为了有效利用这些感知数据支撑智能家居、智慧环境等新型应用,需要为多源、多类感知数据的汇集管理提供有效的支撑。现有的技术在高并发、高吞吐量、多源感知数据的通信以及实时存储等方面难以满足需求。本文针对感知数据实时、多源、海量等特点设计了一种云环境下面向感知数据汇集的通信服务器系统。该系统能够基于一种统一的数据通信协议和云端实时数据库技术,实现感知数据的高并发连接、实时存储,并为不同数据所有者提供自助式的感知设备接入与感知数据管理web交互应用。相关应用实例及实验表明该系统可以为云端的感知数据汇集和存储提供有效支持。

关键词：实时多源集成设计通信服务器

来源：评论

学校读者我要写书评

暂无评论

一种基于HBase的交通旅行时间计算方法

引用

软件导刊 2015年第8期14卷 22-26页

作者：乔彦克陆婷北方工业大学大规模流数据集成与分析技术北京市重点实验室北京100144

旅行时间计算是智能交通系统研究的重要内容，准确的旅行时间计算结果可以为交通管控部门提供决策支持，缓解交通拥堵情况。近年来，随着监测水平的提高，交通监测数据呈现海量增长趋势。传统的关系型数据库应对海量数据时存在高并发读... 详细信息

旅行时间计算是智能交通系统研究的重要内容，准确的旅行时间计算结果可以为交通管控部门提供决策支持，缓解交通拥堵情况。近年来，随着监测水平的提高，交通监测数据呈现海量增长趋势。传统的关系型数据库应对海量数据时存在高并发读写和扩展性不足等瓶颈。为解决智能交通因数据规模过大带来的存储和查询问题，提出了一种基于HBase的交通旅行时间计算方法，设计了面向查询优化的行键策略，并在此基础上提出了单时段及多时段旅行时间计算方法。实验表明，该计算方法与传统的基于Oracle的算法相比，时间效率提高2～3倍，并且有较高的读写性能及良好的可扩展性。

关键词：旅行时间海量数据 HBase 智能交通

来源：评论

学校读者我要写书评

暂无评论

基于大规模船舶轨迹数据的航道边界提取方法

引用

计算机应用 2019年第1期39卷 105-112页

作者：徐垚李卓然孟金龙赵利坡温建新王桂玲中电科海洋信息技术研究院有限公司岸基信息系统部北京100041 大规模流数据集成与分析技术北京市重点实验室(北方工业大学) 北京100144 北方工业大学计算机学院北京100144

传统的道路数据获取方法成本高、更新慢等无法适用于海洋航道的获取,从众源轨迹数据中提取道路或航道信息具有成本低、更新快等特性,然而,由于船舶轨迹数据噪声多、数据量大、不同区域分布不均使得航道边界提取面临较大挑战。针对该问题... 详细信息

传统的道路数据获取方法成本高、更新慢等无法适用于海洋航道的获取,从众源轨迹数据中提取道路或航道信息具有成本低、更新快等特性,然而,由于船舶轨迹数据噪声多、数据量大、不同区域分布不均使得航道边界提取面临较大挑战。针对该问题,提出一种基于大规模船舶轨迹数据进行航道边界提取的方法。首先对大规模的船舶轨迹数据进行并行化去噪、插值、轨迹分段;然后,基于并行化及基于Geohash编码的空间聚类,将轨迹数据化简为多个方形区域的点集数据;其次,对其进行窗口划分,对传统的Ni Black方法进行扩展,提出Spatial Ni Black算法,对方形区域进行航道识别;最后,提出一种新的提取算法del-alpha-shape,基于航道识别结果获得航道边界。理论分析与实验结果表明,所提方法在最大密度值是200,最小密度值是10,窗口长和宽分别为5和5时,可同时达到86. 7%的准确率和79. 4%的召回率。实验结果表明,该方法可以从大规模的轨迹数据中提取有价值的航道边界,是一种有效的航道提取方法。

关键词：轨迹数据自动识别系统时空大数据 Delaunay三角网航道提取

来源：评论

学校读者我要写书评

暂无评论

面向谐波分析的电力系统数字仿真系统研究

引用

计算机工程与科学 2018年第2期40卷 304-312页

作者：王同勋李寒周胜军李亚琼谈萌全球能源互联网研究院先进输电技术国家重点实验室北京102211 北方工业大学计算机学院北京100144 大规模流数据集成与分析技术北京市重点实验室北京100144

随着现代电网规模的不断扩大和谐波污染的不断加深,对电力系统中的谐波进行仿真分析的需求越来越迫切。针对现有电力系统数字仿真系统在谐波分析功能完整性和扩展性方面存在的不足,结合计算机可视化技术、Web技术和谐波分析技术,探讨并... 详细信息

随着现代电网规模的不断扩大和谐波污染的不断加深,对电力系统中的谐波进行仿真分析的需求越来越迫切。针对现有电力系统数字仿真系统在谐波分析功能完整性和扩展性方面存在的不足,结合计算机可视化技术、Web技术和谐波分析技术,探讨并设计了面向谐波分析的电力系统数字仿真系统。该系统充分考虑谐波分析和用户的使用需求,支持传统和新型的谐波分析模型,采用SVG和JavaScript技术支撑单线图的可视化绘制,采用SVG和JavaScript实现结果的可视化。文中给出的仿真实例验证了面向谐波分析的电力系统数字仿真系统的可行性。该系统能够有效支撑多种类型的谐波分析,增强谐波分析的直观性,并具有良好的交互性和可扩展性。

关键词：仿真谐波分析电力系统可视化 SVG

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：