检索结果-内蒙古大学图书馆

计算机工程与科学 2024年第11期46卷 1949-1959页

作者：黄山吴煜凡吕鹤轩段晓东大连民族大学计算机科学与工程学院辽宁大连116650 大数据应用技术国家民委重点实验室(大连民族大学) 辽宁大连116650 大连市民族文化数字技术重点实验室(大连民族大学) 辽宁大连116650

前馈神经网络BPNN因具有非线性能力强、自学习能力强、自适应能力强以及容错能力强等优点,被广泛应用于行为识别和预测等领域。随着模型的升级优化和数据量的快速增长,基于大数据分布式计算框架的并行训练架构成为主流。ApacheFlink作... 详细信息

前馈神经网络BPNN因具有非线性能力强、自学习能力强、自适应能力强以及容错能力强等优点,被广泛应用于行为识别和预测等领域。随着模型的升级优化和数据量的快速增长,基于大数据分布式计算框架的并行训练架构成为主流。ApacheFlink作为新一代大数据计算框架,因其具有高吞吐量、低时延等特点而被广泛应用。硬件设备更新换代速度的加快以及购买批次不同导致现实生活中Flink集群大多数为异构集群,意味着集群中的计算资源不均衡。现有的BPNN并行训练模型无法解决因计算资源不均衡带来的训练过程中高性能节点空转的问题。此外,异构环境下BPNN的并行训练还存在节点数量增加,节点间的通信开销也随之增加的问题。传统的小批量梯度下降方法拥有较好的寻优效果,但随机的初始化模型和小批量的梯度下降特点导致了BPNN并行化训练出现收敛速度缓慢的问题。针对以上问题,为加快异构环境下BPNN并行化训练速度,提高BPNN并行训练效率,提出了异构微差同步并行训练算法。该算法能够针对异构环境下节点性能不同的情况,对节点性能进行评分,并实时地通过数据分区模块动态地按比例分配数据,使节点性能和节点分配数据量成正比,从而减少高性能节点空转时长。

关键词： Flink BPNN 并行训练异构环境

来源：评论

学校读者我要写书评

暂无评论

面向Flink流处理框架的主动备份容错优化

引用

浙江大学学报（工学版） 2022年第2期56卷 297-305页

作者：刘广轩黄山胡佳丽段晓东大连民族大学计算机科学与工程学院辽宁大连116600 大数据应用技术国家民委重点实验室辽宁大连116600 大连市民族文化数字技术重点实验室辽宁大连116600

针对Flink任务出现故障后因为全局卷回使流处理作业恢复效率低的问题,提出基于缓存队列的容错策略.在作业中找出恢复时间最长的算子作为关键算子,将其处理过的数据存储到缓存队列中,并为其进行主动备份,备份算子同时接受来自上游的数据... 详细信息

针对Flink任务出现故障后因为全局卷回使流处理作业恢复效率低的问题,提出基于缓存队列的容错策略.在作业中找出恢复时间最长的算子作为关键算子,将其处理过的数据存储到缓存队列中,并为其进行主动备份,备份算子同时接受来自上游的数据以达到在故障后作业可以瞬时恢复的效果.为了解决主动备份带来的额外消耗,提出数据过滤算法,备份算子在每次处理数据前会到缓存组件中检索当前数据,以判断是否继续处理.当Flink算子自身出现故障后,利用策略中的缓存队列与Flink的JobManager将故障发生时的数据信息发送给备份算子,在备份算子接收到数据后,实现即时恢复的效果.利用4项评价指标对策略进行评估,结果表明,与Flink1.8的故障恢复模式相比,所提策略在Flink任务故障恢复速度上有显著提升,当故障次数分别为1、2、3、4时,恢复效率分别提高56.3%、51.3%、46.2%和45.8%;而在处理时延、CPU利用率以及内存使用率方面仅产生极小的代价.

关键词： Apache Flink 流处理容错主动备份故障恢复缓存队列

来源：评论

学校读者我要写书评

暂无评论

基于Flink的k-支配skyline体并行求解算法

引用

计算机工程与科学 2023年第1期45卷 17-27页

作者：孙国璋黄山艾力卡木·再比布拉徐浩桐段晓东大连民族大学计算机科学与工程学院辽宁大连116600 大数据应用技术国家民委重点实验室(大连民族大学) 辽宁大连116600 大连市民族文化数字技术重点实验室(大连民族大学) 辽宁大连116600

k-支配skyline算法弱化了数据点之间的支配关系,更适合高维数据。k-支配skyline体适应于多名用户使用k-支配skyline算法查询,而现有的求解算法在时间效率和代码扩展性方面都有待提高。因此,提出了面向多用户的k-支配skyline体求解优化算... 详细信息

k-支配skyline算法弱化了数据点之间的支配关系,更适合高维数据。k-支配skyline体适应于多名用户使用k-支配skyline算法查询,而现有的求解算法在时间效率和代码扩展性方面都有待提高。因此,提出了面向多用户的k-支配skyline体求解优化算法MKSSOA,该算法对每名用户的候选集和中间集分别进行存储,同时在k-支配检查过程中利用2集合中数据点出现的先后次序将候选集中的非k-支配skyline点存储到对应用户的中间集中,以便下一名用户筛选使用,这样可以减少数据点之间的比较次数,避免重复计算,从而提升查询效率。同时,提出了面向多用户的k-支配skyline体并行求解算法MKSPSA,通过Apache Flink并行处理框架有效减少了数据点的比较时间。理论研究和实验结果显示,提出的算法具有较高的效率,能很好地处理多用户k-支配skyline问题。

关键词： k-支配 skyline查询多用户 Apache Flink 并行查询

来源：评论

学校读者我要写书评

暂无评论

Flink水位线动态调整策略

引用

计算机工程与科学 2023年第2期45卷 237-245页

作者：吕鹤轩黄山艾力卡木·再比布拉吴思衡段晓东大连民族大学计算机科学与工程学院辽宁大连116600 大数据应用技术国家民委重点实验室辽宁大连116600 大连市民族文化数字技术重点实验室辽宁大连116600

衡量大数据的数据挖掘性能有2个最重要的任务指标:一是实时性,二是准确性。流数据从数据产生到消息队列再通过数据源流入Flink进行计算,这个过程中因为网络传输速度不同,不同节点的计算性能不同等原因,流数据进入计算框架的先后顺序和... 详细信息

衡量大数据的数据挖掘性能有2个最重要的任务指标:一是实时性,二是准确性。流数据从数据产生到消息队列再通过数据源流入Flink进行计算,这个过程中因为网络传输速度不同,不同节点的计算性能不同等原因,流数据进入计算框架的先后顺序和数据产生的事件时间顺序会有局部乱序的现象。面对窗口作业的传统水位线机制在不确定乱序程度的流数据情况下无法同时兼顾作业结果的实时性和准确性。针对这个问题,建立了流数据微簇模型。通过局部乱序度算法,根据流数据微簇的流数据事件时间局部乱序程度计算出可以代表当前时刻流数据的乱序度。设计了水位线动态调整策略,使水位线根据流数据的乱序程度动态调整大小。最后,在Apache Flink框架中对基于事件时间窗口的水位线动态调整策略进行了实现。实验结果表明,弹性或不确定乱序流数据条件下,基于事件时间窗口的水位线动态调整策略可以有效地同时兼顾窗口作业的准确性和实时性。

关键词： Apache Flink 水位线乱序流数据事件时间

来源：评论

学校读者我要写书评

暂无评论

面向云环境的Flink负载均衡策略

引用

计算机工程与科学 2022年第5期44卷 779-787页

作者：徐浩桐黄山孙国璋贺菲莉段晓东大连民族大学计算机科学与工程学院辽宁大连116600 大数据应用技术国家民委重点实验室(大连民族大学) 辽宁大连116600 大连市民族文化数字技术重点实验室(大连民族大学) 辽宁大连116600

作为新一代的大数据计算引擎,Flink得到了广泛应用。Flink在云环境下进行容器化部署时,其默认任务调度算法不能感知节点的资源信息,导致即时调整负载和自主均衡能力较差,而主流的容器编排工具虽然提供了管理容器的可能性,却也未能结合Fl... 详细信息

作为新一代的大数据计算引擎,Flink得到了广泛应用。Flink在云环境下进行容器化部署时,其默认任务调度算法不能感知节点的资源信息,导致即时调整负载和自主均衡能力较差,而主流的容器编排工具虽然提供了管理容器的可能性,却也未能结合Flink特点解决平衡资源利用的同时降低容器组内的通信开销问题。针对以上问题开展研究,提出了一种面向云环境的Flink负载均衡策略FLBS,综合考虑了Flink集群中算子的分布特点和容器间通信机制,以节点间通信开销和均衡负载作为评估标准。实验结果表明,与Flink默认调度策略相比,FLBS能够有效提高计算效率,提升系统性能。

关键词： Flink 容器通信开销负载均衡迁移

来源：评论

学校读者我要写书评

暂无评论

基于三重注意力的脑肿瘤图像分割网络

引用

中国生物医学工程学报 2022年第1期41卷 57-63页

作者：韩阳宋金淼薛安懿段晓东大连民族大学计算机科学与工程学院辽宁大连116600 大数据应用技术国家民委重点实验室辽宁大连116600 大连市民族文化数字技术重点实验室辽宁大连116600

脑肿瘤图像分割问题是脑肿瘤临床诊断和治疗脑肿瘤疾病计算机辅助诊断的基础。针对脑肿瘤MRI图像分割网络深度过深和局部与全局特征信息联系匮乏导致图像分割精度降低等问题,提出一种基于三重注意力的脑肿瘤图像分割网络。首先,借鉴残... 详细信息

脑肿瘤图像分割问题是脑肿瘤临床诊断和治疗脑肿瘤疾病计算机辅助诊断的基础。针对脑肿瘤MRI图像分割网络深度过深和局部与全局特征信息联系匮乏导致图像分割精度降低等问题,提出一种基于三重注意力的脑肿瘤图像分割网络。首先,借鉴残差结构,将原始图像分割网络结构的编码层和解码层中的卷积模块替换为深度残差模块,解决网络加深带来的梯度消失问题。其次,通过引入三重注意力模块,融合图像局部与全局特征信息,使网络更好地学习重要的图像特征信息,提升网络对脑肿瘤图像的分割精度。最后,在MICCAI比赛发布的BraTS脑肿瘤图像分割数据集上(包括335例患者病例),采用Dice系数等脑肿瘤评价指标进行性能评估。其中,脑肿瘤整体可达85.20%,脑肿瘤核心可达87.10%,增强脑肿瘤区域可达80.80%。实验结果显示,所提出的分割网络能够在不增加计算时间的前提下提高脑肿瘤MRI图像的分割性能。

关键词：脑肿瘤分割三重注意力模块深度残差模块 MRI图像

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的容器化Flink上下游负载均衡策略研究

引用

大连民族大学学报 2023年第1期25卷 47-52页

作者：艾力卡木·再比布拉甄妞黄山段晓东大连民族大学计算机科学与工程学院辽宁大连116650 大连民族大学大数据应用技术国家民委重点实验室辽宁大连116650 大连民族大学大连市民族文化数字技术重点实验室辽宁大连116650

容器化部署Flink时,存在上下游算子的容器内存分配不均衡问题。提出基于深度学习的容器化Flink上下游负载均衡框架,使用CEEMDAN分解方法和BiLSTM相结合的预测方法预测Flink下游容器所需内存,并依据预测结果调整容器内存分配。实验证明:... 详细信息

容器化部署Flink时,存在上下游算子的容器内存分配不均衡问题。提出基于深度学习的容器化Flink上下游负载均衡框架,使用CEEMDAN分解方法和BiLSTM相结合的预测方法预测Flink下游容器所需内存,并依据预测结果调整容器内存分配。实验证明:提出的上下游负载均衡策略可有效减少上游容器的等待时间,缓解下游容器的资源,计算效率提高约20%。

关键词： Flink 容器负载预测容器伸缩深度学习

来源：评论

学校读者我要写书评

暂无评论

三维模型有向三角面片链码压缩方法

引用

图学学报 2021年第2期42卷 237-244页

作者：刘尚武魏巍段晓东刘勇奎大连民族大学计算机科学与工程学院辽宁大连116600 大连民族大学大连市民族文化数字技术重点实验室辽宁大连116600 大连海事大学信息科学技术学院辽宁大连116026

首先提出一种适用于三角面片链码算法的改进MC规格化方法,使用单位为2的体素作为改进MC算法中的单位体素,并使用其中的27个顶点重新构建等值面,最终获取高质量的规格化三角网格模型。在新的规格化模型上提出一种新的面片遍历方式,在三... 详细信息

首先提出一种适用于三角面片链码算法的改进MC规格化方法,使用单位为2的体素作为改进MC算法中的单位体素,并使用其中的27个顶点重新构建等值面,最终获取高质量的规格化三角网格模型。在新的规格化模型上提出一种新的面片遍历方式,在三角面片链码算法的基础上,采用优先遍历右连接面片原则,控制面片的遍历方向,该方法能够减少面片遍历次数,并且延长面片链码的平均长度。实验结果表明,采用新的规格化方法和新的遍历方法,压缩效果与原三角面片链码相比,具有明显的提升。

关键词：面片链码三维模型体素规格化

来源：评论

学校读者我要写书评

暂无评论

面向容器环境的Flink的任务调度优化研究

引用

计算机工程与科学 2021年第7期43卷 1173-1184页

作者：黄山房六一徐浩桐段晓东大连民族大学计算机科学与工程学院辽宁大连116600 大数据应用技术国家民委重点实验室辽宁大连116600 大连市民族文化数字技术重点实验室辽宁大连116600

随着互联网技术的飞速发展,人类正在走向大数据时代与云计算时代。Flink作为最新一代的大数据计算引擎,具有低延迟、高吞吐等优势,受到学术界与工业界的青睐。Flink在云环境下部署时,其默认任务调度由于无法获取容器部署分布信息,会导... 详细信息

随着互联网技术的飞速发展,人类正在走向大数据时代与云计算时代。Flink作为最新一代的大数据计算引擎,具有低延迟、高吞吐等优势,受到学术界与工业界的青睐。Flink在云环境下部署时,其默认任务调度由于无法获取容器部署分布信息,会导致负载分配不均衡。针对这一问题,提出一种面向容器环境的Flink任务调度算法FSACE,获取每个结点性能信息与容器在结点上的分布信息,优先选择空闲资源较多的结点的容器,同时可以避免容器被频繁选中造成负载不均。使用云主机与合成数据集对算法进行评测,评测结果表明,在容器环境下部署时,所提出的算法能更均衡地分配任务,可以提高资源使用率和计算速度。

关键词：容器大数据 Flink 任务调度负载均衡容器环境

来源：评论

学校读者我要写书评

暂无评论

一种基于改进3D卷积的乒乓球球员动作识别算法

引用

计算机科学与应用 2021年第6期11卷 1791-1801页

作者：汪语哲刘明方尹真杰段晓东大连民族大学大数据应用技术国家民委重点实验室辽宁大连大连民族大学大连市民族文化数字技术重点实验室辽宁大连大连民族大学机电工程学院辽宁大连大连民族大学计算机科学与工程学院辽宁大连

文章研究了基于视频的乒乓球球员动作识别问题。在计算机视觉领域,人体动作识别具有一定挑战性。基于专业乒乓球运动员在乒乓球发球机的接发动作视频,构建了乒乓球击球动作视频数据集,将其分为正手击球、反手击球、正手拉球、反手拉球... 详细信息

文章研究了基于视频的乒乓球球员动作识别问题。在计算机视觉领域,人体动作识别具有一定挑战性。基于专业乒乓球运动员在乒乓球发球机的接发动作视频,构建了乒乓球击球动作视频数据集,将其分为正手击球、反手击球、正手拉球、反手拉球和非击球动作5类。提出通过人体密集姿态(Dense Pose)处理数据集,将把人体形态从环境中进行提取,随后提出一种改进的C3D卷积网络,用于学习数据集上连续帧的时空特征。结果表明,文章设计的算法对于光线、环境等干扰因素具有较好的鲁棒性,泛化性能好,为基于视频的动作分类识别问题提出了一种可行解决方案。

关键词：乒乓球击球人体动作识别 3D卷积网络动作分类视频跟踪

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：