检索结果-内蒙古大学图书馆

信息技术与信息化 2023年第12期 21-24页

作者：杨冬亮焦淼韩源冬西安微电子技术研究所陕西西安710054

先进装备的新型信息处理平台采用高性能多核处理器为核心的一体化架构,来满足高性能和智能化需求。为了支撑密集计算任务,需要并行计算框架来解决多核同步、负载均衡、任务调度、数据分发等并行计算应用难题。然而,现有的并行计算框架... 详细信息

先进装备的新型信息处理平台采用高性能多核处理器为核心的一体化架构,来满足高性能和智能化需求。为了支撑密集计算任务,需要并行计算框架来解决多核同步、负载均衡、任务调度、数据分发等并行计算应用难题。然而,现有的并行计算框架多为基于Linux的开源框架,不支持国产多核处理器;同时,基于并行计算框架的编程方式与传统的以控制算法为中心的结构化编程思路不同,对于习惯了C/C++编写串行程序的用户,基于并行计算框架编程面临许多难题。针对上述问题,在解决国产多核处理器操作系统并行计算框架适配问题的同时,基于低代码设计思想,研究简化并行计算框架编程方法、提升并行应用编程效率的技术途径,通过可视化组件配置与代码自动生成的方式,真正地降低并行编程难度,充分发挥国产多核处理器的并行计算效能。

关键词：嵌入式操作系统并行计算框架模型驱动低代码可视化组件

来源：评论

学校读者我要写书评

暂无评论

HopeFOAM间断有限元高阶并行计算框架关键技术研究

HopeFOAM间断有限元高阶并行计算框架关键技术研究

引用

作者：徐利洋国防科技大学

学位级别：博士

随着高性能计算的不断发展和计算理论的日益成熟,计算流体力学(Computational Fluid Dynamics,CFD)在科学研究与工业应用领域发挥着越来越重要的作用,可以有效降低研发成本、缩短开发周期、优化设计并提供可靠保障,将成为我国经济转型... 详细信息

随着高性能计算的不断发展和计算理论的日益成熟,计算流体力学(Computational Fluid Dynamics,CFD)在科学研究与工业应用领域发挥着越来越重要的作用,可以有效降低研发成本、缩短开发周期、优化设计并提供可靠保障,将成为我国经济转型升级和“智能制造2025”中举足轻重的一环。CFD发展至今已广泛应用于实际工程中,而为精细刻画工程中临近边界处的复杂湍流,高精度数值模拟正成为未来CFD发展的趋势,其中高阶精度格式是其中一个重要方向,间断有限元(Discontinuous Galerkin Finite Element Method,DG-FEM)具有守恒性、高阶格式、非结构网格和稳定性等优点,是当前最有潜力的高阶方法之一。CFD并行应用开发横跨物理模型、数值计算、计算机等多领域,但目前面向高阶方法的开发框架匮乏,一定程度制约了高阶方法的发展和应用,为此,本博士课题基于开源软件Open FOAM,设计实现间断有限元高阶计算框架HopeFOAM,同时进行基于框架的不可压流体模拟稳定性、可压流体限制器、高阶并行计算性能优化等关键技术研究,主要工作和创新点如下:·设计实现了高阶间断有限元并行计算框架HopeFOAM(第二章)。深度挖掘有限体积法、有限元法和间断有限元法之间的关系,提出了基于开源有限体积CFD软件Open FOAM来开发间断有限元离散的方案,通过层次化架构来支撑高阶、高性能和可扩展性等特性,设计实现了HopeFOAM的高阶离散核心层、可扩展的离散系统描述层、前后处理工具等层次和重要组成模块,成功实现了完整CFD流程的高阶离散和运算,同时继承并扩展了原始Open FOAM的用户接口,使用户可以接近“零编程”来实现高阶应用开发。·全面分析了间断速度连续压力的不可压流体求解方法的时间、空间稳定性,为高阶间断和连续有限元混合方法(DG-CG)的运用提供依据(第三章)。本文讨论分析了基于DG-CG的INS求解器在小时间步下和高雷诺数下的时空稳定性,借助Pearson Vortex案例成功复现了纯DG下的小时间步不稳定性,同时测试了DG-CG的表现;采用特征值谱方法进一步说明了DG-CG方法的时间迭代稳定性;最后使用Poiseuille案例分析了DG-CG方法在高雷诺数下的空间稳定性,展示了粘性系数、离散阶次、网格尺度对数值稳定性的影响。·提出并实现了HopeFOAM的高阶限制器-探测器通用方案(第四章)。限制器-探测器对于保持高阶方法在激波问题中的稳定性至关重要,然而众多的种类适合于不同的情况,给限制器-探测器的实现和使用带来了困难。本文分析了主流的斜率、矩和WENO限制器,以及minmod、KXRCF探测器,提取并抽象出通用的计算过程,设计实现了基于HopeFOAM的一套统一的限制器-探测器接口,简化扩展开发的难度。在一系列带有激波间断的案例测试中,HopeFOAM表现出了高阶的收敛精度和数值稳定性。·在HopeFOAM中实现了基于Matrix-Free的线性系统性能优化,将有效支撑高阶和高维问题的模拟(第五章)。将Matrix-Free方法引入到HopeFOAM中,扩展了当前基于PETSc的线性系统,开发了针对无矩阵方法的数据成员类,并保持上层用户接口的一致性;实现了基于克罗内克积的高效矩阵向量乘法,有效缓解了访存限制,并设计了基于矩阵分块的显式向量化操作来提高处理器计算能力的利用率。在案例测试中,Matrix-Free方法具有良好的可扩展性,相比于传统的实现方法,在二维显式模拟中最高获得7倍加速比,而三维下加速比达到32倍。

关键词：间断有限元高阶离散并行计算框架计算流体力学 HopeFOAM

来源：评论

学校读者我要写书评

暂无评论

一种对象化并行计算框架

引用

计算机系统应用 2015年第7期24卷 35-40页

作者：唐云善缪巍巍国网电力科学研究院信息通信技术分公司南京210006 国网江苏省电力公司信息通信分公司南京210006

分布式计算、并行计算、内存计算是目前提高计算性能的关键技术和热点研究领域.在大数据环境下,针对数据型统计分析系统性能劣化明显、不能满足用户使用需求的问题,提出了一种轻量级高性能对象化并行计算架构,研制了该架构的对象服务组... 详细信息

分布式计算、并行计算、内存计算是目前提高计算性能的关键技术和热点研究领域.在大数据环境下,针对数据型统计分析系统性能劣化明显、不能满足用户使用需求的问题,提出了一种轻量级高性能对象化并行计算架构,研制了该架构的对象服务组件、对象管理服务组件和客户端代理组件,并将该架构和组件在国家电网资产质量监督管理系统中进行了验证应用,其效果表明该框架能大幅提升大数据处理效率.

关键词：并行计算框架分布式计算内存计算

来源：评论

学校读者我要写书评

暂无评论

基于SC_Tangram的并行FMM设计与实现

基于SC_Tangram的并行FMM设计与实现

引用

作者：丁磊中国科学院大学

学位级别：硕士

数值模拟是现代科学研究的一个重要组成部分。随着并行计算与异构计算技术的发展，领域专家们必须时刻紧跟最新的体系结构与编程范式，以获得更高的计算性能，求解更大规模的问题。框架软件的出现为硬件与编程方法提供了抽象，使得领域... 详细信息

数值模拟是现代科学研究的一个重要组成部分。随着并行计算与异构计算技术的发展，领域专家们必须时刻紧跟最新的体系结构与编程范式，以获得更高的计算性能，求解更大规模的问题。框架软件的出现为硬件与编程方法提供了抽象，使得领域专家们能够将重心更多地集中在科学计算的问题上。　　SC_Tangram是中国科学院计算机网络信息中心研制的并行计算框架，具有动态负载均衡特性。其组件化的开发方式有助于高效实现并行应用。N-body问题是高性能计算领域的一类基本问题，其求解核心在于快速计算的粒子间的相互作用力。快速多极子方法（Fast Multipole Method，FMM）是求解N体问题的一种典型方法。在FMM的执行过程中，容易产生负载不均衡的情况，导致计算效率的降低。基于SC_Tangram的FMM实现有助于缓解该问题。　　本文分析了SC_Tangram框架的底层通信原理，阐述了FMM并行化的原理，讨论了并行FMM的必要通信。为解决框架缺少alltoallv与allreduce通信操作的问题，参考框架中其他通信关键字的实现，实现了FMM_alltoallv与FMM_allreduce关键字。为解决框架不支持C++标准库数据类型的问题，本文分析讨论并给出了在框架中传递复杂数据类型的方案，实现了序列化工具SPUP，用于将跨越迭代的复杂数据类型转换为字节流。　　最终，本文实现了并行FMM，并对其进行了正确性、扩展性与负载均衡测试。结果表明，基于SC_Tangram实现的并行FMM程序在千核规模的执行速度快于MPI实现的并行FMM程序。在粒子分布不均衡的情况下，基于框架实现的FMM程序利用过分解与动态负载均衡特性，减少了约10％的执行时间。　　本文为FMM的负载不均衡问题提供了解决方案，为SC_Tangram提供了新的通信关键字与新的组件，丰富了SC_Tangram的表现能力，并为今后其他的框架组件实现提供了参考。

关键词： N体问题快速多极子方法并行计算框架负载均衡

来源：评论

学校读者我要写书评

暂无评论

智源研究院发布大规模并行训练效率提升器 003

智源研究院发布大规模并行训练效率提升器

引用

中国科学报

作者：郑金武

本报讯近日，北京智源人工智能研究院（简称智源研究院）发布大规模并行训练效率提升器TDS。作为超大规模智能模型系统“悟道”的阶段进展，TDS（Tsinghua/Temporary DeepSpeed）插件将进一步优化现今最流行的DeepSpeed 并行计算框架... 详细信息

本报讯近日，北京智源人工智能研究院（简称智源研究院）发布大规模并行训练效率提升器TDS。作为超大规模智能模型系统“悟道”的阶段进展，TDS（Tsinghua/Temporary DeepSpeed）插件将进一步优化现今最流行的DeepSpeed 并行计算框架，从而“多快好省”地训练一个大模型。

关键词：大规模并行并行计算框架 GPU 提升器研究院训练效率

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的用户画像技术研究

基于深度学习的用户画像技术研究

引用

作者：陈明毅上海交通大学

学位级别：硕士

用户画像是一种运用真实数据描绘用户全貌的技术。企业通过建立用户画像,能够更加合理地定位产品,并采用更具针对性的营销方法。这一技术以它的实用性和有效性,已在实践中得到了广泛的应用。与此同时,近些年来得到迅速发展的深度学习技... 详细信息

用户画像是一种运用真实数据描绘用户全貌的技术。企业通过建立用户画像,能够更加合理地定位产品,并采用更具针对性的营销方法。这一技术以它的实用性和有效性,已在实践中得到了广泛的应用。与此同时,近些年来得到迅速发展的深度学习技术开始进入大众视野。如何结合深度学习来描绘用户画像成为了新的技术关注点。本文就如何更有效地使用深度学习的方法来刻画用户画像进行了重点研究。本文运用多层感知器等相关理论知识,设计了一个结合深度学习来有效刻画用户画像的方案。首先根据用户的URL访问列表,构建起符合用户特征的标签体系,然后使用标注好的数据集对模型进行训练,针对数据集的不同特点设计了三种模型。接着在分布式计算框架上部署训练好的模型完成用户画像的描绘。实验结果表明,不同模型在不同数据集上有不同的效果。对于用户性别和年龄标签,基于URL的模型具有更好的刻画效果,准确度接近百分之八十;而对于用户兴趣,基于关键词的模型构建方式更具优势,针对部分标签的准确度超过了百分之七十。其次,通过部署在Spark分布式计算框架上的方式,模型的运行速度提高了20倍左右,取得了显著的效果。

关键词：大数据深度学习用户画像并行计算框架

来源：评论

学校读者我要写书评

暂无评论

NetCDF物理海洋数据云存储技术研究

引用

海洋技术学报 2019年第4期38卷 71-78页

作者：夏伟艾波杨应召尚恒帅山东科技大学海岛(礁)测绘技术国家测绘地理信息局重点实验室山东青岛266590 青岛阅海信息服务有限公司山东青岛266510 苏州工业园区测绘地理信息有限公司江苏苏州215027

物理海洋数据具有多维、时空和海量等特征,主要以NetCDF结构化文件格式进行存储。然而,在分布式环境中,结构化文件存在数据块寻址困难、边界不易判定等问题,制约着大数据场景下的存储及应用。论文设计基于HDFS+Spark的NetCDF物理海洋数... 详细信息

物理海洋数据具有多维、时空和海量等特征,主要以NetCDF结构化文件格式进行存储。然而,在分布式环境中,结构化文件存在数据块寻址困难、边界不易判定等问题,制约着大数据场景下的存储及应用。论文设计基于HDFS+Spark的NetCDF物理海洋数据云存储方案,首先采用HDFS分布式存储技术存储和管理物理海洋数据;并设计基于Spark并行计算框架的数据分片方案,复写读取接口获取分布式环境下的NetCDF文件数据块地址,实现了物理海洋数据的高效率存储与查询分析。选取中国海域100 a时长的物理海洋数据进行波高-周期散布图统计实验。结果表明:在数亿级记录数条件下,文中方法可将查询分析耗时由集中式文件存储方式的2300s缩短至50s内,效率较集中式文件存储方式提升95%以上,验证了该方法的正确性和有效性。

关键词：物理海洋数据 NetCDF HDFS 并行计算框架 Spark

来源：评论

学校读者我要写书评

暂无评论

基于Spark的Web文本语义检索系统的研究

基于Spark的Web文本语义检索系统的研究

引用

作者：徐杨南京理工大学

学位级别：硕士

随着社交网络、电子商务等网站的飞速发展，互联网Web文本数据的爆炸式增长给信息检索技术带来了巨大的挑战。同时Web文本数据中存在多义词、同义词等不确定因素，使得用户很难准确并快速的检索到相关信息。随着大数据、人工智能以及云... 详细信息

随着社交网络、电子商务等网站的飞速发展，互联网Web文本数据的爆炸式增长给信息检索技术带来了巨大的挑战。同时Web文本数据中存在多义词、同义词等不确定因素，使得用户很难准确并快速的检索到相关信息。随着大数据、人工智能以及云计算等信息技术的日益成熟，产生了以Spark和Hadoop为代表的大数据并行计算框架。Spark基于集群中的内存并行计算，解决了Hadoop的计算框架MapReduce带来的计算延迟问题。鉴于Web文本数据的特点以及所带来的问题，本文主要对语义检索模型中的潜在语义分析模型(Latent Semantic Analysis，LSA)进行研究。因此，本文基于并行计算框架Spark，进行了Web文本语义检索系统的研究与实现，主要工作包含以下几个部分:\n 1.针对LSA依赖大规模的矩阵运算和奇异值分解(Singular Value Decomposition，SVD)，在进行SVD之前，本文应用秩显算法降低矩阵的维度，使得巨大的矩阵能够被Spark内存容纳并进行有效的并行计算，LSA改进模型通过截断的SVD构建潜在语义空间，并将词汇和文本投影到潜在语义空间中，进而提取词汇间的深层次的语义关系。\n 2.针对传统的随机投影树（RP tree）不能很好的在高维度空间中进行快速、有效的检索。本文改进了传统的RP tree，提出了基于Spark的RP tree并行计算方法。改进的RP tree在基于Spark多个节点并行化构建时，将随机向量池广播到集群的每一个节点。\n 3.利用本文提出的改进算法设计并实现了基于Spark的Web文本语义检索系统。首先进行了系统架构、模块划分等工作的总体设计。然后根据总体设计编码实现了四大功能模块，包括网页采集模块、数据预处理模块、并行LSA建模模块以及并行RP tree索引模块。最后实验评估了系统的构建时间、检索时间以及系统的可扩展性;通过系统在检索时间、系统的可扩展性的实验结果验证了系统的可行性和实用性。

关键词： Web文本语义检索并行计算框架随机投影树奇异值分解

来源：评论

学校读者我要写书评

暂无评论

应用并行计算框架提升地震数据处理效率分析

引用

石油地球物理勘探 2011年第3期46卷 493-499,332页

作者：祝树云朱旭光颉冬莲张丽梅东方地球物理公司物探技术研究中心河北涿州072751

并行计算框架系统将地震数据可分割处理的特点与现代计算机群多节点、多线程的并行运算能力巧妙结合,在提升常规地震处理运算效率、缩短地震资料处理周期方面发挥了显著作用。本文通过大量数据的测试,对影响并行计算框架运算效率的各种... 详细信息

并行计算框架系统将地震数据可分割处理的特点与现代计算机群多节点、多线程的并行运算能力巧妙结合,在提升常规地震处理运算效率、缩短地震资料处理周期方面发挥了显著作用。本文通过大量数据的测试,对影响并行计算框架运算效率的各种因素进行了分析。并行计算框架对地震数据处理运行效率的提高并不是随着并行任务数线性增长,与机群I/O效率及并行处理作业的计算量有关。随着并行任务数的增加,效率提高速度会逐步放缓,当达到最佳并行度时会出现拐点。另外,并行计算框架效率的提高与数据分割粒度有关,粗粒度分割更有利。因此应用并行框架系统时,应根据机群I/O效率与并行处理作业的计算量,选择合理的并行处理任务数。

关键词：并行计算框架并行效率并行加速比处理周期

来源：评论

学校读者我要写书评

暂无评论

面向对象有限元并行计算框架PANDA求解器的服务构件化设计与集成

引用

计算机辅助工程 2011年第1期20卷 9-14页

作者：嵇晓宇郝志明莫军王柯颖中国工程物理研究院总体工程研究所四川绵阳621900

针对很多结构有限元程序需要使用数值方法进行系统方程组求解的共性特点,提出对数值求解部分进行构件化设计,形成求解器服务,用于面向对象有限元并行计算框架PANDA为不同应用类型的有限元程序开发提供数值算法.将美国Livermore国家实验... 详细信息

针对很多结构有限元程序需要使用数值方法进行系统方程组求解的共性特点,提出对数值求解部分进行构件化设计,形成求解器服务,用于面向对象有限元并行计算框架PANDA为不同应用类型的有限元程序开发提供数值算法.将美国Livermore国家实验室开发的数值求解器库HYPRE作为数值求解构件集成到PANDA框架中,利用其提供的数值解法进行结构静力有限元并行求解,获得较理想的结果.目前,PANDA框架已经能够为应用程序的开发提供较丰富的数值解法方面的选择.

关键词：并行计算框架 PANDA 有限元软件开发构件化软件设计求解器服务构件集成

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：