检索结果-内蒙古大学图书馆

核电子学与探测技术 2012年第2期32卷 136-140页

作者：毛虎李卫东邹佳恒毛泽普伍灵慧黄彬田浩来邓子艳张瑶袁野马秋梅韩艳良安芬芬中国科学院高能物理研究所北京100049

北京谱仪Ⅲ(BESⅢ)是北京正负电子对撞机Ⅱ(BEPCⅡ)上用于τ-粲物理研究的大型通用磁谱仪。BESⅢ实验数据经过离线处理系统重建后才能用于物理分析。论文主要研究了BESⅢ分布式离线数据处理。基于DIANE软件,建立了一个分布式系统用于数... 详细信息

北京谱仪Ⅲ(BESⅢ)是北京正负电子对撞机Ⅱ(BEPCⅡ)上用于τ-粲物理研究的大型通用磁谱仪。BESⅢ实验数据经过离线处理系统重建后才能用于物理分析。论文主要研究了BESⅢ分布式离线数据处理。基于DIANE软件,建立了一个分布式系统用于数据的事例级分布式处理。该系统在漂移室刻度的应用表明,性能能够满足BESⅢ实验的需求。

关键词：北京谱仪Ⅲ 离线数据处理分布式系统刻度

来源：评论

学校读者我要写书评

暂无评论

BESⅢ离线数据处理作业行为分析及作业异常检测

BESⅢ离线数据处理作业行为分析及作业异常检测

引用

作者：程延福郑州大学

学位级别：硕士

北京谱仪（BESⅢ）是北京正负电子对撞机（BEPCⅡ）上的大型通用磁谱仪。中国科学院高能物理研究所计算平台中的高通量计算集群为BESⅢ实验的数据处理提供了计算、存储服务，实验占用13500多个CPU核，累积完成超过4500万个作业。对BES... 详细信息

北京谱仪（BESⅢ）是北京正负电子对撞机（BEPCⅡ）上的大型通用磁谱仪。中国科学院高能物理研究所计算平台中的高通量计算集群为BESⅢ实验的数据处理提供了计算、存储服务，实验占用13500多个CPU核，累积完成超过4500万个作业。对BESⅢ作业行为模式进行细粒度分析，及时发现BESⅢ作业的异常行为，对保证平台稳定、可靠地运行有重要意义。本论文对BESⅢ离线数据处理作业行为分析和作业的异常检测方法开展了研究。为了能获取作业内部的细粒度运行数据，设计了适用于计算平台高通量计算集群的细粒度监控方案。论文主要内容如下:　　（1）设计了适用于计算平台高通量计算集群的作业细粒度监控方案。调研了多种集群细粒度监控方法，根据计算平台高通量计算集群的特点，提出了一个适合计算平台高通量计算集群特点的作业细粒度监控方案。该方案在基本不影响作业运行的情况下，采集集群中作业的系统调用数据。此外，利用计算平台本地集群带宽充足的特点，借助Flume、Kafka的大数据处理能力，将采集的作业数据实时发送到存储节点。　　（2）提供了一种作业行为分析方法。基于部署的作业细粒度监控框架，在不影响作业自身执行的前提下，实时采集BESⅢ离线数据处理作业的系统调用事件。通过对作业系统调用的统计分析和具体事件分析，发现了BESⅢ离线数据处理作业的行为倾向和具体行为特点。经过分析，了解了BESⅢ离线数据处理作业的主要行为类型和文件访问事件的执行流程。　　（3）提供了一种适用于高能物理作业的异常检测方法:基于采集的BESⅢ离线数据处理作业的系统调用数据，研究了Reformer、Informer和Autoformer等时序数据预测模型，并将其应用到BESⅢ作业异常检测。论文对比了LSTM、Transformer、Reformer、Informer和Autoformer模型在BESⅢ作业系统调用数据集上的异常检测能力，实验结果表明Informer和Autoformer时序预测模型对于BESⅢ作业有更好的异常检测能力。　　本文作业行为分析方法和异常检测方法已在高能所高通量计算集群真实环境中部署应用。经过测试，发现其对系统影响在可接受范围内，作业行为分析和异常检测能力基本达到预期目标。

关键词：北京谱仪离线数据处理细粒度监控作业行为异常检测

来源：评论

学校读者我要写书评

暂无评论

基于DIANE的BESⅢ分布式离线数据处理

基于DIANE的BESⅢ分布式离线数据处理

引用

作者：毛虎中国科学院研究生院

学位级别：硕士

北京谱仪Ⅲ(BESⅢ)是在北京正负电子对撞机Ⅱ(BEPCⅡ)上用于τ-粲物理实验研究的大型通用磁谱仪。BESⅢ实验数据被在线数据获取系统记录后,经过离线处理后才能用于物理分析。BESⅢ离线数据处理包括模拟、刻度、重建以及物理分析等处理... 详细信息

北京谱仪Ⅲ(BESⅢ)是在北京正负电子对撞机Ⅱ(BEPCⅡ)上用于τ-粲物理实验研究的大型通用磁谱仪。BESⅢ实验数据被在线数据获取系统记录后,经过离线处理后才能用于物理分析。BESⅢ离线数据处理包括模拟、刻度、重建以及物理分析等处理过程。本论文主要研究BESⅢ离线数据的并行处理,它能够同时利用多个计算机节点高效率完成数据处理任务。\n 本文首先介绍基于作业方式的文件级并行处理。我们利用Ganga软件,对离线处理任务按输入文件的大小分割成子作业,所有作业完成后,合并子作业运行结果。论文将这种方式应用在漂移室带电粒子电离能损dE/dx刻度中,能够实现刻度自动化,并提高工作效率。\n 本文的主要研究内容是BESⅢ分布式离线数据处理。基于DIANE软件,我们建立了一个分布式系统用于数据的事例级分布式处理。该系统使用主——从节点工作模式,主节点负责运行管理以及数据分发和收集,从节点完成事例数据的处理.主节点和从节点间利用网络进行控制命令和事例数据的交换。该系统具有配置灵活,异常处理功能强的特点。在漂移室刻度的应用表明,性能能够满足BESⅢ实验的需求。

关键词：北京谱仪Ⅲ 离线数据处理分布式系统正负电子对撞机漂移室刻度

来源：评论

学校读者我要写书评

暂无评论

基于MPI的JUNO实验分布式离线数据处理框架

基于MPI的JUNO实验分布式离线数据处理框架

引用

作者：赵宝琦中国科学院大学

学位级别：硕士

江门中微子实验(JUNO)是由中国主持的大型中微子实验，其首要科学目标是利用反应堆中微子振荡确定中微子质量顺序，同时也包括对地球中微子、大气中微子以及超新星中微子等的研究。离线数据处理是JUNO实验中重要的一环并包含多个步骤。... 详细信息

江门中微子实验(JUNO)是由中国主持的大型中微子实验，其首要科学目标是利用反应堆中微子振荡确定中微子质量顺序，同时也包括对地球中微子、大气中微子以及超新星中微子等的研究。离线数据处理是JUNO实验中重要的一环并包含多个步骤。离线数据处理任务主要由高能物理研究所站点承担，小部分工作由CNAF等其他站点完成。JUNO每年产生PB级的离线数据，因此各个站点建立分布式计算集群以提高数据处理速度，并使用JUNO离线软件完成数据处理。数据处理包含多个复杂步骤，每个步骤都伴随有大量的输入输出数据，且需要人工干预从而消耗大量的人力。　　本文基于MPI标准提供的多节点间通信技术，在分布式环境中设计并开发了一款用于离线数据处理流程控制的通用框架，主要实现在分布式环境中离线数据处理流程的自动化管理与执行。系统使用主从(master/slave)架构分别负责作业流的管理与执行，实现自动化地管理作业流的生命周期，包括作业流拆分、计算资源申请、作业执行和监控，并使用MPI实现节点间的通信与数据交换。　　本文通过分析JUNO作业与作业流的执行流程，抽象出作业流的一般处理流程，总结出系统的功能需求并设计作业流管理与执行的流程。调研并归纳总结Ganga及DIANE等作业执行软件的架构与特点，设计离线数据处理框架的基本架构与核心组件。使用心跳机制实现对作业运行以及系统健康状况的监控，实现对作业异常及系统异常的及时处理，从而提高系统的可靠性。此外系统实现了大量接口设计，包括后端接口、用户接口等，提高了系统的灵活性与可重用性的同时，降低了通用模块与核心模块的耦合度和用户使用成本。　　目前，基于框架开发了离线数据处理与数据分析作业流。性能测试表明系统执行结果正确且可以充分利用分布式计算资源，具有良好的通用性;压力测试下系统通信时延低且表现稳定，具有良好的可扩展性。

关键词：江门中微子实验离线数据处理流程控制软件开发分布式环境

来源：评论

学校读者我要写书评

暂无评论

基于Hadoop的离线数据处理平台的设计与实现

基于Hadoop的离线数据处理平台的设计与实现

引用

作者：张洪堃北京交通大学

学位级别：硕士

随着分布式技术的发展,大数据商业价值与科研价值日益彰显,分布式运算与存储的需求不断提升,企业通过租借或购置大型服务器集群,为大数据处理任务和业务应用服务提供硬件支持。其中大数据处理任务通常分为离线(批处理)运算与实时(流式)... 详细信息

随着分布式技术的发展,大数据商业价值与科研价值日益彰显,分布式运算与存储的需求不断提升,企业通过租借或购置大型服务器集群,为大数据处理任务和业务应用服务提供硬件支持。其中大数据处理任务通常分为离线(批处理)运算与实时(流式)运算两类任务,离线数据处理任务对应大规模并行运算海量数据的使用场景,广泛应用于搜索引擎、推荐系统等业务场景。若利用分布式集群部署离线数据处理作业,需要开发者学习并使用批处理运算框架,在原有应用程序的基础上进行额外开发,这一过程增加了公司业务的软件开发与维护成本,也不利于不同部门之间分布式技术使用标准的统一。搭建离线数据处理平台,可以为业务部门与集群硬件之间搭建桥梁,简化开发者离线数据处理作业的部署流程,统一有效地管理分布式集群,提高业务程序迭代推新的效率。本文采用Hadoop框架设计并实现了离线数据处理平台,论文工作主要集中于离线数据处理平台的底层及后端模块的设计与实现。本文设计并实现了基于Hadoop框架的作业引擎,用于该平台的底层任务调度功能,是平台的关键模块。作业引擎基于Yarn的应用状态和容器状态设计并实现了作业级别和任务级别两种状态机,作业通过Yarn与作业引擎的协同工作从初始状态驱动至结束状态,通过为作业引擎各子模块设计恢复流程,避免了作业引擎因意外或升级导致的服务中断给用户作业带来的影响。对于该平台模组层,本文设计并实现了深度学习离线运算模组和交互式开发服务模组。深度学习离线运算模组采用Spark框架为深度学习运算任务进行数据并行化加速。交互式开发服务模组使用Jupyter、Spark Magic和Livy为用户提供了可自定义配置、灵活部署的容器化交互式开发服务,平台设计并实现了自动配置、云备份、服务监控等扩展功能以提升用户交互式开发体验。此外,本文设计并实现了平台门户与用户进行交互,门户服务端提供了任务管理、模组管理、平台鉴权等必要功能,降低了用户使用模组、管理集群任务的复杂度。离线数据处理平台自投入公司搜索引擎业务线使用以来,支撑了搜索引擎多个业务部门的离线数据处理工作,为有关部门开发者提供了稳定、高效的分布式算力,为公司节省了大量人力、物力,有效促进了搜索引擎业务的发展。

关键词：离线数据处理数据处理平台作业引擎 Hadoop

来源：评论

学校读者我要写书评

暂无评论

基于DAG模型的离线数据处理引擎的设计与实现

基于DAG模型的离线数据处理引擎的设计与实现

引用

作者：殷荣哈尔滨工业大学

学位级别：硕士

随着经济和科学的快速发展,各行各业每天都会有大量的数据产生,其中有很多数据甚至是没有任何规律的。面对如此复杂而又庞大的数据,我们应该如何将他们利用起来,如何在较短的时间内从这些数据中挖掘出有意义的信息?本课题的目的是实现... 详细信息

随着经济和科学的快速发展,各行各业每天都会有大量的数据产生,其中有很多数据甚至是没有任何规律的。面对如此复杂而又庞大的数据,我们应该如何将他们利用起来,如何在较短的时间内从这些数据中挖掘出有意义的信息?本课题的目的是实现一个通用的、灵活的、高效的海量离线数据处理引擎。基于目前大数据处理引擎不具有通用性的问题,本引擎提出了一种新的设计方案:采用DAG(有向无环图)模型进行应用场景建模。DAG模型能够满足用户根据自身需要灵活改变各个场景执行顺序的需求;DAG模型解决了本引擎允许用户自定义算子的问题;DAG模型有利于实现引擎的高扩展性、灵活性和通用性。为了提高引擎的处理速度,本引擎采用的是Spark计算框架。Spark的中间处理结果是存储在内存中的。在数据迭代处理过程中会减少大量的IO消耗。同时,Spark的内部设计模式决定了其具有高扩展性,这能够满足本引擎对扩展性、灵活性的需求。最后,Spark是支持DAG的分布式计算框架,与本引擎选用的DAG模型相契合。本引擎中每个算子代表一种数据处理功能,本引擎提供一些算子,同时支持用户根据自身处理需求自定义算子。本引擎是对Spark的进一步封装,用户在自定义算子的时候不需要使用Spark的底层API。该引擎能够实现对接各种异构数据,能够从用户指定的不同数据源将数据拉到HDFS,能够处理不同类型的文件。本引擎已经投入使用,目前运行良好。本引擎解决了现有的大数据处理系统效率低、通用性差的技术问题。

关键词：海量数据离线数据处理 Spark DAG

来源：评论

学校读者我要写书评

暂无评论

中意合作进行ARGO宇宙线实验离线数据处理工作

引用

国际学术动态 2004年第2期 37-38页

作者：张学尧山东大学物理与微电子学院

2003年3月3日～4月2日，我以访问教授的身份访问了意大利罗马3大学物理系。此行的主要目的是就中意合作西藏羊八井ARGO宇宙线实验的离线数据处理工作与意方的合作者进行交流并参与离线分析软件的开发工作。

关键词：技术合作中国意大利 ARGO宇宙线实验离线数据处理天文观测

来源：评论

学校读者我要写书评

暂无评论

基于LabVIEW的扫描探针电子能谱仪离线数据处理系统

引用

核电子学与探测技术 2010年第5期30卷 680-685页

作者：徐春凯刘文杰周霞魏征张盼科陈向军徐克尊中国科学技术大学近代物理系合肥微尺度物质科学国家实验室安徽合肥230026

报道了自行搭建的扫描探针电子能谱仪(SPEES)的离线数据处理系统。该系统是由国家仪器公司(National Instrument,NI)开发的图形化语言LabVIEW(Laboratory Virtual Instrument Engineering Workbench)来实现的,能够根据我们SPEES实验中能谱测量的不同模式(扫描模式和非扫描模式)来选择相应的处理模式。功能包括"文件批处理"、"方位角选择"、"原点校正"、"能量刻度"和"能谱处理及效率修正",同时还能对电子密度分布、角分布、道数分布和能量分布成像。该系统的研制成功为SPEES实验的顺利进行打下了基础。

关键词：扫描探针电子能谱仪 LabVIEW 离线数据处理

来源：评论

学校读者我要写书评

暂无评论

基于Hive的离线数据处理方法与实现

基于Hive的离线数据处理方法与实现

引用

作者：朱燕燕东南大学

学位级别：硕士

离线数据和业务量的急剧增长使得传统数据库技术及单纯基于Hadoop的分布式计算方法需耗费巨大开销,且报表查询页面等待时间长,严重影响用户的体验。本文提出一种基于Hadoop和Hive的离线数据处理方法,采用Java定时任务触发处理作业的启动... 详细信息

离线数据和业务量的急剧增长使得传统数据库技术及单纯基于Hadoop的分布式计算方法需耗费巨大开销,且报表查询页面等待时间长,严重影响用户的体验。本文提出一种基于Hadoop和Hive的离线数据处理方法,采用Java定时任务触发处理作业的启动,利用不同作业对实时性要求的差异,将运行时间分散到不同时间段,实现系统性能的平衡。首先将每种离线数据的处理均视为一个作业,每个作业又被分为若干个子任务；作业依据其标识、启动时间、循环间隔等信息由Java定时任务触发；定时任务每分钟查询待启动的作业,并根据不同的作业类型,进入到相应的执行流程。提出复杂报表数据统计作业的多维度统计方法；抽象出作业执行流程较为相似的各个子任务模板,提高可复用性。将所提出方法应用于能力开放平台,实例结果表明该方法可减少离线冗余数据的空间消耗；通过预测用户欺诈行为,可提高对消费者权益的保障；报表数据的多维度统计结果拆分,可大大缩短报表查询的时间开销；通过减少页面等待时间提高了用户体验。

关键词：离线数据处理任务模板 Hive 分布式框架定时任务

来源：评论

学校读者我要写书评

暂无评论

BESⅢ离线数据处理软件系统

BESⅢ离线数据处理软件系统

引用

第十五届全国科学计算与信息化会议暨现代物理信息化论坛

作者：邓子艳中科院高能物理研究所，北京 100049

BESⅢ离线数据处理系统是为BESⅢ实验开发的全新软件系统，包括模拟、刻度、重建和物理分析工具等部分。它的主要任务是将BESⅢ探测器和模拟产生的原始数据进行离线处理，生成物理分析使用的包含末态粒子各种信息的物理分析数据，同时... 详细信息

BESⅢ离线数据处理系统是为BESⅢ实验开发的全新软件系统，包括模拟、刻度、重建和物理分析工具等部分。它的主要任务是将BESⅢ探测器和模拟产生的原始数据进行离线处理，生成物理分析使用的包含末态粒子各种信息的物理分析数据，同时提供物理研究需要的各种软件工具，其发展和物理研究密切相关，是连接物理分析和探测器运行的桥梁。

关键词： BESⅢ探测器离线数据处理系统设计管理控制

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：