检索结果-内蒙古大学图书馆

计算机工程与应用 2012年第7期48卷 1-4,98页

作者：徐永士臧冬松孙功星中国科学院高能物理研究所计算中心北京100049 中国科学院研究生院北京100049

简述了分布式文件元数据管理系统的应用环境和设计目标。目标系统设定应用于高能物理数据分析,关联Torque作业批处理系统;在这些条件的限制下,详细分析了各种限制因素,并以此为基础给出了目标系统的总体结构及模块化设计。详细阐述了目... 详细信息

简述了分布式文件元数据管理系统的应用环境和设计目标。目标系统设定应用于高能物理数据分析,关联Torque作业批处理系统;在这些条件的限制下,详细分析了各种限制因素,并以此为基础给出了目标系统的总体结构及模块化设计。详细阐述了目标系统的数据库设计、访问接口设计以及数据同步要点,给出了设计思路,并结合目标系统的记录新增操作、查询操作的测试性能,讨论了进一步的工作。

关键词：分布式文件元数据管理 Torque 作业批处理系统

来源：评论

学校读者我要写书评

暂无评论

分布式文件元数据管理系统设计

分布式文件元数据管理系统设计

引用

第十五届全国科学计算与信息化会议暨现代物理信息化论坛

作者：徐永士霍菁孙功星中国科学院高能物理研究所计算中心，北京 100049 中国科学院研究生院，北京 100049 中国科学院高能物理研究所计算中心，北京 100049

本文简述了实验用的分布式文件元数据管理系统的应用环境和设计目标。目标系统设定应用于高能物理数据分析，关联Torque 作业批处理系统;在这些条件的限制下，简要分析了驻留在被管理节点的守护进程的功能需求，并以此为基础给出了目标... 详细信息

本文简述了实验用的分布式文件元数据管理系统的应用环境和设计目标。目标系统设定应用于高能物理数据分析，关联Torque 作业批处理系统;在这些条件的限制下，简要分析了驻留在被管理节点的守护进程的功能需求，并以此为基础给出了目标系统的模块化设计。文章详细阐述了目标系统的数据库设计、访问接口设计以及数据同步要点，详细分析了被管理节点的负载均衡、文件的备份和一致性等问题。目标系统利用文件元数据管理节点的备份提高其可用性;在错误的情况下，利用事务和操作日志恢复系统的一致性。

关键词：分布式文件系统文件元数据管理目标系统模块化设计

来源：评论

学校读者我要写书评

暂无评论

利用并行文件访问协议的自动校准以及元数据管理支持对文件系统的共享存储的协调访问的方法及系统

利用并行文件访问协议的自动校准以及元数据管理支持对文件系统的...

引用

作者： D·希尔德布兰 F·施穆克 J·C·怀利 M·埃谢尔美国纽约

本发明的实施例涉及利用并行文件访问协议的自动校准以及基于每个对象的元数据管理支持对文件系统的共享磁盘存储子系统的协调访问。集群中的活动文件服务器可以等效访问文件系统的共享数据。(集群中多个服务器中的)文件服务器接收客户... 详细信息

标准号: CN104603762B

本发明的实施例涉及利用并行文件访问协议的自动校准以及基于每个对象的元数据管理支持对文件系统的共享磁盘存储子系统的协调访问。集群中的活动文件服务器可以等效访问文件系统的共享数据。(集群中多个服务器中的)文件服务器接收客户机的利用并行文件访问协议对所述存储子系统中由所述文件系统存储的文件的访问的请求。如果文件系统已经选定作为该文件的元数据管理器的文件服务器，那么该文件服务器利用选定的文件服务器协调对所述文件的元数据的访问。如果文件系统没有选定作为该文件元数据管理器的文件服务器，那么文件系统选择接收所述请求的文件服务器作为所述文件的元数据管理器，直到接收到文件关闭请求操作。

关键词：文件服务器文件系统元数据管理器并行文件访问协议集群服务器磁盘存储子系统文件元数据管理访问文件系统存储子系统接收客户机元数据管理共享数据活动文件请求操作文件关闭选择接收自动校准访问元数据存储协调共享

来源：评论

学校读者我要写书评

暂无评论

利用并行文件访问协议的自动校准以及元数据管理支持对文件系统的共享存储的协调访问

利用并行文件访问协议的自动校准以及元数据管理支持对文件系统的...

引用

作者： D·希尔德布兰 F·施穆克 J·C·怀利 M·埃谢尔美国纽约

本发明的实施例涉及利用并行文件访问协议的自动校准以及基于每个对象的元数据管理支持对文件系统的共享磁盘存储子系统的协调访问。集群中的活动文件服务器可以等效访问文件系统的共享数据。(集群中多个服务器中的)一个文件服务器接收... 详细信息

标准号: CN104603762A

本发明的实施例涉及利用并行文件访问协议的自动校准以及基于每个对象的元数据管理支持对文件系统的共享磁盘存储子系统的协调访问。集群中的活动文件服务器可以等效访问文件系统的共享数据。(集群中多个服务器中的)一个文件服务器接收客户机利用并行文件访问协议对存储子系统中由文件系统存储的文件的访问的请求。如果文件系统已经选定作为该文件的元数据管理器的文件服务器，那么文件服务器利用选定的文件服务器协调对该文件的元数据的访问。如果文件系统没有选定作为该文件元数据管理器的文件服务器，那么文件系统选择接收所述请求的文件服务器作为所述文件的元数据管理器，直到接收到文件关闭请求操作。文件服务器然后为该文件执行向被选定作为元数据管理器的文件服务器的文件打开请求操作。文件服务器然后打开该文件并且创建该文件的文件句柄。文件服务器然后在文件句柄中对被选定作为所述文件的元数据管理器的文件服务器的文件服务器ID进行编码，以使文件系统的文件服务器能够识别哪一个文件服务器为该文件的元数据管理器。文件服务器然后向客户机返回文件句柄用于执行对所述文件的I/O。

关键词：文件服务器文件系统数据管理器文件句柄并行文件访问协议客户机集群服务器文件元数据管理访问文件系统文件打开请求存储子系统数据管理共享磁盘共享数据活动文件自动校准对存储元数据存储协调

来源：评论

学校读者我要写书评

暂无评论

一种数据本地化存储与处理系统

引用

计算机工程与应用 2012年第5期48卷 7-11页

作者：徐永士霍菁孙功星中国科学院高能物理研究所计算中心北京100049 中国科学院研究生院北京100049

简述了当前大型数据中心普遍采用的计算节点集群与存储系统模块化设计的系统结构,说明了部署在各模块上的主要集群系统。分析了具有独立性的结构化数据本地化存储于计算节点的可能性,给出了系统基本框架,从总体拥有成本(TCO)的角度分析... 详细信息

简述了当前大型数据中心普遍采用的计算节点集群与存储系统模块化设计的系统结构,说明了部署在各模块上的主要集群系统。分析了具有独立性的结构化数据本地化存储于计算节点的可能性,给出了系统基本框架,从总体拥有成本(TCO)的角度分析了其价值。结合高能物理研究的原始数据特点,认为数据本地化存储在节点上,有利于提高整体利用率,指出了关键部件——文件元数据管理系统的设计要点,分析了PBS作业批处理系统集成文件元数据管理系统的三种方案,给出第一种方案的详细设计,相应的用户提交作业方式的改变。在测试环境下,初步部署了文件元数据管理系统,测试了三种集成方案,给出了简要的分析比较。

关键词：作业批处理系统(PBS) 高能物理数据分析文件元数据管理数据存储本地化

来源：评论

学校读者我要写书评

暂无评论

基于数据库的海量文件管理系统与方法

基于数据库的海量文件管理系统与方法

引用

作者：武林平刘淘英孟丹 300384 天津市华苑产业区海泰发展六道6号海泰绿色产业基地L座1-3楼

本发明涉及机群系统的基于数据库的海量文件管理系统和方法，该系统包括：机群文件元数据收集装置、文件元数据存储和管理装置、客户端。方法涉及到下列内容：使用一种独立于机群节点文件系统的文件元数据管理办法；在文件元数据的管理... 详细信息

标准号: CN100498766C

本发明涉及机群系统的基于数据库的海量文件管理系统和方法，该系统包括：机群文件元数据收集装置、文件元数据存储和管理装置、客户端。方法涉及到下列内容：使用一种独立于机群节点文件系统的文件元数据管理办法；在文件元数据的管理中引入数据库技术，用户能够在海量文件中快速查找和定位所需要的文件；在数据库里存储文件的位置信息，使用户只通过数据库就可以访问文件本身；针对于目前的树型结构文件系统，实现一种将文件全路径分成两部分存储的方法来减少冗余；实现一种独立于物理文件的文件逻辑视图管理方法。

关键词：文件元数据数据库海量文件文件系统文件元数据管理文件逻辑视图存储和管理数据库技术存储文件访问文件管理方法管理系统机群节点机群文件机群系统快速查找收集装置树型结构物理文件客户端元数据冗余存储管理

来源：评论

学校读者我要写书评

暂无评论

分布式文件系统中的数据处理方法、装置及电子设备

分布式文件系统中的数据处理方法、装置及电子设备

引用

作者：周肃英属开曼群岛大开曼资本大厦一座四层847号邮箱

本发明实施例提供一种分布式文件系统中的数据处理方法、装置及电子设备，其中，方法包括：在数据存储节点上创建待执行写操作的文件所对应的空数据块及所述空数据块的元数据信息；将所述空数据块的标识信息与文件元数据管理节点上已存... 详细信息

标准号: CN110968557B

本发明实施例提供一种分布式文件系统中的数据处理方法、装置及电子设备，其中，方法包括：在数据存储节点上创建待执行写操作的文件所对应的空数据块及所述空数据块的元数据信息；将所述空数据块的标识信息与文件元数据管理节点上已存储的所述文件的标识信息关联存储，用于在所述文件被删除后，删除与所述文件关联的所述数据块；向所述空数据块中写入数据。本发明实施例的方案，能够使用户进程在写数据至文件过程中，及时感知到被写入数据的文件被删除，并停止写入数据，从而避免不必要的写数据操作。

关键词：空数据写入数据删除标识信息分布式文件系统文件元数据管理装置及电子设备数据存储节点写数据操作元数据信息关联存储文件关联文件过程用户进程数据处理数据块写操作写数据感知存储创建

来源：评论

学校读者我要写书评

暂无评论

一种用于业务团队的数据资源管理方法及系统

一种用于业务团队的数据资源管理方法及系统

引用

作者：辛全艳孙权刘思琪 250014 山东省济南市历下区经十路9999号C座22楼2229室

一种用于业务团队的数据资源管理方法及系统，通过元数据管理进行物理模型管理、逻辑模型管理、文件元数据管理和指标元数据管理；通过物理模型管理对创建的物理模型添加基本信息和字段信息，并对创建的物理模型进行血缘分析和影响分析... 详细信息

标准号: CN117931438A

一种用于业务团队的数据资源管理方法及系统，通过元数据管理进行物理模型管理、逻辑模型管理、文件元数据管理和指标元数据管理；通过物理模型管理对创建的物理模型添加基本信息和字段信息，并对创建的物理模型进行血缘分析和影响分析；通过逻辑模型管理创建逻辑表形成逻辑模型；通过数据开放处理进行API审批、API授权、应用授权和组件编排；通过API审批对发布的服务进行发布状态管理；通过API授权对被申请使用的服务进行展示；通过应用授权对当前的应用授予访问指定服务的权限；通过组件编排进行用户接入验证、访问参数校验、访问参数转换、访问参数解码和返回转码。本发明实现团队成员之间的数据高效管理，降低数据冗余。

关键词：物理模型访问参数逻辑模型授权元数据管理管理创建编排应用文件元数据管理团队数据资源管理解码发布状态高效管理基本信息数据开放数据冗余影响分析用户接入字段信息校验逻辑表转码服务审批验证权限返回转换申请发布展示访问分析

来源：评论

学校读者我要写书评

暂无评论

基于数据感知的作业处理系统设计

引用

高性能计算技术 2012年第6期 12-18页

作者：徐永士梁栋孙功星中国科学院高能物理研究所计算中心北京 100049 中国科学院研究生院北京 100049 中国科学院高能物理研究所计算中心北京 100049

本文针对高能物理(HEP)数据分析,简述描述了适合HEP数据分析的易并行计算模型,及MapReduce并行编程模型.说明了当前大型数据中心普遍采用的计算节点集群与存储系统模块化设计的系统结构,讨论了不足之处,提出了大型数据分析中心应具备的... 详细信息

本文针对高能物理(HEP)数据分析,简述描述了适合HEP数据分析的易并行计算模型,及MapReduce并行编程模型.说明了当前大型数据中心普遍采用的计算节点集群与存储系统模块化设计的系统结构,讨论了不足之处,提出了大型数据分析中心应具备的特性.在综合分析了数据感知要素和作业流程的基础上,提出一种新型的数据感知的作业处理系统框架.框架中的作业处理子系统通过分布式文件元数据管理器感知被处理文件的位置属性,将作业调度到数据所在的节点上,实现数据的本地化处理.文章给出了各模块的功能描述.文章最后初步部署了测试环境下,并简要给出了测试结果.

关键词： PBS(作业批处理系统) 高能物理数据分析文件元数据管理数据感知

来源：评论

学校读者我要写书评

暂无评论

一种分布式文件系统

一种分布式文件系统

引用

作者：官全龙胡舜罗伟其翁健 510632 广东省广州市天河区黄埔大道西601号

本发明涉及一种分布式文件系统。其包括：大文件存储服务器用于存储拆分后的大文件数据块，其中大文件为大于预设大小的文件；大文件元数据管理服务器，用于存储大文件的元数据、存储大文件存储服务器上大文件数据块的映射信息、管理大... 详细信息

标准号: CN104111804A

本发明涉及一种分布式文件系统。其包括：大文件存储服务器用于存储拆分后的大文件数据块，其中大文件为大于预设大小的文件；大文件元数据管理服务器，用于存储大文件的元数据、存储大文件存储服务器上大文件数据块的映射信息、管理大文件的命名空间和处理用户的请求信息；缓存服务器，用于存储小文件、小文件的元数据和缓存部分访问量大的大文件，其中，小文件指小于或等于预设大小的文件。本发明将大文件和小文件分开存储，大文件进行分块存储在大文件存储服务器上，小文件则存储在缓存服务器上，有效提高大小文件读写效率。

关键词：存储文件存储服务器缓存服务器文件数据元数据分布式文件系统文件元数据管理处理用户命名空间文件读写映射信息拆分分块服务器小于大于分开管理

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：