检索结果-内蒙古大学图书馆

电子学报 2023年第6期51卷 1590-1606页

作者：顾荣罗义力仇伶玮王肇康戴海鹏黄宜华计算软件新技术国家重点实验室(南京大学) 江苏南京210023 南京大学计算机科学与技术系江苏南京210023 南京航空航天大学计算机科学与技术学院江苏南京211106

以深度学习为代表的数据分析应用越来越多依赖分布式文件系统存储管理大规模数据集.为了增强数据访问的兼容性,现有分布式文件存储系统通常需提供标准POSIX接口,以支持深度学习等应用的无缝对接.然而,以内核模块形态开发提供POSIX接口... 详细信息

以深度学习为代表的数据分析应用越来越多依赖分布式文件系统存储管理大规模数据集.为了增强数据访问的兼容性,现有分布式文件存储系统通常需提供标准POSIX接口,以支持深度学习等应用的无缝对接.然而,以内核模块形态开发提供POSIX接口的文件系统非常复杂耗时.近年来,用户态文件系统(Filesystem in Userspace,FUSE)框架大幅简化了文件系统的开发工作,已被Alluxio和Ceph等诸多知名分布式文件系统使用.目前常用的用户态FUSE库libfuse仅提供C语言编程接口,但现有大数据分布式文件系统基本都是基于Java语言开发的(例如HDFS和Alluxio等),为了使基于Java语言开发的分布式文件系统可以对接C语言开发的FUSE库,需采用跨语言FUSE框架作为中介.跨语言FUSE框架利用跨编程语言的函数回调机制,使操作系统FUSE库的C语言函数可以跨语言的调用分布式文件系统提供的Java语言编程接口,从而为大数据分布式文件系统提供标准POSIX接口的访问能力.但在数据密集型应用中,现有跨语言FUSE框架的执行效率低,导致数据密集型作业(深度学习、大数据分析等)中数据I/O耗时占据了显著的性能开销,成为新的潜在性能瓶颈.针对此问题,本文首先评估分析了重要且广为使用的跨语言FUSE框架JNR-FUSE的性能,发现并定位其在高并发和小文件场景下存在的性能瓶颈;接着从多方面剖析性能瓶颈根因,进而总结出高效跨语言FUSE框架的性能优化方向,并面向Java语言设计实现了跨语言FUSE框架***-FUSE利用延迟分离和元信息缓存等优化技术降低跨语言函数回调开销,从而提升跨语言FUSE框架的性能.实验结果表明,对比当前性能最好的Java FUSE框架JNR-FUSE,本文提出的JNI-FUSE带来了1.15~6.04倍的FUSE框架性能提升和1.90~2.71倍的文件系统端到端性能提升,并为上层深度学习训练任务带来了1.06~1.73倍的训练加速.本文设计提出的JNI-FUSE(Java Native Interface-Filesystem in User SpacE)因性能优势,已被知名开源分布式文件系统Alluxio官方接受集成.

关键词： POSIX 用户态文件系统跨语言性能优化 Java原生接口

来源：评论

学校读者我要写书评

暂无评论

面向SSD的用户态文件系统设计与实现

面向SSD的用户态文件系统设计与实现

引用

作者：付首力电子科技大学

学位级别：硕士

随着计算机与互联网的发展,越来越多的数据需要存储到持久性设备中。从过去的磁带、磁盘过渡到了现在被广泛使用的固态硬盘(SSD),介质的容量和速度都有了飞跃式地发展。SSD拥有更高的带宽、更低的延迟以及低功耗等优势。但是,SSD也存在... 详细信息

随着计算机与互联网的发展,越来越多的数据需要存储到持久性设备中。从过去的磁带、磁盘过渡到了现在被广泛使用的固态硬盘(SSD),介质的容量和速度都有了飞跃式地发展。SSD拥有更高的带宽、更低的延迟以及低功耗等优势。但是,SSD也存在一些缺点,例如存储芯片写入寿命有限、无法in-place写入数据、以及写入数据最小单位小于擦除数据最小单位等问题。为了适应SSD的特性,研发人员在Linux内核态开发了更加合适的文件系统。然而,SSD较低的访问延迟导致内核I/O栈的额外开销占整个流程的比例变大。为降低额外开销,在用户态实现文件系统成为了新的研究方向。用户态文件系统可以绕过整个内核机制从而降低额外开销。此时,文件系统的性能受限于随机I/O。文件系统由于其本身的特性需要频繁和随机地访问SSD中的数据,比如,file＿mapping需要递归地查询索引然后读取下一级索引的数据块。因此,如何减少主机与SSD之间的随机I/O成为了新的问题。在用户态实现文件系统还带来了新的安全问题。以往文件系统实现在内核态,内核地址空间与用户地址空间是隔离的。这种情况下,进程中的野指针不会指向文件系统中的数据。当文件系统实现在用户态时,它会和进程共享地址空间。如果程序存在野指针,文件系统的数据就存在被野指针索引的可能性。程序对野指针的访问可能造成文件系统数据损坏甚至系统崩溃。因此,文件系统需要一个用户态内存保护机制解决用户态数据安全问题。为了解决第一个问题。本文设计并实现了一个主机与SSD协作的用户态文件系统。此文件系统使用日志结构文件系统的模型减少对SSD的随机写入次数,并且选择容易产生随机I/O的功能卸载到SSD内部执行从而减少PCIe传输数据的次数。本文的文件系统划分为三层,包括API层、主机层和SSD层。SSD层通过对内部系统的开发实现了日志应用、file＿mapping、path＿lookup和数据迁移四个功能。主机层负责元数据缓存和文件系统通用功能。API层负责接收程序的请求。文件系统的主机层均在用户态实现,并且使用spdk库提供用户态NVMe驱动与SSD交互。为了解决第二个问题,本文设计并实现了一个基于双地址空间的用户态内存保护机制。此机制为进程额外生成一个保护线程,作用是管理受保护的内存区域。保护线程通过Linux内核预留一部分地址空间去映射受保护的数据。普通线程在访问受保护的地址时会因为权限错误而终止运行。保护线程的其余地址空间仍然会和普通线程共享。这样可以消除普通线程请求读写保护区域时产生的额外数据拷贝。本文最后记录了功能测试和性能测试结果。功能测试验证了文件系统功能和用户态内存保护机制功能的正确。本文文件系统的性能对比F2FS文件系统在部分读写场景下速度有一定程度的提升的提高。启用用户态内存保护机制时的内存带宽对比没有此机制的情况下性能损失为0%。

关键词： SSD 野指针保护用户态内存保护用户态文件系统

来源：评论

学校读者我要写书评

暂无评论

用户态文件系统热升级方法、装置、服务器及介质

用户态文件系统热升级方法、装置、服务器及介质

引用

作者：赵晨马介悦张洪全柏硕何征宇 310000 浙江省杭州市西湖区西溪路556号8层B段801-11

本说明书实施例提供了一种用户态文件系统热升级方法、装置、服务器及介质，通过在运行目标用户态文件系统前，将目标用户态文件系统进程与内核态FUSE驱动之间通信通道的文件描述符克隆到预先创建的管理进程中，在该管理进程中备份与内... 详细信息

标准号: CN111552489B

本说明书实施例提供了一种用户态文件系统热升级方法、装置、服务器及介质，通过在运行目标用户态文件系统前，将目标用户态文件系统进程与内核态FUSE驱动之间通信通道的文件描述符克隆到预先创建的管理进程中，在该管理进程中备份与内核态FUSE驱动之间的备用通信通道，然后在目标用户态文件系统进程运行过程中，若监测到升级指令，则将备用通信通道的文件描述符克隆到新启动的用户态文件系统进程中，使得新启动的用户态文件系统进程拥有与内核态FUSE驱动的新通信通道，进而就可以运行新启动的用户态文件系统进程，实现用户态文件系统的热升级。

关键词：用户态文件系统目标用户文件系统内核态备用通信通道文件描述符管理进程通信通道进程热升级驱动克隆升级指令预先创建运行过程备份服务器监测

来源：评论

学校读者我要写书评

暂无评论

用户态文件系统热升级方法、装置、服务器及介质

用户态文件系统热升级方法、装置、服务器及介质

引用

作者：赵晨马介悦张洪全柏硕何征宇 310000 浙江省杭州市西湖区西溪路556号8层B段801-11

标准号: CN111552489A

来源：评论

学校读者我要写书评

暂无评论

一种用户态文件系统单挂载点灰度发布方法

一种用户态文件系统单挂载点灰度发布方法

引用

作者：严辉华黄鹄林洁琬 100007 北京市东城区青龙胡同甲1号、3号2幢2层205-32室

本发明公开了一种用户态文件系统单挂载点灰度发布方法，其涉及用户态文件系统灰度发布技术领域，旨在解决目前尚未出现针对某挂载点进行灰度升级的方案或技术，类似的方案都是通过直接升级部分用户使用的文件系统进行灰度验证，这种情... 详细信息

标准号: CN117873512A

本发明公开了一种用户态文件系统单挂载点灰度发布方法，其涉及用户态文件系统灰度发布技术领域，旨在解决目前尚未出现针对某挂载点进行灰度升级的方案或技术，类似的方案都是通过直接升级部分用户使用的文件系统进行灰度验证，这种情况如新文件系统有问题可能造成该用户节点的所有请求出问题，故障范围大，影响面比较广的问题，其技术方案要点是构建系统；exec族函数拉起的程序替换了程序用户空间；新老程序创建并映射了一段IPC交互区，原文件系统将指定需要灰度的目录或者文件的请求写入IPC交互区中；新文件系统处理结果不符合预期则中止恢复，若符合则全面接管，从而完成发布。达到了用户态内存操作，转发足够高效的效果。

关键词：灰度用户态文件系统新文件系统挂载点交互区发布技术方案要点程序创建程序替换程序用户构建系统内存操作文件系统用户节点用户使用影响面用户态原文件映射拉起升级接管写入中止转发验证恢复

来源：评论

学校读者我要写书评

暂无评论

一种基于用户态文件系统的数据库进程异常处理方法

一种基于用户态文件系统的数据库进程异常处理方法

引用

作者：娄帅林韶宾高孝鑫党中华张文凤田俊林禹叶金荣 100000 北京市丰台区汽车博物馆东路6号院3号楼10层1单元1001内18室

本发明提供了一种基于用户态文件系统的数据库进程异常处理方法，方法包括：调用用户态文件系统，基于用户态文件系统构建数据库进程异常检测系统；数据库进程异常检测系统检测数据库的进程是否存在异常，存在异常则按照策略处理，无异... 详细信息

标准号: CN115437881B

本发明提供了一种基于用户态文件系统的数据库进程异常处理方法，方法包括：调用用户态文件系统，基于用户态文件系统构建数据库进程异常检测系统；数据库进程异常检测系统检测数据库的进程是否存在异常，存在异常则按照策略处理，无异常则继续数据库的进程检测；确定数据库进程异常的类型，形成日志文件，按照类型调取用户态文件系统存储的对应的策略进行处理，将处理的结果存储至服务器并进行可视化处理。本发明采用用户态文件系统，并基于用户态文件系统构建数据库进程异常检测系统，实现数据库进程异常的检测，便于在用户态文件系统中将数据库进程异常检测和数据库进程异常检测处理的功能同时实现，提高了数据库进程异常检测的效率。

关键词：数据库进程用户态文件系统异常检测系统异常检测构建数据库可视化处理策略处理结果存储进程检测日志文件异常处理检测调取调用服务器存储进程

来源：评论

学校读者我要写书评

暂无评论

一种基于用户态文件系统的数据库进程异常处理方法

一种基于用户态文件系统的数据库进程异常处理方法

引用

作者：娄帅林韶宾高孝鑫党中华张文凤田俊林禹叶金荣 100000 北京市丰台区汽车博物馆东路6号院3号楼10层1单元1001内18室

标准号: CN115437881A

来源：评论

学校读者我要写书评

暂无评论

基于非易失性内存的用户态文件系统设计方法及系统

基于非易失性内存的用户态文件系统设计方法及系统

引用

作者：陈海波董明凯卜衡易纪非董本超 200240 上海市闵行区东川路800号

本发明提供了一种基于非易失性内存的用户态文件系统设计方法及系统，包括：将具有相同用户/组和权限的文件放在同一个coffer中，整个用户态文件系统树由coffer组成；内核态文件系统管理模块以coffer的粒度对整个文件系统进行管理；用... 详细信息

标准号: CN110659248B

本发明提供了一种基于非易失性内存的用户态文件系统设计方法及系统，包括：将具有相同用户/组和权限的文件放在同一个coffer中，整个用户态文件系统树由coffer组成；内核态文件系统管理模块以coffer的粒度对整个文件系统进行管理；用户态文件系统库通过发起对coffer的映射请求，获得对coffer的访问权限；用户态文件系统库与内核态文件系统管理模块通过系统调用进行交互；由内核态文件系统对整个文件系统进行整体空间管理，并将部分空间划归给各个用户态文件系统库。本发明减少系统调用造成的性能开销，充分发挥非易失性内存的高性能。

关键词：用户态文件系统内核态文件系统管理模块非易失性内存整个文件设计方法及系统访问权限减少系统文件系统系统调用性能开销整体空间映射调用权限管理

来源：评论

学校读者我要写书评

暂无评论

基于用户态文件系统的前端模块管理器、管理方法及系统

基于用户态文件系统的前端模块管理器、管理方法及系统

引用

作者：田昕宗辛晨阳 200233 上海市松江区漕河泾开发区松江高科技园莘砖公路668号238室

本发明公开了一种基于用户态文件系统的前端模块管理器，包括：外层控制单元，用于初始化应用隔离单元和底层守护进程单元，获取每个项目下对应的预设模块信息，调用应用隔离单元创建项目中各模块间的隔离层的操作指令；应用隔离单元，... 详细信息

标准号: CN116594978A

本发明公开了一种基于用户态文件系统的前端模块管理器，包括：外层控制单元，用于初始化应用隔离单元和底层守护进程单元，获取每个项目下对应的预设模块信息，调用应用隔离单元创建项目中各模块间的隔离层的操作指令；应用隔离单元，用于接收所述隔离层的创建操作指令执行隔离层的创建，生成隔离层的进程ID，且在用户执行写入操作时对底层存储进行隔离以防止污染底层存储；底层守护进程单元，用于接收所述预设模块信息，并根据隔离层进程ID生成虚拟化模块目录；解决现有前端模块管理器存在安装速度慢、占用硬盘空间大的问题，满足如今前端敏捷开发过程中衍生的模块效能需求。

关键词：隔离层隔离单元守护进程单元操作指令前端模块预设模块管理器创建存储用户态文件系统应用防止污染开发过程模块目录外层控制效能需求写入操作硬盘空间用户执行初始化虚拟化调用进程隔离占用

来源：评论

学校读者我要写书评

暂无评论

一种基于用户态文件系统实时更新配置的方法及装置

一种基于用户态文件系统实时更新配置的方法及装置

引用

作者：刘树亮 215000 江苏省苏州市吴中经济开发区郭巷街道官浦路1号9幢

本发明提供了一种基于用户态文件系统实时更新配置的方法及装置。包括通过fuse client调用fuse接口与用户态文件系统对接，获取更新配置文件；通过共享内存将所述更新配置文件发送至fuse sever；通过所述fuse sever检查所述更新配置文... 详细信息

标准号: CN112269687A

本发明提供了一种基于用户态文件系统实时更新配置的方法及装置。包括通过fuse client调用fuse接口与用户态文件系统对接，获取更新配置文件；通过共享内存将所述更新配置文件发送至fuse sever；通过所述fuse sever检查所述更新配置文件的合法性，并通过所述fuse sever的集群通信同步所述更新配置文件。本发明的有益效果在于：本发明基于用户态文件系统实现了一种实时更新配置文件，无需重新启动服务来加载配置的方法，提升了系统的可用性。本发明可以实时更新到主进程的相关服务模块。这样无论从哪一个集群节点访问该用户态的文件系统，也可以获取相同的内容或结果。本发明在断电或主动关机、重启，在系统盘失效，内存数据下刷失败时，仍可以恢复。

关键词：配置文件用户态文件系统实时更新更新配置的配置文件发送可用性服务模块共享内存集群节点集群通信内存数据文件系统系统盘用户态主进程关机加载重启合法性调用断电失败恢复访问检查服务

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：