检索结果-内蒙古大学图书馆

计算机工程与科学 2016年第1期38卷 20-27页

作者：周兰凤赵鹏飞彭俊杰上海应用技术学院计算机科学与信息工程学院上海201418 上海大学计算机信息工程与科学学院上海200444

基于互联网的文件传输策略将直接影响到文件传输效率和网络资源的使用效率,这一情况在各种资源集中的云计算环境表现得更为明显,特别是当传输大量小文件时尤为突出。针对这种现状,提出了一种基于打包策略的文件传输策略,给出了文件包优... 详细信息

基于互联网的文件传输策略将直接影响到文件传输效率和网络资源的使用效率,这一情况在各种资源集中的云计算环境表现得更为明显,特别是当传输大量小文件时尤为突出。针对这种现状,提出了一种基于打包策略的文件传输策略,给出了文件包优化处理机制,基于该策略,文件传输之前对小文件进行打包处理,然后进行传输,在接收端收到文件时首先进行解包再进行存储,从而减小传输过程中大量的IO操作,提升文件传输效率。大量的实验表明了本文所提策略的正确性,能够极大地提升云环境下小文件的传输效率,提高云资源的利用率。

关键词：云环境小文件传输优化处理特定策略

来源：评论

学校读者我要写书评

暂无评论

基于云环境下小文件传输存储策略研究

基于云环境下小文件传输存储策略研究

引用

作者：赵鹏飞上海应用技术大学

学位级别：硕士

随着互联网的飞速发展，数据量呈现指数级的增长，如何更加高效的传输并存储规模庞大的数据文件和充分利用网络资源利用率越发显得重要。传统的技术架构以及传统网络，在面向规模庞大的数据文件面前，显的越来越乏力。这一情况在各种资... 详细信息

随着互联网的飞速发展，数据量呈现指数级的增长，如何更加高效的传输并存储规模庞大的数据文件和充分利用网络资源利用率越发显得重要。传统的技术架构以及传统网络，在面向规模庞大的数据文件面前，显的越来越乏力。这一情况在各种资源集中的云计算环境中表现的更为明显，特别当传输的是大量的小文件时尤为突出。如今在该问题上大多的学术研究都是基于Hadoop下面的分布式文件系统所进进行并提出的。我们都知道采取Hadoop下的分布式文件系统进行文件传输存储能够使得文件数据保持一定程度的一致性，在当面向海量的小文件数据时，显得力不从心，并存在有所缺陷。采取现如今的这些固定的策略往往在这些系统中添加海量小文件的预处理模块，在这些模块里，进行客户端发来的海量的小文件的归类，合并，映射并最终传输存储到数据存储端。虽然在应用这些策略时，能够使得HDFS（HadoopDistributedFileSystem）的文件存储系统有效的降低海量小文件存取对云数据节点（namenode）的内存消耗，但是往往这些研究都是基于单一的策略，例如通过单一的思想即文件打包模块策略入手，实质上并没有综合考虑小文件传输存储，虽能够降低能耗及保持一个不错的文件传输效率，但往往效果不是太明显[1]。　　因此面对如此研究现状，全文以此为出发点，结合相关工作，针对云环境下如何高效存储海量小文件展开了大量的探讨与研究，研究的主要内容及贡献如下：　　（1）本文首先分析并研究了如今大多数在云环境下所进行的海量小文件存储策略，通过分析前人所做的研究，本文在不同于现今大多数小文件传输策略研究，而是综合考虑整个系统，不仅从如今最常见的小文件打包策略入手研究，还综合考虑了海量小文件传输过程中的参数的优化配置，如传输过程中的socket程序的优化以及socket文件传输存储程序的缓冲区的优化，并进行大量的实验验证，从而使得客户端发送过来的海量小文件能够得到最大程度的传输存储优化，进一步提高了海量小文件传输存储的效率，同时实验证明该策略也能够在一定程度上提高文件传输并存储的自适应性。为之后采用特定的方法运用到分布式存储上奠定了基础。　　（2）针对在分布式文件存储系统中同样存在海量小文件存储效率低的问题，本文首先进行了分布式文件存储系统ceph的原理及数据传输存储流程分析研究，并结合在集中式存储系统下提出的小文件存储策略，进行在分布式文件系统下运用集中式存储下的策略的可行性分析，最终提出在分布式文件存储系统下的小文件传输存储策略。通过实验及分析验证了该策略运用到分布式文件存储系统下的可行性，并最终能够明显提高小文件在分布式存储下的文件传输效率。

关键词：云环境小文件传输参数优化分布式文件系统

来源：评论

学校读者我要写书评

暂无评论

网格社区中文件传输效率的改进研究

引用

华中科技大学学报（自然科学版） 2011年第S1期39卷 42-46页

作者：伍卫国马冬冬张振平姜凯西安交通大学电子与信息工程学院陕西西安710049 上海超级计算中心上海201203

从GOS网格社区中的文件传输服务出发,设计了新的文件传输协议并且实现了文件传输客户端CFTP.相对于网格社区中原有的HPCG文件传输和Applet文件传输,该协议采用了分块传输、条状传输、传输线程迁移以及小文件的连接复用等技术,克服了原... 详细信息

从GOS网格社区中的文件传输服务出发,设计了新的文件传输协议并且实现了文件传输客户端CFTP.相对于网格社区中原有的HPCG文件传输和Applet文件传输,该协议采用了分块传输、条状传输、传输线程迁移以及小文件的连接复用等技术,克服了原有文件传输协议对文件大小支持不完善以及效率低下的缺点.测试结果表明:CFTP对于大文件和大量小文件的上传、下载以及第三方传输都取得很高的传输效率;针对普通文件,上传时CFTP的传输时间较HPCG文件传输方式提高14.83%,较基于Applet的传输方式提高21.7%;下载时CFTP相对于HPCG文件传输方式效率提升了20.2%,相对于基于Applet的文件传输方式效率提升了4.9%.

关键词：网格社区网格技术文件传输第三方传输小文件传输

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：