检索结果-内蒙古大学图书馆

作者：刘芳内蒙古师范大学

学位级别：硕士

随着现阶段二代高通量测序技术的不断发展,RNA-Seq测序技术所产生的数据量不断增大,庞大的数据量虽然蕴含了大量生物学信息,但是为研究人员带来了生物信息学分析的难题。快速、高效分析这些海量生物数据,挖掘数据信息,是现今生物信息学... 详细信息

随着现阶段二代高通量测序技术的不断发展,RNA-Seq测序技术所产生的数据量不断增大,庞大的数据量虽然蕴含了大量生物学信息,但是为研究人员带来了生物信息学分析的难题。快速、高效分析这些海量生物数据,挖掘数据信息,是现今生物信息学急需解决的重要问题。对于海量生物信息学数据的存储和处理,利用数千台计算机来工作显然不太现实,因此把云计算技术应用到组学大数据中对庞大的数据集进行存储、处理和分析是最佳解决方案。在RNA-Seq数据分析流程中,Reads mapping序列比对过程是将RNA-Seq测序得到的reads片段通过Reads mapping算法,查找在参考基因组中的坐标信息(染色体号和在该染色体中的位置)。Reads mapping分析过程是RNA-Seq数据分析流程中的第一步,也是重要的一步,数据分析结果的质量、软件程序运行时间等会对之后的数据分析产生影响。随着高通量测序技术的发展,RNA-Seq所产生的数据量有着高通量、低成本、信息量巨大等特点,传统的序列比对工具在时间消耗和对计算机内存需求方面为生物信息学分析带来巨大难题,因此需要选择合适的Reads mapping算法,进行reads序列的比对有着很重要的作用。Reads mapping序列比对过程可以抽象成计算机算法中字符串搜索问题,即在一个长字符串中搜索子字符串,确定子字符串的位置。常用的Reads mapping算法包括Hash Table算法、Suffer Array算法、Kart算法和fm-index算法,本文对常用四种基本算法进行简单分析比对,通过模拟reads序列数据集将四种算法在内存需求、运行时间和序列比对正确率三方面进行比对,选择综合比较相对较好的fm-index算法,进行之后的算法并行化。在基于Spark进行fm-index算法并行化过程中,主要在Reads mapping过程中参考基因组索引建立和reads序列比对两个部分进行并行化,将参考基因组索引建立通过Spark分布式计算框架进行并行化,参考基因组索引建立过程分为三个步骤,分别为参考基因组序列的切割、键值对的洗牌与排序、RDD索引的持久化。将大的参考基因组切分成小的reads序列分给不同的RDD缓存到内存中,然后通过键值对的洗牌与排序进行索引的建立;之后在reads序列比对过程中,将输入的大量reads序列分到不同的RDD中,与参考基因组进行序列比对,确定reads在参考基因组中的坐标信息,进而实现算法的并行化,优化串行算法,达到减少Reads mapping过程的时间消耗和内存需求的目的。在组学大数据时代,海量的生物信息学数据,使传统的序列比对工具很难高效的完成Reads mapping序列比对,因此将传统的mapping算法与云计算技术结合,开发出适应于生物大数据的Reads mapping序列分析过程,成为解决RNA-Seq数据分析难题的一个有效方法。大数据与云计算技术的快速发展,对于解决生物学这一难题有着很大的帮助。在序列比对过程中,通过构建云计算环境,优化短reads序列的mapping问题,进一步推进RNA-Seq数据分析的发展,对生物信息学有着重大意义。

关键词：生物信息学 RNA-Seq Reads mapping Spark分布式框架 fm-index算法

来源：评论

学校读者我要写书评

暂无评论

基于Spark的CRISPR系统脱靶位点预测算法研究与实现

基于Spark的CRISPR系统脱靶位点预测算法研究与实现

引用

作者：刘佳毅华中科技大学

学位级别：硕士

基因编辑技术在基因功能研究、物种性状改良和疾病研究中具有非常重要的作用,成为当下的研究热点。CRISPR系统是目前最具发展潜力的基因编辑工具,但由于其存在脱靶效应,可能会导致不确定位置的DNA片段遭到破坏。提前对全基因组范围内存... 详细信息

基因编辑技术在基因功能研究、物种性状改良和疾病研究中具有非常重要的作用,成为当下的研究热点。CRISPR系统是目前最具发展潜力的基因编辑工具,但由于其存在脱靶效应,可能会导致不确定位置的DNA片段遭到破坏。提前对全基因组范围内存在的脱靶位点进行预测来实现风险规避,对安全有效的CRISPR系统的设计与应用具有非常重要的指导意义。目前已有的CRISPR系统脱靶位点预测算法的运行效率都不是很高,在全基因组范围对脱靶位点进行预测十分耗时。本文提出了一种新的脱靶位点预测算法Spark-OFFinder,该算法将fm-index算法应用到了脱靶位点预测当中,通过使用Spark分布式计算框架,使之能在Spark集群当中并发运行。本文对参考基因组序列生成fm-index索引文件,并对索引文件的内容进行压缩处理,使其能够完全加载到内存当中,提升读取效率。Spark-OFFinder设计了一种基于fm-index算法的部分模糊匹配算法,能在参考基因组序列中搜索CRISPR系统的脱靶位点,并通过一定的优化措施来缩小搜索空间,以提升算法的运行效率。本文还使用MapReduce编程模型将该算法并行化处理,并基于Spark分布式计算框架实现该并行算法,使其能在Spark集群当中分布式运行,进一步提升运行效率。最后,本文将Spark-OFFinder与目前应用广泛的脱靶位点预测工具Cas-OFFinder进行对比,Spark-OFFinder的运行结果完全正确。在单机环境下,Spark-OFFinder的运行速度相较于Cas-OFFinder有很大的提升。在集群环境中,本文使用控制变量法测试了两者受参考基因组序列长度、sgRNA序列数量和最大允许错配数的影响。测试结果表明,在本文测试所使用的集群环境中,Spark-OFFinder在不同输入条件下的运行速度较Cas-OFFinder均能有非常大的提升,在某些输入条件下能达到百倍甚至千倍的提升。此外,Spark-OFFinder在参考基因组序列长度较长、sgRNA序列数量多以及最大允许错配数较小时更能发挥其运行速度上的优势。并且该算法具有比较好的拓展性,能随集群规模的扩大稳步提升运行速度。

关键词： CRISPR系统脱靶位点预测 fm-index算法 Spark

来源：评论

学校读者我要写书评

暂无评论

基于后缀树与后缀数组混合结构的基因序列比对算法研究

基于后缀树与后缀数组混合结构的基因序列比对算法研究

引用

作者：焦雅内蒙古农业大学

学位级别：硕士

随着基因测序技术的迅猛发展,基因数据库中序列公共数据量呈指数形式增长。对于基因数据最基础但最重要的分析方法为序列比对。本文通过对现今常用的分析算法和分析软件在序列的类型、特点和功能等方面研究和比较,发现序列比对算法的重... 详细信息

随着基因测序技术的迅猛发展,基因数据库中序列公共数据量呈指数形式增长。对于基因数据最基础但最重要的分析方法为序列比对。本文通过对现今常用的分析算法和分析软件在序列的类型、特点和功能等方面研究和比较,发现序列比对算法的重点是对基因数据结构进行有效组织。目前这些数据结构有哈希表和后缀树、后缀数组,本文在此研究基础上提出了新的算法BWL。BWL算法的特点：(1)采用了新的数据结构,即后缀树与后缀数组混合的新的数据结构,这种数据结构不仅占用内存空间比较小,解决了基因数据文件因内存受限的问题,而且能减少与外存频繁交互,提高比对运算速度。(2)BWL算法在序列比对过程中引进空位种子模型,提高算法敏感度。对于没有完全匹配的序列,采用加入空位的方法,相对于精确的动态规划法或对模型逐位循环进行增、删、改再比对的试探方法在运算速度方面有了进一步提升,算法有效性明显提高。最后本文做了序列比对仿真实验,并对实验结果进行了详细的分析分析结果表明,本文提出的后缀树与后缀数组混合的数据结构占用内存不会随着基因数据的大小而改变,索引构建速度也较其他算法更快。另外,序列比对上提出的引入空位种子模型的方法在实验比较中得出本文提出的改进具有有效性并且实际性能的提升很显著。

关键词：序列比对后缀树后缀数组 BWT 空位种子 fm-index算法

来源：评论

学校读者我要写书评

暂无评论

fm-index分块并行算法及其实现

引用

计算机工程 2008年第8期34卷 53-54,58页

作者：李开士张云泉李玉成中国科学院研究生院北京100080 中国科学院软件研究所并行计算实验室

查询海量数据有压缩和索引两种方法来提高速度,该文结合这两种方法提出了压缩查询的方法。fm-index是一种自索引的全文查询算法,存在内存占用过大的问题,对于复杂的查询效率也不理想。该文提出分块fm-index算法,在分块的基础上采用MPI... 详细信息

查询海量数据有压缩和索引两种方法来提高速度,该文结合这两种方法提出了压缩查询的方法。fm-index是一种自索引的全文查询算法,存在内存占用过大的问题,对于复杂的查询效率也不理想。该文提出分块fm-index算法,在分块的基础上采用MPI对算法进行并行化,解决了内存占用过多的问题,达到了较好的并行效率。

关键词：压缩自索引 fm-index算法分块并行

来源：评论

学校读者我要写书评

暂无评论

基于重叠分块的fm-index性能研究与分析

引用

计算机工程 2009年第6期35卷 85-87,93页

作者：梁军张迪张云泉北京联合大学电子信息实训基地北京100101 中国科学院软件研究所北京100190

fm-index压缩查询方法结合压缩技术和索引技术,其最大优势是能够在不解开压缩文件的情况下对源文件进行查询。该文通过理论分析和详细的测试数据研究重叠分块对fm-index压缩查询性能的改善。对改进后的fm-index和压缩软件Winrar在压缩... 详细信息

fm-index压缩查询方法结合压缩技术和索引技术,其最大优势是能够在不解开压缩文件的情况下对源文件进行查询。该文通过理论分析和详细的测试数据研究重叠分块对fm-index压缩查询性能的改善。对改进后的fm-index和压缩软件Winrar在压缩时间和文件占用空间上进行分析和比较,进一步证明了重叠分块对fm-index压缩查询性能的改善。

关键词： fm-index算法重叠分块压缩查询

来源：评论

学校读者我要写书评

暂无评论

基于fm-index的压缩查询方法研究与应用

基于FM-index的压缩查询方法研究与应用

引用

作者：梁军北京工业大学

学位级别：硕士

随着计算机和互联网技术的发展,信息检索的信息量日益加大,出现了大批量成GB级的数据文件,人们迫切希望可以在不解压的前提下,知道其中的数据是否有下一步处理需要的数据或者数据是否正确。这样可以节省解压缩的步骤,大大地缩短处理周期... 详细信息

随着计算机和互联网技术的发展,信息检索的信息量日益加大,出现了大批量成GB级的数据文件,人们迫切希望可以在不解压的前提下,知道其中的数据是否有下一步处理需要的数据或者数据是否正确。这样可以节省解压缩的步骤,大大地缩短处理周期,提高检索效率而且也降低了对机器配置的要求。\n 本论文内容之一研究了目前国际上比较领先的基于fm-index的压缩查询方法。该方法是压缩技术和索引技术的结合,它能够支持在不解开压缩文件的情况下对源文件进行查询。fm-index的算法基于BW压缩算法和后缀数组数据结构,并且对后缀数组也进行了压缩,充分利用了索引数据的可压缩性,压缩后的空间占用接近信息论的极限。但fm-index在压缩和建立索引过程种内存需求过大,针对这一问题,提出了分块的fm-index设计。同时,为了避免分块处的数据损失,设计了一个重叠区域,并给出了分块设计下压缩、建立索引和查询的方法,实验证明这些设计提高了fm-index处理大文件的能力,使它具有良好的应用前景。\n 本论文内容之二以上述研究方法为基础,用模式理论及UML语言建立了软件体系结构模型,基于该模型对原有的Linux软件进行重构,并在Windows平台上实现压缩查询系统的设计。以解决信息检索系统建设中普遍需要解决的压缩查询核心问题,设计中重点考虑了代码重用和兼容,增强该系统的稳定性、可扩展性和健壮性。

关键词：压缩查询 fm-index算法索引数据 UML语言

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：