检索结果-内蒙古大学图书馆

计算机研究与发展 2022年第3期59卷 597-616页

作者：孙辉娄本冬黄建忠赵雨虹符松安徽大学计算机科学与技术学院合肥230601 华中科技大学武汉光电国家研究中心武汉430074 中国科学院信息工程研究所北京100093 北德克萨斯大学计算机科学与工程系美国德克萨斯州登顿76203

大规模非结构化数据的爆炸式增长给传统关系型数据库带来了极大的挑战.基于日志结构合并树(log-structured merge tree,LSM-tree)的键值存储系统已被广泛应用,并起到重要的作用,原因在于基于LSM-tree的键值存储能够将随机写转化为顺序写... 详细信息

大规模非结构化数据的爆炸式增长给传统关系型数据库带来了极大的挑战.基于日志结构合并树(log-structured merge tree,LSM-tree)的键值存储系统已被广泛应用,并起到重要的作用,原因在于基于LSM-tree的键值存储能够将随机写转化为顺序写,从而提升性能.然而,LSM-tree键值存储也存在一些性能问题.一方面,键值存储利用compaction操作更新数据,保持系统平衡,但造成严重的写放大问题.另一方面,以传统计算为中心的架构下,compaction操作带来大量的数据传输,影响了系统性能.以数据为中心的近数据计算模型(near-data processing,NDP)为基础,利用该模型下主机端与近数据计算使能设备端的并行资源,提出基于系统并行与流水线并行的compaction优化方法(collaborative parallel compaction optimization for LSM-tree key-value stores,CoPro).当处理compaction操作时,CoPro主机端与NDP设备端协同执行compaction卸载任务.此外,进一步提出基于决策组件的CoPro+,根据系统资源变化以及负载键值对中值大小的变化来动态调整并行度,使NDP架构中计算资源的使用更加高效.在搭建的硬件平台上验证了CoPro的有效性.

关键词：日志归并树键值存储近数据计算任务卸载数据-流水线并行

来源：评论

学校读者我要写书评

暂无评论

基于近数据计算的LSM-tree键值存储系统Compaction优化方法

基于近数据计算的LSM-tree键值存储系统Compaction优化方法

引用

作者：刘伟安徽大学

学位级别：硕士

大数据环境下,传统关系型数据库难以满足应用对高性能、低带宽等存储系统的需求,而基于LSM-tree的键值存储系统具有高吞吐量、高扩展性等优点,逐渐替代传统关系型数据库而被广泛部署到大规模数据中心。然而,在随机写密集型负载下,LSM-t... 详细信息

大数据环境下,传统关系型数据库难以满足应用对高性能、低带宽等存储系统的需求,而基于LSM-tree的键值存储系统具有高吞吐量、高扩展性等优点,逐渐替代传统关系型数据库而被广泛部署到大规模数据中心。然而,在随机写密集型负载下,LSM-tree键值存储系统会频繁执行compaction操作,引起数据写放大,降低系统的吞吐量。现有compaction的优化方法大多采用以主机端CPU为中心的方案来降低写放大,提高系统性能,但该类方法较依赖主机端CPU和I/O资源,数据传输量较大且系统资源利用率较低。本文利用存储系统中近数据计算模型（Near-Data Processing,NDP）,提出了两种compaction操作优化方案（Co-KV和DStore）,实现主机端与设备端并行执行compaction任务,降低主机端CPU负担,减少I/O数据传输量,以提高LSM-tree存储系统的性能。首先,本文提出面向compaction任务的静态优化策略Co-KV。Co-KV是一种基于近数据计算架构的compaction任务静态卸载策略和主机端-设备端协同执行compaction任务的方案。当compaction操作触发时,Co-KV主机端系统计算compaction所涉及的SSTable文件并按照静态卸载比值将其分成两个子任务,主机端系统通过语义管理功能将子任务分别卸载到主机端和具有近数据计算能力的NDP设备端1,由两端的任务执行模块并行执行compaction操作。Co-KV利用两端系统的计算资源,降低了主机端的CPU和I/O占用负担,提高了存储系统吞吐量。本文在OED平台上验证了Co-KV方案的可行性,在dbbench负载下,LevelDB的吞吐量仅为3.5MB/s,Co-KV的吞吐量最高达5.9MB/s。尽管Co-KV中的静态卸载策略较好改善了LevelDB性能,但却不能适应负载和平台的变化。当负载和平台类型变化时,静态卸载策略可能导致主机端或设备端的任务处理延时较长的问题,影响系统性能。为此,针对Co-KV静态优化compaction策略的不足,提出了一种DStore方案,实现compaction任务动态卸载和按需调度的策略。DStore根据主机端和设备端compaction任务处理能力计算两端的任务卸载比值,并同compaction任务信息一并发送到设备端。设备端根据接收的任务卸载比值,将compaction任务分割成多个子任务,建立此次compaction任务双端队列。之后,创建两个互斥线程根据两端子任务实际处理情况,从双端队列中按需调度子任务。DStore优化了Co-KV中静态卸载比值的不足,避免了因子任务处理延时较长而降低系统两端compaction并行执行性能的情况。在基础实验平台下的测试结果表明,相比Co-KV和LevelDB,DStore对写吞吐量的优化分别提升了2.3倍和5倍。在不同内外带宽比例、不同计算能力以及OIED平台的扩展实验中,相比Co-KV和LevelDB,DStore具有较明显的性能优势。

关键词： LSM-tree键值存储近数据计算 Compaction任务卸载按需调度

来源：评论

学校读者我要写书评

暂无评论

内存计算研究进展

引用

中国科学：信息科学 2021年第2期51卷 173-205页

作者：毛海宇舒继武李飞刘喆清华大学计算机系北京100084

随着应用数据处理需求的激增,在传统冯·诺依曼(von Neumann)体系结构中,处理器到主存之间的总线数据传输逐渐成为瓶颈.不仅如此,近年来兴起的数据密集型应用,如神经网络和图计算等,呈现出较严重的数据局部性,缓存命中率低.在这些... 详细信息

随着应用数据处理需求的激增,在传统冯·诺依曼(von Neumann)体系结构中,处理器到主存之间的总线数据传输逐渐成为瓶颈.不仅如此,近年来兴起的数据密集型应用,如神经网络和图计算等,呈现出较严重的数据局部性,缓存命中率低.在这些新兴数据密集型应用的处理过程中,中央处理器到主存间的数据传输量大,导致系统的性能不佳且能耗变高.针对传统冯·诺依曼体系结构的局限性,内存计算通过赋予主存端一定的计算能力,以缓解因数据量大以及数据局部性差带来的总线拥堵和传输能耗高的问题.内存计算有两大形式,一种是以高带宽的连接方式将计算资源集成到主存单元中(近数据计算),另一种是直接利用存储单元做计算(存内计算).这两种形式有各自的优缺点和适用场景.本文首先介绍并分析了内存计算的提出和兴起原因,然后从硬件和微体系结构方面介绍内存计算技术,接着分析和总结了内存计算所面临的挑战,最后介绍了内存计算给目前流行的应用带来的机遇.

关键词：内存计算近数据计算存内计算神经网络图计算

来源：评论

学校读者我要写书评

暂无评论

人工神经网络加速方法综述与研究

引用

天津科技 2019年第S01期46卷 28-30页

作者：陶常勇高彦钊王元磊张兴明天津市滨海新区信息技术创新中心天津300450 国家数字交换系统工程技术研究中心河南郑州450000 解放军信息工程大学河南郑州450000

针对人工神经网络计算密集型和数据密集型的计算特点,在分析了当前常见的硬件加速架构的基础上,提出了一种可重构众核加速阵列的逻辑结构,包括规则控制层、数据缓存层和乘加算粒层,在数据缓存层上还构建片上网络,实现数据在各处理节点... 详细信息

针对人工神经网络计算密集型和数据密集型的计算特点,在分析了当前常见的硬件加速架构的基础上,提出了一种可重构众核加速阵列的逻辑结构,包括规则控制层、数据缓存层和乘加算粒层,在数据缓存层上还构建片上网络,实现数据在各处理节点之间的流动。该结构突破了冯诺依曼内存墙的问题,实现了计算存储一体化的近数据计算。

关键词：神经网络众核架构近数据计算片上网络

来源：评论

学校读者我要写书评

暂无评论

交通安防大数据的实时快速检索关键技术研究

交通安防大数据的实时快速检索关键技术研究

引用

作者：雷力浙江大学

学位级别：硕士

随着城市化进程加快,城市人口迅速增加,带来了日益严重的交通安全问题。“智能交通”可以通过城市监控所采集的大量数据,对交通情况、城市安全进行分析,协助城市管理者管理城市的交通与安全。HBase数据库可以大规模存储车辆信息,但是无... 详细信息

随着城市化进程加快,城市人口迅速增加,带来了日益严重的交通安全问题。“智能交通”可以通过城市监控所采集的大量数据,对交通情况、城市安全进行分析,协助城市管理者管理城市的交通与安全。HBase数据库可以大规模存储车辆信息,但是无法快速实时进行检索。本研究主要面向对HBase中存储的过车记录进行快速实时检索,提出通过降低网络开销、硬盘读取开销的优化方法。首先,在HBase中建立二级索引降低检索中扫描的数据量,计算二级索引来获得符合检索条件的记录。实验结果表明,返回第一条过车记录的检索响应时间相比无二级索引时降低45倍。其次,二级索引从存储端传输至客户端的网络传输开销时间占总检索时间的20%。为了降低网络传输开销,基于近数据计算理论,通过HBase协处理器构建加速框架将二级索引的获取和计算移动到存储节点进行。在集成了该加速框架后,网络开销降低了 12倍,检索响应时间加速比为1.4。最后,在检索时发现存储节点从硬盘读取二级索引的时间占总时间开销的70%。为了降低硬盘读取时间开销,根据二级索引离散度的不同,组合多种无损压缩算法对二级索引进行压缩来降低硬盘读取时间,并在HBase协处理器中实现压缩后索引的计算。实验结果表明,硬盘读取时间降低73%,检索响应时间降低 80%。

关键词：智慧交通检索 HBase 二级索引近数据计算压缩

来源：评论

学校读者我要写书评

暂无评论

多中心架构下多源遥感数据协同处理平台关键技术研究

多中心架构下多源遥感数据协同处理平台关键技术研究

引用

作者：张万峰中国科学院大学

学位级别：博士

随着对地观测领域内多种传感器的发展、海量多源遥感数据获取能力的提高，专业化的数据获取与多源数据的综合应用呈现出精细化分工与协同式综合处理需求并存的发展局面。一方面，各类遥感数据获取与管理方式更为专业化，由此形成了多个... 详细信息

随着对地观测领域内多种传感器的发展、海量多源遥感数据获取能力的提高，专业化的数据获取与多源数据的综合应用呈现出精细化分工与协同式综合处理需求并存的发展局面。一方面，各类遥感数据获取与管理方式更为专业化，由此形成了多个不同类型卫星、不同区域或国家的数据中心;另一方面，遥感领域的大型综合性应用又需要得到不同卫星、不同区域或国家数据中心的数据支持，面临着需要同时面对不同类型传感器数据的处理、不同数据中心之间数据类型与覆盖区域的互补、综合性信息处理等现实问题。\n 这一系列现实状况、需求与发展趋势，一方面催生了各数据中心联合提供数据共享的动力与技术解决方案，另一方面，各中心联合起来，共同为用户提供综合性的信息处理与一站式信息服务，必将成为未来的发展趋势之一。为此，本文提出了多卫星数据中心协同处理与一站式信息服务模式。该服务模型基于多卫星数据中心架构而构建，主要依托于国内已有的气象、陆地、海洋等卫星数据中心，通过研究在多卫星数据中心架构下处理多源遥感数据产品所需的若干关键技术，建立一个可以统一、协同调度多卫星数据中心资源的多源遥感数据协同处理平台，重点解决了多卫星数据中心架构下的一站式服务模式与系统框架构建、不同领域用户的复杂需求表达方法研究、分布式多数据中心环境下的资源管理与汇聚、基于近数据计算原则的数据密集型工作流调度方法研究等四类问题。\n 本论文主要的贡献与创新点如下:\n 1)提出了基于多卫星数据中心架构的遥感产品一站式按需服务模式。在面向多样化用户需求、多种数据源选择、不同级别遥感数据产品生产流程自动选择等问题的基础上，通过总结遥感产品处理需求解析、分布式数据与算法资源映射、数据密集型工作流调度等过程中的关键技术，并进一步从任务域、资源域与流程域的域空间角度，将上述关键技术映射到各个域空间中，进而抽象出基于多卫星数据中心架构的遥感产品一站式按需服务模式。\n 2)提出了面向多种遥感应用需求的规整化模型，以可变模糊理论中的相对隶属函数来描述具有不确定性的用户需求和多源遥感数据集的选择，并将空间数据表达中的三维空间数据模型与可变模糊理论相结合，建立了面向多样性遥感应用需求的规整化需求模型。\n 3)提出了基于定量化描述遥感数据光谱特征与时空特征的多源遥感数据互补经验模型。本文创新性地提出了以遥感数据的光谱通道中心波长、中心波长与波谱边界之间的距离、以及遥感数据空间分辨率等因素的量化表达模型来描述多源遥感数据集之间的数据特征相似性;同时，通过引入图像熵值的计算，进一步提高了该数据互补模型的相似性判断能力，可对大规模遥感产品处理过程中单一类型数据源在时间连续性、空间覆盖方面不完备时选择备选数据源提供有效解决方案。\n 4)实现了多卫星数据中心环境下以算法迁移代替大规模数据迁移的近数据计算方案。本文针对海量遥感数据的多中心协同处理过程中可能涉及的大规模数据迁移问题，提出了以算法源码及其编译运行所依赖的库环境为基础进行跨数据中心迁移算法，来代替海量数据迁移的近数据计算方案，可避免长时间的海量数据传输过程中会遇到的网络中断、存储空间消耗过大等问题。

关键词：多卫星数据中心协同处理一站式按需服务多源遥感数据互补经验模型近数据计算算法迁移

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：