检索结果-内蒙古大学图书馆

中国科学：信息科学 2020年第5期50卷 621-636页

作者：李天安黄向东王建民毛东方徐毅袁骏清华大学软件学院北京100084 大数据系统软件国家工程实验室北京100084 北京信息科学与技术国家研究中心北京100084

Apache IoTDB是一个新型的开源时序数据库管理系统.分布式数据管理系统不仅需要解决数据分区与多副本带来的节点间元数据同步问题,还要支持高效查询请求处理.本文针对节点间元数据同步问题提出了双层粒度元数据管理策略,在此基础上基于... 详细信息

Apache IoTDB是一个新型的开源时序数据库管理系统.分布式数据管理系统不仅需要解决数据分区与多副本带来的节点间元数据同步问题,还要支持高效查询请求处理.本文针对节点间元数据同步问题提出了双层粒度元数据管理策略,在此基础上基于一致性哈希分区方法和Raft协议设计了同时支持强一致性查询和最终一致性查询的分布式框架.基于单机版Apache IoTDB进行了系统实现与实验测试,测试结果表明:双层粒度元数据管理策略与单层粒度管理策略相比,其元数据内存资源占用更少且写入性能提升5%~10%,并且分布式Apache IoTDB的读写性能随着集群规模的扩大而线性增长.

关键词：物联网数据库时间序列分布式框架 Raft协议元数据强一致性最终一致性

来源：评论

学校读者我要写书评

暂无评论

大数据软件产品研发进展及挑战

引用

科技导报 2020年第3期38卷 84-93页

作者：刘英博魏凯清华大学软件学院大数据系统软件国家工程实验室工业大数据系统与应用北京市重点实验室北京100084 中国信息通信研究院北京100084

大数据技术的蓬勃发展催生了丰富的大数据应用,当今各种大数据产品形成的复杂的生态系统。从数据的存储和分析两个角度概述了大数据产品的核心技术,结合权威评测机构的结果,分析了国内市场上大数据产品的现状。未来中国大数据产品研发... 详细信息

大数据技术的蓬勃发展催生了丰富的大数据应用,当今各种大数据产品形成的复杂的生态系统。从数据的存储和分析两个角度概述了大数据产品的核心技术,结合权威评测机构的结果,分析了国内市场上大数据产品的现状。未来中国大数据产品研发在开源社区的参与度、复合型人才培养、产品细分和跨学科协同创新上还需进一步努力。

关键词：大数据系统大数据分析 NoSQL NewSQL

来源：评论

学校读者我要写书评

暂无评论

大规模时间序列分析框架的研究与实现

引用

计算机学报 2020年第7期43卷 1279-1292页

作者：滕飞黄齐川李天瑞王晨田春华西南交通大学信息科学与技术学院成都610031 中铁一院轨道交通工程信息化国家重点实验室西安710043 清华大学大数据系统软件国家工程实验室北京100084

工业互联时代,每天数以亿计的传感器源源不断生成时间序列,用以记录工业设备的温度、振动、压力、曲度和张力等参数.如何从这些非结构化的时间序列中挖掘出有价值信息,并运用于状态监测、故障诊断和控制决策,引起了广泛的关注和研究.随... 详细信息

工业互联时代,每天数以亿计的传感器源源不断生成时间序列,用以记录工业设备的温度、振动、压力、曲度和张力等参数.如何从这些非结构化的时间序列中挖掘出有价值信息,并运用于状态监测、故障诊断和控制决策,引起了广泛的关注和研究.随着数据规模日益增长,能够提供较为完备数据分析算法库的主流单机环境如Matlab、R等已无法较好地应对大规模时间序列分析场景下的数据处理需求.而现有的并行分析算法数量有限,常与平台相互绑定,更换平台需对算法进行二次开发,可扩展性较差.本文旨在设计一种通用的近似解分析框架,支持第三方算法快速实现并行化,解决因数据规模过大而导致的算法适用性问题.分析框架主要包含任务划分、治理和合并三个步骤.任务划分通过冗余保留了数据的局部相关性,生成相互独立的子任务,减少分布式节点之间的数据通信和同步开销.对于任务划分问题,本文提出了近似解代价模型,得到了最优的任务划分方案.基于Spark平台设计并实现了原型系统,实验结果表明,该系统在确保分析结果准确性的前提下,其加速能力随着并行程度保持近似线性的增长,解决了单机算法的数据规模受限问题.同时,该系统易于集成与扩展,使数据分析人员免于算法重复开发.

关键词：时间序列算法并行化近似解分治 Spark

来源：评论

学校读者我要写书评

暂无评论

一种基于最大流的分布式存储系统中查询任务最优分配算法

引用

计算机学报 2019年第8期42卷 1858-1872页

作者：徐毅王建民黄向东董一峰康荣乔嘉林清华大学软件学院北京100084 大数据系统软件国家工程实验室北京100084 工业大数据系统与应用北京市重点实验室北京100084

分布式存储系统多采用数据分区和多副本机制来处理海量数据并提供高可用性.为了提高读写效率,现有系统在将任务分发给不同节点时往往需要考虑数据分区的情况,并使得任务分配能够保证数据本地性.然而,给定一个需要访问多个数据分区的查... 详细信息

分布式存储系统多采用数据分区和多副本机制来处理海量数据并提供高可用性.为了提高读写效率,现有系统在将任务分发给不同节点时往往需要考虑数据分区的情况,并使得任务分配能够保证数据本地性.然而,给定一个需要访问多个数据分区的查询任务,现有系统没有充分考虑节点的实际负载情况,导致虽然任务的分配满足数据本地性,但集群查询响应速度仍受到制约.该文提出一种在分布式存储系统中查询任务的节点分配算法,该算法不仅考虑了数据本地性,还利用了多副本机制确保节点间的负载均衡.算法的基本思想是将任务分配问题转化为最大流问题,并通过二分查找寻求最优分配方案.在实验阶段,该文首先通过模拟实验验证该算法的正确性,之后将该算法集成到Cassandra中作为一种新的负载均衡策略,并与Cassandra原生的两种策略进行性能对比.实验证明,该文提出的算法使得查询性能优于Cassandra原生的策略,平均查询时间缩短为原有策略的50%,某些情况下可以缩短为11%.

关键词：数据分区数据本地性查询优化最大流负载均衡分布式存储系统

来源：评论

学校读者我要写书评

暂无评论

HDFS存储和优化技术研究综述

引用

软件学报 2020年第1期31卷 137-161页

作者：金国栋卞昊穹陈跃国杜小勇数据工程与知识工程教育部重点实验室(中国人民大学) 北京100872 中国人民大学信息学院北京100872 大数据系统软件国家工程实验室(北京理工大学) 北京100081

HDFS(Hadoop distributed file system)作为面向数据追加和读取优化的开源分布式文件系统,具备可移植、高容错和可大规模水平扩展的特性.经过10余年的发展,HDFS已经广泛应用于大数据的存储.作为存储海量数据的底层平台,HDFS存储了海量... 详细信息

HDFS(Hadoop distributed file system)作为面向数据追加和读取优化的开源分布式文件系统,具备可移植、高容错和可大规模水平扩展的特性.经过10余年的发展,HDFS已经广泛应用于大数据的存储.作为存储海量数据的底层平台,HDFS存储了海量的结构化和非结构化数据,支撑着复杂查询分析、交互式分析、详单查询、Key-Value读写和迭代计算等丰富的应用场景.HDFS的性能问题将影响其上所有大数据系统和应用,因此,对HDFS存储性能的优化至关重要.介绍了HDFS的原理和特性,对已有HDFS的存储及优化技术,从文件逻辑结构、硬件设备和应用负载这3个维度进行了归纳和总结.综述了近年来HDFS存储和优化相关研究.未来,随着HDFS上层应用的日益丰富和底层硬件平台的发展,基于异构平台的数据存储、面向应用负载的自适应存储优化以及结合机器学习的存储优化技术将成为未来研究的主要方向.

关键词： HDFS 分布式文件系统存储系统优化数据分析

来源：评论

学校读者我要写书评

暂无评论

两两比较模型的Why-not问题解释及排序

引用

软件学报 2019年第3期30卷 620-647页

作者：祁丹蕊宋韶旭王建民清华大学软件学院北京100084 大数据系统软件国家工程实验室北京100084 北京信息科学与技术国家研究中心北京100084

由于数据缺失,数据库用户通常无法获得查询结果中的预期答案.它被称为"Why-not问题",即"为什么预期的元组不会出现在结果中".现有的方法通过列举可能的元组值来解释Why-not问题.枚举所给出解释的数量往往太大,无法... 详细信息

由于数据缺失,数据库用户通常无法获得查询结果中的预期答案.它被称为"Why-not问题",即"为什么预期的元组不会出现在结果中".现有的方法通过列举可能的元组值来解释Why-not问题.枚举所给出解释的数量往往太大,无法由用户探索.完整性约束,如函数依赖,被用来排除不合格的解释.然而,许多属性在简化后解释中仅仅表示为变量,用户可能仍然无法理解.由于数据稀疏性,许多不合理的解释也会被推荐给用户.提出通过研究元组间两两比较关系,从而对Why-not问题的解释进行排序的方法.首先,重新定义为什么Why-not问题解释的形式没有变量,以便于用户理解;其次,对元组中的相等/不相等关系进行表示,提出在{0,1}表示的元组对的基础上学习统计模型,从而解决直接在原始数据上学习所带来的稀疏性问题,许多模型可以被用来推断概率,包括统计分布、分类和回归;最后,根据推断的概率对解释进行评价和排序.实验结果证明:利用统计、分类和回归方法计算两两关系概率分布的方法,可以为用户寻找Why-not问题的解释并返回较为高质量的解释.

关键词：数据质量数据清洗条件函数依赖缺失结果解释解释排序

来源：评论

学校读者我要写书评

暂无评论

网络攻击模型研究综述

引用

信息安全研究 2020年第12期6卷 1058-1067页

作者：平国楼叶晓俊清华大学软件学院北京100084 清华大学大数据系统软件国家工程实验室北京100084

随着信息技术的快速发展,网络攻击逐渐呈现多阶段、分布式和智能化的特性,单一的防火墙、入侵检测系统等传统网络防御措施不能很好地保护开放环境下的网络系统安全.网络攻击模型作为一种攻击者视角的攻击场景表示,能够综合描述复杂多变... 详细信息

随着信息技术的快速发展,网络攻击逐渐呈现多阶段、分布式和智能化的特性,单一的防火墙、入侵检测系统等传统网络防御措施不能很好地保护开放环境下的网络系统安全.网络攻击模型作为一种攻击者视角的攻击场景表示,能够综合描述复杂多变环境下的网络攻击行为,是常用的网络攻击分析与应对工具之一.首先介绍主要网络攻击模型,包括传统树、图、网结构模型和现代杀伤链、ATT&CK、钻石模型等;然后再对网络攻击模型的分析与应用进行说明,其中以求解攻击指标为目的的分析过程主要包括概率框架、赋值方法和求解方法,基于生命周期的攻击模型应用则包括了攻击者视角和防守者视角的应用过程;最后总结了网络攻击模型及其分析应用的现有挑战与未来方向.

关键词：网络系统安全攻击行为攻击模型攻击模型分析攻击模型应用

来源：评论

学校读者我要写书评

暂无评论

大数据战略:从数据大国到数据强国

引用

科技导报 2020年第3期38卷 34-34页

作者：王建民清华大学软件学院大数据系统软件国家工程实验室工业大数据系统与应用北京市重点实验室北京100084

大数据时代,数据成为与物质资产和人力资源同样重要的基础生产要素。海量数据的空前集聚和计算力的指数级增长释放了深度学习算法的生产力,推动人工智能应用的大发展。大数据技术和大数据产业的蓬勃发展为线上互联网和线下实体经济带来... 详细信息

大数据时代,数据成为与物质资产和人力资源同样重要的基础生产要素。海量数据的空前集聚和计算力的指数级增长释放了深度学习算法的生产力,推动人工智能应用的大发展。大数据技术和大数据产业的蓬勃发展为线上互联网和线下实体经济带来了新的增长点。

关键词：人力资源大数据产业人工智能应用物质资产大数据技术深度学习算法大数据时代互联网

来源：评论

学校读者我要写书评

暂无评论

工业互联网数据安全防护体系探析

引用

信息通信技术与政策 2020年第4期 7-11页

作者：王晨宋亮清华大学大数据系统软件国家工程实验室、工业大数据系统与应用北京市重点实验室北京100084 清华大学四川能源互联网研究院大数据研究中心成都610042

工业互联网数据安全是保障工业互联网发挥关键基础设施作用的关键要素,也是决定工业互联网未来发展走向的决定性因素之一。围绕工业互联网数据的生命周期,以及在各生命周期阶段面临的主要风险与防范技术,结合工业互联网体系架构,描述工... 详细信息

工业互联网数据安全是保障工业互联网发挥关键基础设施作用的关键要素,也是决定工业互联网未来发展走向的决定性因素之一。围绕工业互联网数据的生命周期,以及在各生命周期阶段面临的主要风险与防范技术,结合工业互联网体系架构,描述工业互联网数据生命周期各阶段在体系架构中对应关系,阐述安全措施落地部署的策略,构建从数据安全全生命周期“时间维”到体系架构各组成要素“空间维”的相互关联,为管理机构及企业提供指导性的安全防护参考。

关键词：工业互联网数据安全生命周期防护体系

来源：评论

学校读者我要写书评

暂无评论

工业大数据软件架构及核心构件

引用

软件和集成电路 2019年第9期 50-51页

作者：王晨清华大学大数据系统软件国家工程实验室

今天我演讲的题目是《工业大数据软件架构及核心构件》。大数据的重要性不用多言,刚才演讲嘉宾的PPT里有一张架构图,也展现了工业互联网大系统。首先我们看看大数据是什么?我们总会说是因为它大,所以叫大数据。

关键词：软件架构大数据工业构件 PPT 大系统互联网

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：