检索结果-内蒙古大学图书馆

计算机学报 2021年第8期44卷 1679-1695页

作者：安彦哲朱妤晴王建民清华大学软件学院北京信息科学与技术国家研究中心(清华大学) 大数据系统软件国家工程实验室

针对"新基建"带来的物联网大数据管理真实应用场景中的挑战,本文对当前最优实践所用的大规模数据管理系统的核心——分布式哈希表(Distributed Hash Table,DHT),第一次基于极高写入负载和数据流量两个要素,进行了适用条件的... 详细信息

针对"新基建"带来的物联网大数据管理真实应用场景中的挑战,本文对当前最优实践所用的大规模数据管理系统的核心——分布式哈希表(Distributed Hash Table,DHT),第一次基于极高写入负载和数据流量两个要素,进行了适用条件的理论推导分析。面向存储空间、带宽和时间三方面的限制关系,从理论上分析了写入负载和联网带宽对DHT负载再均衡条件的影响,并推导出DHT负载再均衡设计仅适用于一定规模的物联网数据管理场景,而不适用于大规模物联网数据管理的结论。利用了基于DHT的业界常用系统Cassandra的物联网数据负载实验以及系统级模拟器的大量仿真实验结果验证了理论推导结果的有效性。基于理论结果对真实案例进行了应用分析,表明本文的理论结果可用于分析解决当前基于DHT系统支撑物联网数据负载出现的问题,并可用于分析和指导物联网数据管理系统的设计。

关键词：物联网数据管理分布式哈希表负载均衡时序数据时序数据库

来源：评论

学校读者我要写书评

暂无评论

大数据安全标准现状和思考

引用

科技导报 2020年第3期38卷 94-102页

作者：叶晓俊金涛刘璘大数据系统软件国家工程实验室/清华大学大数据研究中心软件学院北京100084

随着中国《网络安全法》《网络产品和服务安全审查办法(试行)》《数据安全管理办法(征求意见稿)》等法律法规的陆续实施,对大数据运营商提出了诸多合规要求。如何应对大数据时代日益显著的数据安全风险,确保其符合网络安全法律法规政策... 详细信息

随着中国《网络安全法》《网络产品和服务安全审查办法(试行)》《数据安全管理办法(征求意见稿)》等法律法规的陆续实施,对大数据运营商提出了诸多合规要求。如何应对大数据时代日益显著的数据安全风险,确保其符合网络安全法律法规政策,需要对网络运营者数据业务及安全管控措施进行规范化。在明确了大数据安全内涵、指出了大数据产业面临的安全挑战后,对照工业界大数据平台和大数据应用安全解决方案阐述了大数据安全目标及其大数据平台与应用关键技术与机制。

关键词：大数据数据安全隐私保护安全标准安全保护技术

来源：评论

学校读者我要写书评

暂无评论

面向季节性时空数据的预测式循环网络及其在城市计算中的应用

引用

计算机学报 2020年第2期43卷 286-302页

作者：张建晋王韫博龙明盛王建民王海峰清华大学软件学院大数据系统软件国家工程实验室清华大学北京信息科学与技术国家研究中心百度公司

实际生活中有很多带有季节特征的时空数据,在城市计算领域分布尤广,例如交通流量数据便具有较为明显的以天或周为周期的统计学特征.如何有效利用这种季节特征,如何捕捉历史观测与待预测数据之间的相关性,成为了预测此类时空数据未来变... 详细信息

实际生活中有很多带有季节特征的时空数据,在城市计算领域分布尤广,例如交通流量数据便具有较为明显的以天或周为周期的统计学特征.如何有效利用这种季节特征,如何捕捉历史观测与待预测数据之间的相关性,成为了预测此类时空数据未来变化趋势的关键.传统时序建模方法将时序数据分解为多个信号分量,并使用线性模型来进行预测.此类方法具有较强的理论基础,但对于数据的平稳性要求过于严格,难以预测趋势信息复杂的数据,更不适用于高维的时空数据.然而在真实场景下,季节性时空数据的周期长短可变,且不同周期的对应关系往往并不固定,存在时间、空间上的模式变化与偏移,很难作为理想的周期信号以传统时序方法建模.相比之下,深度神经网络建模能力更强,可拟合更为复杂的数据.近几年有许多工作研究了如何利用卷积神经网络和循环神经网络来处理时空数据,也有一些工作讨论了如何有效利用周期性信息提升预测的准确性.但深度神经网络受困于梯度消失和误差累积,难以捕捉时序数据中的长时间依赖,且少有方法讨论如何在深度神经网络中有效建模上述具有弹性周期对应关系的时空信号.本文针对真实场景下季节性时空数据的上述问题,给出具有弹性周期对应关系的时空数据预测问题的形式化定义,并提出了一种新的季节性时空数据预测模型.该模型包含季节网络、趋势网络、时空注意力模块三个部分,可捕捉短期数据中的临近变化趋势和长期数据中隐含的季节性趋势,并广泛考虑历史周期中的每个时空元素对未来预测值的影响.为了解决深度循环网络难以捕捉时序数据中的长时间依赖的问题,本文提出一种新的循环卷积记忆单元,该单元将上述模块融合于一个可端到端训练的神经网络中,一方面实现了时间和空间信息统一建模,另一方面实现了短期趋势特征与历史周期特征的统一建模.进一步地,为了解决季节性数据中的各周期时空元素对应关系不固定的问题,本文探讨了多种基于注意力模块的时空数据融合方式,创新性地提出一种级联式的时空注意力模块,并将其嵌入于上述循环卷积记忆单元内.该模块建模记忆单元的隐藏状态在不同周期内的弹性时空对应关系,自适应地选取相关度高的季节性特征辅助预测.实验部分,我们选取了两个时空数据预测在城市计算中最为典型的应用:交通流量预测和气象数据预报.本文所提出的时空周期性循环神经网络在北京、纽约的交通流量数据集、美国气象数据集上均取得了目前最高的预测准确性.

关键词：深度学习注意力模型时空预测城市计算时空数据

来源：评论

学校读者我要写书评

暂无评论

开源软件中的大数据管理技术

引用

科技导报 2020年第3期38卷 103-114页

作者：江天乔嘉林黄向东王建民清华大学软件学院大数据研究中心/大数据系统软件国家工程实验室北京100084

随着谷歌文件系统和宽表结构为代表的技术打破依赖关系数据库管理海量数据的限制,以Apache Hadoop为代表的开源大数据管理系统软件新技术与系统不断涌现,并快速成熟应用。针对Apache开源社区中面向在线事务处理和在线分析处理场景的大... 详细信息

随着谷歌文件系统和宽表结构为代表的技术打破依赖关系数据库管理海量数据的限制,以Apache Hadoop为代表的开源大数据管理系统软件新技术与系统不断涌现,并快速成熟应用。针对Apache开源社区中面向在线事务处理和在线分析处理场景的大数据管理软件,介绍了大数据管理中的数据存储、数据分区、副本机制、分布式协议等,并比较分析了分布式文件系统、键值库、时序数据库等典型分布式数据管理系统的优缺点。

关键词：大数据管理开源软件分布式系统

来源：评论

学校读者我要写书评

暂无评论

多区间速度约束下的时序数据清洗方法

引用

软件学报 2021年第3期32卷 689-711页

作者：高菲宋韶旭王建民清华大学软件学院北京100084 大数据系统软件国家工程实验室北京100084 北京信息科学与技术国家研究中心(清华大学) 北京100084

为进一步优化推广大数据及人工智能技术,作为数据管理与分析的基础,数据质量问题日益成为相关领域的研究热点.通常情况下,数据采集及记录仪的物理故障或技术缺陷等会导致收集到的数据存在一定的错误,而异常错误会对后续的数据分析以及... 详细信息

为进一步优化推广大数据及人工智能技术,作为数据管理与分析的基础,数据质量问题日益成为相关领域的研究热点.通常情况下,数据采集及记录仪的物理故障或技术缺陷等会导致收集到的数据存在一定的错误,而异常错误会对后续的数据分析以及人工智能过程产生不可小视的影响,因此在数据应用之前,需要对数据进行相应的数据清洗修复.现存的平滑修复方法会导致大量原本正确的数据点过度修复为异常值,而基于约束的顺序依赖方法以及SCREEN方法等也因为约束条件较为单薄而无法对复杂的数据情况进行精确修复.基于最小修复原则,进一步提出了多区间速度约束下的时间序列数据修复方法,并采用动态规划方法来求解最优修复路径.具体来说,提出了多个速度区间来对时序数据进行约束,并根据多速度约束对各数据点形成一系列修复候选点,进而基于动态规划方法从中选取最优修复解.为验证上述方法的可行性和有效性,采用一个人工数据集、两个真实数据集以及一个带有真实错误的数据集在不同的异常率及数据量下对上述方法进行实验.由实验结果可知:相较于其他现存的修复方法,该方法在修复结果及时间开销方面均有着较好的表现.进一步,对多个数据集通过聚类及分类精确率的验证来表明数据质量问题对后续数据分析及人工智能的影响至关重要,本方法可以提升数据分析及人工智能结果的质量.

关键词：时间序列多区间速度约束数据清洗动态规划

来源：评论

学校读者我要写书评

暂无评论

两两比较模型的Why-not问题解释及排序

引用

软件学报 2019年第3期30卷 620-647页

作者：祁丹蕊宋韶旭王建民清华大学软件学院北京100084 大数据系统软件国家工程实验室北京100084 北京信息科学与技术国家研究中心北京100084

由于数据缺失,数据库用户通常无法获得查询结果中的预期答案.它被称为"Why-not问题",即"为什么预期的元组不会出现在结果中".现有的方法通过列举可能的元组值来解释Why-not问题.枚举所给出解释的数量往往太大,无法... 详细信息

由于数据缺失,数据库用户通常无法获得查询结果中的预期答案.它被称为"Why-not问题",即"为什么预期的元组不会出现在结果中".现有的方法通过列举可能的元组值来解释Why-not问题.枚举所给出解释的数量往往太大,无法由用户探索.完整性约束,如函数依赖,被用来排除不合格的解释.然而,许多属性在简化后解释中仅仅表示为变量,用户可能仍然无法理解.由于数据稀疏性,许多不合理的解释也会被推荐给用户.提出通过研究元组间两两比较关系,从而对Why-not问题的解释进行排序的方法.首先,重新定义为什么Why-not问题解释的形式没有变量,以便于用户理解;其次,对元组中的相等/不相等关系进行表示,提出在{0,1}表示的元组对的基础上学习统计模型,从而解决直接在原始数据上学习所带来的稀疏性问题,许多模型可以被用来推断概率,包括统计分布、分类和回归;最后,根据推断的概率对解释进行评价和排序.实验结果证明:利用统计、分类和回归方法计算两两关系概率分布的方法,可以为用户寻找Why-not问题的解释并返回较为高质量的解释.

关键词：数据质量数据清洗条件函数依赖缺失结果解释解释排序

来源：评论

学校读者我要写书评

暂无评论

时间序列对称模式挖掘

引用

软件学报 2022年第3期33卷 968-984页

作者：李盼盼宋韶旭王建民清华大学软件学院北京100084 大数据系统软件国家工程实验室(清华大学) 北京100084 北京信息科学与技术国家研究中心(清华大学) 北京100084

随着信息化和工业化的融合,物联网和工业互联网蓬勃发展,由此产生了以时间序列为代表的大量工业大数据.时间序列中蕴含着很多有价值的模式,其中,对称模式在各类时间序列中广泛存在.挖掘对称模式对于行为分析、轨迹跟踪、异常检测等领域... 详细信息

随着信息化和工业化的融合,物联网和工业互联网蓬勃发展,由此产生了以时间序列为代表的大量工业大数据.时间序列中蕴含着很多有价值的模式,其中,对称模式在各类时间序列中广泛存在.挖掘对称模式对于行为分析、轨迹跟踪、异常检测等领域具有重要的研究价值,但时间序列的数据量往往高达几十甚至上百GB.使用直接的嵌套查询算法挖掘对称模式可能花费数月乃至数年的时间,而索引、下界和三角不等式等典型加速技术最多只能产生一两个数量级的加速.因此,基于动态时间规整算法的启发,提出了一种能够在O(w×|T|)的时间复杂度内挖掘出时间序列所有对称模式的方法.具体来说,给定对称模式长度约束,基于区间动态规划算法计算出对称子序列,进而依据贪心策略选择数量最多且不重叠的对称模式.此外,还研究了在时间序列数据流挖掘对称模式的算法,并根据窗口内数据的特征动态调节窗口大小,保证了对称模式数据的完整性.采用1个人工数据集、3个真实数据集在不同数据量下对上述方法进行实验.由实验结果可知,与其他对称模式挖掘方法相比,该方法在模式挖掘结果及时间开销方面均有较好的表现.

关键词：时间序列对称模式距离度量动态规划

来源：评论

学校读者我要写书评

暂无评论

Apache IoTDB的分布式框架设计

引用

中国科学：信息科学 2020年第5期50卷 621-636页

作者：李天安黄向东王建民毛东方徐毅袁骏清华大学软件学院北京100084 大数据系统软件国家工程实验室北京100084 北京信息科学与技术国家研究中心北京100084

Apache IoTDB是一个新型的开源时序数据库管理系统.分布式数据管理系统不仅需要解决数据分区与多副本带来的节点间元数据同步问题,还要支持高效查询请求处理.本文针对节点间元数据同步问题提出了双层粒度元数据管理策略,在此基础上基于... 详细信息

Apache IoTDB是一个新型的开源时序数据库管理系统.分布式数据管理系统不仅需要解决数据分区与多副本带来的节点间元数据同步问题,还要支持高效查询请求处理.本文针对节点间元数据同步问题提出了双层粒度元数据管理策略,在此基础上基于一致性哈希分区方法和Raft协议设计了同时支持强一致性查询和最终一致性查询的分布式框架.基于单机版Apache IoTDB进行了系统实现与实验测试,测试结果表明:双层粒度元数据管理策略与单层粒度管理策略相比,其元数据内存资源占用更少且写入性能提升5%~10%,并且分布式Apache IoTDB的读写性能随着集群规模的扩大而线性增长.

关键词：物联网数据库时间序列分布式框架 Raft协议元数据强一致性最终一致性

来源：评论

学校读者我要写书评

暂无评论

大数据软件产品研发进展及挑战

引用

科技导报 2020年第3期38卷 84-93页

作者：刘英博魏凯清华大学软件学院大数据系统软件国家工程实验室工业大数据系统与应用北京市重点实验室北京100084 中国信息通信研究院北京100084

大数据技术的蓬勃发展催生了丰富的大数据应用,当今各种大数据产品形成的复杂的生态系统。从数据的存储和分析两个角度概述了大数据产品的核心技术,结合权威评测机构的结果,分析了国内市场上大数据产品的现状。未来中国大数据产品研发... 详细信息

大数据技术的蓬勃发展催生了丰富的大数据应用,当今各种大数据产品形成的复杂的生态系统。从数据的存储和分析两个角度概述了大数据产品的核心技术,结合权威评测机构的结果,分析了国内市场上大数据产品的现状。未来中国大数据产品研发在开源社区的参与度、复合型人才培养、产品细分和跨学科协同创新上还需进一步努力。

关键词：大数据系统大数据分析 NoSQL NewSQL

来源：评论

学校读者我要写书评

暂无评论

基于超级参数调整的网络表示学习算法性能公平比较框架

引用

计算机学报 2022年第5期45卷 897-917页

作者：郭梦影孙振宇朱妤晴包云岗中国科学院计算技术研究所先进计算机系统研究中心北京100190 中国科学院大学北京100049 北京信息科学与技术国家研究中心(清华大学) 北京100084 大数据系统软件国家工程实验室北京100084

网络结构数据在现今生活中广泛存在,但由于数据结构稀疏、规模较大等特性,难以直接利用现有的机器学习算法对数据进行分析.网络表示学习算法的出现,通过将高维数据映射到低维向量空间,解决了上述问题.但是网络表示学习算法中存在大量超... 详细信息

网络结构数据在现今生活中广泛存在,但由于数据结构稀疏、规模较大等特性,难以直接利用现有的机器学习算法对数据进行分析.网络表示学习算法的出现,通过将高维数据映射到低维向量空间,解决了上述问题.但是网络表示学习算法中存在大量超级参数,参数的选择与数据分析任务密切相关且对算法性能有明显影响,如何针对数据分析任务,通用地对多种网络表示学习算法进行超级参数调整,以获取不同算法的最优性能,实现算法间性能的公平比较,从而选择出最优者对数据进行分析,是一个亟待解决的问题.此外,对算法进行超级参数调整通常需要花费较长时间,且由于网络结构数据规模通常较大,还会有内存占用过高问题的存在,因此如何能够在有资源限制(时间、内存占用)的条件下进行超级参数调整,是面临的另一个问题.基于上述两个问题,本文提出了基于超级参数调整的网络表示学习算法性能公平比较框架JITNREv,能够在有资源限制的条件下通用对多种网络表示学习算法进行超级参数调整,通过获取不同算法针对相同数据分析任务的性能最优值,实现算法之间的性能公平比较.该框架具有4个松耦合且可扩展的组件,组件间仅通过数据流进行交互,并在闭环结构中完成样本的测试优化,满足了框架的通用性.JITNREv基于拉丁超立方采样对超级参数进行采样;根据“当前最优值附近,有更大概率出现更优值”的假设对采样范围进行剪枝;针对超大规模数据集,提出了图粗化方式在保留数据结构的基础上压缩数据规模,满足了资源限制条件下对超级参数进行调整的要求.框架还融合了网络表示学习算法常用的评测数据集、评测指标和数据分析应用,实现了框架的易用性.实验证明JITNREv框架能够在资源限制条件下稳定提高算法性能,例如,针对GCN算法的节点分类任务相比默认参数设置,JITNREv框架能够将性能提升31%.

关键词：网络表示学习网络嵌入图卷积网络自动化机器学习超级参数调整

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：