检索结果-内蒙古大学图书馆

计算机学报 2019年第8期42卷 1858-1872页

作者：徐毅王建民黄向东董一峰康荣乔嘉林清华大学软件学院北京100084 大数据系统软件国家工程实验室北京100084 工业大数据系统与应用北京市重点实验室北京100084

分布式存储系统多采用数据分区和多副本机制来处理海量数据并提供高可用性.为了提高读写效率,现有系统在将任务分发给不同节点时往往需要考虑数据分区的情况,并使得任务分配能够保证数据本地性.然而,给定一个需要访问多个数据分区的查... 详细信息

分布式存储系统多采用数据分区和多副本机制来处理海量数据并提供高可用性.为了提高读写效率,现有系统在将任务分发给不同节点时往往需要考虑数据分区的情况,并使得任务分配能够保证数据本地性.然而,给定一个需要访问多个数据分区的查询任务,现有系统没有充分考虑节点的实际负载情况,导致虽然任务的分配满足数据本地性,但集群查询响应速度仍受到制约.该文提出一种在分布式存储系统中查询任务的节点分配算法,该算法不仅考虑了数据本地性,还利用了多副本机制确保节点间的负载均衡.算法的基本思想是将任务分配问题转化为最大流问题,并通过二分查找寻求最优分配方案.在实验阶段,该文首先通过模拟实验验证该算法的正确性,之后将该算法集成到Cassandra中作为一种新的负载均衡策略,并与Cassandra原生的两种策略进行性能对比.实验证明,该文提出的算法使得查询性能优于Cassandra原生的策略,平均查询时间缩短为原有策略的50%,某些情况下可以缩短为11%.

关键词：数据分区数据本地性查询优化最大流负载均衡分布式存储系统

来源：评论

学校读者我要写书评

暂无评论

物联网大数据场景下的分布式哈希表适用条件分析

引用

计算机学报 2021年第8期44卷 1679-1695页

作者：安彦哲朱妤晴王建民清华大学软件学院北京信息科学与技术国家研究中心(清华大学) 大数据系统软件国家工程实验室

针对"新基建"带来的物联网大数据管理真实应用场景中的挑战,本文对当前最优实践所用的大规模数据管理系统的核心——分布式哈希表(Distributed Hash Table,DHT),第一次基于极高写入负载和数据流量两个要素,进行了适用条件的... 详细信息

针对"新基建"带来的物联网大数据管理真实应用场景中的挑战,本文对当前最优实践所用的大规模数据管理系统的核心——分布式哈希表(Distributed Hash Table,DHT),第一次基于极高写入负载和数据流量两个要素,进行了适用条件的理论推导分析。面向存储空间、带宽和时间三方面的限制关系,从理论上分析了写入负载和联网带宽对DHT负载再均衡条件的影响,并推导出DHT负载再均衡设计仅适用于一定规模的物联网数据管理场景,而不适用于大规模物联网数据管理的结论。利用了基于DHT的业界常用系统Cassandra的物联网数据负载实验以及系统级模拟器的大量仿真实验结果验证了理论推导结果的有效性。基于理论结果对真实案例进行了应用分析,表明本文的理论结果可用于分析解决当前基于DHT系统支撑物联网数据负载出现的问题,并可用于分析和指导物联网数据管理系统的设计。

关键词：物联网数据管理分布式哈希表负载均衡时序数据时序数据库

来源：评论

学校读者我要写书评

暂无评论

面向季节性时空数据的预测式循环网络及其在城市计算中的应用

引用

计算机学报 2020年第2期43卷 286-302页

作者：张建晋王韫博龙明盛王建民王海峰清华大学软件学院大数据系统软件国家工程实验室清华大学北京信息科学与技术国家研究中心百度公司

实际生活中有很多带有季节特征的时空数据,在城市计算领域分布尤广,例如交通流量数据便具有较为明显的以天或周为周期的统计学特征.如何有效利用这种季节特征,如何捕捉历史观测与待预测数据之间的相关性,成为了预测此类时空数据未来变... 详细信息

实际生活中有很多带有季节特征的时空数据,在城市计算领域分布尤广,例如交通流量数据便具有较为明显的以天或周为周期的统计学特征.如何有效利用这种季节特征,如何捕捉历史观测与待预测数据之间的相关性,成为了预测此类时空数据未来变化趋势的关键.传统时序建模方法将时序数据分解为多个信号分量,并使用线性模型来进行预测.此类方法具有较强的理论基础,但对于数据的平稳性要求过于严格,难以预测趋势信息复杂的数据,更不适用于高维的时空数据.然而在真实场景下,季节性时空数据的周期长短可变,且不同周期的对应关系往往并不固定,存在时间、空间上的模式变化与偏移,很难作为理想的周期信号以传统时序方法建模.相比之下,深度神经网络建模能力更强,可拟合更为复杂的数据.近几年有许多工作研究了如何利用卷积神经网络和循环神经网络来处理时空数据,也有一些工作讨论了如何有效利用周期性信息提升预测的准确性.但深度神经网络受困于梯度消失和误差累积,难以捕捉时序数据中的长时间依赖,且少有方法讨论如何在深度神经网络中有效建模上述具有弹性周期对应关系的时空信号.本文针对真实场景下季节性时空数据的上述问题,给出具有弹性周期对应关系的时空数据预测问题的形式化定义,并提出了一种新的季节性时空数据预测模型.该模型包含季节网络、趋势网络、时空注意力模块三个部分,可捕捉短期数据中的临近变化趋势和长期数据中隐含的季节性趋势,并广泛考虑历史周期中的每个时空元素对未来预测值的影响.为了解决深度循环网络难以捕捉时序数据中的长时间依赖的问题,本文提出一种新的循环卷积记忆单元,该单元将上述模块融合于一个可端到端训练的神经网络中,一方面实现了时间和空间信息统一建模,另一方面实现了短期趋势特征与历史周期特征的统一建模.进一步地,为了解决季节性数据中的各周期时空元素对应关系不固定的问题,本文探讨了多种基于注意力模块的时空数据融合方式,创新性地提出一种级联式的时空注意力模块,并将其嵌入于上述循环卷积记忆单元内.该模块建模记忆单元的隐藏状态在不同周期内的弹性时空对应关系,自适应地选取相关度高的季节性特征辅助预测.实验部分,我们选取了两个时空数据预测在城市计算中最为典型的应用:交通流量预测和气象数据预报.本文所提出的时空周期性循环神经网络在北京、纽约的交通流量数据集、美国气象数据集上均取得了目前最高的预测准确性.

关键词：深度学习注意力模型时空预测城市计算时空数据

来源：评论

学校读者我要写书评

暂无评论

大数据可视化技术及应用

引用

科技导报 2020年第3期38卷 68-83页

作者：沈恩亚清华大学软件学院/大数据系统软件国家工程实验室北京100084

随着人类产生数据量的增加,数据可视化需要处理的数据规模、类型及需求都发生了显著变化。在大数据时代,数据可视化面临诸多新的挑战。从大数据本身的特点及其应用需求出发,结合数据可视化的研究现状,介绍了适用于大数据的数据可视化技... 详细信息

随着人类产生数据量的增加,数据可视化需要处理的数据规模、类型及需求都发生了显著变化。在大数据时代,数据可视化面临诸多新的挑战。从大数据本身的特点及其应用需求出发,结合数据可视化的研究现状,介绍了适用于大数据的数据可视化技术;分析在大数据条件下数据可视化所要解决的8个关键问题;讨论了针对大数据可视化应用需求自主研发的交互式可视化设计平台AutoVis及其应用。

关键词：数据可视化大数据时序数据可视化可视化系统

来源：评论

学校读者我要写书评

暂无评论

时间序列对称模式挖掘

引用

软件学报 2022年第3期33卷 968-984页

作者：李盼盼宋韶旭王建民清华大学软件学院北京100084 大数据系统软件国家工程实验室(清华大学) 北京100084 北京信息科学与技术国家研究中心(清华大学) 北京100084

随着信息化和工业化的融合,物联网和工业互联网蓬勃发展,由此产生了以时间序列为代表的大量工业大数据.时间序列中蕴含着很多有价值的模式,其中,对称模式在各类时间序列中广泛存在.挖掘对称模式对于行为分析、轨迹跟踪、异常检测等领域... 详细信息

随着信息化和工业化的融合,物联网和工业互联网蓬勃发展,由此产生了以时间序列为代表的大量工业大数据.时间序列中蕴含着很多有价值的模式,其中,对称模式在各类时间序列中广泛存在.挖掘对称模式对于行为分析、轨迹跟踪、异常检测等领域具有重要的研究价值,但时间序列的数据量往往高达几十甚至上百GB.使用直接的嵌套查询算法挖掘对称模式可能花费数月乃至数年的时间,而索引、下界和三角不等式等典型加速技术最多只能产生一两个数量级的加速.因此,基于动态时间规整算法的启发,提出了一种能够在O(w×|T|)的时间复杂度内挖掘出时间序列所有对称模式的方法.具体来说,给定对称模式长度约束,基于区间动态规划算法计算出对称子序列,进而依据贪心策略选择数量最多且不重叠的对称模式.此外,还研究了在时间序列数据流挖掘对称模式的算法,并根据窗口内数据的特征动态调节窗口大小,保证了对称模式数据的完整性.采用1个人工数据集、3个真实数据集在不同数据量下对上述方法进行实验.由实验结果可知,与其他对称模式挖掘方法相比,该方法在模式挖掘结果及时间开销方面均有较好的表现.

关键词：时间序列对称模式距离度量动态规划

来源：评论

学校读者我要写书评

暂无评论

多区间速度约束下的时序数据清洗方法

引用

软件学报 2021年第3期32卷 689-711页

作者：高菲宋韶旭王建民清华大学软件学院北京100084 大数据系统软件国家工程实验室北京100084 北京信息科学与技术国家研究中心(清华大学) 北京100084

为进一步优化推广大数据及人工智能技术,作为数据管理与分析的基础,数据质量问题日益成为相关领域的研究热点.通常情况下,数据采集及记录仪的物理故障或技术缺陷等会导致收集到的数据存在一定的错误,而异常错误会对后续的数据分析以及... 详细信息

为进一步优化推广大数据及人工智能技术,作为数据管理与分析的基础,数据质量问题日益成为相关领域的研究热点.通常情况下,数据采集及记录仪的物理故障或技术缺陷等会导致收集到的数据存在一定的错误,而异常错误会对后续的数据分析以及人工智能过程产生不可小视的影响,因此在数据应用之前,需要对数据进行相应的数据清洗修复.现存的平滑修复方法会导致大量原本正确的数据点过度修复为异常值,而基于约束的顺序依赖方法以及SCREEN方法等也因为约束条件较为单薄而无法对复杂的数据情况进行精确修复.基于最小修复原则,进一步提出了多区间速度约束下的时间序列数据修复方法,并采用动态规划方法来求解最优修复路径.具体来说,提出了多个速度区间来对时序数据进行约束,并根据多速度约束对各数据点形成一系列修复候选点,进而基于动态规划方法从中选取最优修复解.为验证上述方法的可行性和有效性,采用一个人工数据集、两个真实数据集以及一个带有真实错误的数据集在不同的异常率及数据量下对上述方法进行实验.由实验结果可知:相较于其他现存的修复方法,该方法在修复结果及时间开销方面均有着较好的表现.进一步,对多个数据集通过聚类及分类精确率的验证来表明数据质量问题对后续数据分析及人工智能的影响至关重要,本方法可以提升数据分析及人工智能结果的质量.

关键词：时间序列多区间速度约束数据清洗动态规划

来源：评论

学校读者我要写书评

暂无评论

大数据软件的机遇与挑战

引用

科技导报 2020年第3期38卷 1-2页

作者：孙家广清华大学大数据系统软件国家工程实验室北京100084

2019年,大数据、数据科学、机器学习、人工智能领域的研究与应用持续发展。物联网与传感设备的普及带来数据的爆炸性增长。大数据作为产业发展的创新要素,在数据科学与技术、商业模式、产业格局、生态价值与教育层面,均带来了新理念和... 详细信息

2019年,大数据、数据科学、机器学习、人工智能领域的研究与应用持续发展。物联网与传感设备的普及带来数据的爆炸性增长。大数据作为产业发展的创新要素,在数据科学与技术、商业模式、产业格局、生态价值与教育层面,均带来了新理念和新思维。大数据与人工智能的快速普及应用除了受数据量激增因素影响外,还有另外两方面因素影响:一是深度神经网络算法处理大规模非结构化数据集的能力越来越强;二是算力的飞跃。随着光刻技术进一步发展,终端设备和边缘设备的数据处理能力持续提高,云、端与边缘计算结合,实现低成本海量可用计算资源。

关键词：非结构化数据深度神经网络人工智能大数据机器学习物联网传感设备光刻技术

来源：评论

学校读者我要写书评

暂无评论

两两比较模型的Why-not问题解释及排序

引用

软件学报 2019年第3期30卷 620-647页

作者：祁丹蕊宋韶旭王建民清华大学软件学院北京100084 大数据系统软件国家工程实验室北京100084 北京信息科学与技术国家研究中心北京100084

由于数据缺失,数据库用户通常无法获得查询结果中的预期答案.它被称为"Why-not问题",即"为什么预期的元组不会出现在结果中".现有的方法通过列举可能的元组值来解释Why-not问题.枚举所给出解释的数量往往太大,无法... 详细信息

由于数据缺失,数据库用户通常无法获得查询结果中的预期答案.它被称为"Why-not问题",即"为什么预期的元组不会出现在结果中".现有的方法通过列举可能的元组值来解释Why-not问题.枚举所给出解释的数量往往太大,无法由用户探索.完整性约束,如函数依赖,被用来排除不合格的解释.然而,许多属性在简化后解释中仅仅表示为变量,用户可能仍然无法理解.由于数据稀疏性,许多不合理的解释也会被推荐给用户.提出通过研究元组间两两比较关系,从而对Why-not问题的解释进行排序的方法.首先,重新定义为什么Why-not问题解释的形式没有变量,以便于用户理解;其次,对元组中的相等/不相等关系进行表示,提出在{0,1}表示的元组对的基础上学习统计模型,从而解决直接在原始数据上学习所带来的稀疏性问题,许多模型可以被用来推断概率,包括统计分布、分类和回归;最后,根据推断的概率对解释进行评价和排序.实验结果证明:利用统计、分类和回归方法计算两两关系概率分布的方法,可以为用户寻找Why-not问题的解释并返回较为高质量的解释.

关键词：数据质量数据清洗条件函数依赖缺失结果解释解释排序

来源：评论

学校读者我要写书评

暂无评论

大数据安全标准现状和思考

引用

科技导报 2020年第3期38卷 94-102页

作者：叶晓俊金涛刘璘大数据系统软件国家工程实验室/清华大学大数据研究中心软件学院北京100084

随着中国《网络安全法》《网络产品和服务安全审查办法(试行)》《数据安全管理办法(征求意见稿)》等法律法规的陆续实施,对大数据运营商提出了诸多合规要求。如何应对大数据时代日益显著的数据安全风险,确保其符合网络安全法律法规政策... 详细信息

随着中国《网络安全法》《网络产品和服务安全审查办法(试行)》《数据安全管理办法(征求意见稿)》等法律法规的陆续实施,对大数据运营商提出了诸多合规要求。如何应对大数据时代日益显著的数据安全风险,确保其符合网络安全法律法规政策,需要对网络运营者数据业务及安全管控措施进行规范化。在明确了大数据安全内涵、指出了大数据产业面临的安全挑战后,对照工业界大数据平台和大数据应用安全解决方案阐述了大数据安全目标及其大数据平台与应用关键技术与机制。

关键词：大数据数据安全隐私保护安全标准安全保护技术

来源：评论

学校读者我要写书评

暂无评论

开源软件中的大数据管理技术

引用

科技导报 2020年第3期38卷 103-114页

作者：江天乔嘉林黄向东王建民清华大学软件学院大数据研究中心/大数据系统软件国家工程实验室北京100084

随着谷歌文件系统和宽表结构为代表的技术打破依赖关系数据库管理海量数据的限制,以Apache Hadoop为代表的开源大数据管理系统软件新技术与系统不断涌现,并快速成熟应用。针对Apache开源社区中面向在线事务处理和在线分析处理场景的大... 详细信息

随着谷歌文件系统和宽表结构为代表的技术打破依赖关系数据库管理海量数据的限制,以Apache Hadoop为代表的开源大数据管理系统软件新技术与系统不断涌现,并快速成熟应用。针对Apache开源社区中面向在线事务处理和在线分析处理场景的大数据管理软件,介绍了大数据管理中的数据存储、数据分区、副本机制、分布式协议等,并比较分析了分布式文件系统、键值库、时序数据库等典型分布式数据管理系统的优缺点。

关键词：大数据管理开源软件分布式系统

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：