检索结果-内蒙古大学图书馆

软件学报 2022年第3期33卷 968-984页

作者：李盼盼宋韶旭王建民清华大学软件学院北京100084 大数据系统软件国家工程实验室(清华大学) 北京100084 北京信息科学与技术国家研究中心(清华大学) 北京100084

随着信息化和工业化的融合,物联网和工业互联网蓬勃发展,由此产生了以时间序列为代表的大量工业大数据.时间序列中蕴含着很多有价值的模式,其中,对称模式在各类时间序列中广泛存在.挖掘对称模式对于行为分析、轨迹跟踪、异常检测等领域... 详细信息

随着信息化和工业化的融合,物联网和工业互联网蓬勃发展,由此产生了以时间序列为代表的大量工业大数据.时间序列中蕴含着很多有价值的模式,其中,对称模式在各类时间序列中广泛存在.挖掘对称模式对于行为分析、轨迹跟踪、异常检测等领域具有重要的研究价值,但时间序列的数据量往往高达几十甚至上百GB.使用直接的嵌套查询算法挖掘对称模式可能花费数月乃至数年的时间,而索引、下界和三角不等式等典型加速技术最多只能产生一两个数量级的加速.因此,基于动态时间规整算法的启发,提出了一种能够在O(w×|T|)的时间复杂度内挖掘出时间序列所有对称模式的方法.具体来说,给定对称模式长度约束,基于区间动态规划算法计算出对称子序列,进而依据贪心策略选择数量最多且不重叠的对称模式.此外,还研究了在时间序列数据流挖掘对称模式的算法,并根据窗口内数据的特征动态调节窗口大小,保证了对称模式数据的完整性.采用1个人工数据集、3个真实数据集在不同数据量下对上述方法进行实验.由实验结果可知,与其他对称模式挖掘方法相比,该方法在模式挖掘结果及时间开销方面均有较好的表现.

关键词：时间序列对称模式距离度量动态规划

来源：评论

学校读者我要写书评

暂无评论

物联网大数据场景下的分布式哈希表适用条件分析

引用

计算机学报 2021年第8期44卷 1679-1695页

作者：安彦哲朱妤晴王建民清华大学软件学院北京信息科学与技术国家研究中心(清华大学) 大数据系统软件国家工程实验室

针对"新基建"带来的物联网大数据管理真实应用场景中的挑战,本文对当前最优实践所用的大规模数据管理系统的核心——分布式哈希表(Distributed Hash Table,DHT),第一次基于极高写入负载和数据流量两个要素,进行了适用条件的... 详细信息

针对"新基建"带来的物联网大数据管理真实应用场景中的挑战,本文对当前最优实践所用的大规模数据管理系统的核心——分布式哈希表(Distributed Hash Table,DHT),第一次基于极高写入负载和数据流量两个要素,进行了适用条件的理论推导分析。面向存储空间、带宽和时间三方面的限制关系,从理论上分析了写入负载和联网带宽对DHT负载再均衡条件的影响,并推导出DHT负载再均衡设计仅适用于一定规模的物联网数据管理场景,而不适用于大规模物联网数据管理的结论。利用了基于DHT的业界常用系统Cassandra的物联网数据负载实验以及系统级模拟器的大量仿真实验结果验证了理论推导结果的有效性。基于理论结果对真实案例进行了应用分析,表明本文的理论结果可用于分析解决当前基于DHT系统支撑物联网数据负载出现的问题,并可用于分析和指导物联网数据管理系统的设计。

关键词：物联网数据管理分布式哈希表负载均衡时序数据时序数据库

来源：评论

学校读者我要写书评

暂无评论

多区间速度约束下的时序数据清洗方法

引用

软件学报 2021年第3期32卷 689-711页

作者：高菲宋韶旭王建民清华大学软件学院北京100084 大数据系统软件国家工程实验室北京100084 北京信息科学与技术国家研究中心(清华大学) 北京100084

为进一步优化推广大数据及人工智能技术,作为数据管理与分析的基础,数据质量问题日益成为相关领域的研究热点.通常情况下,数据采集及记录仪的物理故障或技术缺陷等会导致收集到的数据存在一定的错误,而异常错误会对后续的数据分析以及... 详细信息

为进一步优化推广大数据及人工智能技术,作为数据管理与分析的基础,数据质量问题日益成为相关领域的研究热点.通常情况下,数据采集及记录仪的物理故障或技术缺陷等会导致收集到的数据存在一定的错误,而异常错误会对后续的数据分析以及人工智能过程产生不可小视的影响,因此在数据应用之前,需要对数据进行相应的数据清洗修复.现存的平滑修复方法会导致大量原本正确的数据点过度修复为异常值,而基于约束的顺序依赖方法以及SCREEN方法等也因为约束条件较为单薄而无法对复杂的数据情况进行精确修复.基于最小修复原则,进一步提出了多区间速度约束下的时间序列数据修复方法,并采用动态规划方法来求解最优修复路径.具体来说,提出了多个速度区间来对时序数据进行约束,并根据多速度约束对各数据点形成一系列修复候选点,进而基于动态规划方法从中选取最优修复解.为验证上述方法的可行性和有效性,采用一个人工数据集、两个真实数据集以及一个带有真实错误的数据集在不同的异常率及数据量下对上述方法进行实验.由实验结果可知:相较于其他现存的修复方法,该方法在修复结果及时间开销方面均有着较好的表现.进一步,对多个数据集通过聚类及分类精确率的验证来表明数据质量问题对后续数据分析及人工智能的影响至关重要,本方法可以提升数据分析及人工智能结果的质量.

关键词：时间序列多区间速度约束数据清洗动态规划

来源：评论

学校读者我要写书评

暂无评论

新时期我国工业软件产业发展路径研究

引用

中国工程科学 2022年第2期24卷 86-95页

作者：邵珠峰赵云王晨冯希光王建民熊虹婷清华大学机械工程学院北京100084 山东大学国际创新转化学院山东青岛266237 大数据系统软件国家工程实验室北京100084 清华大学软件学院北京100084

工业软件产业是制造业高质量发展的重要支撑,在新时期制造强国战略背景下,工业软件成为优化制造与管理流程、变革生产方式与生产关系、提升全要素生产率、促进先进工业技术转化及溢出的直接动力。我国正在构建自主可控、安全高效的现代... 详细信息

工业软件产业是制造业高质量发展的重要支撑,在新时期制造强国战略背景下,工业软件成为优化制造与管理流程、变革生产方式与生产关系、提升全要素生产率、促进先进工业技术转化及溢出的直接动力。我国正在构建自主可控、安全高效的现代产业体系,在挑战原有“技术–生产–市场”分工模式的同时,也为工业软件产业发展创造了重要机遇。本文从当前国际市场格局出发,分类解析了工业软件产品的基本特征与市场份额情况,剖析了我国工业软件产业发展的不足与问题,归纳了工业软件产业的平台化、开源化两大新发展趋势;据此提出补短强基、追赶突破、卓越引领3条发展路径,以期针对性补强产业不足、切实提升产业水平。研究建议,优化组织模式,发挥工业企业的主体带动作用;细化政策对象,分层次推进工业软件关键技术突破;扩大应用市场,促进工业软件产品创新;挖掘人才潜能,多渠道支持工业软件人才培养。

关键词：工业软件系统集成产业瓶颈卓越引领工程

来源：评论

学校读者我要写书评

暂无评论

基于超级参数调整的网络表示学习算法性能公平比较框架

引用

计算机学报 2022年第5期45卷 897-917页

作者：郭梦影孙振宇朱妤晴包云岗中国科学院计算技术研究所先进计算机系统研究中心北京100190 中国科学院大学北京100049 北京信息科学与技术国家研究中心(清华大学) 北京100084 大数据系统软件国家工程实验室北京100084

网络结构数据在现今生活中广泛存在,但由于数据结构稀疏、规模较大等特性,难以直接利用现有的机器学习算法对数据进行分析.网络表示学习算法的出现,通过将高维数据映射到低维向量空间,解决了上述问题.但是网络表示学习算法中存在大量超... 详细信息

网络结构数据在现今生活中广泛存在,但由于数据结构稀疏、规模较大等特性,难以直接利用现有的机器学习算法对数据进行分析.网络表示学习算法的出现,通过将高维数据映射到低维向量空间,解决了上述问题.但是网络表示学习算法中存在大量超级参数,参数的选择与数据分析任务密切相关且对算法性能有明显影响,如何针对数据分析任务,通用地对多种网络表示学习算法进行超级参数调整,以获取不同算法的最优性能,实现算法间性能的公平比较,从而选择出最优者对数据进行分析,是一个亟待解决的问题.此外,对算法进行超级参数调整通常需要花费较长时间,且由于网络结构数据规模通常较大,还会有内存占用过高问题的存在,因此如何能够在有资源限制(时间、内存占用)的条件下进行超级参数调整,是面临的另一个问题.基于上述两个问题,本文提出了基于超级参数调整的网络表示学习算法性能公平比较框架JITNREv,能够在有资源限制的条件下通用对多种网络表示学习算法进行超级参数调整,通过获取不同算法针对相同数据分析任务的性能最优值,实现算法之间的性能公平比较.该框架具有4个松耦合且可扩展的组件,组件间仅通过数据流进行交互,并在闭环结构中完成样本的测试优化,满足了框架的通用性.JITNREv基于拉丁超立方采样对超级参数进行采样;根据“当前最优值附近,有更大概率出现更优值”的假设对采样范围进行剪枝;针对超大规模数据集,提出了图粗化方式在保留数据结构的基础上压缩数据规模,满足了资源限制条件下对超级参数进行调整的要求.框架还融合了网络表示学习算法常用的评测数据集、评测指标和数据分析应用,实现了框架的易用性.实验证明JITNREv框架能够在资源限制条件下稳定提高算法性能,例如,针对GCN算法的节点分类任务相比默认参数设置,JITNREv框架能够将性能提升31%.

关键词：网络表示学习网络嵌入图卷积网络自动化机器学习超级参数调整

来源：评论

学校读者我要写书评

暂无评论

偏远地区离网混合可再生能源系统建模与优化

引用

工程热物理学报 2021年第5期42卷 1113-1118页

作者：李金泽刘培李政清华大学能源与动力工程系电力系统及发电设备控制与仿真国家重点实验室工业大数据系统与应用北京市重点实验室北京100084

本文提出了以太阳能、风能和生物质能为能源输入的离网混合可再生能源系统建模及优化设计框架,综合考虑了偏远农村地区能源供需和用电模式的独特性。对离网混合可再生能源系统进行了建模,并给出其技术经济性评价体系。通过对中国西部某... 详细信息

本文提出了以太阳能、风能和生物质能为能源输入的离网混合可再生能源系统建模及优化设计框架,综合考虑了偏远农村地区能源供需和用电模式的独特性。对离网混合可再生能源系统进行了建模,并给出其技术经济性评价体系。通过对中国西部某村庄的实例分析,验证了该框架及模型的有效性。结果表明,相比于电网延伸,在偏远农村地区发展离网混合可再生能源系统具有显著的经济、环境效益。

关键词：离网混合可再生能源系统偏远农村中国西部

来源：评论

学校读者我要写书评

暂无评论

面向季节性时空数据的预测式循环网络及其在城市计算中的应用

引用

计算机学报 2020年第2期43卷 286-302页

作者：张建晋王韫博龙明盛王建民王海峰清华大学软件学院大数据系统软件国家工程实验室清华大学北京信息科学与技术国家研究中心百度公司

实际生活中有很多带有季节特征的时空数据,在城市计算领域分布尤广,例如交通流量数据便具有较为明显的以天或周为周期的统计学特征.如何有效利用这种季节特征,如何捕捉历史观测与待预测数据之间的相关性,成为了预测此类时空数据未来变... 详细信息

实际生活中有很多带有季节特征的时空数据,在城市计算领域分布尤广,例如交通流量数据便具有较为明显的以天或周为周期的统计学特征.如何有效利用这种季节特征,如何捕捉历史观测与待预测数据之间的相关性,成为了预测此类时空数据未来变化趋势的关键.传统时序建模方法将时序数据分解为多个信号分量,并使用线性模型来进行预测.此类方法具有较强的理论基础,但对于数据的平稳性要求过于严格,难以预测趋势信息复杂的数据,更不适用于高维的时空数据.然而在真实场景下,季节性时空数据的周期长短可变,且不同周期的对应关系往往并不固定,存在时间、空间上的模式变化与偏移,很难作为理想的周期信号以传统时序方法建模.相比之下,深度神经网络建模能力更强,可拟合更为复杂的数据.近几年有许多工作研究了如何利用卷积神经网络和循环神经网络来处理时空数据,也有一些工作讨论了如何有效利用周期性信息提升预测的准确性.但深度神经网络受困于梯度消失和误差累积,难以捕捉时序数据中的长时间依赖,且少有方法讨论如何在深度神经网络中有效建模上述具有弹性周期对应关系的时空信号.本文针对真实场景下季节性时空数据的上述问题,给出具有弹性周期对应关系的时空数据预测问题的形式化定义,并提出了一种新的季节性时空数据预测模型.该模型包含季节网络、趋势网络、时空注意力模块三个部分,可捕捉短期数据中的临近变化趋势和长期数据中隐含的季节性趋势,并广泛考虑历史周期中的每个时空元素对未来预测值的影响.为了解决深度循环网络难以捕捉时序数据中的长时间依赖的问题,本文提出一种新的循环卷积记忆单元,该单元将上述模块融合于一个可端到端训练的神经网络中,一方面实现了时间和空间信息统一建模,另一方面实现了短期趋势特征与历史周期特征的统一建模.进一步地,为了解决季节性数据中的各周期时空元素对应关系不固定的问题,本文探讨了多种基于注意力模块的时空数据融合方式,创新性地提出一种级联式的时空注意力模块,并将其嵌入于上述循环卷积记忆单元内.该模块建模记忆单元的隐藏状态在不同周期内的弹性时空对应关系,自适应地选取相关度高的季节性特征辅助预测.实验部分,我们选取了两个时空数据预测在城市计算中最为典型的应用:交通流量预测和气象数据预报.本文所提出的时空周期性循环神经网络在北京、纽约的交通流量数据集、美国气象数据集上均取得了目前最高的预测准确性.

关键词：深度学习注意力模型时空预测城市计算时空数据

来源：评论

学校读者我要写书评

暂无评论

大数据可视化技术及应用

引用

科技导报 2020年第3期38卷 68-83页

作者：沈恩亚清华大学软件学院/大数据系统软件国家工程实验室北京100084

随着人类产生数据量的增加,数据可视化需要处理的数据规模、类型及需求都发生了显著变化。在大数据时代,数据可视化面临诸多新的挑战。从大数据本身的特点及其应用需求出发,结合数据可视化的研究现状,介绍了适用于大数据的数据可视化技... 详细信息

随着人类产生数据量的增加,数据可视化需要处理的数据规模、类型及需求都发生了显著变化。在大数据时代,数据可视化面临诸多新的挑战。从大数据本身的特点及其应用需求出发,结合数据可视化的研究现状,介绍了适用于大数据的数据可视化技术;分析在大数据条件下数据可视化所要解决的8个关键问题;讨论了针对大数据可视化应用需求自主研发的交互式可视化设计平台AutoVis及其应用。

关键词：数据可视化大数据时序数据可视化可视化系统

来源：评论

学校读者我要写书评

暂无评论

大数据软件的机遇与挑战

引用

科技导报 2020年第3期38卷 1-2页

作者：孙家广清华大学大数据系统软件国家工程实验室北京100084

2019年,大数据、数据科学、机器学习、人工智能领域的研究与应用持续发展。物联网与传感设备的普及带来数据的爆炸性增长。大数据作为产业发展的创新要素,在数据科学与技术、商业模式、产业格局、生态价值与教育层面,均带来了新理念和... 详细信息

2019年,大数据、数据科学、机器学习、人工智能领域的研究与应用持续发展。物联网与传感设备的普及带来数据的爆炸性增长。大数据作为产业发展的创新要素,在数据科学与技术、商业模式、产业格局、生态价值与教育层面,均带来了新理念和新思维。大数据与人工智能的快速普及应用除了受数据量激增因素影响外,还有另外两方面因素影响:一是深度神经网络算法处理大规模非结构化数据集的能力越来越强;二是算力的飞跃。随着光刻技术进一步发展,终端设备和边缘设备的数据处理能力持续提高,云、端与边缘计算结合,实现低成本海量可用计算资源。

关键词：非结构化数据深度神经网络人工智能大数据机器学习物联网传感设备光刻技术

来源：评论

学校读者我要写书评

暂无评论

大数据安全标准现状和思考

引用

科技导报 2020年第3期38卷 94-102页

作者：叶晓俊金涛刘璘大数据系统软件国家工程实验室/清华大学大数据研究中心软件学院北京100084

随着中国《网络安全法》《网络产品和服务安全审查办法(试行)》《数据安全管理办法(征求意见稿)》等法律法规的陆续实施,对大数据运营商提出了诸多合规要求。如何应对大数据时代日益显著的数据安全风险,确保其符合网络安全法律法规政策... 详细信息

随着中国《网络安全法》《网络产品和服务安全审查办法(试行)》《数据安全管理办法(征求意见稿)》等法律法规的陆续实施,对大数据运营商提出了诸多合规要求。如何应对大数据时代日益显著的数据安全风险,确保其符合网络安全法律法规政策,需要对网络运营者数据业务及安全管控措施进行规范化。在明确了大数据安全内涵、指出了大数据产业面临的安全挑战后,对照工业界大数据平台和大数据应用安全解决方案阐述了大数据安全目标及其大数据平台与应用关键技术与机制。

关键词：大数据数据安全隐私保护安全标准安全保护技术

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：