检索结果-内蒙古大学图书馆

软件学报 2022年第3期33卷 968-984页

作者：李盼盼宋韶旭王建民清华大学软件学院北京100084 大数据系统软件国家工程实验室(清华大学) 北京100084 北京信息科学与技术国家研究中心(清华大学) 北京100084

随着信息化和工业化的融合,物联网和工业互联网蓬勃发展,由此产生了以时间序列为代表的大量工业大数据.时间序列中蕴含着很多有价值的模式,其中,对称模式在各类时间序列中广泛存在.挖掘对称模式对于行为分析、轨迹跟踪、异常检测等领域... 详细信息

随着信息化和工业化的融合,物联网和工业互联网蓬勃发展,由此产生了以时间序列为代表的大量工业大数据.时间序列中蕴含着很多有价值的模式,其中,对称模式在各类时间序列中广泛存在.挖掘对称模式对于行为分析、轨迹跟踪、异常检测等领域具有重要的研究价值,但时间序列的数据量往往高达几十甚至上百GB.使用直接的嵌套查询算法挖掘对称模式可能花费数月乃至数年的时间,而索引、下界和三角不等式等典型加速技术最多只能产生一两个数量级的加速.因此,基于动态时间规整算法的启发,提出了一种能够在O(w×|T|)的时间复杂度内挖掘出时间序列所有对称模式的方法.具体来说,给定对称模式长度约束,基于区间动态规划算法计算出对称子序列,进而依据贪心策略选择数量最多且不重叠的对称模式.此外,还研究了在时间序列数据流挖掘对称模式的算法,并根据窗口内数据的特征动态调节窗口大小,保证了对称模式数据的完整性.采用1个人工数据集、3个真实数据集在不同数据量下对上述方法进行实验.由实验结果可知,与其他对称模式挖掘方法相比,该方法在模式挖掘结果及时间开销方面均有较好的表现.

关键词：时间序列对称模式距离度量动态规划

来源：评论

学校读者我要写书评

暂无评论

面向复杂物流配送场景的车辆路径规划多任务辅助进化算法

引用

自动化学报 2024年第3期50卷 544-559页

作者：李坚强蔡俊创孙涛朱庆灵林秋镇深圳大学计算机与软件学院深圳518060 深圳大学大数据系统计算技术国家工程实验室深圳518060

在现代社会中,复杂物流配送场景的车辆路径规划问题(Vehicle routing problem,VRP)一般带有时间窗约束且需要提供同时取送货的服务.这种复杂物流配送场景的车辆路径规划问题是NP-难问题.当其规模逐渐增大时,一般的数学规划方法难以求解... 详细信息

在现代社会中,复杂物流配送场景的车辆路径规划问题(Vehicle routing problem,VRP)一般带有时间窗约束且需要提供同时取送货的服务.这种复杂物流配送场景的车辆路径规划问题是NP-难问题.当其规模逐渐增大时,一般的数学规划方法难以求解,通常使用启发式方法在限定时间内求得较优解.然而,传统的启发式方法从原大规模问题直接开始搜索,无法利用先前相关的优化知识,导致收敛速度较慢.因此,提出面向复杂物流配送场景的车辆路径规划多任务辅助进化算法(Multitask-based assisted evolutionary algorithm,MBEA),通过使用迁移优化方法加快算法收敛速度,其主要思想是通过构造多个简单且相似的子任务用于辅助优化原大规模问题.首先从原大规模问题中随机选择一部分客户订单用于构建多个不同的相似优化子任务,然后使用进化多任务(Evolutional multitasking,EMT)方法用于生成原大规模问题和优化子任务的候选解.由于优化子任务相对简单且与原大规模问题相似,其搜索得到的路径特征可以通过任务之间的知识迁移辅助优化原大规模问题,从而加快其求解速度.最后,提出的算法在京东物流公司快递取送货数据集上进行验证,其路径规划效果优于当前最新提出的路径规划算法.

关键词：车辆路径规划问题时间窗约束同时取送货进化算法迁移优化

来源：评论

学校读者我要写书评

暂无评论

Apache IoTDB的分布式框架设计

引用

中国科学：信息科学 2020年第5期50卷 621-636页

作者：李天安黄向东王建民毛东方徐毅袁骏清华大学软件学院北京100084 大数据系统软件国家工程实验室北京100084 北京信息科学与技术国家研究中心北京100084

Apache IoTDB是一个新型的开源时序数据库管理系统.分布式数据管理系统不仅需要解决数据分区与多副本带来的节点间元数据同步问题,还要支持高效查询请求处理.本文针对节点间元数据同步问题提出了双层粒度元数据管理策略,在此基础上基于... 详细信息

Apache IoTDB是一个新型的开源时序数据库管理系统.分布式数据管理系统不仅需要解决数据分区与多副本带来的节点间元数据同步问题,还要支持高效查询请求处理.本文针对节点间元数据同步问题提出了双层粒度元数据管理策略,在此基础上基于一致性哈希分区方法和Raft协议设计了同时支持强一致性查询和最终一致性查询的分布式框架.基于单机版Apache IoTDB进行了系统实现与实验测试,测试结果表明:双层粒度元数据管理策略与单层粒度管理策略相比,其元数据内存资源占用更少且写入性能提升5%~10%,并且分布式Apache IoTDB的读写性能随着集群规模的扩大而线性增长.

关键词：物联网数据库时间序列分布式框架 Raft协议元数据强一致性最终一致性

来源：评论

学校读者我要写书评

暂无评论

基于候选中心融合的多观测点I-nice聚类算法

引用

模式识别与人工智能 2022年第4期35卷 348-362页

作者：陈鸿杰何玉林黄哲学尹剑飞深圳大学计算机与软件学院大数据技术与应用研究所深圳518060 深圳大学大数据系统计算技术国家工程实验室深圳518060

伴随着问题场景数据在规模上的快速增长和构成上的复杂化,精确估计簇的个数和簇的中心点是当下聚类算法处理和分析复杂大规模数据的重要挑战.簇数及簇心的精确估计对于部分有参聚类算法、数据集整体复杂性度量和数据简化表示等都十分关... 详细信息

伴随着问题场景数据在规模上的快速增长和构成上的复杂化,精确估计簇的个数和簇的中心点是当下聚类算法处理和分析复杂大规模数据的重要挑战.簇数及簇心的精确估计对于部分有参聚类算法、数据集整体复杂性度量和数据简化表示等都十分关键.文中在深入分析I-nice的基础上,提出基于候选中心融合的多观测点I-nice聚类算法.在原多观测点投影分治框架上采用混合高斯模型(Gaussian Mixture Model,GMM),结合粗细粒度最佳GMM搜索策略,实现数据子集的精确划分.此外,基于候选中心点分别到各观测点的距离值及最佳GMM,构造候选中心点的GMM构件向量,并设计一组闵可夫斯基距离对进行候选中心点间的相异度度量,实现基于GMM构件向量相异度的多观测点I-nice候选中心融合.不同于现有聚类算法,文中算法联合优化分治环节数据子集划分和候选中心集成这两个关键过程,实现成百上千个簇的精确高效估计.在真实数据集和仿真数据集上的一系列实验表明,文中算法能精确估计簇数和簇中心,具备较高的聚类精度.实验同时验证算法的有效性及在各类数据场景下的稳定性.

关键词：无监督学习观测点 I-nice 无参聚类高斯混合模型

来源：评论

学校读者我要写书评

暂无评论

大数据软件产品研发进展及挑战

引用

科技导报 2020年第3期38卷 84-93页

作者：刘英博魏凯清华大学软件学院大数据系统软件国家工程实验室工业大数据系统与应用北京市重点实验室北京100084 中国信息通信研究院北京100084

大数据技术的蓬勃发展催生了丰富的大数据应用,当今各种大数据产品形成的复杂的生态系统。从数据的存储和分析两个角度概述了大数据产品的核心技术,结合权威评测机构的结果,分析了国内市场上大数据产品的现状。未来中国大数据产品研发... 详细信息

大数据技术的蓬勃发展催生了丰富的大数据应用,当今各种大数据产品形成的复杂的生态系统。从数据的存储和分析两个角度概述了大数据产品的核心技术,结合权威评测机构的结果,分析了国内市场上大数据产品的现状。未来中国大数据产品研发在开源社区的参与度、复合型人才培养、产品细分和跨学科协同创新上还需进一步努力。

关键词：大数据系统大数据分析 NoSQL NewSQL

来源：评论

学校读者我要写书评

暂无评论

大数据聚类专题序言

引用

深圳大学学报（理工版） 2019年第1期36卷 1-3页

作者：陈国良深圳大学大数据系统计算技术国家工程实验室广东深圳518060

2013年被称为“大数据元年”.经过近5年的飞速发展,大数据已经成为大众最为关注的一门新技术,大数据的应用预示着信息时代进入了一个新阶段.目前,大数据应用已经渗透到人类社会的各个角落,高效的大数据分析和运用,将会对未来中国经济发... 详细信息

2013年被称为“大数据元年”.经过近5年的飞速发展,大数据已经成为大众最为关注的一门新技术,大数据的应用预示着信息时代进入了一个新阶段.目前,大数据应用已经渗透到人类社会的各个角落,高效的大数据分析和运用,将会对未来中国经济发展、社会治理、国家管理、人民生活产生积极重大的影响.我以“big data”和“大数据”为关键词,对2013年至今发表在Web of Science(WOS)和中国知网CNKI平台(计算机软件及计算机应用领域内的期刊论文)上的文献进行了检索(超16 000篇文献),并通过对其中WOS的约100篇高被引和热点论文以及CNKI中下载量超过10000次的学术论文进行分析,总结归纳发现,大数据的研究主要经历了以下3个关键时期.

关键词：人工智能大数据存储管理系统计算聚类

来源：评论

学校读者我要写书评

暂无评论

大规模时间序列分析框架的研究与实现

引用

计算机学报 2020年第7期43卷 1279-1292页

作者：滕飞黄齐川李天瑞王晨田春华西南交通大学信息科学与技术学院成都610031 中铁一院轨道交通工程信息化国家重点实验室西安710043 清华大学大数据系统软件国家工程实验室北京100084

工业互联时代,每天数以亿计的传感器源源不断生成时间序列,用以记录工业设备的温度、振动、压力、曲度和张力等参数.如何从这些非结构化的时间序列中挖掘出有价值信息,并运用于状态监测、故障诊断和控制决策,引起了广泛的关注和研究.随... 详细信息

工业互联时代,每天数以亿计的传感器源源不断生成时间序列,用以记录工业设备的温度、振动、压力、曲度和张力等参数.如何从这些非结构化的时间序列中挖掘出有价值信息,并运用于状态监测、故障诊断和控制决策,引起了广泛的关注和研究.随着数据规模日益增长,能够提供较为完备数据分析算法库的主流单机环境如Matlab、R等已无法较好地应对大规模时间序列分析场景下的数据处理需求.而现有的并行分析算法数量有限,常与平台相互绑定,更换平台需对算法进行二次开发,可扩展性较差.本文旨在设计一种通用的近似解分析框架,支持第三方算法快速实现并行化,解决因数据规模过大而导致的算法适用性问题.分析框架主要包含任务划分、治理和合并三个步骤.任务划分通过冗余保留了数据的局部相关性,生成相互独立的子任务,减少分布式节点之间的数据通信和同步开销.对于任务划分问题,本文提出了近似解代价模型,得到了最优的任务划分方案.基于Spark平台设计并实现了原型系统,实验结果表明,该系统在确保分析结果准确性的前提下,其加速能力随着并行程度保持近似线性的增长,解决了单机算法的数据规模受限问题.同时,该系统易于集成与扩展,使数据分析人员免于算法重复开发.

关键词：时间序列算法并行化近似解分治 Spark

来源：评论

学校读者我要写书评

暂无评论

HDFS存储和优化技术研究综述

引用

软件学报 2020年第1期31卷 137-161页

作者：金国栋卞昊穹陈跃国杜小勇数据工程与知识工程教育部重点实验室(中国人民大学) 北京100872 中国人民大学信息学院北京100872 大数据系统软件国家工程实验室(北京理工大学) 北京100081

HDFS(Hadoop distributed file system)作为面向数据追加和读取优化的开源分布式文件系统,具备可移植、高容错和可大规模水平扩展的特性.经过10余年的发展,HDFS已经广泛应用于大数据的存储.作为存储海量数据的底层平台,HDFS存储了海量... 详细信息

HDFS(Hadoop distributed file system)作为面向数据追加和读取优化的开源分布式文件系统,具备可移植、高容错和可大规模水平扩展的特性.经过10余年的发展,HDFS已经广泛应用于大数据的存储.作为存储海量数据的底层平台,HDFS存储了海量的结构化和非结构化数据,支撑着复杂查询分析、交互式分析、详单查询、Key-Value读写和迭代计算等丰富的应用场景.HDFS的性能问题将影响其上所有大数据系统和应用,因此,对HDFS存储性能的优化至关重要.介绍了HDFS的原理和特性,对已有HDFS的存储及优化技术,从文件逻辑结构、硬件设备和应用负载这3个维度进行了归纳和总结.综述了近年来HDFS存储和优化相关研究.未来,随着HDFS上层应用的日益丰富和底层硬件平台的发展,基于异构平台的数据存储、面向应用负载的自适应存储优化以及结合机器学习的存储优化技术将成为未来研究的主要方向.

关键词： HDFS 分布式文件系统存储系统优化数据分析

来源：评论

学校读者我要写书评

暂无评论

大规模数据集聚类算法的研究进展

引用

深圳大学学报（理工版） 2019年第1期36卷 4-17页

作者：何玉林黄哲学深圳大学计算机与软件学院广东深圳518060 深圳大学大数据系统计算技术国家工程实验室广东深圳518060

聚类是机器学习领域的一个重要研究方向,在过去几十年间,针对不同类型中小规模数据集聚类算法的研究取得了很大的进展,许多行之有效的算法先后问世.然而,这些算法在处理大规模数据集时,计算复杂度较高,处理高维数据的能力较弱,难以获得... 详细信息

聚类是机器学习领域的一个重要研究方向,在过去几十年间,针对不同类型中小规模数据集聚类算法的研究取得了很大的进展,许多行之有效的算法先后问世.然而,这些算法在处理大规模数据集时,计算复杂度较高,处理高维数据的能力较弱,难以获得令人满意的效果.随着大数据时代的到来,数据的采集和存储变得相对容易和便捷,但数据量也与日俱增,因此,针对各种实际应用的聚类问题应运而生,使得专门针对大规模数据集的聚类算法研究成为当前机器学习领域的重要任务之一.本文以大规模数据集的可计算性为切入点,对目前串行和并行计算环境下专门用于处理大规模数据集的聚类算法进行综述和分析,重点评述了串行计算环境下基于样例选择、增量学习、特征子集和特征转换的聚类算法以及并行计算环境下基于MapReduce、Spark和Storm框架的聚类算法,给出了有关未来大规模数据集聚类算法设计思路与应用前景的思考和讨论,包括基于数据并行和训练过程自动化的聚类算法设计策略及关于社交网络大数据聚类算法的若干理解.

关键词：人工智能大规模数据聚类串行计算并行计算数据挖掘综述

来源：评论

学校读者我要写书评

暂无评论

基于夹角几何的I-niceMO增强算法

引用

系统仿真学报 2023年第4期35卷 797-808页

作者：何一帆何玉林蔡湧达黄哲学深圳大学计算机与软件学院广东深圳518060 深圳大学大数据系统计算技术国家工程实验室广东深圳518000

针对I-niceMO算法在候选聚类中心合并时中心数目难以确定和中心点识别不准确的问题,提出了基于夹角几何的I-niceMO增强(I-niceMOEn)算法。利用观测点与数据点之间的距离和角度分布情况找出数据中尽可能多的候选聚类中心,以避免多类别数... 详细信息

针对I-niceMO算法在候选聚类中心合并时中心数目难以确定和中心点识别不准确的问题,提出了基于夹角几何的I-niceMO增强(I-niceMOEn)算法。利用观测点与数据点之间的距离和角度分布情况找出数据中尽可能多的候选聚类中心,以避免多类别数据聚类中出现的类别丢失的情况;利用谱聚类算法对候选聚类中心进行聚类,根据拉普拉斯矩阵特征值的大小自动地对候选聚类中心进行合并;根据合并后的聚类中心的数量确定最终的数据聚类类别数。I-niceMOEn算法实现了对数据类别数的自动确定,并且在聚类过程中不需要人为设置参数。实验结果表明:I-niceMOEn算法在收敛的同时能够获得优于传统自动聚类算法和I-niceMO算法的类中心确定表现。

关键词：自动聚类 I-nice聚类谱聚类无监督学习观测点机制

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：