检索结果-内蒙古大学图书馆

河北省科学院学报 2018年第2期35卷 35-42页

作者：赵月琴范通让石家庄铁道大学信息科学与技术学院河北石家庄050043

河北省科技创新大数据公共平台是以海量数据资源为基础,基于数据仓库与数据挖掘技术构建,面向管理部门开展决策服务,面向社会公众开展信息服务的网络信息平台。但是,在构建数据仓库的过程中,存在各种各样的数据质量问题,最终产生各种错... 详细信息

河北省科技创新大数据公共平台是以海量数据资源为基础,基于数据仓库与数据挖掘技术构建,面向管理部门开展决策服务,面向社会公众开展信息服务的网络信息平台。但是,在构建数据仓库的过程中,存在各种各样的数据质量问题,最终产生各种错误的分析结果,所以,在进入数据仓库前,必须对数据进行清洗,从而保证进入数据仓库的数据质量。根据河北省科技攻关项目科技大数据标准化处理与应用系统,提出科技创新大数据清洗框架,在框架的基础上,定义清洗规则,改进清洗算法,在真实数据集上进行实验,解决了进入数据仓库的数据质量问题,从而保证了数据在数据仓库中的一致性和正确性,为后期的分析和处理提供了坚实的数据基础。

关键词：科技创新大数据数据质量数据清洗数据清洗框架

来源：评论

学校读者我要写书评

暂无评论

基于聚类的公共数据清洗算法研究

基于聚类的公共数据清洗算法研究

引用

作者：白洁湖北师范大学

学位级别：硕士

目前,越来越多的政府机构和企事业单位开始了开放数据的工作,建立了许多公共数据开放平台,实现数据共享。但由于公共数据涉及的领域较多,来源复杂,在规范性和完整性等多方面存在着更复杂的质量问题,导致常用的清洗算法对于公共数据进行... 详细信息

目前,越来越多的政府机构和企事业单位开始了开放数据的工作,建立了许多公共数据开放平台,实现数据共享。但由于公共数据涉及的领域较多,来源复杂,在规范性和完整性等多方面存在着更复杂的质量问题,导致常用的清洗算法对于公共数据进行清洗的结果不理想,影响了公共数据的使用效果和利用率。因此本文通过对开放数据平台的公共数据质量问题进行分析,基于聚类思想,对几类常用数据清洗算法进行研究和改进,并设计了一个公共数据清洗框架。首先对主流的公共数据平台上的数据进行分析研究,总结目前公共数据存在的普遍性质量问题。接着介绍了数据清洗的基本方法、分析了公共数据清洗的需求,以此作为清洗算法改进的基础。在重复、相似数据的清洗方面,对近邻排序算法(Nearest Neighbor Sorting Algorithm,SNM)进行研究和改进。SNM算法在重复值清洗过程中排序关键词的选取影响相似排序结果,滑动窗口不易控制且不能伸缩,相似度阈值的设置等问题都极大影响清洗的结果。因此基于聚类与综合属性权值对算法进行了改进。综合属性权重法来避免固定属性权重的问题,关键词排序用聚类方法来代替,将数据与聚类后的结果集进行匹配,解决窗口设置导致的数据遗漏等问题。并使用公共数据集对改进后的算法做实验进行对比分析,验证改进后的算法的有效性。在缺失值清洗方面,以初始k值的确定、初始聚类中心点的选择、孤立点的检测与去除等为方向,对k均值聚类算法(K-means clustering algorithm,K-means)数据清洗算法进行了研究和改进,基于迭代得到更加准确的k值,借鉴基于密度的聚类算法(Density-Based Spatial Clustering of Applications with Noise,DBSCAN)算法的思想,基于最大距离和最大密度优化聚类中心的选择,避免离散点对聚类结果的影响,提高类间数据关联度。使用数据集对改进后的算法进行实验和数据分析。最后,基于改进后的清洗算法,总结出一套适合公共数据的清洗框架。清洗框架包括适合公共数据的清洗规则与质量规则的制定阶段,清洗阶段和评估阶段等。选取了公共数据集进行了数据清洗实验,分析验证公共数据清洗框架的可行性,以及改进算法在清洗框架中的有效性,得出实验数据结果和最终结论。由实验数据分析得出,改进的算法对公共数据清洗准确度较之前有明显提高,所提出的公共数据清洗框架具有较好的可行性和效果。

关键词：公共数据数据清洗算法 SNM算法 K-means算法数据清洗框架

来源：评论

学校读者我要写书评

暂无评论

基于时空相关性的感知数据清洗研究

基于时空相关性的感知数据清洗研究

引用

作者：孙天成北京建筑大学

学位级别：硕士

数据作为文明发展的载体之一,有着至关重要的地位。纵观文明的发展史可以发现,准确的信息和数据甚至能决定国家的兴盛与衰败。随着5G通信落地、IPv6协议推广和区块链技术发展,如今,我们正处于新一轮的科技信息技术革命中。在物联网中,... 详细信息

数据作为文明发展的载体之一,有着至关重要的地位。纵观文明的发展史可以发现,准确的信息和数据甚至能决定国家的兴盛与衰败。随着5G通信落地、IPv6协议推广和区块链技术发展,如今,我们正处于新一轮的科技信息技术革命中。在物联网中,每天数以亿计传感器设备都会采集到海量的数据,不仅如此,这些数据量还在以指数形式增长。在海量的传感器采集的原始数据中,存在一部分冗余、冲突、异常或缺失的数据,这些数据为脏数据。脏数据只有经过合理的清洗后,才能完整准确的表达原始数据,更好的服务于数据管理者,支撑其决策与分析,发挥数据真正的价值。本文通过建立数据清洗框架,设计数据清洗方法清洗了感知数据中的四类脏数据。通过不同清洗模型精度的对比,得到在温度、湿度、二氧化碳和光强数据集中,数据经过本文设计的框架清洗,应用时空相关性模型填补后精度最优。在研究过程中,本文主要设计了以下五个方面的内容。第一,数据清洗框架的设计。根据数据分析的需求和数据应用场景,设计了适用于感知数据的数据清洗框架,包括清洗需求、采集数据、清洗数据和精度评价。第二,数据清洗方法和具体流程设计。根据感知数据特点,设计了针对四类脏数据的清洗方法,并由清洗后的结果设计了依次是冗余清洗、冲突清洗、异常清洗和缺失清洗的数据清洗流程。第三,异常清洗方法设计。根据概率论中正态分布的特点,判断每一组感知数据集中的偏差大于两倍σ的小概率数据,对其进行删除的方式清洗。第四,数据时空相关性设计。根据感知数据的时序特征,建立了滑动时间模型;根据感知数据的两种空间特征,建立了多站点和相邻节点的空间模型。综合时间与空间模型设计了ST-SDC算法,加权平均方法建立了时空相关性模型。第五,清洗评价方法设计。根据本文建立的时空相关性模型,对清洗流程中最后的缺失数据进行填补。对比计算了常用的时间ARMA模型、空间VAR模型和单独的时间或空间模型等填补数据集的RMSE精度值。为了完成基于时空相关性的感知数据清洗研究,本文首先描述了物联网时空相关性数据清洗的研究背景和现状,其次对数据采集、时空相关性和数据清洗的理论进行介绍,随后设计上述五个方面的核心内容,最后根据实验结果分析和研究过程中的感悟,归纳总结了研究成果的核心内容和创新,并总结了研究中的不足和缺陷,根据不足对未来的研究提出了展望。

关键词：物联网数据清洗框架时空相关性感知数据清洗数据时空模型

来源：评论

学校读者我要写书评

暂无评论

软件及软件开发工具

引用

电子科技文摘 2006年第4期 -页

来源：评论

学校读者我要写书评

暂无评论

数据质量和数据清洗关键技术研究

数据质量和数据清洗关键技术研究

引用

作者：俞荣华复旦大学

学位级别：硕士

该文在归纳、总结了数据质量问题和数据清洗相关研究的现状的基础上提出一个可扩展的数据清洗框架的定义和一个检测多语言数据重复记录的综合方法,并以此为基础实现了一个数据清洗系统EDCF.具体地说,该文的贡献如下：1.提出了一个可扩... 详细信息

该文在归纳、总结了数据质量问题和数据清洗相关研究的现状的基础上提出一个可扩展的数据清洗框架的定义和一个检测多语言数据重复记录的综合方法,并以此为基础实现了一个数据清洗系统EDCF.具体地说,该文的贡献如下：1.提出了一个可扩展的数据清洗框架的定义.框架以术语模型、处理描述文件、共享库等概念和技术实现了模块功能的可定制,系统的开放性和可扩展性.2.提供了一种检测多语言数据重复记录的综合方法.该方法有效地解决了多语言数据记录的初步聚类问题;提出了一种适合于多语言数据的、基于计算编辑距离的有效的记录比较方法;并采用以聚类为元素的优先队列和代表记录相结合的策略,高效地聚类相似重复记录.从实验看,该方法具有时间复杂度小,检测精度高,能很好地适应数据规模的变化等优点.3.以该文提出的技术为基础,实现了一个可扩展的数据清洗系统EDCF.系统提供了方便、易用的可视化的数据清洗流程定义环境.并实现了典型的数据清洗任务模块,能够解决常见的数据质量问题.

关键词：数据质量数据清洗重复记录检测数据清洗框架

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：