检索结果-内蒙古大学图书馆

作者：白洁湖北师范大学

学位级别：硕士

目前,越来越多的政府机构和企事业单位开始了开放数据的工作,建立了许多公共数据开放平台,实现数据共享。但由于公共数据涉及的领域较多,来源复杂,在规范性和完整性等多方面存在着更复杂的质量问题,导致常用的清洗算法对于公共数据进行... 详细信息

目前,越来越多的政府机构和企事业单位开始了开放数据的工作,建立了许多公共数据开放平台,实现数据共享。但由于公共数据涉及的领域较多,来源复杂,在规范性和完整性等多方面存在着更复杂的质量问题,导致常用的清洗算法对于公共数据进行清洗的结果不理想,影响了公共数据的使用效果和利用率。因此本文通过对开放数据平台的公共数据质量问题进行分析,基于聚类思想,对几类常用数据清洗算法进行研究和改进,并设计了一个公共数据清洗框架。首先对主流的公共数据平台上的数据进行分析研究,总结目前公共数据存在的普遍性质量问题。接着介绍了数据清洗的基本方法、分析了公共数据清洗的需求,以此作为清洗算法改进的基础。在重复、相似数据的清洗方面,对近邻排序算法(Nearest Neighbor Sorting Algorithm,SNM)进行研究和改进。SNM算法在重复值清洗过程中排序关键词的选取影响相似排序结果,滑动窗口不易控制且不能伸缩,相似度阈值的设置等问题都极大影响清洗的结果。因此基于聚类与综合属性权值对算法进行了改进。综合属性权重法来避免固定属性权重的问题,关键词排序用聚类方法来代替,将数据与聚类后的结果集进行匹配,解决窗口设置导致的数据遗漏等问题。并使用公共数据集对改进后的算法做实验进行对比分析,验证改进后的算法的有效性。在缺失值清洗方面,以初始k值的确定、初始聚类中心点的选择、孤立点的检测与去除等为方向,对k均值聚类算法(K-means clustering algorithm,K-means)数据清洗算法进行了研究和改进,基于迭代得到更加准确的k值,借鉴基于密度的聚类算法(Density-Based Spatial Clustering of Applications with Noise,DBSCAN)算法的思想,基于最大距离和最大密度优化聚类中心的选择,避免离散点对聚类结果的影响,提高类间数据关联度。使用数据集对改进后的算法进行实验和数据分析。最后,基于改进后的清洗算法,总结出一套适合公共数据的清洗框架。清洗框架包括适合公共数据的清洗规则与质量规则的制定阶段,清洗阶段和评估阶段等。选取了公共数据集进行了数据清洗实验,分析验证公共数据清洗框架的可行性,以及改进算法在清洗框架中的有效性,得出实验数据结果和最终结论。由实验数据分析得出,改进的算法对公共数据清洗准确度较之前有明显提高,所提出的公共数据清洗框架具有较好的可行性和效果。

关键词：公共数据数据清洗算法 SNM算法 K-means算法数据清洗框架

来源：评论

学校读者我要写书评

暂无评论

农业机械大数据清洗算法研究

引用

河北农机 2022年第19期 64-66页

作者：郑志良福建省莆田市荔城区拱辰街道办事处

为有效识别和修正农业机械数据异常,提升农业机械大数据平台的应用实效,本文对农业机械数据异常情况进行分析,并提出了基于滑动窗口的在线清洗算法。该算法可以通过窗口数据方差计算,识别异常数据,并生成候选修正数据。通过AR模型、ARX... 详细信息

为有效识别和修正农业机械数据异常,提升农业机械大数据平台的应用实效,本文对农业机械数据异常情况进行分析,并提出了基于滑动窗口的在线清洗算法。该算法可以通过窗口数据方差计算,识别异常数据,并生成候选修正数据。通过AR模型、ARX模型迭代计算,得到修正后的数据。为验证本文算法的有效性,对算法进行了试验对比分析,结果表明:本研究算法在大规模数据清洗中具备良好的数据异常识别功能;数据修正效果良好;在数据异常修正方面具有精准性,且在数据异常率越低的情况下,本文算法的数据异常修正精准性越高。

关键词：农业机械大数据数据清洗算法

来源：评论

学校读者我要写书评

暂无评论

基于局部离群因子的数据异常识别方法及其在古建结构监测中的应用

引用

建筑结构学报 2022年第10期43卷 68-75页

作者：杨娜付颖煜李天昊北京交通大学土木建筑工程学院北京100044 北京交通大学结构风工程与城市风环境北京市重点实验室北京100044

基于结构健康监测,深入挖掘监测数据信息是获取古建筑结构健康状态,是保证其耐久性与安全性的重要手段。为精准开展数据分析与结构安全评估工作,区分硬件异常、人为扰动或环境突变两类数据异常成因,分别定义两类砌体结构古建筑监测数据... 详细信息

基于结构健康监测,深入挖掘监测数据信息是获取古建筑结构健康状态,是保证其耐久性与安全性的重要手段。为精准开展数据分析与结构安全评估工作,区分硬件异常、人为扰动或环境突变两类数据异常成因,分别定义两类砌体结构古建筑监测数据异常。结合砌体结构古建筑监测数据长期静态缓变的特性,提出基于密度的改进离群点识别算法以提高监测数据清洗的质量。通过对时间序列数据的压缩分割,以及子时间序列数据的转化,实现精准拾取数据中的局部离群点。经定性定量分析,基于局部离群密度的改进离群点识别算法对于识别砌体结构古建筑监测数据局部离群点的准确度高、效率高,能够解决现有数据离群点识别算法不适用于砌体结构古建筑监测数据的问题。

关键词：古建筑结构监测数据局部离群点数据清洗算法

来源：评论

学校读者我要写书评

暂无评论

数学建模在化纤材料性能优化中的应用研究

引用

化纤与纺织技术 2025年第3期54卷 19-21页

作者：宋婷婷商丘工学院河南商丘476000

文章深入探讨数学建模在化纤材料性能优化中的应用,阐述了化纤材料性能优化面临的挑战,详细分析数学建模与化纤材料性能优化的关联原理,重点研究数学建模在纤维结构设计、加工工艺优化、性能预测与评估方面的应用,并提出保障数学建模有... 详细信息

文章深入探讨数学建模在化纤材料性能优化中的应用,阐述了化纤材料性能优化面临的挑战,详细分析数学建模与化纤材料性能优化的关联原理,重点研究数学建模在纤维结构设计、加工工艺优化、性能预测与评估方面的应用,并提出保障数学建模有效应用的措施,旨在为化纤材料领域的发展提供科学、高效的技术支持,推动化纤材料性能优化向智能化、精准化迈进。

关键词：数学建模化纤材料性能优化数据清洗算法模型选择准则

来源：评论

学校读者我要写书评

暂无评论

数据清洗技术在汽车板力学性能分析中的应用

引用

冶金自动化 2018年第6期42卷 27-30页

作者：刘路璐张朝亮王宝川金磊北京首钢自动化信息技术有限公司信息事业部北京首钢集团有限公司技术研究院

汽车板性能实验过程中产生的大数据应用价值极高,但需要经过清洗后才能达到数据分析的质量要求。首先,概述了数据清洗原理、框架;其次,针对性能数据提出通过数据清洗算法、软件功能来提高数据质量的具体方法,说明了算法中使用数据预处... 详细信息

汽车板性能实验过程中产生的大数据应用价值极高,但需要经过清洗后才能达到数据分析的质量要求。首先,概述了数据清洗原理、框架;其次,针对性能数据提出通过数据清洗算法、软件功能来提高数据质量的具体方法,说明了算法中使用数据预处理、数据运算、无效数据处理、最小二乘法、直线方程平移等方法的具体细节。通过该技术的应用,汽车板性能大数据的数据清洗效率有了很大提升。最后,对数据清洗技术跨领域应用进行了展望。

关键词：大数据性能数据数据清洗算法软件功能数据质量

来源：评论

学校读者我要写书评

暂无评论

EIF：一种基于关系的实体识别框架

EIF：一种基于关系的实体识别框架

引用

2009中国计算机大会

作者：黎玲利王宏志高宏李建中哈尔滨工业大学计算机科学与技术黑龙江哈尔滨市 150001

在很多现实世界的应用中名字和实体间存在冲突，也就是说，不同的人或事物可能拥有同一个名字，同一个人或事物也可能用不同的名字指代.识别名字指代的实体是数据清洗和实体查询中的重要问题。当前的方法仅能够处理某种单一情况下的冲... 详细信息

在很多现实世界的应用中名字和实体间存在冲突，也就是说，不同的人或事物可能拥有同一个名字，同一个人或事物也可能用不同的名字指代.识别名字指代的实体是数据清洗和实体查询中的重要问题。当前的方法仅能够处理某种单一情况下的冲突，并不能解决现实应用中实体识别的问题。针对这些问题，本文提出了一种普遍适用的基于关系的实体识别框架EIF，这个框架扩展并应用领域知识和聚类技术求解实体识删问题。本文还将该框架应用于求解丈献中的作者实体识别问题，提出了作者识别算法。并通过实验对该框架的有效性进行了验证。

关键词：实体识别数据清洗算法聚类技术名字指代实体查询

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：