检索结果-内蒙古大学图书馆

吉林大学学报（信息科学版） 2018年第4期36卷 444-451页

作者：袁满刘峰曾超谢兰东北石油大学计算机与信息技术学院黑龙江大庆163318 华北油田数据中心河北任丘062552

为了对数据质量维度有一个全面、清析而准确的定义,便于在领域层面达成一致,也为从现存的数据质量管控技术架构中选择出合适的框架提供依据,对数据质量的发展历程和维度以及其管控框架进行了全面的研究。通过研究明确了复杂的数据质量... 详细信息

为了对数据质量维度有一个全面、清析而准确的定义,便于在领域层面达成一致,也为从现存的数据质量管控技术架构中选择出合适的框架提供依据,对数据质量的发展历程和维度以及其管控框架进行了全面的研究。通过研究明确了复杂的数据质量维度指标,按其名称和定义提供一套比较全面的数据质量规范,并对其质量管控技术框架进行了综合研究与对比。该研究能科学地指导具体应用需求选择合适的数据质量框架和比较全面的数据质量维度实现对数据的评估,同时可节省大量的时间,减少人力和物力支出。

关键词：数据数据质量数据质量维度数据质量框架

来源：评论

学校读者我要写书评

暂无评论

一种基于数据质量维度的数据清洗方法

引用

科技创新与应用 2017年第21期7卷 1-5页

作者：李琳上海立信会计金融学院上海200000

随着社会经济的发展和大数据时代的到来,数据在人们日常生活中扮演的角色越来越重要。利用决策支持系统、客户关系管理系统(CRM)等数据库应用项目,我们可以从海量数据中提取更有价值的信息。然而,调查发现很多数据库应用项目的运行效果... 详细信息

随着社会经济的发展和大数据时代的到来,数据在人们日常生活中扮演的角色越来越重要。利用决策支持系统、客户关系管理系统(CRM)等数据库应用项目,我们可以从海量数据中提取更有价值的信息。然而,调查发现很多数据库应用项目的运行效果并不令人满意。数据数量增长的同时,数据质量的控制也给广大研究人员带来一定的困扰。人们越来越意识到,高质量的数据是商业成功的一个重要因素,而数据源中的"脏数据"是导致数据质量低的一个重要原因。为了保证高质量的数据,企业需要采取一系列措施来控制数据质量,并采用一定的手段来处理"脏数据"。然而现实中,检测与清洗数据源中所有"脏数据"的开销是昂贵的。因此,如何根据不同的商业的需求来拣选部分"脏数据"进行清洗具有一定的现实意义。文章在文献分析的基础上,回顾了数据质量、数据质量维度的定义,探讨了常见数据质量问题,阐明了数据质量管理与数据清洗之间的关系。针对"脏数据"拣选问题提出了一种数据清洗方法。最后对数据清洗相关研究进行了展望。

关键词：数据质量数据质量维度数据质量规则数据清洗

来源：评论

学校读者我要写书评

暂无评论

考虑数据维度与质量维度二重性的数据质量评估研究

引用

情报工程 2024年第4期10卷 25-35页

作者：刘枬刘润李卓城重庆交通大学经济与管理学院重庆400074 北京邮电大学玛丽女王海南学院北京572400

[目的/意义]针对数据开发中关联性差、完整性不足所引发的高成本问题,本文构建了考虑数据维度与质量维度的数据质量评估模型,旨在评估数据的各维度质量并进行价值分析。[方法/过程]首先通过数据质量相关的文献分析,利用修正德尔菲法构... 详细信息

[目的/意义]针对数据开发中关联性差、完整性不足所引发的高成本问题,本文构建了考虑数据维度与质量维度的数据质量评估模型,旨在评估数据的各维度质量并进行价值分析。[方法/过程]首先通过数据质量相关的文献分析,利用修正德尔菲法构建了数据质量维度指标体系;之后使用层次分析法选取指标,采用蒙特卡洛采样计算Shapley值进而构建了针对数据不同维度的质量评估模型。在房地产数据质量评估案例中,对其12个数据维度运用质量评估模型进行评估,结果显示其中三个维度质量较差,建议删除,同时针对其他维度提出了修改意见。[局限]未解决数据质量维度指标难以量化问题,也未对数据进行分类,仅提出笼统的评估模型。[结果/结论]将数据维度和数据质量维度进行融合,并基于数据质量维度指标体系及Shapley构建了一个较为全面的数据质量评估模型,能更为详细地对数据库进行质量评估。

关键词：质量评估模型数据维度数据质量维度

来源：评论

学校读者我要写书评

暂无评论

通用数据质量评估模型及本体实现

引用

计算机研究与发展 2018年第6期55卷 1333-1344页

作者：张晓冉袁满东北石油大学计算机与信息技术学院黑龙江大庆163318

随着数据科学技术在各个领域的深度应用,作为企业重要资产的数据越发表现出它的价值性与重要性.绝大多数企业结合行业特点开发了数据质量检测系统来解决自身数据质量问题.这些系统的评估模型各有特点,对于数据质量维度的定义也是各有千... 详细信息

随着数据科学技术在各个领域的深度应用,作为企业重要资产的数据越发表现出它的价值性与重要性.绝大多数企业结合行业特点开发了数据质量检测系统来解决自身数据质量问题.这些系统的评估模型各有特点,对于数据质量维度的定义也是各有千秋.试图将这些模型与数据质量维度以一种通用的形式来定义,旨在成为企业研发数据质量评估系统的标准.通过分析国内外学者在该研究领域取得的成果并结合常年研发数据质量检测与评估系统的经验,首先,提出了一个通用的数据质量检测与评估的数学模型;接着,以此模型为基础,采用本体技术定义了从该通用的数据质量评估数学模型到本体模型映射的转换规则;随后,考虑到多数数据存储在关系数据库中,因此以关系数据模型为例,依据所提出的数学模型和转换规则实现了对数据质量评估本体的抽取与构建,该模型实现了复杂质量规则的定义,具有规范性,实现了对不同来源、不同格式的数据质量进行检测与评估;最后,结合中国石油的油田开发数据质量评估项目进行了系统的实现,验证所提出模型的正确性、科学性、合理性以及可扩充性等.由于所提出的数据质量检测与评估模型与领域无关,所以它具有通用性.

关键词：数据质量数据质量维度数据质量评估关系数据模型本体映射数据质量本体模型

来源：评论

学校读者我要写书评

暂无评论

数据质量测量框架研究及领域测量框架构建

引用

计算机科学 2024年第4期51卷 19-27页

作者：宋金玉陈连勇陈刚陆军工程大学指挥控制工程学院南京210007

为激活数据质量潜能,构建兼顾信息环境与技术实现的数据质量测量框架,以提升数据挖掘和指挥决策的效用,文中从宏观层面和微观层面对现有的通用型、行业型数据质量测量框架进行梳理、研究,对数据质量维度进行“聚类”,得到数据质量维度类... 详细信息

为激活数据质量潜能,构建兼顾信息环境与技术实现的数据质量测量框架,以提升数据挖掘和指挥决策的效用,文中从宏观层面和微观层面对现有的通用型、行业型数据质量测量框架进行梳理、研究,对数据质量维度进行“聚类”,得到数据质量维度类簇,提取了数据质量维度的两类特性,提出面向具体领域的数据质量测量框架构建准则。基于管理领域工作对数据质量的测量需求,结合构建准则构建了面向管理领域的数据质量测量框架,并明确了框架的数据质量维度、测量指标、测量方法等。

关键词：数据质量数据质量维度数据质量测量数据质量测量框架

来源：评论

学校读者我要写书评

暂无评论

工业多元时序数据质量评估方法

引用

计算机应用 2024年第6期44卷 1743-1750页

作者：宋洪涛于江生韩启龙哈尔滨工程大学计算机科学与技术学院哈尔滨150001

现有的数据质量评估(DQA)方法通常只从特定数据质量维度(DQD)的基本概念分析,忽略了能够反映数据质量(DQ)关键信息的细粒度的子维度对评估结果的影响。针对上述问题,提出一种工业多元时序数据质量评估(IMTSDQA)方法。首先,对于待评估的D... 详细信息

现有的数据质量评估(DQA)方法通常只从特定数据质量维度(DQD)的基本概念分析,忽略了能够反映数据质量(DQ)关键信息的细粒度的子维度对评估结果的影响。针对上述问题,提出一种工业多元时序数据质量评估(IMTSDQA)方法。首先,对于待评估的DQD,如完整性、规范性、一致性、唯一性和准确性等进行细粒度划分,考虑同一DQD内或不同DQD间各子维度的相关性以确定这些子维度的度量;其次,对完整性的属性完整性、记录完整性、数值完整性,规范性的类型规范性、精度规范性,一致性的顺序一致性、逻辑一致性,唯一性的属性唯一性、记录唯一性,准确性的范围准确性、数值准确性等子维度进行权重分配,进而充分挖掘DQD的深层次信息,从而获得反映DQ详情的评估结果。实验结果表明,与现有的基于框架定性分析、依据DQD基本定义构建模型的方法相比,IMTSDQA能更详细、更全面地评估DQ,且不同DQD的评估结果更能客观准确地反映DQ问题。

关键词：数据质量多元时序数据数据质量维度数据质量评估相关性

来源：评论

学校读者我要写书评

暂无评论

基于本体的石油领域数据质量模型研究

基于本体的石油领域数据质量模型研究

引用

作者：张晓冉东北石油大学

学位级别：硕士

随着信息化建设在各个领域的广泛发展,数据呈现海量增长的趋势,高质量的数据能够对企业的战略决策等起到重要作用。因此,数据质量问题引起了越来越来越多的重视。绝大多数企业结合行业特点开发了自己专有的数据质量评估系统解决数据质... 详细信息

随着信息化建设在各个领域的广泛发展,数据呈现海量增长的趋势,高质量的数据能够对企业的战略决策等起到重要作用。因此,数据质量问题引起了越来越来越多的重视。绝大多数企业结合行业特点开发了自己专有的数据质量评估系统解决数据质量问题,这些系统的评估模型各有特点,对指标的定义也各有千秋,没有统一规范。迫切需要将这些模型和数据质量维度以一种规范化的形式来定义,解决数据质量规范性、通用性问题。油田企业在解决数据质量问题时也常常忽略数据自身的语义信息,不能很好的应用蕴含语义的知识数据,同时,对于复杂的质量规则和定义在实例层上的这些约束规则是无法描述。为解决以上问题,首先本文对当前国内外数据质量评估技术进行研究,针对当前数据质量评估模型存在的不足,分析了质量评估中涉及的相关要素,构建了质量评估模型。在语义层面上,引入本体技术来描述数据质量概念和概念间的关系。对比分析典型的本体构建方法,参照斯坦福大学开发的七步法,结合研究实际,提出适合构建数据质量本体的方法,初步构建了通用的数据质量本体,该本体融合了数据质量领域核心概念,具有领域无关性。其次,充分利用数据质量本体表达约束规则的优势,采用OWL语言形式化表达了数据质量约束规则。最后,在已经构建的数据质量本体的基础上,自定义了数据质量本体推理规则,提出了基于Jena的数据质量评估推理,利用Jena实现数据质量本体的解析、查询及推理,加强数据质量系统对蕴含语义的知识数据的适用性。最后,以石油领域的数据质量管控为应用背景,结合油田开发数据进行了原型系统的设计与实现,实现了基于数据质量本体的推理评估系统,该系统实现了数据质量本体的解析、数据质量本体的维护、基于自定义规则的本体推理,并在推理的基础上进行数据质量评估,验证了所提出的基于本体的石油领域数据质量模型的有效性和技术可行性。

关键词：石油勘探与开发数据质量数据质量维度本体数据质量评估本体推理

来源：评论

学校读者我要写书评

暂无评论

电子商务领域中大数据的质量及预测分析研究

电子商务领域中大数据的质量及预测分析研究

引用

作者：王力南京邮电大学

学位级别：硕士

伴随着电子信息专业技术的发展进步,尤其是物理信息系统、服务网络、云计算和社交服务互联网等技术的飞跃式发展,大数据随处可见,大数据在为人们创造巨大使用价值的同时,也带来了巨大挑战。数据的质量问题就是大数据的重要挑战之一。另... 详细信息

伴随着电子信息专业技术的发展进步,尤其是物理信息系统、服务网络、云计算和社交服务互联网等技术的飞跃式发展,大数据随处可见,大数据在为人们创造巨大使用价值的同时,也带来了巨大挑战。数据的质量问题就是大数据的重要挑战之一。另外,随着大数据时代的到来,数据集的规模越来越大,传统的数据分析方法已解决不了大规模数据集的问题,而挖掘大数据背后的隐藏的信息,尤其是在电子商务领域,成为企业之间竞争的关键因素。例如,阿里巴巴与京东都使用了主流的云计算平台用于大数据分析,这也说明了电商企业对大数据挖掘分析的重视。目前全球还尚未形成统一的大数据质量评价体系。我们通过对已有数据质量的研究,并依据大数据的4个特征“体积大、种类多、处理速度快、价值密度低”,确定了5个质量维度:可得性、可用性、可靠性、关联性、和外观质量。对于每一个维度,我们确定了1-3个要素,并对每个要素进行详细说明。最后我们根据这个大数据质量标准,提出了一套大数据质量评价体系。通过数据质量评价体系评估后得到优质数据就可以用于分析研究,为企业创造价值。我们根据得到的大数据质量评价体系,对所采集的电商数据进行评估和预处理,然后采用一种基于并行计算的支持向量机法对该数据进行分析。该方法首先将训练样本通过SOM自组织神经网络分类方法分成若干个工作子集,并在每个工作子集上训练支持向量机学习器,最后对各个工作集的训练结果进行合并,从而达到快速处理海量数据预测分析问题。本文提出的大数据质量标准及质量评估体系具有良好的扩展性和适应性,能满足大数据质量评估的需要。对解决质量评估方法稀缺这一瓶颈,具有一定的意义。最后考虑到并行支持向量机在数据挖掘与分析中的卓越性能,我们将该方法用于对电子商务的大数据分析中,研究结果表明并行支持向量机很好地解决了处理大规模数据集时出现的效率低下问题。

关键词：大数据数据质量维度数据质量评估电子商务并行支持向量机

来源：评论

学校读者我要写书评

暂无评论

数据仓库构建之数据预备域的数据质量研究

引用

重庆理工大学学报（自然科学） 2014年第10期28卷 60-65页

作者：余肖生胡孙枝王东娟王缓缓三峡大学计算机与信息学院湖北宜昌443002

数据仓库环境由数据预备域、数据处理域和数据存储域等3个相互独立的组件组成,其中数据预备域主要负责接收和转换来自源应用系统的数据,其输出的数据质量直接决定着整个数据仓库的质量。首先讨论数据仓库的数据预备域和数据仓库的数据... 详细信息

数据仓库环境由数据预备域、数据处理域和数据存储域等3个相互独立的组件组成,其中数据预备域主要负责接收和转换来自源应用系统的数据,其输出的数据质量直接决定着整个数据仓库的质量。首先讨论数据仓库的数据预备域和数据仓库的数据质量维度,然后在此基础上讨论从操作源应用系统来的数据可能存在的质量问题,最后针对这些问题,讨论在数据预备域中如何进行处理以得到高质量的数据。

关键词：数据仓库构建数据预备域数据质量维度

来源：评论

学校读者我要写书评

暂无评论

一种面向闭环的数据治理平台与方法设计

引用

计算机技术与发展 2019年第8期29卷 156-160页

作者：张国宝卞艺杰河海大学网信中心

数据孤岛现象在高校普遍存在,数据治理的目的是解决高校存在的数据源分散异构、数据质量不高等问题。文中对数据治理的方法论和数据平台的功能设计进行研究探讨。研究了数据质量、数据质量维度和数据质量治理相关概念,结合PDCA系统循环... 详细信息

数据孤岛现象在高校普遍存在,数据治理的目的是解决高校存在的数据源分散异构、数据质量不高等问题。文中对数据治理的方法论和数据平台的功能设计进行研究探讨。研究了数据质量、数据质量维度和数据质量治理相关概念,结合PDCA系统循环理论,提出了闭环数据治理体系的原则和治理的四个维度,即技术维度、业务维度、演化维度、管理维度。设计了符合高校遗留系统环境下的闭环数据治理体系架构和数据归集、对标、提质、共享、服务的治理活动过程,并且给出了数据治理平台的功能设计,在主数据管理、数据质量检测等方面实现可视化管理。通过设计的数据治理平台的实际案例的应用,以及相关关键技术的分析,结果说明平台在数据治理方面是有效的。

关键词：数据质量维度数据治理 PDCA 闭环

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：