检索结果-内蒙古大学图书馆

作者：冀欣欣南京大学

学位级别：硕士

在当前大数据环境下,数据呈现爆炸式增长的场面。为了更好地进行大数据治理、挖掘数据中的价值,保证数据质量并且提高数据的可信度是非常重要的。使用数据血缘分析这一手段可以确保上述过程顺利完成。数据血缘分析通过梳理数据之间的血... 详细信息

在当前大数据环境下,数据呈现爆炸式增长的场面。为了更好地进行大数据治理、挖掘数据中的价值,保证数据质量并且提高数据的可信度是非常重要的。使用数据血缘分析这一手段可以确保上述过程顺利完成。数据血缘分析通过梳理数据之间的血缘关系,清晰地展示了数据从源头一直到当前形式的整个转化过程,使得数据可溯源、可验证,在很大程度上提高了数据的质量,解决了数据的不确定性和不可信等问题。汇添富作为一家金融公司,其报表数据的准确性十分关键。为了提升数据的可信度,同时解决数据在加工过程中可能出现的问题,进行数据血缘分析十分必要。本文分析了国内外关于数据血缘的研究现状及应用,并且结合汇添富的实际业务背景和需求,设计并实现了基于大数据环境的数据血缘分析系统。数据血缘分析系统采用前后端分离的方式开发,前端基于Vue框架构建页面,后端基于Spring Boot框架开发,提供RESTFul接口供前端访问。系统主要分为数据血缘链路、监控和调度三个模块,主要面向开发人员和调度人员。数据血缘链路模块使得用户可以清晰地看到数据实体的加工过程,方便对数据进行验证,通过数据血缘链路直观地展示数据的血缘关系;监控模块实现对数据操作的监控,动态显示数据操作状态为成功或者失败;调度模块对失败的数据操作执行调度,使得数据操作状态恢复成功,及时保证了数据的准确性。该数据血缘分析系统即将在公司内部上线,目前在测试数据环境下使用良好。根据反馈,数据血缘分析系统极大地提高了调度人员的工作效率,同时为业务人员和开发人员之间建立了快速通道,达到了企业对其基本需求。

关键词：大数据大数据治理数据血缘分析 Spring Boot框架 Vue框架

来源：评论

学校读者我要写书评

暂无评论

油田结构化数据血缘分析方法研究

油田结构化数据血缘分析方法研究

引用

作者：杨彬东北石油大学

学位级别：硕士

油气勘探开发数据具有业务范围广、数据体量大、数据种类多、历史沉淀深、数据之间关系复杂的特点,使用数据挖掘技术可挖掘其内在联系,但前提是所使用的数据来源真实无误。数据血缘分析技术可帮助数据分析人员快速定位错误数据的来源和... 详细信息

油气勘探开发数据具有业务范围广、数据体量大、数据种类多、历史沉淀深、数据之间关系复杂的特点,使用数据挖掘技术可挖掘其内在联系,但前提是所使用的数据来源真实无误。数据血缘分析技术可帮助数据分析人员快速定位错误数据的来源和转化过程,对石油企业数据质量控制与可信度管理具有重要意义。本文对血缘分析理论、血缘分析模型、血缘分析方法、血缘关系可视化的国内外研究现状进行分析,针对现阶段存在的问题和石油企业实际需求,重点对以下内容进行研究:1.模式级数据血缘分析方法研究。本文采用基于SQL抽象语法树的数据血缘分析方法,解决了因SQL语句形式复杂多样,导致数据血缘关系解析困难的问题。首先,对SQL抽象语法树的定义缺失情况进行补充。其次,给出数据血缘分析算法,构造数据血缘关系物理结构文件,形成血缘关系子图。再次,研究血缘融合方法形成全链路数据血缘关系。最后,在实验分析阶段展示血缘关系图。2.元组级数据血缘分析方法研究。本文提出了基于词嵌入的元组级数据血缘分析改进方法Prov Emb-X,避免标注法存在的存储开销大的问题。首先,研究元组向量化编码机制,依据元组向量相似度识别元组血缘关系。其次,提出基于字段重要性的优化算法提高血缘分析的精确率。再次,引入近似最近邻搜索算法,并提出元组过滤优化机制降低血缘分析的时间复杂度。最后,进行对比实验验证本文方法的改进效果,并采用有向无环图展示元组级数据的血缘关系。3.数据血缘可视化方法研究。本文结合了W3C发布的PROV模型研究血缘层次化自动布图算法,解决节点连线交叉混乱和父子节点层次混乱的问题。首先,介绍PROV模型并给出数据血缘关系图的定义。其次,定义符合数据血缘领域的层次化布局约束,研究自动布图算法。最后,结合PROV模型进行布图实验并展示对比结果。4.数据血缘分析系统的设计与实现。基于本文提出的血缘分析算法、血缘融合算法、血缘层次化自动布图算法开发了数据血缘分析系统,实现了数据血缘解析服务,数据血缘管理服务,数据血缘可视化服务,该系统的实现可帮助石油企业追踪数据流动路径,便于维护数据之间的关系,对企业数据治理具有重要意义。

关键词：数据血缘分析抽象语法树词嵌入血缘融合层次化布图

来源：评论

学校读者我要写书评

暂无评论

基于数据血缘分析的电网企业数据资产价值评估

引用

信息与电脑 2023年第13期35卷 91-93页

作者：朱青国家电网有限公司客户服务中心天津300300

由于数据资产价值评估的指标在结构、层次及来源上各不相同,导致评估结果的准确性较差,提出基于数据血缘分析的电网企业数据资产价值评估。文章创建包含5个一级指标、16个二级指标的电网企业数据资产价值评估指标体系,确定各评估指标权... 详细信息

由于数据资产价值评估的指标在结构、层次及来源上各不相同,导致评估结果的准确性较差,提出基于数据血缘分析的电网企业数据资产价值评估。文章创建包含5个一级指标、16个二级指标的电网企业数据资产价值评估指标体系,确定各评估指标权重,基于数据血缘分析建立各指标之间的血缘关系,形成评估模型,量化模型输入层的指标数值,运行模型完成电网企业数据资产价值的评估。实例结果表明,电网企业营销服务类系统数据资产价值的评估结果与实际数据价值存在2.85%的误差,证明设计方法具有可操作性。

关键词：数据血缘分析电网企业数据资产价值评估

来源：评论

学校读者我要写书评

暂无评论

面向烟草行业研发应用的大数据分析平台

引用

计算机应用与软件 2021年第6期38卷 18-22,93页

作者：张海涛薛翔云南中烟工业有限责任公司云南昆明650231 大连达硕信息技术有限公司辽宁大连116023

烟草研发体系具有业务广泛、数据庞杂等特点,影响大数据分析技术在烟草研发领域的推广应用。构建面向烟草行业研发应用的大数据分析平台,遵循全局数据应用的整合思维,封装多源异构的烟草研发数据的采集与存储过程;采用应用场景驱动与数... 详细信息

烟草研发体系具有业务广泛、数据庞杂等特点,影响大数据分析技术在烟草研发领域的推广应用。构建面向烟草行业研发应用的大数据分析平台,遵循全局数据应用的整合思维,封装多源异构的烟草研发数据的采集与存储过程;采用应用场景驱动与数据分层融合策略,完成数据主题化规范化管理;设计并开发数据分析过程可视化编排器,简化数据资产价值挖掘过程。该平台能够让“非数据专家用户”更专注于烟草研发业务,有利于推动大数据分析技术在烟草研发体系中的应用。

关键词：烟草研发体系数据自动汇聚数据血缘分析数据主题分析可视化编排器

来源：评论

学校读者我要写书评

暂无评论

面向大数据征信的数据治理系统的研究与实现

面向大数据征信的数据治理系统的研究与实现

引用

作者：岳洁北京邮电大学

学位级别：硕士

目前,互联网技术、云计算与物联网技术的突飞猛进使人类社会进入了大数据时代。在大数据时代的背景下,大数据征信将大数据技术用于征信行业,改变了数据收集、加工和分析的方式,同时,更高维度和不同层次的数据都用于信用评分建模,数据的... 详细信息

目前,互联网技术、云计算与物联网技术的突飞猛进使人类社会进入了大数据时代。在大数据时代的背景下,大数据征信将大数据技术用于征信行业,改变了数据收集、加工和分析的方式,同时,更高维度和不同层次的数据都用于信用评分建模,数据的潜在价值不断被挖掘。但是在海量数据被应用的同时也给大数据征信带来了一些挑战:(1)数据汇聚难度大:数据通常来自不同的机构,具有不同的格式,具有多源异构的特点。而现有的数据同步工具通用性较差,且在实时增量同步上有待提高。(2)数据溯源难:Spark、Flink等大数据组件的引入,使得数据的处理过程和计算引擎强关联,常规的血缘分析方法在准确性上欠缺,血缘信息的提取难度大。(3)数据质量差:数据的记录具有随意性,有来自日志、文本等格式的数据,数据的完整性和规范性缺少保证。针对征信数据存在的数据汇聚难度大、数据血缘信息提取困难、数据质量差的问题,为了扩大征信数据集成范围,检测征信数据质量,更好地发挥征信数据的价值,本课题拟通过对数据治理关键技术的研究,设计一个面向大数据征信的数据治理系统。主要包含以下研究内容:1)提出并实现支持数据离线与实时的数据同步作业构建方法与工具。研究多源数据的数据汇聚方法和技术,设计并实现一种能同时支持数据离线与实时数据同步作业的构建工具,优化数据同步作业的配置流程,实现多种数据同步方式的统一化配置。2)提出并实现用于Flink SQL的血缘分析方法。针对现有的血缘分析方法耦合性高、入侵性强、准确性差的缺陷,研究并实现Flink SQL的本地解析,对其解析树进行元数据的验证与替换,实现血缘解析功能的低入侵性和解析结果的准确性。3)设计并实现面向大数据征信的数据治理系统。通过研究数据治理的相关概念和技术方案,设计并实现面向大数据征信的数据治理系统,实现多源数据间的集成与同步,通过数据治理提升征信数据质量,为个人或企业的征信业务的数据的分析及研究工作提供良好的数据支持。本文最终实现了一个数据治理系统,提供元数据管理、数据同步、数据质量管理功能支持。经过验证测试,本文实现的系统效果符合预期,具有良好的通用性和可扩展性,并在国家重点研发计划项目“大数据征信及智能评估技术”中的“大数据征信智能评估与开放平台”上得到了应用及验证,对大数据征信场景下的数据治理工作有一定的借鉴意义。

关键词：数据治理数据同步数据血缘分析元数据管理大数据征信

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：