检索结果-内蒙古大学图书馆

计算机研究与发展 2007年第z3期44卷 435-440页

作者：林子雨杨冬青宋国杰王腾蛟北京大学信息科学技术学院北京100871 北京大学信息科学技术学院北京100871 北京大学信息科学技术学院北京100871 北京大学信息科学技术学院北京100871

实时数据集成是实时主动数据仓库研究领域的一个重要问题.现有的研究成果都是从技术角度出发,而并没有考虑具体的商务应用需求.而在大型商务应用中,即使采用过滤规则只捕捉感兴趣的变化数据,也会产生大量的数据集成工作,从而导致不必要... 详细信息

实时数据集成是实时主动数据仓库研究领域的一个重要问题.现有的研究成果都是从技术角度出发,而并没有考虑具体的商务应用需求.而在大型商务应用中,即使采用过滤规则只捕捉感兴趣的变化数据,也会产生大量的数据集成工作,从而导致不必要的沉重系统开销,同时还很有可能出现系统响应缓慢和用户需求无法得到满足等情况.从应用角度出发,提出了实时主动数据仓库中面向需求的实时数据集成方法,包括被频繁请求的数据的实时集成、满足突发请求的实时数据集成和由用户决定的实时数据集成.针对不同的商务需求,采用不同的数据集成策略,可以很好地满足不同类型的应用需求.

关键词：实时主动数据仓库实时数据集成 ETL

来源：评论

学校读者我要写书评

暂无评论

TQC-DS系统中实时数据集成技术的研究与应用

TQC-DS系统中实时数据集成技术的研究与应用

引用

作者：马玺东北大学

学位级别：硕士

宝钢在关注产品质量、关注工艺与设备状态方面做了大量的工作,也取得了良好的成绩,但在生产过程中距离实现质量控制的要求还有一定的距离。需要在现有基础上进行研究突破,形成整条生产线质量综合诊断的能力。TQC-DS系统即是在这样的背... 详细信息

宝钢在关注产品质量、关注工艺与设备状态方面做了大量的工作,也取得了良好的成绩,但在生产过程中距离实现质量控制的要求还有一定的距离。需要在现有基础上进行研究突破,形成整条生产线质量综合诊断的能力。TQC-DS系统即是在这样的背景下开发的。TQC-DS系统将生产线上现有的各个监控系统联系起来,但由于这些监控系统的数据格式各不相同,所以解决数据异构性,实现异构系统数据共享,就成为了TQC-DS系统亟需解决的问题。针对TQC-DS系统对异构数据系统集成的需求,本文研究并提出一种实时数据集成系统,从系统的体系结构,数据模式层次结构和元数据描述等方面对系统进行全面分析。本文提出一种三层的数据集成架构,分析系统的各级数据模式和这些模式的集成方法,研究用于异构数据集成与转换过程的元数据描述框架,之后提出一种实时数据集成系统的框架。由于数据集成系统的分布式特性并受制于网络的不确定性,无法保证各成员系统的数据包能够按时按序到达集成系统,使得数据同步问题突显了出来。文章针对集成系统中的数据同步问题,提出一种采用数据拟合技术对未按时到达的数据进行拟合预测的解决方案,讨论数据拟合预测方法的适用条件,并且对具体的拟合算法进行了研究。在本文的后一部分,按照之前研究的实时数据集成系统框架,设计并实现一个数据集成系统,对系统的体系结构、数据流向和网络拓扑结构等进行全面的分析说明。对于系统中的若干重要模块,还具体地分析并给出实现。本文所研究并实现的数据集成系统目前正应用于宝钢TQC-DS系统,作为TQC-DS系统的重要组成部分已经在实际的生产线运行半年以上,目前运行状态稳定。本数据集成系统连接宝钢的IBALOGIC、BPC、L3等数据源,为TQC-DS的综合分析子系统等数据应用提供了良好的数据集成服务,取得很好的运行效果。

关键词： TQC-DS系统数据集成实时数据集成数据同步实时数据拟合

来源：评论

学校读者我要写书评

暂无评论

油田生产过程实时数据集成系统的应用研究

引用

数字石油和化工 2009年第8期 117-120页

作者：石天鹏胜利油田河口采油厂信息中心山东东营257200

实时数据集成是实现"数字化油田"的重要环节,它可以为生产过程的优化管理提供可靠的依据,对系统的整体结构、设计思想进行了介绍,系统采用了"分层集成,逐渐集中"的策略。在数据发送和接收的过程中采用了UDP技术,实... 详细信息

实时数据集成是实现"数字化油田"的重要环节,它可以为生产过程的优化管理提供可靠的依据,对系统的整体结构、设计思想进行了介绍,系统采用了"分层集成,逐渐集中"的策略。在数据发送和接收的过程中采用了UDP技术,实现了实时数据集成的标准化和通用化,采用了分布式的数据处理方法,减轻了服务器的负担,探讨了实时数据库的存储结构和机制。

关键词：实时数据集成 UDP 分布式数据处理

来源：评论

学校读者我要写书评

暂无评论

河口采油厂分布式实时数据集成系统的研究与实现

引用

信息技术与信息化 2007年第4期 146-148页

作者：石天鹏周祥国陈玲崔宁林琳河口采油厂信息中心 257000

关键词：实时数据集成 UDP “分层集成,逐渐集中” 分布式数据处理

来源：评论

学校读者我要写书评

暂无评论

多级分类映射方法在采油厂实时数据集成中的应用

引用

价值工程 2012年第27期31卷 206-207页

作者：赵晓臣姚明郝立新中石化胜利油田分公司技术检测中心东营257000

实时数据集成是实现"数字化油田"的重要环节,它可以为生产过程的优化管理提供可靠的基础数据依据,其难点在于如何实现信息集成的标准化和信息源变化时系统的维护问题。在数据发送和接收的过程中采用了UDP技术,实现了实时数据... 详细信息

实时数据集成是实现"数字化油田"的重要环节,它可以为生产过程的优化管理提供可靠的基础数据依据,其难点在于如何实现信息集成的标准化和信息源变化时系统的维护问题。在数据发送和接收的过程中采用了UDP技术,实现了实时数据传输的标准化,提出了多级分类映射概念,将系统的维护主动权下放到各站点,增强了信息源动态变化情况下系统的适应性和可维护性。

关键词：多级分类映射实时数据集成用户数据报协议动态变化

来源：评论

学校读者我要写书评

暂无评论

实时主动数据仓库中面向需求的实时数据集成方法研究

实时主动数据仓库中面向需求的实时数据集成方法研究

引用

第二十四届中国数据库学术会议

作者：林子雨杨冬青宋国杰王腾蛟北京大学信息科学技术学院

关键词：实时主动数据仓库实时数据集成 ETL

来源：评论

学校读者我要写书评

暂无评论

实时数据集成方法、装置、电子设备及存储介质

实时数据集成方法、装置、电子设备及存储介质

引用

作者：贾敏李铭范仲禹黄刚杨帆 610000 四川省成都市高新区中国(四川)自由贸易试验区天府大道中段666号2栋8楼801号

本发明涉及大数据处理技术领域，提供一种实时数据集成方法、装置、电子设备及存储介质。通过实时数据集成系统获取用户提交的数据集成需求；其包括源数据存储引擎、目标数据存储引擎和自定义匹配策略；若按照自定义匹配策略确定实时数... 详细信息

标准号: CN116107752A

本发明涉及大数据处理技术领域，提供一种实时数据集成方法、装置、电子设备及存储介质。通过实时数据集成系统获取用户提交的数据集成需求；其包括源数据存储引擎、目标数据存储引擎和自定义匹配策略；若按照自定义匹配策略确定实时数据集成系统中的每个已启动任务与数据集成需求均不匹配，则按照预设匹配策略从全部已启动任务中选取与数据集成需求所需的目标资源量匹配的目标任务；将数据集成需求分配给目标任务，并通过运行目标任务将从源数据存储引擎获取的实时数据集成至目标数据存储引擎。基于用户自定义的匹配策略和系统预设的匹配策略来选取任务，可以满足多种业务需求，实现自适应资源调配并保障了系统的稳定性。

关键词：匹配策略实时数据集成数据集成引擎自定义目标数据存储源数据存储预设匹配数据处理技术存储介质电子设备系统获取需求分配业务需求用户提交资源调配资源量自适应

来源：评论

学校读者我要写书评

暂无评论

基于物联网物模型的OPC实时数据集成与控制方法

基于物联网物模型的OPC实时数据集成与控制方法

引用

作者：顾文超刘源朱皓卢良辉宋杨秦钢 310012 浙江省杭州市西湖区文一西路1号益展商务大厦1号楼501室

本申请涉及基于物联网物模型的OPC实时数据集成与控制方法，通过采集实例构造，初始化OPC连接对象；配置设备参数，初始化设备数据并构造对应设备的设备实例，根据配置映射设备物模型信息与OPC的点位关系；配置OPC参数，根据配置连接OP... 详细信息

标准号: CN116436794A

本申请涉及基于物联网物模型的OPC实时数据集成与控制方法，通过采集实例构造，初始化OPC连接对象；配置设备参数，初始化设备数据并构造对应设备的设备实例，根据配置映射设备物模型信息与OPC的点位关系；配置OPC参数，根据配置连接OPC服务器，并检查连接状态，获得连接状态结果；根据连接状态结果，读取并获得对应设备物模型的OPC点位数据，并上报OPC点位数据。为指令集物联网操作系统提供OPC DA(OPC数据访问)以及OPC AE数据接入和控制能力。依托于OPC自身的设备接入能力，快速对接已经被OPC集成的设备。通过物模型建模方式赋能传统OPC项目智能化，使老项目焕发新的生命力。

关键词：物模型连接状态点位数据物联网配置读取设备接入能力实时数据集成初始化设备建模方式控制能力快速对接连接对象配置设备实例构造数据接入映射设备初始化指令集智能化点位赋能操作系统采集上报申请检查访问

来源：评论

学校读者我要写书评

暂无评论

一种动态编排实时数据集成工作流的系统

一种动态编排实时数据集成工作流的系统

引用

作者：陈碧勇方敏许志龙 361000 福建省厦门市火炬高新区软件园创新大厦D区1-3F

本发明公开了一种动态编排实时数据集成工作流的系统，包括数据源模块、数据转换模块、数据集成模块和工作流编排模块；所述数据源模块用于获取电商平台的实时数据源；所述数据转换模块用于对接收到的实时数据进行转换处理；所述数据集... 详细信息

标准号: CN117557081A

本发明公开了一种动态编排实时数据集成工作流的系统，包括数据源模块、数据转换模块、数据集成模块和工作流编排模块；所述数据源模块用于获取电商平台的实时数据源；所述数据转换模块用于对接收到的实时数据进行转换处理；所述数据集成模块用于将接收到的转换后的数据进行集成，生成集成数据；所述工作流编排模块根据预设的工作流规则对接收到的集成数据进行编排处理，生成动态的工作流。本发明的系统能够根据实时的电商数据的变化动态生成工作流，从而提高电商数据集成的实时性和灵活性。

关键词：工作流编排数据集成模块数据转换模块数据源模块集成数据实时数据集成工作流规则实时数据源变化动态实时数据数据集成转换处理动态的实时性预设转换

来源：评论

学校读者我要写书评

暂无评论

一种基于Flink CDC的实时数据集成的实现方法及系统

一种基于Flink CDC的实时数据集成的实现方法及系统

引用

作者：卜庆硕周庆勇李贵振郎永贺樊喜申 250100 山东省济南市高新区浪潮路1036号浪潮科技园S01号楼

本发明涉及实时数据集成技术领域，具体为一种基于Flink CDC的实时数据集成的实现方法包括以下步骤：进行跨网配置管理、集成任务管理、统计数据获取、网内/跨网实时数据集成任务管理、统计分析、监控告警；将获取的数据集成任务提交与... 详细信息

标准号: CN115712681A

本发明涉及实时数据集成技术领域，具体为一种基于Flink CDC的实时数据集成的实现方法包括以下步骤：进行跨网配置管理、集成任务管理、统计数据获取、网内/跨网实时数据集成任务管理、统计分析、监控告警；将获取的数据集成任务提交与执行；有益效果为：本发明提出的基于Flink CDC的实时数据集成的实现方法及系统基于Flink CDC的实时数据集成方法，解决了部门业务数据繁多，数据结构多样化，业务部门数据难以持续性获取等问题；提供便捷的操作页面，方便对跨网配置、集成任务、统计数据进行集中管理；通过读取数据库存档日志的方式进行数据实时集成，数据同步效率高，可实现接近于准实时的秒级数据同步。

关键词：实时数据集成跨网任务管理统计数据读取数据同步效率告警操作页面集中管理秒级数据配置管理任务提交数据集成数据结构统计分析业务部门业务数据持续性准实时存档日志数据库监控配置

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：