检索结果-内蒙古大学图书馆

作者：陈尧张绪东 250100 山东省济南市高新区浪潮路1036号浪潮科技园S06楼

本发明公开了一种数据抽取过程中的数据一致性控制方法及系统，属于云服务领域；所述的方法具体步骤如下：S1将数据排序形成任务分片；S2将任务分片交给线程池并发执行；S3将执行结果发送至事务控制线程；S4事务控制线程根据接收到的任... 详细信息

标准号: CN111639090A

本发明公开了一种数据抽取过程中的数据一致性控制方法及系统，属于云服务领域；所述的方法具体步骤如下：S1将数据排序形成任务分片；S2将任务分片交给线程池并发执行；S3将执行结果发送至事务控制线程；S4事务控制线程根据接收到的任务线程发送对应指令；S5任务线程对数据进行全局递交或回滚操作；本发明在保证ETL抽取任务高度并行化的前提下，全局控制了分片任务的数据库事务，保证了多个数据库事务一起提交或者一起回滚，从而保证了数据抽取过程中的全局数据一致性。降低了数据上云的实施复杂度和施工周期。

关键词：数据抽取过程控制线程线程事务多个数据库数据库事务数据一致性并发执行回滚操作结果发送全局控制全局数据施工周期数据排序并行化复杂度线程池云服务保证回滚抽取指令发送全局

来源：评论

学校读者我要写书评

暂无评论

多Agent系统模型的结构研究

引用

浙江理工大学学报（自然科学版） 2009年第1期26卷 98-103页

作者：程奕王申康浙江大学计算机科学与技术学院杭州310027

在分析Agent联邦中具有管理功能的Agent结构的基础上,探讨具有联合意向的管理Agent的协商、规划、执行等功能,刻画出Agent的多种特征,并提出一个基于Agent结构的数据仓库ETL模型。

关键词：多Agent系统 Agent结构数据抽取过程

来源：评论

学校读者我要写书评

暂无评论

一种数据集散发布方法及系统

一种数据集散发布方法及系统

引用

作者：姚文巨 210009 江苏省南京市鼓楼区集庆门大街272号2幢1504室

本发明属于数据处理领域，具体公开了一种数据集散发布方法及系统，所述方法包括：数据采集过程，通过多路采集端口采集数据，并对采集的数据进行预处理、标记、分发；数据抽取过程，基于上述分发的数据并对数据进行规则算法抽取、合并... 详细信息

标准号: CN112597232A

本发明属于数据处理领域，具体公开了一种数据集散发布方法及系统，所述方法包括：数据采集过程，通过多路采集端口采集数据，并对采集的数据进行预处理、标记、分发；数据抽取过程，基于上述分发的数据并对数据进行规则算法抽取、合并以及数据抽取数据分析过程，对抽取的数据进行数据分析，数据分析后将数据输送至数据仓库和主体数据库中进行储存，同时通过多维数据库完成数据展现，并通过数据发布子系统进行发布。本发明能对数据进行集散处理，使得系统中在获取不同的数据时更有效的对数据进行处理，操作方便，提高数据获取效率。

关键词：数据分析抽取分发预处理数据发布子系统数据采集过程数据抽取过程数据处理领域数据分析过程多维数据库端口采集多路采集规则算法数据仓库数据抽取数据获取数据集散数据展现发布数据库采集储存合并

来源：评论

学校读者我要写书评

暂无评论

数据抽取方法及装置

数据抽取方法及装置

引用

作者：李仁君 100000 北京市海淀区科学院南路2号A座313

本发深度数据处理领域，提供一种数据抽取方法及装置。其中，数据抽取方法包括：获取待抽取数据的总体描述信息；根据总体描述信息将待抽取数据划分为多个分片，每个分片对应有分片描述信息；按照分片进行数据抽取，每次抽取执行如下步... 详细信息

标准号: CN109710679B

本发深度数据处理领域，提供一种数据抽取方法及装置。其中，数据抽取方法包括：获取待抽取数据的总体描述信息；根据总体描述信息将待抽取数据划分为多个分片，每个分片对应有分片描述信息；按照分片进行数据抽取，每次抽取执行如下步骤：根据分片描述信息从源系统中获取对应的分片，并将分片缓存至内存中；将缓存的分片存储至目标系统中。上述方法在抽取数据时，待抽取数据并未落地存储，待抽取数据的分片是在内存中缓存的，因此数据抽取过程的执行效率得到显著提高。同时，由于数据抽取是按照分片进行的，不必将全部的待抽取数据都缓存到内存中，因此该方法对于待抽取数据的量较大，而内存空间有限的情况也能够适用。

关键词：抽取数据缓存数据抽取分片描述信息描述信息内存数据抽取过程数据处理领域分片存储目标系统内存空间源系统抽取存储落地

来源：评论

学校读者我要写书评

暂无评论

一种应用于数据清洗工具的数据匹配方法

一种应用于数据清洗工具的数据匹配方法

引用

作者：纪峥嵘刘军叶庆楚陈博文李金炜 214000 江苏省无锡市无锡新区太湖国际科技园大学科技园530大厦B307号

本发明涉及数据处理技术领域，公开了一种应用于数据清洗工具的数据匹配方法，包括：(1)根据输入表和输出表中的数据，导入若干差异化样本与样本生成模型参数，将模型参数配置到模型表；(2)对查询数据主键进行合法性判断；(3)对非空值... 详细信息

标准号: CN110908989B

本发明涉及数据处理技术领域，公开了一种应用于数据清洗工具的数据匹配方法，包括：(1)根据输入表和输出表中的数据，导入若干差异化样本与样本生成模型参数，将模型参数配置到模型表；(2)对查询数据主键进行合法性判断；(3)对非空值进行数据类型判断并进行查询生成记录；(4)根据深度自学习算法，辨识所有记录中的数据，生成通用的匹配模型；(5)使用ETL清洗，读取模型表清洗数据。本发明通过在大数据样本基础上使用智能学习算法来实现数据抽取过程中自动匹配各个独立系统中数据的方法，可以将患者散落在各个系统中的数据完整的抽取到医院临床数据中心，相比人工判断数据规则的方法，该方法数据处理快速，节省大量时间和人力。

关键词：模型参数模型表样本清洗读取数据抽取过程数据处理技术数据类型判断智能学习算法合法性判断查询数据独立系统匹配模型人工判断数据规则数据匹配数据清洗数据完整数据中心样本生成医院临床自动匹配数据处理差异化大数据输出表输入表通用的自学习辨识主键记录算法抽取散落查询配置应用

来源：评论

学校读者我要写书评

暂无评论

一种基于引擎设置抽取数据的方法及系统

一种基于引擎设置抽取数据的方法及系统

引用

作者：宋晗 250100 山东省济南市高新区科航路2877号

本发明公开了一种基于引擎设置抽取数据的方法及系统，属于数据抽取技术领域。本发明的基于引擎设置抽取数据的方法基于海量数据，按照数据规则设置进行数据随机抽取，保证数据规则设定的基础数据内的全部数据被抽中的概率一致，同时运... 详细信息

标准号: CN110633301B

本发明公开了一种基于引擎设置抽取数据的方法及系统，属于数据抽取技术领域。本发明的基于引擎设置抽取数据的方法基于海量数据，按照数据规则设置进行数据随机抽取，保证数据规则设定的基础数据内的全部数据被抽中的概率一致，同时运行过程重现和过程追溯。该发明的基于引擎设置抽取数据的方法在数据抽取过程中能够快速的定位数据并进行抽取，同时允许过程重现，过程追溯，具有很好的推广应用价值。

关键词：抽取数据引擎数据规则追溯重现数据抽取过程定位数据海量数据基础数据数据抽取随机抽取运行过程抽取概率保证

来源：评论

学校读者我要写书评

暂无评论

一种自适应数据脱敏方法

一种自适应数据脱敏方法

引用

作者：刘友春吴鹏周昊程朱兆生徐思李禹梁 210024 江苏省南京市鼓楼区北京西路20号

本发明公开了一种自适应数据脱敏方法，包括如下步骤：步骤一，数据抽取利用Sqoop技术从常用数据库、时序数据库、以及文件或FTP接口进行抽取，数据抽取过程保证原始数据的完整性，以及数据之间的逻辑关系完整；步骤二，数据脱敏通过数... 详细信息

标准号: CN116401711A

本发明公开了一种自适应数据脱敏方法，包括如下步骤：步骤一，数据抽取利用Sqoop技术从常用数据库、时序数据库、以及文件或FTP接口进行抽取，数据抽取过程保证原始数据的完整性，以及数据之间的逻辑关系完整；步骤二，数据脱敏通过数据脱敏算法库中的脱敏算法实现对敏感数据的转换，在脱敏过程中保持数据的关联性和完整性，确保数据在同一系统中的一致性；步骤三，数据分发数据脱敏后，通过数据库、文件、FTP接口进行分发。本发明以应用需求为导向，以脱敏策略驱动脱敏规则动态生成的方法，使脱敏结果有据可依且具有可重复性。使用成本低，并且便于算法和应用的扩展。

关键词：脱敏数据库数据抽取过程时序数据库策略驱动规则动态可重复性逻辑关系敏感数据数据抽取数据分发算法实现同一系统脱敏过程应用需求原始数据关联性算法库自适应算法抽取分发转换应用保证

来源：评论

学校读者我要写书评

暂无评论

数据接入方法、装置、电子设备及存储介质

数据接入方法、装置、电子设备及存储介质

引用

作者：不公告发明人 100094 北京市海淀区北清路中关村壹号D1座12层

本公开实施例公开了一种数据接入方法、装置、电子设备、存储介质及程序产品，所述方法包括：接收数据获取请求；所述数据获取请求包括待导入数据的配置数据；根据所述配置数据确定数据导入参数；根据所述数据导入参数确定进行数据导入... 详细信息

标准号: CN112685427A

本公开实施例公开了一种数据接入方法、装置、电子设备、存储介质及程序产品，所述方法包括：接收数据获取请求；所述数据获取请求包括待导入数据的配置数据；根据所述配置数据确定数据导入参数；根据所述数据导入参数确定进行数据导入的线程的并行线程数量以及每个线程需要导入数据的子数据量；其中，所述线程所要导入数据的子数据量之和为所述待导入数据的总数据量；并行执行所述并行线程数量个所述线程，由所述线程从生产平台获取待导入数据。该技术方案在可以加快数据接入量较大的数据抽取过程的进程，以便通过提升数据抽取速度来降低数据库快照过旧发生的几率，从而大大提升了数据量大的数据表的接入成功率、降低了接入失败对下游业务的影响。

关键词：线程并行线程配置数据数据接入子数据量数据抽取过程数据获取请求数据库快照并行执行参数确定程序产品存储介质电子设备获取请求接入失败接收数据生产平台数据抽取下游业务总数据量数据量成功率进程

来源：评论

学校读者我要写书评

暂无评论

数据接入方法、装置、电子设备及存储介质

数据接入方法、装置、电子设备及存储介质

引用

作者：请求不公布姓名请求不公布姓名请求不公布姓名 100094 北京市海淀区北清路中关村壹号D1座12层

标准号: CN112685427B

来源：评论

学校读者我要写书评

暂无评论

数据抽取方法及装置

数据抽取方法及装置

引用

作者：李仁君 100000 北京市海淀区科学院南路2号A座313

标准号: CN109710679A

关键词：抽取数据缓存数据抽取分片描述信息描述信息内存数据抽取过程数据处理领域分片存储目标系统内存空间源系统抽取存储落地

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：