版权所有：内蒙古大学图书馆 技术提供：维普资讯• 智图
内蒙古自治区呼和浩特市赛罕区大学西街235号 邮编: 010021
一种多源异构数据采集方法、装置和存储介质
专利申请号：CN202310315993.0
公 开 号：CN116028192A
发 明 人：袁公萍 曹扬 谢红韬 龚昱鸣 周维 舒珏淋 胡建
代 理 人：刘洵
代理机构：深圳腾文知识产权代理有限公司
专利类型：发明专利
申 请 日：20230428
公 开 日：20230329
专利主分类号：G06F9/48
关 键 词：数据采集 多源异构数据 数据采集策略 任务调度器 数据源 采集 配置任务调度 输出数据采集 数据处理效率 分布式系统 数据源信息 存储介质 服务节点 数据来源 数据目标 周期执行 通用式 配置 申请 创建
摘 要：本申请公开了一种多源异构数据采集方法、装置和存储介质，旨在通过分布式系统实现通用式多源异构数据采集，提高数据处理效率。本申请方法包括：确定数据源的类型，并配置所述数据源的数据源信息；配置任务调度器，所述任务调度器用于定时执行任务、周期执行任务、确定服务节点以及确定执行策略；创建数据采集任务，所述数据采集任务包括数据来源、数据目标源以及数据采集策略；通过配置好的任务调度器，按照所述数据采集策略执行所述数据采集任务；输出数据采集结果。
