版权所有：内蒙古大学图书馆 技术提供：维普资讯• 智图
内蒙古自治区呼和浩特市赛罕区大学西街235号 邮编: 010021
基于网络爬虫和数据转移技术的数据采集系统及方法
专利申请号：CN201810027341.6
公 开 号：CN108133041A
代 理 人：王记明
代理机构：51220 成都行之专利代理事务所(普通合伙)
专利类型：发明申请
申 请 日：20180608
公 开 日：20180111
专利主分类号：G06F17/30(20060101)
关 键 词：网络爬虫 开发 离线数据采集 数据采集系统 数据转移技术 爬虫 采集系统 爬虫软件 使用效率 数据采集 数据转移 统一调度 系统集成 业务数据 自动选择 一站式 采集 灵活 配置 管理
摘 要：本发明公开了一种基于网络爬虫和数据转移技术的数据采集系统及方法，该系统集成了多种爬虫组件及数据转移组件，进行在线、离线数据采集。实现了针对不同的数据采集任务，对各个网络爬虫组件的灵活集成、自动选择、统一调度和管理等功能，使用户“一站式完成对所需业务数据的采集。从而有效避免了开发人员因配置开发不同爬虫软件和其它采集系统所带来的繁重的重复性工作，提高了开发人员的开发和使用效率。
