版权所有:内蒙古大学图书馆 技术提供:维普资讯• 智图
内蒙古自治区呼和浩特市赛罕区大学西街235号 邮编: 010021
专利申请号:CN201910578638.6
公 开 号:CN110427264B
发 明 人:张凯 刘春阳 俞晓明 王鹏 钟习 张旭 刘悦 张翔宇 孙海洲 陈志鹏
代 理 人:祁建国;梁挥
代理机构:11006 北京律诚同业知识产权代理有限公司
专利类型:授权发明
申 请 日:20211130
公 开 日:20190628
专利主分类号:G06F9/50(20060101)
关 键 词:物理机 解析 任务控制模块 系统监控模块 机器信息 结果库 采集 查询系统 监控模块 任务部署 网页采集 资源消耗 自动读取 减小 调用 空闲 部署
摘 要:本发明提出一种基于Kubernetes的JS解析方法及系统,包括:多台物理机、采集结果库、系统监控模块和解析任务控制模块;物理机,用于根据任务部署JS解析Pod,执行网页采集,将得到的采集结果存至采集结果库;系统监控模块,用于自动读取物理机的机器信息;解析任务控制模块,用于查询系统监控模块,得到各物理机的机器信息,以计算各物理机应部署的JS解析Pod个数,调用Kubernetes API调整各物理机的JS解析Pod个数。本发明有效的利用了空闲时间执行JS解析相关任务,并减小了JS解析的资源消耗。