一种分布式高性能准实时数据流计算方法及装置

专利申请号：CN201811625732.4

公 开 号：CN111382133A

发 明 人：罗为 何广柏 刘礼铭 张宏 

代 理 人：任哲夫

代理机构：44242 深圳市精英专利事务所

专利类型：发明申请

申 请 日：20200707

公 开 日：20181228

专利主分类号：G06F16/182(20190101)

关 键 词：数据文件 事件包 读取 基础信息 数据流 队列 过滤 分布式文件系统 采集原始数据 数据文件转换 标准化格式 数据流计算 计费流程 平均时延 用户资料 预设条件 单格式 读文件 准实时 分拣 填入 线程 预设 写入 查询 输出 重复 转换 

摘      要：本发明提供了一种分布式高性能准实时数据流计算方法及装置，所述方法包括，采集原始数据到分布式文件系统，形成数据文件列表；将数据文件列表内的数据文件的文件名写入Redis队列；从Redis队列读取数据文件的文件名，并将文件名发送给读文件线程，以读取与所述文件名相对应数据文件；将数据文件转换为预设的标准化格式的事件包；对不符合预设条件的事件包进行分拣过滤；查询用户资料，确定用户后续计费流程所需的基础信息，将基础信息填入对应的事件包中；将重复的事件包进行过滤；将事件包转换成话单格式输出。本发明的有益效果在于：能够实现对数据流的高吞吐，加快了对数据文件的处理速度，降低了处理数据流的平均时延。