我国银行业是一个具有高危风险的行业,通过对银行业实施有效监管,降低各种金融风险,实现金融稳定是中国人民银行的基本职责。中国人民银行拥有海量监管数据,通过对监管数据进行挖掘分析能够帮助央行了解金融现状,做出合理决策。体量庞大的监管数据中蕴含着巨大的价值信息,其信息价值也会随着时间的流逝逐渐衰减。央行对于监管数据处理分析的时效性,决定了其监管效率和监管有效性。而随着数据不断积累,监管数据规模不断增大,但是银行对数据处理分析的速度却要求越来越高,甚至是希望能够在数据流入业务系统之前就能够得到数据分析结果。目前,央行某市中心支行对于监管数据的分析利用主要存在以下问题:数据采集流程复杂,存在较为严重的滞后性;数据处理技术更新缓慢,缺乏实时数据处理能力导致数据下发延迟高;数据分析建模方式简单、低效且缺乏实时性,无法根据最新数据做出及时、准确的判断。针对以上问题,结合某市中心支行对监管数据实时分析、处理的需求,本文旨在研究并设计一套基于监管数据的实时分析系统,通过在系统中集成分布式日志采集以及消息中间件技术解决监管数据的实时采集、存储,利用实时计算技术构建数据处理流程完成监管数据的实时预处理,最后通过流数据挖掘技术构建实时分析模型,实现对监管数据的实时分析。本文主要研究工作如下:(1)整合Logstash、Kafka以及Kettle实时流处理工具。针对现阶段某市中心支行监管系统缺乏数据实时处理能力,通过编码整合Logstash+Kafka实现监管数据的实时采集和存储,同时整合Kettle+Kafka实现监管数据的实时预处理。(2)设计了一种基于CVFDT(Concept Very Fast Decision Tree)算法的可疑交易实时识别模型。基于某市中心支行反洗钱监管部门对于反洗钱数据实时分析的需求,本文研究了流数据挖掘技术,最终采用基于决策树思想的CVFDT算法构建实时可疑交易识别模型。同时,使用Java语言实现CVFDT算法并集成至本文系统中。(3)设计并实现银行监管数据的实时分析系统。系统的设计与开发遵循软件工程相关框架,以Java为核心开发语言、以Spring Boot框架为开发基础。系统的实现采用B/S架构,使用前后端分离开发模式,并遵循面向服务的开发思想。系统主要包括三个模块,分别对应监管数据实时采集、监管数据实时处理、监管数据实时分析。通过监管数据在本系统上应用的实际测试,系统能够提供监管数据的实时采集、实时处理以及实时分析功能,提高了某市中心支行对监管数据利用的时效性和有效性,帮助某市中心支行提高监管效率,从而及时、准确的做出监管决策。
暂无评论