技术特征：
1.一种基于数据回放与时序追赶技术下的实时银行流计算业务系统，其特征在于，该系统包括流水预处理模块、实时流计算引擎模块和热更新与指标视图缓存模块；所述流水预处理模块用于输入用户特征数据和多场景消费流水数据，其中包括包括实时的计算数据和回放数据，在接收到输入的数据流的实时请求时会将请求数据包传入kafka消息队列，然后传至下游分流解析器对数据包加工处理并将数据拷贝成两份，一份传送至实时流计算引擎模块做指标计算，另一份传入事件日志存储池保存流水的每一步明细以备数据回放；所述实时流计算引擎模块用于对流水预处理模块的数据流做分布式实时流数据处理，采用chandy-lamport算法实现一致性和容错机制；实时流计算引擎模块中所有的计算节点采用松耦合连接方式，能够实现弹性扩容，保证能够回放数据及时序追赶当前流处理数据且不会影响当前流处理速度，针对数据回放过程做到不停机持续计算服务；所述热更新与指标视图缓存模块用于根据实时流计算引擎模块的指标计算完成后的情况做指标视图缓存或热更新，如果是实时流水计算则会反馈到中间态存储器进行断点状态存储，并对经常使用的实时计算指标及其所在时间段的状态形成指标视图缓存；在数据回放时则对涉及到的存储状态做热更新使其及时反馈到实时处理结果中，并对相关视图做修改。2.根据权利要求1所述的一种基于数据回放与时序追赶技术下的实时银行流计算业务系统，其特征在于，流水预处理模块中分流解析器拆解用户请求数据包并抽取用户特征数据以及消费流水数据统一为系统标准格式。3.根据权利要求1所述的一种基于数据回放与时序追赶技术下的实时银行流计算业务系统，其特征在于，回放数据在分流解析中会被标记为一种特定的id形式，保证在计算过程中能够与常规的流数据状态区分计算而不影响正常流处理过程，保证计算的高效稳定性。4.根据权利要求1所述的一种基于数据回放与时序追赶技术下的实时银行流计算业务系统，其特征在于，所述事件日志存储池，负责存储流水数据明细，为之后的数据回放阶段做储备，同时响应来自决策前端的回放请求；日志文件存储在hdfs文件系统中，按照自然时间分级存储事件分区，自然时间分区粒度可由用户设置最小粒度，并基于此实现对频繁数据所在分区的热数据缓存机制，其中频繁数据定义为平均4个最小时间单位内访问一次的数据，缓存采用redis做分布式架构缓存机制，其余数据则在hdfs分区存放；分级索引管理了磁盘与缓存，在银行流计算业务人员指定需要回放存储的历史数据时快速检索并提取。5.根据权利要求4所述的一种基于数据回放与时序追赶技术下的实时银行流计算业务系统，其特征在于，所述决策前端，银行流计算业务系统的交互界面；银行流计算业务系统将实时计算数据呈现在决策前端供银行流计算业务人员分析决策；在做指标更新时，银行流计算业务人员利用决策前端发送更新命令并指定回放用户哪个时间段、哪些指标数据做回放。6.根据权利要求1所述的一种基于数据回放与时序追赶技术下的实时银行流计算业务系统，其特征在于，所述实时流计算引擎模块由分布式集群架构负责消费kafka利用集群进行实时流数据的计算，由kafka传输到下游的数据都具有相同的数据格式，因此无论是回放数据还是常规的实时流数据对计算引擎均是透明的，保证重放过程与常规的流计算过程并行进行，并将指标及时反馈到实时银行流计算业务决策中。
7.根据权利要求1所述的一种基于数据回放与时序追赶技术下的实时银行流计算业务系统，其特征在于，所述热更新与指标视图缓存模块负责在得到一段分区的计算指标后对中间状态做“断点式”存储，即离散化的存储对应的中间状态，这部分存储同样也由hdfs分级分区存储在磁盘中；按照银行流计算业务规律采用“时间序列最近邻”原则将最近一段时间数据的计算指标和关联指标在内存中形成视图缓存加速回放过程时序追赶进度。
技术总结
本发明公开了一种基于数据回放与时序追赶技术下的实时银行流计算业务系统。本发明针对在银行流计算业务根据用户消费行为和特征数据做相关指标计算时，为适应市场节奏和用户银行消费服务需求对有关指标做变更，导致已完成数据需要重新回放在流处理引擎做计算的场景，通过充分利用庞大的存储空间弥补流计算的缺陷，利用流处理实时性特点使回放处理指标在短时间实现与常规指标进度同步，且在数据定义和转换层面保证回放数据流不影响正常数据流的处理，从而设计一个实时银行流计算业务系统，使得银行流计算业务活动更好地适应于银行计算环境和用户需要，提高银行流计算业务策略竞争力。竞争力。竞争力。
技术研发人员：王刚 彭聪 黄宏 鲍迪恩 陈含卓
受保护的技术使用者：浙江邦盛科技股份有限公司
技术研发日：2022.11.23
技术公布日：2023/3/7