基于Flink的金融数据分析方法、装置、系统及介质与流程

基于flink的金融数据分析方法、装置、系统及介质
技术领域
1.本发明涉及数据分析技术领域，尤其涉及基于flink的金融数据分析方法、装置、系统及介质。


背景技术：

2.随着现代信息技术的提高，现代化的互联网技术被广泛地应用到金融产品中，其中大数据金融分析可基于交易行为、市场变化以及政策因素等，实现对多项金融指标的数据分析。
3.目前针对金融指标的数据分析，通常基于历史批量数据进行处理，不仅使得数据分析存在滞后性，而且由于批量数据的有限性也影响数据分析的准确性。


技术实现要素：

4.鉴于上述现有技术的不足，本发明的目的在于提供可应用于金融科技或其它相关领域的基于flink的金融数据分析方法、装置、系统及介质，旨在提高金融指标数据分析的准确性和时效性。
5.本发明的技术方案如下：
6.一种基于flink的金融数据分析方法，所述方法包括：
7.获取预设事件生成的待分析数据，所述待分析数据包括有界数据流和无界数据流；
8.响应于数据分析指令，将所述待分析数据输入到至少一个flink工作节点；
9.通过所述至少一个flink工作节点执行相应的金融指标分析任务，对所述待分析数据进行并行分析处理；
10.将所述至少一个flink工作节点的分析结果以预设形式进行存储或展示。
11.在一个实施例中，所述获取预设事件生成的待分析数据，所述待分析数据包括有界数据流和无界数据流，包括：
12.获取历史预设事件对应的第一事件信息，以及实时预设事件对应的第二事件信息；
13.分别对所述第一事件消息和所述第二事件消息进行量化处理，生成对应的有界数据流和无界数据流作为待分析数据。
14.在一个实施例中，所述响应于数据分析指令，将所述待分析数据输入到至少一个flink工作节点，包括：
15.接收数据分析指令，确认所述数据分析指令携带的分析目标；
16.根据所述分析目标生成相应的金融指标分析任务；
17.将所述金融指标分析任务和待分析数据分发给至少一个flink工作节点。
18.在一个实施例中，所述通过所述至少一个flink工作节点执行相应的金融指标分析任务，对所述待分析数据进行并行分析处理，具体包括：
19.通过所述至少一个flink工作节点调用预先训练完成的指标模型，对所述待分析数据进行并行分析处理。
20.在一个实施例中，所述指标模块包括定价模型、估值模型、收益模型、风险模型、预测模型和指标计算模型。
21.在一个实施例中，所述将所述至少一个flink工作节点的分析结果以预设形式进行存储或展示，包括：
22.获取所述分析目标的输出配置，所述输出配置包括输出路径与输出形式；
23.根据所述输出配置，将所述至少一个flink工作节点的分析结果按对应的输出形式在输出路径进行存储或展示。
24.在一个实施例中，所述金融指标包括收益率曲线、定价、估值、久期、凸性、基点价值、风险价值、波动率。
25.一种基于flink的金融数据分析装置，包括：
26.数据获取模块，用于获取预设事件生成的待分析数据，所述待分析数据包括有界数据流和无界数据流；
27.数据传输模块，用于响应于数据分析指令，将所述待分析数据输入到至少一个flink工作节点；
28.数据分析模块，用于通过所述至少一个flink工作节点执行相应的金融指标分析任务，对所述待分析数据进行并行分析处理；
29.存储展示模块，用于将所述至少一个flink工作节点的分析结果以预设形式进行存储或展示。
30.一种基于flink的金融数据分析系统，所述系统包括至少一个处理器；以及，
31.与所述至少一个处理器通信连接的存储器；其中，
32.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述基于flink的金融数据分析方法。
33.一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的基于flink的金融数据分析方法。
34.有益效果：本发明公开了基于flink的金融数据分析方法、装置、系统及介质，相比于现有技术，本发明实施例通过基于flink的实时流分布框架，可基于预设事件的发生获取有界数据流和无界数据流，通过相应的工作节点进行金融指标分析，令金融指标的分析处理既能快速响应预设事件的变化，也能体现一定时间内所有事件对应的数据对金融指标的累计影响，提高金融数据分析的准确性和时效性。
附图说明
35.下面将结合附图及实施例对本发明作进一步说明，附图中：
36.图1为本发明实施例提供的基于flink的金融数据分析方法的一个流程图；
37.图2为本发明实施例提供的基于flink的金融数据分析方法中步骤s100的流程图；
38.图3为本发明实施例提供的基于flink的金融数据分析方法中步骤s200的流程图；
39.图4为本发明实施例提供的基于flink的金融数据分析方法中步骤s400的流程图；
40.图5为本发明实施例提供的基于flink的金融数据分析装置的功能模块示意图；
41.图6为本发明实施例提供的基于flink的金融数据分析系统的硬件结构示意图。
具体实施方式
42.为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。以下结合附图对本发明实施例进行介绍。
43.请参阅图1，图1为本发明提供的基于flink的金融数据分析方法一个实施例的流程图。本实施例提供的基于flink的金融数据分析方法应用于包括终端设备、网络和服务器构成的系统，其中网络为用于在终端设备和服务器直接提供通信链路的介质，其可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等；终端设备上的操作系统可以包括手持设备操作系统(iphone operating system，ios系统)、安卓系统或其他操作系统，终端设备通过网络连接到服务器以实现交互，从而进行接收或发送数据等操作，具体可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式服务器等等。如图1所示，该方法具体包括如下步骤：
44.s100、获取预设事件生成的待分析数据，所述待分析数据包括有界数据流和无界数据流。
45.本实施例中，基于预设事件的发生，将生成相应的待分析数据，具体的预设事件为对金融数据分析存在影响的事件，例如交易事件、政策发布事件、市场报价事件、金融新闻事件等等，具体可根据需求灵活设置。
46.该待分析数据可以是有时间限制的有界数据流，例如某天、某周、某月等时间期限内发生了预设事件后得到的数据，以便对数据进行统计分析；也可以是无时间限制的无界数据流，即预设事件发生时所得到的实时数据，以便及时对事件发生所带来的金融数据影响进行快速响应，通过获取包括有界数据流和无界数据流在内的待分析数据，满足对金融数据分析的时效性和准确性要求。
47.在一个实施例中，请参阅图2，其为本发明实施例提供的基于flink的金融数据分析方法中步骤s100的流程图，如图2所示，步骤s100包括：
48.s101、获取历史预设事件对应的第一事件信息，以及实时预设事件对应的第二事件信息；
49.s102、分别对所述第一事件消息和所述第二事件消息进行量化处理，生成对应的有界数据流和无界数据流作为待分析数据。
50.本实施例中，基于预设事件的发生进行待分析数据的采集获取，其中包括了历史预设事件例如历史成交事件、历史报价事件、历史政策事件、历史数据发布事件等，还包括实时预设事件例如实时成交事件、实时报价事件、实时新闻事件等等。
51.对获取到的事件信息按相应的量化规则进行量化处理，例如若事件信息中包括了数值数据，则直接提取作为相应的事件数据，若事件信息仅包含文本信息，则基于文本内容按量化规则分配相应的影响分值作为事件数据，例如利好政策对应较高的第一影响分值，，利空政策对应较低的第二影响分值，第一影响分值大于第二影响分值等等，可根据需求灵活设置，将事件信息转化为可计算处理的数据流，以便实现高效准确的金融数据分析。
52.s200、响应于数据分析指令，将所述待分析数据输入到至少一个flink工作节点。
53.本实施例中，通过apache flink分布式处理引擎对待分析数据进行高效分析处理，flink为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源大数据计算框架，具有容错性、高吞吐、低延迟的作用，可同时支持流处理和批处理，因此可对无界数据流和有界数据流进行有状态计算，在对金融数据进行分析时，可与金融量化模型相结合，实现基于实时数据的高效量化分析。
54.在flink分布式计算框架中可通过集群方式配置多个工作节点，每个工作节点可并行处理相应的工作任务，基于数据分析指令将待分析数据输入到至少一个flink工作节点中，实现对待分析数据的高效处理。
55.在一个实施例中，请参阅图3，其为本发明实施例提供的基于flink的金融数据分析方法中步骤s200的流程图，如图3所示，步骤s200包括：
56.s201、接收数据分析指令，确认所述数据分析指令携带的分析目标；
57.s202、根据所述分析目标生成相应的金融指标分析任务；
58.s203、将所述金融指标分析任务和待分析数据分发给至少一个flink工作节点。
59.本实施例中，用户可根据分析需求灵活设置一个或多个分析目标，具体的分析目标可以是待分析的金融指标，例如包括收益率曲线、定价、估值、久期、凸性、基点价值、风险价值、波动率等等，根据分析目标生成相应的金融指标分析任务，并且根据flink分布式计算框架中各个工作节点的工作状态进行任务分发，将相应的金融指标分析任务和待分析数据发送给各个工作节点，以均衡各个工作节点的状态提高处理效率。
60.s300、通过所述至少一个flink工作节点执行相应的金融指标分析任务，对所述待分析数据进行并行分析处理。
61.本实施例中，通过至少一个flink工作节点对获取到的待分析数据执行相应的金融指标分析任务，其中，在flink分布式计算框架预先部署了相应的金融量化模型，具体指的是预先训练完成的指标模型，例如包括定价模型、估值模型、收益模型、风险模型、预测模型和指标计算模型等等，训练完成的模型可以对输入数据进行高效准确的量化分析并输出分析结果，例如定价模型可构建收益率曲线并输出定价数据，估值模型可对资产的内在价值进行估计，收益模型可基于投资组合、差价模型输出预期收益，风险模型可对投资组合进行风险量化计算，预测模型可基于机器学习或深度学习模型对未来指标进行预测，指标计算模块可对金融指标进行准确的计算输出，具体可采用现有的模型，本实施例对此不作限定。
62.通过flink分布式计算框架与传统的金融量化模型相结合，flink工作节点可根据其工作任务调用相应的指标模型来执行金融指标分析任务，不同flink工作节点之间对待分析数据进行并行分析处理，令金融指标的分析处理既能快速响应预设事件的变化，也能体现一定时间内所有事件对应的数据对金融指标的累计影响，提高金融数据分析的准确性和时效性。
63.s400、将所述至少一个flink工作节点的分析结果以预设形式进行存储或展示。
64.本实施例中，分析结果的输出可以根据需求灵活设置，将各个flink工作节点得到的分析结果以预设形式进行存储或展示，满足不同分析用户的需求。
65.在一个实施例中，请参阅图4，其为本发明实施例提供的基于flink的金融数据分
析方法中步骤s400的流程图，如图4所示，步骤s400包括：
66.s401、获取所述分析目标的输出配置，所述输出配置包括输出路径与输出形式；
67.s402、根据所述输出配置，将所述至少一个flink工作节点的分析结果按对应的输出形式在输出路径进行存储或展示。
68.本实施例中，用户在设置分析目标时可同时设置相应分析目标的输出配置，包括输出路径以及输出形式，实现对不同分析目标的针对性输出配置，基于各个分析目标的输出配置，将flink工作节点的分析结果按相应的输出形式在输出路径进行存储或展示。
69.具体的输出路径可以是输出至数据库中进行存储，也可以是发送给预设终端进行存储或展示，具体的输出形式可以是报表形式、统计图形式、趋势图等等，例如针对风险价值指标进行数据分析时，可将分析结果以趋势图形式在指定终端的界面进行展示，以直观高效地输出风险变化情况，其他分析目标可根据实际需求灵活配置，本实施例对此不作限定。
70.本发明另一实施例提供一种基于flink的金融数据分析装置，如图5所示，装置1包括：
71.数据获取模块11，用于获取预设事件生成的待分析数据，所述待分析数据包括有界数据流和无界数据流；
72.数据传输模块12，用于响应于数据分析指令，将所述待分析数据输入到至少一个flink工作节点；
73.数据分析模块13，用于通过所述至少一个flink工作节点执行相应的金融指标分析任务，对所述待分析数据进行并行分析处理；
74.存储展示模块14，用于将所述至少一个flink工作节点的分析结果以预设形式进行存储或展示。
75.本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述利率分析的执行过程，各模块的具体实施方式请参考上述对应的方法实施例，此处不再赘述。
76.在一个实施例中，所述数据获取模块11，包括：
77.事件获取单元，用于获取历史预设事件对应的第一事件信息，以及实时预设事件对应的第二事件信息；
78.量化单元，用于分别对所述第一事件消息和所述第二事件消息进行量化处理，生成对应的有界数据流和无界数据流作为待分析数据。
79.在一个实施例中，所述数据传输模块12，包括：
80.指令接收单元，用于接收数据分析指令，确认所述数据分析指令携带的分析目标；
81.任务生成单元，用于根据所述分析目标生成相应的金融指标分析任务；
82.任务数据分发单元，用于将所述金融指标分析任务和待分析数据分发给至少一个flink工作节点。
83.在一个实施例中，所述数据分析模块13，具体用于：
84.通过所述至少一个flink工作节点调用预先训练完成的指标模型，对所述待分析数据进行并行分析处理。
85.在一个实施例中，所述指标模块包括定价模型、估值模型、收益模型、风险模型、预
测模型和指标计算模型。
86.在一个实施例中，所述存储展示模块14，包括：
87.配置获取单元，用于获取所述分析目标的输出配置，所述输出配置包括输出路径与输出形式；
88.存储展示单元，用于根据所述输出配置，将所述至少一个flink工作节点的分析结果按对应的输出形式在输出路径进行存储或展示。
89.在一个实施例中，所述金融指标包括收益率曲线、定价、估值、久期、凸性、基点价值、风险价值、波动率。
90.本发明另一实施例提供一种基于flink的金融数据分析系统，如图6所示，系统10包括：
91.一个或多个处理器110以及存储器120，图6中以一个处理器110为例进行介绍，处理器110和存储器120可以通过总线或者其他方式连接，图6中以通过总线连接为例。
92.处理器110用于完成系统10的各种控制逻辑，其可以为通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、单片机、arm(acorn risc machine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，处理器110还可以是任何传统处理器、微处理器或状态机。处理器110也可以被实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、一个或多个微处理器结合dsp和/或任何其它这种配置。
93.存储器120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的基于flink的金融数据分析方法对应的程序指令。处理器110通过运行存储在存储器120中的非易失性软件程序、指令以及单元，从而执行系统10的各种功能应用以及数据处理，即实现上述方法实施例中的基于flink的金融数据分析方法。
94.存储器120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据系统10使用所创建的数据等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器120可选包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至系统10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
95.一个或者多个单元存储在存储器120中，当被一个或者多个处理器110执行时，实现以下步骤：
96.获取预设事件生成的待分析数据，所述待分析数据包括有界数据流和无界数据流；
97.响应于数据分析指令，将所述待分析数据输入到至少一个flink工作节点；
98.通过所述至少一个flink工作节点执行相应的金融指标分析任务，对所述待分析数据进行并行分析处理；
99.将所述至少一个flink工作节点的分析结果以预设形式进行存储或展示。
100.在一个实施例中，所述获取预设事件生成的待分析数据，所述待分析数据包括有界数据流和无界数据流，包括：
101.获取历史预设事件对应的第一事件信息，以及实时预设事件对应的第二事件信息；
102.分别对所述第一事件消息和所述第二事件消息进行量化处理，生成对应的有界数据流和无界数据流作为待分析数据。
103.在一个实施例中，所述响应于数据分析指令，将所述待分析数据输入到至少一个flink工作节点，包括：
104.接收数据分析指令，确认所述数据分析指令携带的分析目标；
105.根据所述分析目标生成相应的金融指标分析任务；
106.将所述金融指标分析任务和待分析数据分发给至少一个flink工作节点。
107.在一个实施例中，所述通过所述至少一个flink工作节点执行相应的金融指标分析任务，对所述待分析数据进行并行分析处理，具体包括：
108.通过所述至少一个flink工作节点调用预先训练完成的指标模型，对所述待分析数据进行并行分析处理。
109.在一个实施例中，所述指标模块包括定价模型、估值模型、收益模型、风险模型、预测模型和指标计算模型。
110.在一个实施例中，所述将所述至少一个flink工作节点的分析结果以预设形式进行存储或展示，包括：
111.获取所述分析目标的输出配置，所述输出配置包括输出路径与输出形式；
112.根据所述输出配置，将所述至少一个flink工作节点的分析结果按对应的输出形式在输出路径进行存储或展示。
113.在一个实施例中，所述金融指标包括收益率曲线、定价、估值、久期、凸性、基点价值、风险价值、波动率。
114.本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤s100至步骤s400。
115.作为示例，非易失性存储介质能够包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦rom(eeprom)或闪速存储器。易失性存储器能够包括作为外部高速缓存存储器的随机存取存储器(ram)。通过说明而非限制，ram可以以诸如同步ram(sram)、动态ram、(dram)、同步dram(sdram)、双数据速率sdram(ddrsdram)、增强型sdram(esdram)、synchlink dram(sldram)以及直接rambus(兰巴斯)ram(drram)之类的许多形式得到。本文中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何其他适合类型的存储器中的一个或多个。
116.综上，本发明公开的基于flink的金融数据分析方法、装置、系统及介质中，方法通过获取预设事件生成的待分析数据，所述待分析数据包括有界数据流和无界数据流；响应于数据分析指令，将所述待分析数据输入到至少一个flink工作节点；通过所述至少一个flink工作节点执行相应的金融指标分析任务，对所述待分析数据进行并行分析处理；将所述至少一个flink工作节点的分析结果以预设形式进行存储或展示。通过基于flink的实时流分布框架，可基于预设事件的发生获取有界数据流和无界数据流，通过相应的工作节点进行金融指标分析，令金融指标的分析处理既能快速响应预设事件的变化，也能体现一定
时间内所有事件对应的数据对金融指标的累计影响，提高金融数据分析的准确性和时效性。
117.当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的计算机程序可存储于一非易失性计算机可读取的存储介质中，该计算机程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、软盘、闪存、光存储器等。
118.应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。