一种金融机构资产分类处理方法、装置及可读介质与流程

[0001]
本发明涉及金融领域，具体的说，是涉及一种金融机构资产分类处理方法、装置及可读介质。


背景技术：

[0002]
随着金融市场的日益发展，金融资产的投资渠道和投资标的也变得逐渐丰富，比如股票、债券、商品期货、外汇、衍生品、基金等等。随着金融资产的数量快速增长，如何挑选金融资产进行资产配置是投资者在投资过程中必须面临的挑战，因此对金融资产进行分类具有一些益处。在对金融资产进行分类之后，可以方便地对同一类型的金融资产的业绩互相比较，而这种比较对于组合管理和财务规划具有重要的意义。
[0003]
目前，市面上对金融资产分类方法都是固定的，就是用户要预先定好一些维度，然后通过运算给金融打上不同的标签。然而，上述分类方法具有以下几个缺点：1、在操作灵活性方面：现有分类方式较死板，不够灵活，必须是实现在产品里固定的维度才可以。由于金融资产的多样性、灵活性，靠枚举这些维度的难度是很大的，而且后期维护性成本高。
[0004]
2、响应速度方面：响应变化不够及时，现有的分类方案，比如把一个个券分为了股票类、债券类、基金类等，假如该分类是错误的，很难快速更新改券的属性，只能等待第二天重跑。
[0005]
3、量级方面：不能支持海量数据的分类。由于金融产品数据的多样性、复杂性、时间的持续性，不少公司的数据量都达到了pb级乃至更高，而用现有的数据分类方法，只采用单节点的方法，难于达到性能要求。
[0006]
4、数据回溯及历史跑数效率方面：数据隔离性很差，增、删、改历史某一维度，就会全局数据按日全删、全插的模式进行，存在非常大的数据稳定性隐患，此种模式也严重影响了系统的执行效率。


技术实现要素：

[0007]
为了克服现有的技术的不足，本发明提供一种金融机构资产分类处理方法、装置及可读介质。
[0008]
本发明技术方案如下所述：第一方面，一种金融机构资产分类处理方法，基于大数据计算框架，包括：自定义配置资产分类维度；实时获取资产数据和所述资产分类维度；根据所述资产分类维度对所述资产数据进行分类，构成资产分类树；实时监控配置的所述资产分类维度，当检测到所述资产分类维度变化后，实时更新资产分类树。
[0009]
根据上述方案的本发明，所述资产分类维度的要素设置包括维度类别、维度类型、
维度名称、取值方式、取值字段、取值表名/sql、维度取值映射。
[0010]
进一步的，所述维度类别包括债券、现金、回购、期货、股票、基金及期权。
[0011]
进一步的，所述维度类型包括字符型、日期型及数值型。
[0012]
根据上述方案的本发明，所述资产分类树包括多个层级结构，每一所述层级结构包括一个或者多个资产维度。
[0013]
根据上述方案的本发明，所述大数据计算框架包括：数据采集层，用于采集所述资产数据；数据处理层，根据处理场景的所述资产数据，选择hive、mpp及流处理中的一种进行数据处理；数据存储层，根据处理场景的所述资产数据，采用hdfs和hbase中的一种对所述资产数据进行存储；数据服务层，用于直接与用户进行交互；数据管理层，用于对所述数据采集层、所述数据处理层、所述数据存储层及所述数据服务层进行统一调度监控。
[0014]
进一步的，所述资产数据包括实时资产数据和历史资产数据。
[0015]
进一步的，所述数据服务层包括，数据维度管理服务，用于供用户查看、新建、修改所述资产分类维度；数据可视化服务，用于供用户查看所述资产数据的分类结果。
[0016]
第二方面，一种计算装置，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述的金融机构资产分类处理方法。
[0017]
第三方面，一种计算机可读介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上述的金融机构资产分类处理方法。
[0018]
根据上述方案的本发明，本发明的有益效果在于：本发明的有益效果在于：1、本发明基于自定义资产分类维度的设计，并结合实时数据采集、大数据计算框架、数据快速分析应用，达到自动配置、快速分析、稳定输出的目的；2、本发明可以让用户根据一些字段的属性或者自定义的sql来实现新的资产分类维度，以更好的配合灵活多样的金融资产；3、本发明实时监控用户配置的资产分类维度，采用大数据计算框架，实时更新资产分类结果，供金融机构投资者及时把握市场动态，提高投资收益；4、本发明采用分布式的大数据计算框架，可以轻松实现数据的并行计算，能够支持pb级乃至更大量的数据运算；5、本发明通过适应业务系统的数据的变动，随变动记录来驱动历史数据精确回溯，配合分类树维度处理历史数据，使执行效率也大幅度提高。
附图说明
[0019]
图1为本发明的方法流程图；图2为本发明资产分类树的示意图；图3为本发明大数据计算框架的框架图。
具体实施方式
[0020]
下面结合附图以及实施方式对本发明进行进一步的描述：请参阅图1、图2，本发明提供一种金融机构资产分类处理方法，基于大数据计算框架，包括以下步骤：步骤s1：自定义配置资产分类维度。其中，资产分类维度的要素设置包括维度类别、维度类型、维度名称、取值方式、取值字段、取值表名/sql、维度取值映射、组合特殊计算标识、是否有时序、参数及备注。用户依据上述资产分类维度的要素设置对资产分类维度进行配置。
[0021]
维度类别包括债券、现金、回购、期货、股票、基金及期权等等，同时支持新建维度类别功能，满足现有灵活多变的金融资产。
[0022]
维度类型包括字符型、日期型、数值型，用户可根据不同的维度类别选取。
[0023]
取值方式包括sql的取值方式，用户可根据sql的取值方式把某个证券大类的其中一个行业作为一个分类维度属性。如通过用户根据sql的取值方式把某个股票的申万一级行业作为一个分类维度属性。
[0024]
维度取值映射，通过sql设置源值与显示值的关系。如某个股票的申万一级行业存储的是801010，通过映射，该股票的申万一级行业将显示的是农林牧渔；某个股票的申万一级行业存储的是801030，通过映射，该股票的申万一级行业将显示的是化工。
[0025]
步骤s2：实时获取资产数据和资产分类维度。
[0026]
步骤s3：根据资产分类维度对资产数据进行分类，构成资产分类树。其中，资产分类树包括多个层级结构，每一层级结构包括一个或者多个资产维度。
[0027]
在一实施例中，资产分类树包括第一层级和第二层极，第一层级由一个资产维度组成，该资产维度为证券大类，可以把资产分为债券、现金、回购、期货、股票、基金及期权等不同的证券大类。第二层级由多个资产维度组成，如回购类的证券，可以在第二层级继续分类，分为正回购和逆回购；如债券类的证券，可以在第二级继续分类，按债券类型可以分为公司债、企业债、金融债等等。当然若有需要，资产分类树还可以包括第三层级乃至更多层级继续分类，如企业债中，还可以把企业债按不同的评价等级继续分类，分为a+ 、a、b+、b等等。
[0028]
步骤s4：实时监控配置的资产分类维度，当检测到资产分类维度变化后，实时更新资产分类树。其中，每次资产分类树更新并正确计算完成后，在分类树表中通过新增字段modified_flag的方式标记该资产分类树，然后通过定时同步工具自动将带标记的分类树表同步到hive l0中，最后调度执行hive脚本，取出树表中modified_flag = 1的数据执行计算，仅回溯更新的资产分类树历史数据，历史数据通过重新定义分类标签达到一次更新之前所有历史分类的数据。
[0029]
请参阅图3，在本实施例中，大数据计算框架包括数据采集层、数据处理层、数据存
储层、数据服务层及数据管理层。
[0030]
数据采集层，用于采集资产数据。其中，资产数据包括实时资产数据和历史资产数据，即流式数据和批量式数据。对于流式数据可采用cdc的方式增量采集，如mysql中的数据采用canal服务采集，把数据采集到kafka中。对于批量式数据，可以采用一些开源插件实现，如对于海量的数据可采用sqoop采集，该工具采用mapreduce的实现原理进行数据采集；也可以采用一些轻量级的工具，如datax，该工具适配性更广，本领域技术人员可根据实际情况选取采集工具。
[0031]
数据处理层，根据处理场景的资产数据，选择hive、mpp及流处理中的一种进行数据处理。其中，hadoop的hive是传统数据仓库的一种分布式替代，应用在传统etl中的数据的清洗、过滤、转化及直接汇总等场景中，且数据量越大，hive的性价比越高。mpp（本发明采用impala）采用分布式架构对于传统数据仓库是最好的替代，对sql提供完整支持，在hive做了转化分析后，数据仓库的融合建模用mpp来做，其性能绰绰有余，性价比也较传统db2更好一点。
[0032]
数据存储层，根据处理场景的资产数据，采用hdfs和hbase中的一种对资产数据进行分布式数据存储。其中hbase适用于存储需要实时查询或更新的场景，hdfs则适用于大数据量批处理的场景。
[0033]
数据服务层，用于直接与用户进行交互，数据服务层使用一些关系型数据库作为数据的快速查询与修改，如oracle，并使用spring cloud作为开源组件。其中，数据服务层包括数据维度管理服务，用于供用户查看、新建、修改资产分类维度；数据可视化服务，用于供用户查看资产数据的分类结果，并提供了多样的筛选条件，如可以根据资产分类树筛选，或者可以根据产品筛选等。
[0034]
数据管理层，用于对数据采集层、数据处理层、数据存储层及所述数据服务层进行统一调度监控。数据管理层采用cloudera manager作为统一调度监控的工具，支持hadoop的多种技术组件（如mapreduce、spark 、hive、kafka）等服务的管理。在调度方面，采用oozie作为统一的任务调度工具，是一种企业级的任务调度工具，提供ui管理界面，任务日志查看等功能。
[0035]
本发明的有益效果在于：1、本发明基于自定义资产分类维度的设计，并结合实时数据采集、大数据计算框架、数据快速分析应用，达到自动配置、快速分析、稳定输出的目的；2、本发明可以让用户根据一些字段的属性或者自定义的sql来实现新的资产分类维度，以更好的配合灵活多样的金融资产；3、本发明实时监控用户配置的资产分类维度，采用大数据计算框架，实时更新资产分类结果，供金融机构投资者及时把握市场动态，提高投资收益；4、本发明采用分布式的大数据计算框架，可以轻松实现数据的并行计算，能够支持pb级乃至更大量的数据运算；5、本发明通过适应业务系统的数据的变动，随变动记录来驱动历史数据精确回溯，配合分类树维度处理历史数据，使执行效率也大幅度提高。
[0036]
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完
全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
[0037]
在一些可能的实施方式中，本发明根据本发明的计算装置可以至少包括至少一个处理单元、以及至少一个存储单元。其中，存储单元存储有程序代码，当程序代码被处理单元执行时，使得处理单元执行本说明书上述描述的根据本发明各种示例性实施方式的金融机构资产分类处理方法中的步骤。例如，处理单元可以执行如图2所示的步骤s1～s4中金融机构资产分类处理的流程。
[0038]
在一些可能的实施方式中，本发明提供一种计算机可读介质，该存储有计算机可执行指令，计算机可执行指令用于执行本说明书上述描述的根据本发明各种示例性实施方式的金融机构资产分类处理方法中的步骤。
[0039]
可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0040]
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0041]
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
[0042]
上面结合附图对本发明专利进行了示例性的描述，显然本发明专利的实现并不受上述方式的限制，只要采用了本发明专利的方法构思和技术方案进行的各种改进，或未经改进将本发明专利的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。