一种基于大数据治理的数据处理方法与流程

本发明涉及数据处理，具体为一种基于大数据治理的数据处理方法。

背景技术：

1、随着信息化时代的发展，大数据技术已经成为了现代企业经营和管理中不可或缺的一部分，大数据治理分析在财务决策中的应用也日益凸显出其重要性。通过对大数据的深入分析和挖掘，可以在海量的数据中获取有价值的信息，进而提高财务决策的准确性和效率，帮助企业更加准确地做出投资决策、更加全面地评估风险以及更加高效地编制财务报告等。

2、然而，在对大数据分析的效果进行评估时需要注意其全面性、真实性和可靠性等方面，以确保结论的可信度和可重复性，由于通过大数据技术获取的数据信息较为混杂，各数据之间存在一定的差异，且难以确保数据来源的可靠性和准确性，导致数据的处理过程较为繁琐，耽误效率的同时处理结果难以保障。为此，我们提出一种基于大数据治理的数据处理方法。

技术实现思路

1、本发明的目的在于提供一种基于大数据治理的数据处理方法，以解决上述背景技术提出的问题。

2、本发明的目的可以通过以下技术方案实现：一种基于大数据治理的数据处理方法，包括以下步骤：

3、步骤一：输入所需处理的财务数据问题，并获取常用的财务数据分析方法，将财务数据问题与财务数据分析方法进行匹配，获得其匹配率，选择匹配率最高的财务数据分析方法作为财务数据处理分析方法；

4、步骤二：根据所需处理分析的问题，多方向采集相关数据，并监测数据的来源，将数据来源记作源数据库，对各个源数据库内的所属数据进行标记分类，由此获得各源数据库的数据输出系数；

5、步骤三：对采集的数据进行筛选，根据数据特征对数据进行正常与异常的划分，并挑出符合要求的数据用于财务数据分析处理问题，同时在筛选过程中针对正常数据和异常数据进行标记分类，由此获得正常数据与异常数据相对本期总采集数据的指数比；

6、步骤四：基于提取的数据配合适用的财务数据分析方法对所需处理分析的问题进行计算，并由数据指数与源数据库级别以及分析方法匹配率共同判定财务数据处理的准确率。

7、作为本发明的进一步改进，获取常用的财务数据分析方法，其具体获取方式为：

8、通过互联网大数据或财务人员手动录入进行财务数据分析方法的获取，包括比较分析法、比率分析法和趋势分析法，基于各类财务数据分析方法相对财务数据处理的适用范围及局限性，针对当前待处理问题选择合适的分析方法，同时面对超出单一财务数据分析方法分析范围的财务数据处理问题，采用多种分析方法相互组合的方式进行处理。

9、作为本发明的进一步改进，获得财务数据分析方法与财务数据处理的匹配率，具体为：

10、对财务数据问题，将当前用于财务数据问题处理的财务数据分析方法，按照与其相适配的概率，进行财务数据分析方法与财务数据处理匹配率的设定，若相适配概率越高，则匹配率越高，将匹配率高的分析方法作为财务数据问题处理的优先选择，通过高匹配率分析方法处理的财务数据问题，其准确率越高。

11、作为本发明的进一步改进，多方向采集相关数据，并监测数据来源，具体采集方式如下：

12、通过互联网大数据的外部网站、内部自有数据库及财务人员手动录入完成数据采集，并将数据的来源设定为源数据库，对不同源数据库内采集的数据进行不同的第一标记，包括数据的来源及数据在源数据内的归属类别。

13、作为本发明的进一步改进，获得各源数据库的数据输出系数，具体分析过程如下：

14、将不同源数据库内采集数据的第一标记进行统计排序，将数据采集量最多、中等和最少的源数据库分别标记为一、二、三级源数据库，根据源数据库的级别不同获得相对应的数据输出系数。

15、作为本发明的进一步改进，对采集数据进行正异常筛选，具体为：

16、采用条件筛选、排序筛选、分类汇总等方法来完成采集数据的筛选，包括去除重复数据、处理缺失值和异常值，对筛选后的数据进行进一步审阅，通过异常数据的特征对筛选数据进行正异常的划分。

17、作为本发明的进一步改进，获得数据的正常与异常指数，具体分析方式为：

18、对划分后的正常数据与异常数据分别进行第二标记，并对第二标记的数量进行统计，得到正常数据与异常数据占本期总采集数据的占比指数。

19、作为本发明的进一步改进，将第二标记与第一标记相互匹配，获取正常数据与异常数据所归属的源数据库，并将正常数据与异常数据相对源数据库的数据输出系数进行占比计算，数据输出系数多且正常数据多的源数据库设为优等数据库。

20、作为本发明的进一步改进，对所需处理分析的财务数据问题进行计算，具体分析方式为：

21、提取采集的正常数据输入至财务数据分析方法内进行数据处理，当本期数据处理中采集正常数据的占比高、数据来源于优等数据库、财务数据分析方法的匹配率高，则为优等数据处理方式。

22、与现有技术相比，本发明的有益效果是：本发明可从大数据内设定用于数据提取的源数据库，并对其进行等级划分，以便于从优等源数据库内进行数据的提取，便于判定数据的异常，保障数据质量用于财务数据处理，提高了数据获取的效率，同时可针对待处理的数据问题选择相匹配的财务数据分析方法用于数据的处理，结合高质量数据进一步提高了数据处理的准确性。

23、本发明将财务数据处理的数据提取、筛选、分析及判定进行系统化结合，从而将数据处理进行步骤化细分，有利于保障数据处理的质量，减少数据处理误差并提高了数据处理的效率。

技术特征：

1.一种基于大数据治理的数据处理方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于大数据治理的数据处理方法，其特征在于，获取预设的所述财务数据分析方法的具体获取方式为：

3.根据权利要求1所述的一种基于大数据治理的数据处理方法，其特征在于，获得财务数据分析方法与财务数据处理的匹配率，具体为：

4.根据权利要求1所述的一种基于大数据治理的数据处理方法，其特征在于，多方向采集相关数据，并监测数据来源的具体采集方式如下：

5.根据权利要求1所述的一种基于大数据治理的数据处理方法，其特征在于，所述获得各源数据库的数据输出系数，具体分析过程如下：

6.根据权利要求1所述的一种基于大数据治理的数据处理方法，其特征在于，所述对采集数据进行正异常筛选，具体为：

7.根据权利要求1所述的一种基于大数据治理的数据处理方法，其特征在于，所述获得数据的正常与异常指数，具体分析方式为：

8.根据权利要求1所述的一种基于大数据治理的数据处理方法，其特征在于，将第二标记与第一标记相互匹配，获取正常数据与异常数据所归属的源数据库，并将正常数据与异常数据相对源数据库的数据输出系数进行占比计算，数据输出系数多且正常数据多的源数据库设为优等数据库。

9.根据权利要求1所述的一种基于大数据治理的数据处理方法，其特征在于，所述对所需处理分析的财务数据问题进行计算，具体分析方式为：

技术总结
本发明涉及数据处理技术领域，具体为一种基于大数据治理的数据处理方法，包括以下步骤：步骤一：输入财务数据问题并获取合适的财务数据分析方法用于数据分析；步骤二：根据所需处理分析的问题，多方向采集相关数据；步骤三：对采集的数据进行筛选；步骤四：基于提取的数据配合适用的财务数据分析方法对所需处理分析的问题进行计算。本发明将财务数据处理的数据提取、筛选、分析及判定进行系统化结合，从而将数据处理进行步骤化细分，有利于保障数据处理的质量，减少数据处理误差并提高了数据处理的效率。

技术研发人员：谢蒙,丁传芳
受保护的技术使用者：江苏税软软件科技有限公司
技术研发日：
技术公布日：2024/11/26