一种数据管理方法和装置的制造方法
【技术领域】
[0001 ]本发明涉及计算机技术领域，具体涉及一种数据管理方法和装置。
【背景技术】
[0002]企业、公司尤其是互联网公司，日常业务往往会产生大量的电子数据，对这些数据进行管理是一项非常浩大而又需要规范化设计的任务。例如，有些数据是无用数据需要丢弃，有些数据需要按生成时间进行入库等等。
[0003]现有技术中，对数据的管理通常仅包含规范化的存储方式而不包含对数据的统计计算处理。而在许多情况下，用户希望对数据进行统计计算并将结果加以展示。现有技术中，数据的统计计算往往由数据的提供者完成，而如果希望对其进行展示，则还需要技术人员手动将数据绘制成对应的图表，这在数据量较小的情况下还比较方便，但在大数据的环境下就很难实现。这时往往又需要前端开发人员开发代码来将数据批量生成图表。但这又带来很多问题，例如，某部门需要提供业务报表，希望以柱状图的方式进行展现，但该部门缺乏技术精湛的前端开发人员，制作图表就会非常困难。又例如，某公司单独设置部门进行图表的生成，该部门的技术人员需要根据业务部门的每一个需求开发一次代码，这在业务部门需求量大的情况下大大加重了前端开发人员的压力。
【发明内容】
[0004]鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据管理方法和装置。
[0005]依据本发明的一个方面，提供了一种数据管理方法，包括:
[0006]接收用户输入的源数据文件路径，根据该源数据文件路径获取相应源数据文件；
[0007]从统计模板库中选择一个统计模板，根据该选择的统计模板对源数据文件中的数据进行统计计算，得到计算结果数据并保存到计算结果数据库中；
[0008]接收用户输入的数据查询请求，根据该数据查询请求从计算结果数据库中获取相应的计算结果数据，根据获取的计算结果数据生成相应的图表。
[0009]可选地，该方法进一步包括:
[0010]指定一个或多个存储服务器，使得业务方将各类业务数据存储到该一个或多个存储服务器上；
[0011 ]所述根据该源数据文件路径获取相应源数据文件包括:根据该源数据文件路径从所述一个或多个存储服务器获取相应源数据文件。
[0012]可选地，该方法进一步包括:提供配置页面的地址，当用户访问该地址时，提供该配置页面；
[0013]所述接收用户输入的源数据文件路径包括:通过所述配置页面获取用户提交的源数据文件路径。
[0014]可选地，该方法进一步包括:通过所述配置页面获取用户提交的输出路径;对所述源数据文件中的数据进行解析处理，得到符合指定格式的数据并保存到所述输出路径上；
[0015]所述根据该选择的统计模板对源数据文件中的数据进行统计计算为:根据该选择的统计模板对所述输出路径上的符合指定格式的数据进行统计计算。
[0016]可选地，所述从统计模板库中选择一个统计模板包括:
[0017]确定符合指定格式的数据的属性信息，根据该属性信息查询模板属性列表确定对应的统计模板标识，根据所确定的统计模板标识从统计模板库中选择相应的统计模板；
[0018]其中模板属性列表中对应保存了数据的属性信息和对应的统计模板标识。
[0019]可选地，该方法进一步包括:
[0020]在配置页面上展示数据解析样例；
[0021]或者，
[0022]在配置页面上提供样例数据输入框，通过该输入框接收用户输入的样例数据并进行解析后，将解析结果数据展示给用户。
[0023]可选地，该方法进一步包括:通过所述配置页面获取用户输入的数据解析方法信息;
[0024]所述对所述源数据文件中的数据进行解析处理包括:根据用户输入的数据解析方法信息对所述源数据文件中的数据进行解析处理。
[0025]可选地，该方法进一步包括:
[0026]通过所述配置页面获取用户输入的源数据文件完整性标识；
[0027]所述根据该源数据文件路径获取相应源数据文件包括:根据该源数据文件路径找到相应源数据文件，根据源数据文件完整性标识判断该源数据文件是否完整，是则获取该源数据文件，否则等到该源数据文件完整时再获取该源数据文件。
[0028]可选地，该方法进一步包括:
[0029]通过所述配置页面获取用户提交的任务执行时间信息；
[0030]在所述任务执行时间信息对应的一个或多个时间点，执行所述根据该源数据文件路径获取相应源数据文件的步骤，以及从统计模板库中选择一个统计模板，根据该选择的统计模板对源数据文件中的数据进行统计计算，得到计算结果数据并保存到计算结果数据库中的步骤。
[0031]可选地，该方法进一步包括:
[0032]通过所述配置页面获取用户输入的查看权限信息并保存到权限管理数据库中；查看权限信息包括:用户标识和该用户有权限查看的数据信息；
[0033]当接收到用户输入的数据查询请求时，通过查询权限管理数据库判断该用户是否有权限进行查询，当判断为有权限时执行所述根据该数据查询请求从计算结果数据库中获取相应的计算结果数据，根据获取的计算结果数据生成相应的图表的步骤。
[0034]依据本发明的另一方面，提供了一种数据管理装置，包括:
[0035]源数据获取单元，适于接收用户输入的源数据文件路径，根据该源数据文件路径获取相应源数据文件；
[0036]统计计算单元，适于从统计模板库中选择一个统计模板，根据该选择的统计模板对源数据文件中的数据进行统计计算，得到计算结果数据并保存到计算结果数据库中；
[0037]图表生成单元，适于接收用户输入的数据查询请求，根据该数据查询请求从计算结果数据库中获取相应的计算结果数据，根据获取的计算结果数据生成相应的图表。
[0038]可选地，所述源数据获取单元，进一步适于指定一个或多个存储服务器，使得业务方将各类业务数据存储到该一个或多个存储服务器上;根据该源数据文件路径从所述一个或多个存储服务器获取相应源数据文件。
[0039]可选地，该装置进一步包括:
[0040]配置页面提供单元，适于提供配置页面的地址，当用户访问该地址时，提供该配置页面；
[0041]所述源数据获取单元，适于通过所述配置页面获取用户提交的源数据文件路径。
[0042]可选地，该装置进一步包括:
[0043]数据解析单元，适于通过所述配置页面获取用户提交的输出路径;对所述源数据文件中的数据进行解析处理，得到符合指定格式的数据并保存到所述输出路径上；
[0044]所述统计计算单元，适于根据该选择的统计模板对所述输出路径上的符合指定格式的数据进行统计计算。
[0045]可选地，所述统计计算单元，适于确定符合指定格式的数据的属性信息，根据该属性信息查询模板属性列表确定对应的统计模板标识，根据所确定的统计模板标识从统计模板库中选择相应的统计模板;其中模板属性列表中对应保存了数据的属性信息和对应的统计模板标识。
[0046]可选地，该装置进一步包括:样例展示单元，适于在配置页面上展示数据解析样例;或者，在配置页面上提供样例数据输入框，通过该输入框接收用户输入的样例数据并进行解析后，将解析结果数据展示给用户。
[0047]可选地，所述数据解析单元，适于通过所述配置页面获取用户输入的数据解析方法信息;根据用户输入的数据解析方法信息对所述源数据文件中的数据进行解析处理。
[0048]可选地，所述源数据获取单元，进一步适于通过所述配置页面获取用户输入的源数据文件完整性标识;根据该源数据文件路径找到相应源数据文件，根据源数据文件完整性标识判断该源数据文件是否完整，是则获取该源数据文件，否则等到该源数据文件完整时再获取该源数据文件。
[0049]可选地，该装置进一步包括:调度单元，适于通过所述配置页面获取用户提交的任务执行时间信息；在所述任务执行时间信息对应的一个或多个时间点，调度所述源数据获取单元执行所述根据该源数据文件路径获取相应源数据文件的步骤，以及调度所述统计计算单元执行从统计模板库中选择一个统计模板，根据该选择的统计模板对源数据文件中的数据进行统计计算，得到计算结果数据并保存到计算结果数据库中的步骤。
[0050]可选地，该装置进一