基于数据源智能选择的数据处理方法、装置、设备及介质与流程

1.本发明涉及集群计算技术领域，属于智慧城市中对数据源进行智能选择并进行计算处理以获取相应计算结果的应用场景，尤其涉及一种基于数据源智能选择的数据处理方法、装置、设备及介质。


背景技术：

2.随着互联网大数据平台及技术的提升，各专业行业领域对大数据领域的业务数据应用需求日益激增。在构建每个领域的指标体系的过程中，由于单一的数据源无法满足指标计算，因此需要定期从多个数据源中获取相应的数据进行指标值的计算，但是多个数据源的数据由于提供的时间具有较大的差别，同时每个数据源提供的数据的质量也不同，导致上层业务数据处理层在进行指标计算时，无法灵活的在多个数据源中进行切换，计算得到的指标值的时效性不强、准确性不高，从而导致最终得到的指标值的质量较差。


技术实现要素：

3.本发明实施例提供了一种基于数据源智能选择的数据处理方法、装置、设备及介质，旨在解决现有技术方法中对指标值进行计算时所存在的质量较差的问题。
4.第一方面，本发明实施例提供了一种基于数据源智能选择的数据处理方法，其包括：
5.若接收到所输入的数据源信息，根据预置的模型构建规则及预存的历史数据计算日志构建对应的数据源质量评分模型；
6.根据所述模型构建规则从所述数据源信息中获取每一数据源对应的基础评价信息；
7.将每一所述数据源的基础评价信息输入至所述数据源质量评分模型进行处理，得到每一所述数据源的质量评分；
8.根据每个所述数据源的质量评分设置每个所述数据源的优先级；
9.若接收到所述客户端输入的指标计算请求信息，根据预设的检测探针对每个所述数据源是否正常进行检测，以根据检测结果获取其中的正常数据源；
10.根据所述正常数据源的优先级对所述指标计算请求信息中包含的指标进行计算，得到所述指标的指标值。
11.第二方面，本发明实施例提供了一种基于数据源智能选择的数据处理装置，其包括：
12.评分模型构建单元，用于若接收到所输入的数据源信息，根据预置的模型构建规则及预存的历史数据计算日志构建对应的数据源质量评分模型；
13.基础评价信息获取单元，用于根据所述模型构建规则从所述数据源信息中获取每一数据源对应的基础评价信息；
14.质量评分获取单元，用于将每一所述数据源的基础评价信息输入至所述数据源质
量评分模型进行处理，得到每一所述数据源的质量评分；
15.优先级设置单元，用于根据每个所述数据源的质量评分设置每个所述数据源的优先级；
16.正常数据源获取单元，用于若接收到所述客户端输入的指标计算请求信息，根据预设的检测探针对每个所述数据源是否正常进行检测，以根据检测结果获取其中的正常数据源；
17.指标值获取单元，用于根据所述正常数据源的优先级对所述指标计算请求信息中包含的指标进行计算，得到所述指标的指标值。
18.第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于数据源智能选择的数据处理方法。
19.第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于数据源智能选择的数据处理方法。
20.本发明实施例提供了一种基于数据源智能选择的数据处理方法、装置、设备及介质。若接收到所输入的数据源信息，根据模型构建规则构建数据源质量评分模型，获取数据源信息中每一数据源的基础评价信息并输入数据源质量评分模型进行处理，得到每一数据源的质量评分，根据质量评分设置每一数据源的优先级，若接收到客户端输入的指标计算请求信息，根据检测探针从数据源中获取正常数据源，并基于正常数据源的优先级对指标计算请求信息包含的指标进行计算处理得到对应的指标值。通过上述方法，可智能化获取每一数据源的质量评分并配置相应优先级，从而实现了基于数据源的质量灵活选择并切换所需计算的指标对应的数据源，大幅提高了所计算得到的指标值的质量。
附图说明
21.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1为本发明实施例提供的基于数据源智能选择的数据处理方法的流程示意图；
23.图2为本发明实施例提供的基于数据源智能选择的数据处理方法的应用场景示意图；
24.图3为本发明实施例提供的基于数据源智能选择的数据处理方法的子流程示意图；
25.图4为本发明实施例提供的基于数据源智能选择的数据处理方法的另一子流程示意图；
26.图5为本发明实施例提供的基于数据源智能选择的数据处理方法的另一子流程示意图；
27.图6为本发明实施例提供的基于数据源智能选择的数据处理方法的另一子流程示意图；
28.图7为本发明实施例提供的基于数据源智能选择的数据处理方法的另一子流程示
意图；
29.图8为本发明实施例提供的基于数据源智能选择的数据处理方法的另一子流程示意图；
30.图9为本发明实施例提供的基于数据源智能选择的数据处理装置的示意性框图；
31.图10为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
32.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
34.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
35.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
36.请参阅图1及图2，图1是本发明实施例提供的基于数据源智能选择的数据处理方法的流程示意图；图2为本发明实施例提供的基于数据源智能选择的数据处理方法的应用场景示意图；该基于数据源智能选择的数据处理方法应用于管理服务器10中，该基于数据源智能选择的数据处理方法通过安装于管理服务器10中的应用软件进行执行，管理服务器10与至少一台客户端20建立网络连接以实现数据信息的传输，客户端20的使用者即为用户，管理服务器10即是用于接收来自客户端的指标计算请求信息并智能化选择相应数据源以计算得到指标值的服务器端，如企业或政府部门所构建的服务器，客户端20即是用于供用户进行使用并可与管理服务器10进行数据交互的终端设备，如台式电脑、笔记本电脑、平板电脑或手机等。如图1所示，该方法包括步骤s110～s160。
37.s110、若接收到所输入的数据源信息，根据预置的模型构建规则及预存的历史数据计算日志构建对应的数据源质量评分模型。
38.若接收到所输入的数据源信息，根据预置的模型构建规则及预存的历史数据计算日志构建对应的数据源质量评分模型。其中，数据源信息可由管理服务器的管理员进行输入，数据源信息中可包含每一数据源对应的接口信息，数据源的接口信息可采用url链接进行表示，通过接口信息即可调用相应接口，例如接口可用是企业或政府部门所配置的数据源集群所提供的终端接口，则通过数据源的接口信息调用相应数据源的接口，即可从相应数据源获取对应的数据信息。历史数据计算日志即为管理服务器中预先存储的基于数据源中数据信息进行计算的历史记录信息。接收到数据源信息后，可首先根据模型构建规则及预存的历史数据计算日志构建数据源质量评分模型，模型构建规则即为管理服务器中预先配置的用于对数据源相关的信息进行提取的模板，模型构建规则中包含多个信息提取项，
可基于模型构建规则中包含的多个信息提取项及预存的历史数据计算日志构建对应的数据源质量评分模型。
39.在一实施例中，如图3所示，步骤s110包括子步骤s111、s112、s113、s114和s115。
40.s111、根据所述模型构建规则中的信息提取项及所述历史数据计算日志构建与所述信息提取项对应的判断矩阵；s112、对所述判断矩阵中每一列向量进行归一化处理，得到归一化处理后的判断矩阵；s113、将所述归一化处理后的判断矩阵的各行进行相加，得到权重向量；s114、对所述权重向量进行归一化处理，得到与每一所述信息提取项对应的权重值；s115、根据所述权重值对初始数据源质量评分模型进行参数配置以构建得到对应的数据源质量评分模型。
41.具体的，历史数据计算日志中包含每一历史指标计算值计算的过程中每一提取项的贡献度，模型构建规则中可包含精确度、有效比例以及时效度三个信息提取项，则可基于上述三个信息提取项从历史数据计算日志中获取每一历史指标计算值在三个信息提取项中的贡献度，每一历史指标对应包含一个或多个历史指标计算值，则可基于历史指标计算值统计每一历史指标的计算次数，并基于每一历史指标计算值的计算次数占比，对三个信息提取项中的贡献度进行加权计算，得到三个信息提取项的综合贡献度。可基于所得到的三个信息提取项的综合贡献度对应构建得到判断矩阵。
42.所得到的判断矩阵为用于表征所述精确度、所述有效比例以及所述时效度之间的重要性排序的向量矩阵，通过对所述判断矩阵所包含的向量值进行相应的处理，便可得到每个所述数据源的精确度、有效比例以及时效度在所述数据源质量评分模型中的权重。
43.在构建判断矩阵的过程中，采用两两比较的方法，并运用相对尺度进行标记，以确定不同要素对应的重要性评级，可基于三个信息提取项的综合贡献度对要素进行重要性评级。两个信息提取项的对比即构成判断矩阵中的一个要素，所得到的判断矩阵需满足以下要求：(1)a
ij
＞0；(2)a
ji
＝1/a
ij
，(i，j＝1、2、3、.....n)，其中，a
ij
为标度，a
ji
为判断矩阵中的元素，a
ij
值的大小标度含义如表1所示，标度即是与重要性评级向关联的数值，所得到的多个标度进行组合即可构成判断矩阵，则判断矩阵中包含的每一标度即构成该判断矩阵中的一个向量值。
[0044][0045]
表1
[0046]
在本实施例中，通过对所述判断矩阵中每一列的向量进行归一化处理，便可使得
所述判断矩阵中每个元素均落于0
‑
1之间，然后将归一化处理后的判断矩阵的各行进行相加，得到每个所述数据源的精确度、有效比例以及时效度的权重向量，最后对每个所述数据源的精确度、有效比例以及时效度的权重向量进行归一化，便可得到每个所述数据源的精确度、有效比例以及时效度的权重。初始数据源质量评分模型中包含与精确度、有效比例以及时效度三个信息提取项对应的参数，则可根据获取到的权重值对初始数据源质量评分模型中三个信息提取项的参数分别进行配置，进行参数配置后即可得到所构建的数据源质量评分模型。
[0047]
在一实施例中，如图4所示，步骤s115之后还包括步骤s116、s117和s118。
[0048]
s116、计算所述判断矩阵的最大特征根；s117、根据所述最大特征根对所述判断矩阵进行一致性校验，以得到所述数据源质量评分模型是否验证通过的校验结果。
[0049]
具体的，所述一致性校验是每个所述数据源的精确度、有效比例以及时效度的权重能否运用于后续分析的前提和基础。每个所述数据源的精确度、有效比例以及时效度的判断矩阵只有通过所述一致性校验，才能运用每个所述数据源的精确度、有效比例以及时效度的权重对每个所述数据源进行进一步的评价。所述判断矩阵的一致性校验的公式为：其中n为判断矩阵的阶数，λ
max
为判断矩阵的最大特征根。当ci等于0时，则所述判断矩阵具有完全一致性；当ci不等于时，计算所述判断矩阵的检验系数并根据所述检验系数判断所述判断矩阵是否具有一致性；若所述检验系数小于0.1，则所述判断矩阵具有一致性；若大于0.1，则所述判断矩阵不具有一致性。所述检验系数的计算公式为：其中，ri为随机一致性指标，cr为检验系数。
[0050]
s118、若所述校验结果为不通过，反馈数据源质量评分模型校验不通过的提示信息。
[0051]
若校验结果为通过，则继续执行后续步骤，也即是继续执行步骤s120，若校验结果为不通过，则可向管理服务器的管理员反馈数据源质量评分模型校验不通过的提示信息。
[0052]
s120、根据所述模型构建规则从所述数据源信息中获取每一数据源对应的基础评价信息。
[0053]
根据所述模型构建规则从所述数据源信息中获取每一数据源对应的基础评价信息，具体的，所述基础评价信息包括精确度、有效比例及时效度。其中，精确度可用于对每个数据源的数据信息与基准数据之间的接近程度进行表征，有效比例可用于对每个数据源的数据能有效应用于指标计算的比例值进行表征，时效度可用于对每个数据源在预设时间内用于指标计算的时效性进行表征。
[0054]
在一实施例中，如图5所示，步骤s120包括子步骤s121、s122和s123。
[0055]
s121、计算预设时间内每一所述数据源的目标数据与所述模型构建规则中基准数据之间的重合度，得到每一所述数据源的精确度。
[0056]
模型构建规则中配置有预设时间及基准数据，在本实施例中，预设时间可以是某一时间范围之内，如10分钟以内，模型构建规则中的基准数据为上层数据处理层进行指标计算后可达到预设期望的期望数据，每个数据源的目标数据为预设时间内每个所述数据源中实际用于上层数据处理层进行指标计算的数据。由于每个数据源中的数据均用于预设指
标体系的指标计算，因此可以通过统计预设时间内每个所述数据源的目标数据中的指标数量和所述基准数据中指标数量，以获取每个所述数据源中指标的数量在所述基准数据中的占比，便可得到每个所述数据源的精确度。
[0057]
例如，某一数据源的目标数据中包含15个指标数量，基准数据中包含25个指标数量，则该数据源的精确度为60％。
[0058]
s122、计算每一所述数据源的目标数据中有效参数值的占比，得到每一所述数据源的有效比例。
[0059]
模型构建规则中还配置有数据范围，具体的，有效参数值为预设时间内每个数据源的目标数据中可用于指标计算的数据量的占比，可对每一数据源的目标数据中包含的数值是否位于数据范围内进行判断，以获取位于数据范围内的数值，位于数据范围内的数值即可判断为有效数值，并计算每一数据源的有效数值与相应数据源的目标数据总数值之间的比值，得到每一数据源的有效比例。
[0060]
s123、计算每一所述数据源的目标数据与所述模型构建规则中基准数据的时间戳之间的时间差，得到每一所述数据源的时效度。
[0061]
模型构建规则的基准数据中还配置有时间戳，管理服务器中还配置有数据库，数据库即为对基准数据集每一数据源的目标数据进行存储的数据库。时间戳即为基准数据存储至数据库中的时间信息，可计算数据源的目标数据存储至数据库的平均时间与基准数据的时间戳之间的时间差，将所得到的时间差作为相应数据源的时效度。则通过上述方法可计算得到每一数据源的时效度。
[0062]
s130、将每一所述数据源的基础评价信息输入至所述数据源质量评分模型进行处理，得到每一所述数据源的质量评分。
[0063]
数据源质量评分模型为预先制定并用于对每个所述数据源进行质量评价的具体模型，所述质量评分为用于表征所述每个所述数据源的质量。其中，将每个所述数据源的精确度、有效比例以及时效度输入至预置的数据源质量评分模型中之前，需对每个所述数据源的精确度、有效比例以及时效度进行归一化处理，以使得每个所述数据源的精确度、有效比例以及时效度处于同一维度，以便于对每个所述数据源进行定量分析。所述数据源质量评分模型所输出的质量评分可采用以下公式进行表示：l＝a1×
h1+a2×
h2+a3×
h3；其中，a1、a2、a3分别为每个所述数据源的精确度、有效比例以及时效度，h1、h2、h3为对应的权重。
[0064]
s140、根据每个所述数据源的质量评分设置每个所述数据源的优先级。
[0065]
在本实施例中，所述优先级包括第一优先级和第二优先级，其中所述第一优先级的等级高于所述第二优先级，所述数据源质量评分模型输出每个所述数据源的质量评分后，判断每个所述数据源的质量评分是否高于预设阈值，若高于所述预设阈值，则将该数据源的等级设置为第一优先级，若低于所述预设阈值，则将该数据源的等级设置为第二优先级。通过所述预设阈值确定每个所述数据源的优先级后，在预设的配置文件中设置每个所述所数据源的key值，通过所述key值表征每个所述数据源的优先级。所述配置文件保存至预设的配置中心系统中，所述配置中心系统通过spring cloud技术构建并并入相应的jar包，可通过直接使用方法来获取所述配置文件中每个所述数据源的key值，通过解析所述配置文件中的key值便可得到每个所述数据源的优先级。
[0066]
s150、若接收到所述客户端输入的指标计算请求信息，根据预设的检测探针对每
个所述数据源是否正常进行检测，以根据检测结果获取其中的正常数据源。
[0067]
指标计算请求信息中配置有具体的指标，指标计算请求信息为在管理服务器中所配置的上层数据处理层中对相应指标对应的数据进行计算的请求信息，上层数据处理层为用于对指标对应的数据进行计算以获取指标值的数据层，管理服务器在接收到对指标计算请求信息后，可通过预设的检测探针在所配置的数据库中进行扫描，以将存储在该数据库中与相应指标对应的数据发送给上层数据处理层，通过上层数据处理层对指标对应的数据进行计算，便可得到与指标计算请求信息对应的指标值。
[0068]
在更具体的实施例中，如图6所示，步骤s150包括子步骤s151和s152。
[0069]
s151、根据所述检测探针对每个所述数据源进行检测，得到每个所述数据源的状态信息；s152、根据所述状态信息确定所述数据源信息对应的多个数据源中正常数据源。
[0070]
具体的，所述状态信息为每个所述数据源在预设时间内到达所述预设数据库的数据信息，所述状态信息包括未同步、同步成功、同步失败三个状态，每个所述数据源的状态信息均通过预设的状态流转机进行设置，每个所述数据源在到达所述预设数据库中后，所述状态流转机判断该数据源是否同步成功，若同步成功，所述状态流转机将该数据源的状态信息调整为同步成功的状态，若未同步，则所述状态流转机将该数据源的状态信息调整为未同步的状态，若同步失败，则所述状态流转机将该数据源的状态信息调整为同步失败的状态。所述检测探针在检测每个所述数据源的状态信息后，便可得到所述数据源信息对应的多个数据源中正常数据源，通过正常数据源所对应的数据进行所述指标的计算，便可得到所述指标的指标值。
[0071]
s160、根据所述正常数据源的优先级对所述指标计算请求信息中包含的指标进行计算，得到所述指标的指标值。
[0072]
具体的，经筛选得到的正常数据源中至少包含一个数据源，所述正常数据源所配置的优先级可以是第一优先级或第二优先级。通过获取每一正常数据源的优先级，然后根据每个正常数据源的优先级获取相应数据进行计算，即可得到与指标计算请求信息中的指标对应的计算值。
[0073]
在更具体的实施例中，如图7所示，步骤s160包括子步骤s161、s162、s163和s164。
[0074]
s161、判断所述正常数据源中是否包含优先级为第一优先级的正常数据源；s162、若包含第一优先级的正常数据源，获取所述第一优先级的正常数据源中存储时间最新的一个正常数据源对应的数据作为待计算数据；s163、若不包含第一优先级的正常数据源；获取优先级为第二优先级的正常数据源中存储时间最新的一个正常数据源对应的数据作为待计算数据；s164、根据所述指标对应的计算式对待计算数据进行计算，得到与所述指标对应的指标值。
[0075]
可根据正常数据源的优先级获取第一优先级的正常数据源，并判断第一优先级的正常数据源是否为一个，若为一个，则直接获取该正常数据源存储在数据库中的数据作为待计算数据进行计算；若第一优先级的正常数据源为多个，则获取存储时间最新的正常数据源对应的数据作为待计算数据进行计算，存储时间即为数据源的数据存储至管理服务器中所配置的数据库中的时间信息；若第一优先级的正常数据源为零个，则获取获取优先级为第二优先级的正常数据源中存储时间最新的一个正常数据源对应的数据作为待计算数据。管理服务器中还配置有与每一指标分别对应的计算式，计算式可以是采用sql语言编辑
得到的sql语句，sql语句即为预先编辑好且可用于在上层数据处理层中对数据进行的程序语言。所述指标既可以为基础指标，也可以为衍生指标，其中衍生指标由多个基础指标根据预设的运算规则得到。
[0076]
在更具体的实施例中，如图8所示，步骤s164之后还包括步骤s165。
[0077]
s165、若所述检测探针检测到所述数据源信息对应的多个数据源中异常数据源恢复正常，根据所述异常数据源恢复正常的时间戳更新所述异常数据源的优先级。
[0078]
具体的，检测探针定期对每个数据源的状态信息进行检测，当多个数据源中的异常数据源恢复正常后，该异常数据源的状态信息则被状态流转机设置为同步成功的状态信息，所述检测探针在检测到多个数据源中异常数据源恢复正常后，通过所述异常数据源恢复正常的时间戳更新所述异常数据的时效度，然后根据所述异常数据的时效度更新所述异常数据的优先级。
[0079]
本技术可应用于智慧政务/智慧城管/智慧社区/智慧安防/智慧物流/智慧医疗/智慧教育/智慧环保/智慧交通等对数据源进行智能选择并进行计算处理以获取相应计算结果的场景中，从而推动智慧城市的建设。
[0080]
在本发明实施例所提供的基于数据源智能选择的数据处理方法中，若接收到所输入的数据源信息，根据模型构建规则构建数据源质量评分模型，获取数据源信息中每一数据源的基础评价信息并输入数据源质量评分模型进行处理，得到每一数据源的质量评分，根据质量评分设置每一数据源的优先级，若接收到客户端输入的指标计算请求信息，根据检测探针从数据源中获取正常数据源，并基于正常数据源的优先级对指标计算请求信息包含的指标进行计算处理得到指标值。通过上述方法，可智能化获取每一数据源的质量评分并配置相应优先级，从而实现了基于数据源的质量灵活选择并切换所需计算的指标对应的数据源，大幅提高了所计算得到的指标值的质量。
[0081]
本发明实施例还提供一种基于数据源智能选择的数据处理装置，该基于数据源智能选择的数据处理装置用于执行前述的基于数据源智能选择的数据处理方法的任一实施例，具体地，请参阅图9，图9为本发明实施例提供的基于数据源智能选择的数据处理装置的示意性框图。
[0082]
如图9所示，基于数据源智能选择的数据处理装置100包括评分模型构建单元110、基础评价信息获取单元120、质量评分获取单元130、优先级设置单元140、正常数据源获取单元150和指标值获取单元160。
[0083]
评分模型构建单元110，用于若接收到所输入的数据源信息，根据预置的模型构建规则及预存的历史数据计算日志构建对应的数据源质量评分模型。
[0084]
在一实施例中，所述评分模型构建单元110包括子单元：判断矩阵构建单元，用于根据所述模型构建规则中的信息提取项及所述历史数据计算日志构建与所述信息提取项对应的判断矩阵；归一化处理单元，用于对所述判断矩阵中每一列向量进行归一化处理，得到归一化处理后的判断矩阵；权重向量获取单元，用于将所述归一化处理后的判断矩阵的各行进行相加，得到权重向量；权重值获取单元，用于对所述权重向量进行归一化处理，得到与每一所述信息提取项对应的权重值；参数配置单元，用于根据所述权重值对初始数据源质量评分模型进行参数配置以构建得到对应的数据源质量评分模型。
[0085]
在一实施例中，所述评分模型构建单元110还包括子单元：最大特征根计算单元，
用于计算所述判断矩阵的最大特征根；模型验证单元，用于根据所述最大特征根对所述判断矩阵进行一致性校验，以得到所述数据源质量评分模型是否验证通过的校验结果；提示信息反馈单元，用于若所述校验结果为不通过，反馈数据源质量评分模型校验不通过的提示信息。
[0086]
基础评价信息获取单元120，用于根据所述模型构建规则从所述数据源信息中获取每一数据源对应的基础评价信息。
[0087]
在一实施例中，所述基础评价信息获取单元120包括子单元：精确度获取单元，用于计算预设时间内每一所述数据源的目标数据与所述模型构建规则中基准数据之间的重合度，得到每一所述数据源的精确度；有效比例获取单元，用于计算每一所述数据源的目标数据中有效参数值的占比，得到每一所述数据源的有效比例；时效度获取单元，用于计算每一所述数据源的目标数据与所述模型构建规则中基准数据的时间戳之间的时间差，得到每一所述数据源的时效度。
[0088]
质量评分获取单元130，用于将每一所述数据源的基础评价信息输入至所述数据源质量评分模型进行处理，得到每一所述数据源的质量评分。
[0089]
优先级设置单元140，用于根据每个所述数据源的质量评分设置每个所述数据源的优先级。
[0090]
正常数据源获取单元150，用于若接收到所述客户端输入的指标计算请求信息，根据预设的检测探针对每个所述数据源是否正常进行检测，以根据检测结果获取其中的正常数据源。
[0091]
在一实施例中，所述正常数据源获取单元150包括子单元：状态信息获取单元，用于根据所述检测探针对每个所述数据源进行检测，得到每个所述数据源的状态信息；正常数据源确定单元，用于根据所述状态信息确定所述数据源信息对应的多个数据源中正常数据源。
[0092]
指标值获取单元160，用于根据所述正常数据源的优先级对所述指标计算请求信息中包含的指标进行计算，得到所述指标的指标值。
[0093]
在一实施例中，所述指标值获取单元160包括子单元：优先级判断单元，用于判断所述正常数据源中是否包含优先级为第一优先级的正常数据源；第一待计算数据获取单元，用于若包含第一优先级的正常数据源，获取所述第一优先级的正常数据源中存储时间最新的一个正常数据源对应的数据作为待计算数据；第二待计算数据获取单元，用于若不包含第一优先级的正常数据源；获取优先级为第二优先级的正常数据源中存储时间最新的一个正常数据源对应的数据作为待计算数据；数据计算单元，用于根据所述指标对应的计算式对待计算数据进行计算，得到与所述指标对应的指标值。
[0094]
在一实施例中，所述指标值获取单元160还包括子单元：优先级更新单元，用于若所述检测探针检测到所述数据源信息对应的多个数据源中异常数据源恢复正常，根据所述异常数据源恢复正常的时间戳更新所述异常数据源的优先级。
[0095]
在本发明实施例所提供的基于数据源智能选择的数据处理装置应用上述基于数据源智能选择的数据处理方法，若接收到所输入的数据源信息，根据模型构建规则构建数据源质量评分模型，获取数据源信息中每一数据源的基础评价信息并输入数据源质量评分模型进行计算，得到每一数据源的质量评分，根据质量评分设置每一数据源的优先级，若接
收到客户端输入的指标计算请求信息，根据检测探针从数据源中获取正常数据源，并基于正常数据源的优先级对指标计算请求信息包含的指标进行计算得到指标值。通过上述方法，可智能化获取每一数据源的质量评分并配置相应优先级，从而实现了基于数据源的质量灵活选择并切换所需计算的指标对应的数据源，大幅提高了所计算得到的指标值的质量。
[0096]
上述基于数据源智能选择的数据处理装置可以实现为计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。
[0097]
请参阅图10，图10是本发明实施例提供的计算机设备的示意性框图。该计算机设备可以是用于执行基于数据源智能选择的数据处理方法以对数据源进行智能选择并进行计算以获取相应计算结果的管理服务器。
[0098]
参阅图10，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括存储介质503和内存储器504。
[0099]
该存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于数据源智能选择的数据处理方法，其中，存储介质503可以为易失性的存储介质或非易失性的存储介质。
[0100]
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
[0101]
该内存储器504为存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于数据源智能选择的数据处理方法。
[0102]
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图10中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0103]
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现上述的基于数据源智能选择的数据处理方法中对应的功能。
[0104]
本领域技术人员可以理解，图10中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图10所示实施例一致，在此不再赘述。
[0105]
应当理解，在本发明实施例中，处理器502可以是中央处理单元(central processing unit，cpu)，该处理器502还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0106]
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为易失性或非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现上述的基于数据源智能选择的数据处理方法。
[0107]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设
备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0108]
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
[0109]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
[0110]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0111]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，管理服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0112]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。