一种数据处理方法及装置制造方法

一种数据处理方法及装置制造方法
【专利摘要】本发明实施例提供了一种数据处理方法及装置。一方面，本发明实施例通过依据数据的描述信息，获得针对所述数据的数据处理任务；从而将所述数据处理任务发送给第一终端，以使得所述第一终端执行所述数据处理任务；进而在所述第一终端执行所述数据处理任务出现异常时，向第二终端发送所述数据处理任务，以使得所述第二终端执行所述数据处理任务。因此，本发明实施例提供的技术方案能够提高数据处理效率。
【专利说明】一种数据处理方法及装置 【【技术领域】】
[0001] 本发明涉及技术计算机【技术领域】，尤其涉及一种数据处理方法及装置。 【【背景技术】】
[0002] 目前，随着互联网的蓬勃发展，各种数据以爆炸式的速度增长。现有技术中数据处 理方法为：依据所需要的数据的描述信息，手动编写针对该数据的数据处理任务，然后将数 据处理任务配置到终端上，由终端执行配置的数据处理任务，终端可以利用本地设置的数 据源执行数据处理任务，从而可以从数据源中获得所需要的数据。
[0003] 然而，对于不同的数据需求，需要手动编写不同的数据处理任务，以及手动配置数 据处理任务，而且，终端执行数据处理任务失败或者执行效率低，都会大大影响数据处理效 率，因此，目前这种数据处理方法的数据处理效率比较低。 【
【发明内容】
】
[0004] 有鉴于此，本发明实施例提供了一种数据处理方法及装置，可以实现提高数据处 理效率。
[0005] 本发明实施例的一方面，提供一种数据处理方法，包括：
[0006] 依据数据的描述信息，获得针对所述数据的数据处理任务；
[0007] 将所述数据处理任务发送给第一终端，以使得所述第一终端执行所述数据处理任 务；
[0008] 若所述第一终端执行所述数据处理任务出现异常，向第二终端发送所述数据处理 任务，以使得所述第二终端执行所述数据处理任务。
[0009] 如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述依据数 据的描述信息，获得针对所述数据的数据处理任务，包括：
[0010] 接收输入的所述数据的描述信息，所述数据的描述信息包括所述数据所在字段信 息和所述数据对应的分类信息；
[0011] 利用数据处理语言描述所述数据的描述信息，以获得针对所述数据的数据处理任 务；
[0012] 其中，所述数据处理语言包括微软Μ语言、R语言、Hive查询语言HQL或者结构化 查询语言SQL。
[0013] 如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述将所述 数据处理任务发送给第一终端，以使得所述第一终端执行所述数据处理任务，包括：
[0014] 获得所述数据处理任务对应的数据源信息；
[0015] 获得所述数据源信息所指示的数据源所在的第一终端；
[0016] 将所述数据处理任务发送给所述第一终端，以使得所述第一终端利用所述数据源 执行所述数据处理任务，以获得用于提供给用户的所述数据。
[0017] 如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述数据处 理任务的数目为Μ个，Μ为大于或者等于1的整数；所述获得所述数据处理任务对应的数据 源信息，包括：
[0018] 依据每个所述数据处理任务的属性信息，从Μ个所述数据处理任务中提取Ν个所 述数据处理任务，Ν为大于或者等于1，且小于或者等于Μ的整数；
[0019] 对Ν个所述数据处理任务中每个所述数据处理任务进行解析，以获得每个所述数 据处理任务对应的数据源信息，每个所述数据源信息所指示的数据源用于存储对应的数据 处理任务所针对的数据。
[0020] 如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述若所述 第一终端执行所述数据处理任务出现异常，向第二终端发送所述数据处理任务之前，所述 方法还包括：
[0021] 获得所述第一终端执行所述数据处理任务的效率信息；若所述效率信息小于预设 的效率门限，确定所述第一终端执行所述数据处理任务出现异常；或者，
[0022] 获得所述第一终端执行所述数据处理任务的执行结果；若所述执行结果为执行失 败，确定所述第一终端执行所述数据处理任务出现异常。
[0023] 如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述若所述 第一终端执行所述数据处理任务出现异常，向第二终端发送所述数据处理任务，以使得所 述第二终端执行所述数据处理任务，包括：
[0024] 获得所述数据源信息所指示的数据源所在的第二终端，向所述第二终端发送所述 数据处理任务，以便于所述第二终端利用所述数据源执行所述数据处理任务，以获得用于 提供给用户的所述数据；或者，
[0025] 确定第二终端，向所述第二终端发送所述数据处理任务和所述第一终端的标识， 以便于所述第二终端依据所述第一终端的标识从所述第一终端获得所述数据源，以及利用 所述数据源执行所述数据处理任务，以获得用于提供给用户的所述数据。
[0026] 本发明实施例的一方面，提供一种数据处理方法装置，包括：
[0027] 任务生成单元，用于依据数据的描述信息，获得针对所述数据的数据处理任务；
[0028] 任务分发单元，用于将所述任务生成单元获得的所述数据处理任务发送给第一终 端，以使得所述第一终端执行所述数据处理任务；
[0029] 所述任务分发单元，还用于若所述第一终端执行所述数据处理任务出现异常，向 第二终端发送所述任务生成单元获得的所述数据处理任务，以使得所述第二终端执行所述 数据处理任务。
[0030] 如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述任务生 成单元，具体用于：
[0031] 接收输入的所述数据的描述信息，所述数据的描述信息包括所述数据所在字段信 息和所述数据对应的分类信息；
[0032] 利用数据处理语言描述所述数据的描述信息，以获得针对所述数据的数据处理任 务；
[0033] 其中，所述数据处理语言包括微软Μ语言、R语言、Hive查询语言HQL或者结构化 查询语言SQL。
[0034] 如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述任务分 发单元，具体用于：
[0035] 获得所述数据处理任务对应的数据源信息；
[0036] 获得所述数据源信息所指示的数据源所在的第一终端；
[0037] 将所述数据处理任务发送给所述第一终端，以使得所述第一终端利用所述数据源 执行所述数据处理任务，以获得用于提供给用户的所述数据。
[0038] 如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述数据处 理任务的数目为Μ个，Μ为大于或者等于1的整数；所述获得所述数据处理任务对应的数据 源信息，具体为：
[0039] 依据每个所述数据处理任务的属性信息，从Μ个所述数据处理任务中提取Ν个所 述数据处理任务，Ν为大于或者等于1，且小于或者等于Μ的整数；
[0040] 对Ν个所述数据处理任务中每个所述数据处理任务进行解析，以获得每个所述数 据处理任务对应的数据源信息，每个所述数据源信息所指示的数据源用于存储对应的数据 处理任务所针对的数据。
[0041] 如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述装置还 包括：
[0042] 任务监控单元，用于获得所述第一终端执行所述数据处理任务的效率信息；若所 述效率信息小于预设的效率门限，确定所述第一终端执行所述数据处理任务出现异常；或 者，用于获得所述第一终端执行所述数据处理任务的执行结果；若所述执行结果为执行失 败，确定所述第一终端执行所述数据处理任务出现异常。
[0043] 如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述任务分 发单元，具体用于：
[0044] 获得所述数据源信息所指示的数据源所在的第二终端，向所述第二终端发送所述 数据处理任务，以便于所述第二终端利用所述数据源执行所述数据处理任务，以获得用于 提供给用户的所述数据；或者，
[0045] 确定第二终端，向所述第二终端发送所述数据处理任务和所述第一终端的标识， 以便于所述第二终端依据所述第一终端的标识从所述第一终端获得所述数据源，以及利用 所述数据源执行所述数据处理任务，以获得用于提供给用户的所述数据。
[0046] 由以上技术方案可以看出，本发明实施例具有以下有益效果：
[0047] 本发明实施例可以依据数据的描述信息自动生成数据处理任务，并在执行数据处 理任务的第一终端出现异常后，及时将该数据处理任务发送给第二终端进行执行，解决了 现有技术中手动编写及配置数据处理任务带来的数据处理效率低的问题，也解决了由于终 端执行数据处理任务失败或者效率低，影响数据处理效率和执行可靠性低的问题。因此，本 发明实施例提供的技术方案能够提高数据处理任务的可靠性和数据处理效率。 【【专利附图】

【附图说明】】
[0048] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附 图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域 普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附 图。
[0049] 图1是本发明实施例所提供的技术方案使用的系统示例图；
[0050] 图2是本发明实施例所提供的数据处理方法的流程示意图；
[0051] 图3是本发明实施例所提供的数据处理装置的功能方块图。 【【具体实施方式】】
[0052] 为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描 述。
[0053] 应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基 于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其 它实施例，都属于本发明保护的范围。
[0054] 在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制 本发明。在本发明实施例和所附权利要求书中所使用的单数形式的"一种"、"所述"和"该" 也旨在包括多数形式，除非上下文清楚地表示其他含义。
[0055] 应当理解，本文中使用的术语"和/或"仅仅是一种描述关联对象的关联关系，表 示可以存在三种关系，例如,A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B 这三种情况。另外，本文中字符"/"，一般表示前后关联对象是一种"或"的关系。
[0056] 应当理解，尽管在本发明实施例中可能采用术语第一、第二等来描述终端，但这些 关键词不应限于这些术语。这些术语仅用来将关键词彼此区分开。例如，在不脱离本发明 实施例范围的情况下，第一终端也可以被称为第二终端，类似地，第二终端也可以被称为第 一终端。
[0057] 取决于语境，如在此所使用的词语"如果"可以被解释成为"在……时"或"当…… 时"或"响应于确定"或"响应于检测"。类似地，取决于语境，短语"如果确定"或"如果检 测（陈述的条件或事件）"可以被解释成为"当确定时"或"响应于确定"或"当检测（陈述 的条件或事件）时"或"响应于检测（陈述的条件或事件）"。
[0058] 本发明实施例给出一种数据处理方法，执行主体可以为数据处理装置。本发明实 施例所提供的技术方案使用的系统如图1所示，主要由数据处理装置和至少两个终端组 成。这里，本发明实施例仅以第一终端和第二终端进行举例说明，并不用于限定本发明实施 例中终端的数目。
[0059] 请参考图2,其为本发明实施例所提供的数据处理方法的流程示意图，如图所示， 该方法包括以下步骤：
[0060] S201，依据数据的描述信息，获得针对所述数据的数据处理任务。
[0061] 具体的，本发明实施例中，依据数据的描述信息，获得针对所述数据的数据处理任 务的方法可以包括但不限于：
[0062] 首先，接收输入的所述数据的描述信息。然后，利用数据处理语言描述所述数据的 描述信息，以获得针对所述数据的数据处理任务。
[0063] 优选的，所述数据处理语言可以包括但不限于：微软（Microsoft，M)语言、R语 言、蜂巢查询语言（Hive Query Language, HQL)或者结构化查询语言（Structured Query Language, SQL)〇
[0064] 其中，由于数据源中会存在大量字段以及每个字段对应的数据，因此，当需要获得 数据源中的数据时，需要显示前端页面，以及通过该前端页面接收用户输入的数据的描述 信息。或者，前端页面可以显示多个数据的描述信息，用户可以在该多个数据的描述信息中 进行选择，从而通过前端页面可以获得用户选出的数据的描述信息。
[0065] 例如，前端页面可以显示多个字段的名称，用户可以在该多个字段中勾选至少一 个字段。
[0066] 优选的，所述数据的描述信息可以包括但不限于：所述数据所在字段信息和所述 数据对应的分类信息。
[0067] 其中，所述数据所在字段信息指的是数据所在字段的标识信息，该标识信息可以 包括但不限于字段的名称或者字段的编号等。
[0068] 其中，所述数据对应的分类信息指的是对数据的划分方式。
[0069] 例如，所述数据对应的分类信息可以包括但不限于按地域划分、按性别划分或者 按年龄划分等。
[0070] 例如，数据源中存储的每条日志中包含字段A、字段B、字段C和字段D，如果需要获 得字段B的数据，则用户需要在前端页面上输入字段B的名称。
[0071] 例如，利用数据处理语言描述数据的描述信息，获得的针对所述数据的数据处理 任务可以但不限于如下代码：
[0072] select product,device_type,case when product='qianqian' then 'nativeapp' else product end as product_new,channel,version, event_baiduid,case when product_type='openapi' then 'android' else device_type end as device_type_new, cast(sum(case when first_date='{DATE}' then '0' else '1' end) as string) as first_flag ,cast(sum(case when last_date='{DATE}' then '0' else '1' end) as string) as last_flag ,cast(sum(case when last_date='{DATE}' then '1' else '0' end) as string) as use_flag ,cast(sum(case when isjogin = '1' and substr(past31 days, 1,1) ='1' then '1' else '0' end) as string) as is_login_flag from music_mds_user_lebo_info where event_day='{DATE}' and event_terminal_type='wiseclient' group by event_baiduid,product,device_type ,case when product_type='openapi' then 'android' else device-type end,channel,version, case when product='qianqian' then 'nativeapp' else product end
[0073] 上述数据处理任务中，"where"后面的代码表示所述数据所在字段信息，"group by"后面的代码表示所述数据对应的分类信息。
[0074] 另外，在获得针对数据的数据处理任务后，可以将获得的数据处理任务存储在数 据库中，用于等待被提取以及被执行。
[0075] 可以理解的是，本发明实施例中，每当接收到输入的所述数据的描述信息，就可以 利用数据处理语言描述所述数据的描述信息，以获得针对所述数据的数据处理任务，因此， 数据库中就可以存储至少一个等待被提取和被执行的数据处理任务。这里，将获得的数据 处理任务存储在数据库可以方便快速读写，以提高数据处理效率。
[0076] S202,将所述数据处理任务发送给第一终端，以使得所述第一终端执行所述数据 处理任务。
[0077] 具体的，在获得针对数据的数据处理任务后，可以将获得的数据处理任务发送给 第一终端，以使得所述第一终端能够在获得该数据处理任务后，执行该数据处理任务。
[0078] 举例说明，将获得的数据处理任务发送给第一终端的方法可以包括但不限于：
[0079] 首先，获得所述数据处理任务对应的数据源信息。然后，获得所述数据源信息所指 示的数据源所在的第一终端。最后，将所述数据处理任务发送给所述第一终端，以使得所述 第一终端利用所述数据源执行所述数据处理任务，以获得用于提供给用户的所述数据。
[0080] 其中，所述获得所述数据处理任务对应的数据源信息的方法可以包括但不限于：
[0081] 首先，若数据库中存储有Μ个数据处理任务的数目，Μ为大于或者等于1的整数，则 可以依据每个所述数据处理任务的属性信息，从Μ个所述数据处理任务中提取Ν个所述数 据处理任务；其中，Ν为大于或者等于1，且小于或者等于Μ的整数。然后，对Ν个所述数据 处理任务中每个所述数据处理任务进行解析，以获得每个所述数据处理任务对应的数据源 信息，每个所述数据源信息所指示的数据源用于存储对应的数据处理任务所针对的数据。 [0082] 其中，所述数据处理任务的属性信息可以包括但不限于：数据处理任务的标识信 息、执行结果的存储路径、优先级信息、状态信息和任务生成时间等。
[0083] 其中，所述数据处理任务的状态信息可以包括正在执行、等待执行和执行完毕。
[0084] 其中，可以依据时间间隔定时扫描Μ个数据处理任务的执行状态，依据每个数据 处理任务的优先级信息，将其中等待执行的数据处理任务按照优先级由高到低的顺序进行 排序，以获得排序结果。然后依据预设的数值Ν，从排序结果中提取等待执行的数据处理任 务中优先级最高的Ν个数据处理任务。
[0085] 或者，也可以依据时间间隔定时扫描Μ个数据处理任务的执行状态，依据每个数 据处理任务的任务生成时间，将其中等待执行的数据处理任务按照任务生成时间由远到近 的顺序进行排序，以获得排序结果。然后依据预设的数值Ν，从排序结果中提取等待执行的 数据处理任务中最早生成的Ν个数据处理任务。
[0086] 可以理解的是，每个数据源信息用于指示一个数据源，每个终端可以存储至少一 个数据源，每个数据源可以同时存储在至少一个终端中，基于此，本发明实施例中，可以预 先获得终端与数据源的对应关系，在获得数据源信息后，可以依据该数据源信息，从该终端 与数据源的对应关系中，获得该数据源信息所指示的数据源所在的至少一个终端。
[0087] 若获得至少两个终端，则选择包含的内容最少的数据源所在的终端，将选出的包 含的内容最少的数据源所在的终端作为上述第一终端。这里，包含的内容最少的数据源对 应的数据查询速度最快，因此，为了优化查询速度，当存在至少两个数据源时，只选择一个 内容最少的数据源即可。
[0088] 第一终端接收到数据处理任务后，可以执行该数据处理任务，依据数据所在字段 信息，获得相应的数据，以及依据数据的分类信息，对获得的数据进行分类，最后向用户提 供分类结果。
[0089] 例如，在音乐的榜单数据中，会显示榜单中每个音乐的播放量，若用户在前端页面 上点击榜单数据或者悬停在榜单数据时，可以显示至少一个分类信息供用户选择。然后依 据播放量的字段信息以及用户选择的播放量的分类信息，生成相应的数据处理任务。终端 执行该数据处理任务时，可以从终端本地的数据源中查询到播放量，以及依据分类信息对 播放量进行分类，如按照地域进行划分或者按照性别进行划分等，然后可以按照地域显示 各个地区的音乐，或者按照性别分别显示男性歌手的音乐和女性歌手的音乐。
[0090] S203,若所述第一终端执行所述数据处理任务出现异常，向第二终端发送所述数 据处理任务，以使得所述第二终端执行所述数据处理任务。
[0091] 具体的，第一终端执行所述数据处理任务的过程中，可以依据预设的时间间隔，定 时获得所述第一终端执行所述数据处理任务的效率信息。若所述效率信息小于预设的效率 门限，表示第一终端由于处理资源不足等原因导致数据处理任务执行缓慢，则确定所述第 一终端执行所述数据处理任务出现异常。反之，若所述效率信息大于或者等于该效率门限， 确定所述第一终端执行所述数据处理任务正常。
[0092] 例如，将本次获取第一终端执行数据处理任务的进度百分比与上一次获取第一终 端执行数据处理任务的进度百分比的差值，作为第一终端执行所述数据处理任务的效率信 息。
[0093] 或者，在第一终端执行所述数据处理任务完毕后，可以接收第一终端返回的执行 结果，这样，就可以获得所述第一终端执行所述数据处理任务的执行结果。若所述执行结果 为执行失败，表示第一终端由于出现故障等原因导致数据处理任务执行失败，则确定所述 第一终端执行所述数据处理任务出现异常。反之，若所述执行结果为执行成功，确定所述第 一终端执行所述数据处理任务正常。
[0094] 在确定所述第一终端执行所述数据处理任务出现异常后，为了保证能够及时执行 数据处理任务，以及能够及时获得所需要的数据，可以向第二终端发送所述数据处理任务， 以使得所述第二终端执行所述数据处理任务。
[0095] 举例说明，向第二终端发送所述数据处理任务，以使得所述第二终端执行所述数 据处理任务的方法可以包括但不下限于以下两种方法：
[0096] 第一种：若依据终端与数据源的对应关系，获得的该数据源信息所指示的数据源 存储在至少两个终端中，包含上述第一终端，当第一终端执行数据处理任务异常后，可以进 一步获得该数据源信息所指示的数据源所在的第二终端，第二终端指的该数据源信息所指 示的数据源存储在的至少两个终端中除第一终端以外的一个终端。然后，向该第二终端发 送数据处理任务，以便于所述第二终端利用所述数据源执行所述数据处理任务，以获得用 于提供给用户的所述数据。
[0097] 第二种：确定第二终端，向所述第二终端发送所述数据处理任务和所述第一终端 的标识，以便于所述第二终端依据所述第一终端的标识从所述第一终端获得所述数据源， 以及利用所述数据源执行所述数据处理任务，以获得用于提供给用户的所述数据。
[0098] 例如，可以依据除第一终端以外其他终端的负载状态信息，将其中负载最轻的终 端作为上述第二终端。
[0099] 另外，第二终端接收到数据处理任务后，可以执行该数据处理任务，依据数据所在 字段信息，获得相应的数据，以及依据数据的分类信息，对获得的数据进行分类，最后向用 户提供分类结果。
[0100] 可以理解的是，当数据源只存储在一个终端中，即只存储在第一终端中，若第一终 端执行数据处理任务异常时，需要另外选择一个第二终端执行该数据处理任务，但是该第 二终端没有执行该数据处理任务时所需要的数据源，因此，第二终端需要先依据第一终端 的标识，找到第一终端，并从第一终端下载该数据源，然后，才能利用该数据源执行所述数 据处理任务，以获得用于提供给用户的所述数据。
[0101] 另外，第一终端或者第二终端执行数据处理任务成功后，会获得数据处理任务的 执行结果，可以利用结构化存储方式，存储数据处理任务的执行结果，这样，执行结果可以 反复使用。
[0102] 另外，可以利用数据备份技术，将数据处理任务的执行结果同时存储在至少两个 终端的数据源中，这样，当一个终端出现异常时还可以从其他终端中获得数据处理任务的 执行结果，避免由于存储执行结果的终端的异常而影响执行结果的获取和使用。
[0103] 例如，在按照地域进行划分或者按照性别对音乐的播放量进行划分后，可以将各 个地区的音乐的播放量存储在至少两个终端的数据源中。或者，在至少两个终端中每个终 端的数据源中，分别按照性别存储男性歌手的音乐和女性歌手的音乐。
[0104] 需要说明的是，本发明实施例中所涉及的终端可以包括但不限于个人计算机 (Personal Computer，PC)、个人数字助理（Personal Digital Assistant，PDA)、无线手持 设备、平板电脑（Tablet Computer)、手机、MP3播放器、MP4播放器等。
[0105] 需要说明的是，S201?S203的执行主体可以为数据处理装置，该装置可以位于本 地终端的应用，或者还可以为位于本地终端的应用中的插件或软件开发工具包（Software Development Kit, SDK)等功能单元，或者还可以位于服务器，本发明实施例对此不进行特 别限定。
[0106] 可以理解的是，所述应用可以是安装在终端上的应用程序（nativeApp)，或者还可 以是终端上的浏览器的一个网页程序（webApp)，本发明实施例对此不进行限定。
[0107] 本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。
[0108] 请参考图3,其为本发明实施例所提供的数据处理装置的功能方块图。如图所示， 该装置包括：
[0109] 任务生成单元30,用于依据数据的描述信息，获得针对所述数据的数据处理任 务；
[0110] 任务分发单元31，用于将所述任务生成单元获得的所述数据处理任务发送给第一 终端，以使得所述第一终端执行所述数据处理任务；
[0111] 所述任务分发单元31，还用于若所述第一终端执行所述数据处理任务出现异常， 向第二终端发送所述任务生成单元获得的所述数据处理任务，以使得所述第二终端执行所 述数据处理任务。
[0112] 优选的，所述任务生成单元30,具体用于：
[0113] 接收输入的所述数据的描述信息，所述数据的描述信息包括所述数据所在字段信 息和所述数据对应的分类信息；
[0114] 利用数据处理语言描述所述数据的描述信息，以获得针对所述数据的数据处理任 务；
[0115] 其中，所述数据处理语言包括微软Μ语言、R语言、Hive查询语言HQL或者结构化 查询语言SQL。
[0116] 优选的，所述任务分发单元31，具体用于：
[0117] 获得所述数据处理任务对应的数据源信息；
[0118] 获得所述数据源信息所指示的数据源所在的第一终端；
[0119] 将所述数据处理任务发送给所述第一终端，以使得所述第一终端利用所述数据源 执行所述数据处理任务，以获得用于提供给用户的所述数据。
[0120] 优选的，所述数据处理任务的数目为Μ个，Μ为大于或者等于1的整数；所述获得 所述数据处理任务对应的数据源信息，具体为：
[0121] 依据每个所述数据处理任务的属性信息，从Μ个所述数据处理任务中提取Ν个所 述数据处理任务，N为大于或者等于1，且小于或者等于Μ的整数；
[0122] 对Ν个所述数据处理任务中每个所述数据处理任务进行解析，以获得每个所述数 据处理任务对应的数据源信息，每个所述数据源信息所指示的数据源用于存储对应的数据 处理任务所针对的数据。
[0123] 可选的，所述装置还包括：
[0124] 任务监控单元32,用于获得所述第一终端执行所述数据处理任务的效率信息；若 所述效率信息小于预设的效率门限，确定所述第一终端执行所述数据处理任务出现异常； 或者，用于获得所述第一终端执行所述数据处理任务的执行结果；若所述执行结果为执行 失败，确定所述第一终端执行所述数据处理任务出现异常。
[0125] 优选的，所述任务分发单元31，具体用于：
[0126] 获得所述数据源信息所指示的数据源所在的第二终端，向所述第二终端发送所述 数据处理任务，以便于所述第二终端利用所述数据源执行所述数据处理任务，以获得用于 提供给用户的所述数据；或者，
[0127] 确定第二终端，向所述第二终端发送所述数据处理任务和所述第一终端的标识， 以便于所述第二终端依据所述第一终端的标识从所述第一终端获得所述数据源，以及利用 所述数据源执行所述数据处理任务，以获得用于提供给用户的所述数据。
[0128] 由于本实施例中的各单元能够执行图2所示的方法，本实施例未详细描述的部 分，可参考对图2的相关说明。
[0129] 本发明实施例的技术方案具有以下有益效果：
[0130] 本发明实施例通过依据数据的描述信息，获得针对所述数据的数据处理任务；从 而将所述数据处理任务发送给第一终端，以使得所述第一终端执行所述数据处理任务；进 而在所述第一终端执行所述数据处理任务出现异常时，向第二终端发送所述数据处理任 务，以使得所述第二终端执行所述数据处理任务。本发明实施例可以依据数据的描述信息 自动生成数据处理任务，并在执行数据处理任务的第一终端出现异常后，及时将该数据处 理任务发送给第二终端进行执行，解决了现有技术中手动编写及配置数据处理任务带来的 数据处理效率低的问题，也解决了由于终端执行数据处理任务失败或者效率低，影响数据 处理效率和执行可靠性低的问题，因此，本发明实施例提供的技术方案能够提高数据处理 任务的可靠性和数据处理效率。另外，还可以减少人力成本。
[0131] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统， 装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0132] 在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以 通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的 划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组 件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示 或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接 耦合或通信连接，可以是电性，机械或其它的形式。
[0133] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显 示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个 网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目 的。
[0134] 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以 是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单 元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0135] 上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存 储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算 机装置（可以是个人计算机，服务器，或者网络装置等）或处理器（Processor)执行本发 明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器 (Read-Only Memory, ROM)、随机存取存储器（Random Access Memory, RAM)、磁碟或者光盘 等各种可以存储程序代码的介质。
[0136] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
【权利要求】
1. 一种数据处理方法，其特征在于，所述方法包括： 依据数据的描述信息，获得针对所述数据的数据处理任务； 将所述数据处理任务发送给第一终端，以使得所述第一终端执行所述数据处理任务； 若所述第一终端执行所述数据处理任务出现异常，向第二终端发送所述数据处理任 务，以使得所述第二终端执行所述数据处理任务。
2. 根据权利要求1所述的方法，其特征在于，所述依据数据的描述信息，获得针对所述 数据的数据处理任务，包括： 接收输入的所述数据的描述信息，所述数据的描述信息包括所述数据所在字段信息和 所述数据对应的分类信息； 利用数据处理语言描述所述数据的描述信息，以获得针对所述数据的数据处理任务； 其中，所述数据处理语言包括微软Μ语言、R语言、Hive查询语言HQL或者结构化查询 语目SQL。
3. 根据权利要求1所述的方法，其特征在于，所述将所述数据处理任务发送给第一终 端，以使得所述第一终端执行所述数据处理任务，包括： 获得所述数据处理任务对应的数据源信息； 获得所述数据源信息所指示的数据源所在的第一终端； 将所述数据处理任务发送给所述第一终端，以使得所述第一终端利用所述数据源执行 所述数据处理任务，以获得用于提供给用户的所述数据。
4. 根据权利要求3所述的方法，其特征在于，所述数据处理任务的数目为Μ个，Μ为大 于或者等于1的整数；所述获得所述数据处理任务对应的数据源信息，包括： 依据每个所述数据处理任务的属性信息，从Μ个所述数据处理任务中提取Ν个所述数 据处理任务，Ν为大于或者等于1，且小于或者等于Μ的整数； 对Ν个所述数据处理任务中每个所述数据处理任务进行解析，以获得每个所述数据处 理任务对应的数据源信息，每个所述数据源信息所指示的数据源用于存储对应的数据处理 任务所针对的数据。
5. 根据权利要求1所述的方法，其特征在于，所述若所述第一终端执行所述数据处理 任务出现异常，向第二终端发送所述数据处理任务之前，所述方法还包括： 获得所述第一终端执行所述数据处理任务的效率信息；若所述效率信息小于预设的效 率门限，确定所述第一终端执行所述数据处理任务出现异常；或者， 获得所述第一终端执行所述数据处理任务的执行结果；若所述执行结果为执行失败， 确定所述第一终端执行所述数据处理任务出现异常。
6. 根据权利要求3至5中任一项所述的方法，其特征在于，所述若所述第一终端执行所 述数据处理任务出现异常，向第二终端发送所述数据处理任务，以使得所述第二终端执行 所述数据处理任务，包括： 获得所述数据源信息所指示的数据源所在的第二终端，向所述第二终端发送所述数据 处理任务，以便于所述第二终端利用所述数据源执行所述数据处理任务，以获得用于提供 给用户的所述数据；或者， 确定第二终端，向所述第二终端发送所述数据处理任务和所述第一终端的标识，以便 于所述第二终端依据所述第一终端的标识从所述第一终端获得所述数据源，以及利用所述 数据源执行所述数据处理任务，以获得用于提供给用户的所述数据。
7. -种数据处理装置，其特征在于，所述装置包括： 任务生成单元，用于依据数据的描述信息，获得针对所述数据的数据处理任务； 任务分发单元，用于将所述任务生成单元获得的所述数据处理任务发送给第一终端， 以使得所述第一终端执行所述数据处理任务； 所述任务分发单元，还用于若所述第一终端执行所述数据处理任务出现异常，向第二 终端发送所述任务生成单元获得的所述数据处理任务，以使得所述第二终端执行所述数据 处理任务。
8. 根据权利要求7所述的装置，其特征在于，所述任务生成单元，具体用于： 接收输入的所述数据的描述信息，所述数据的描述信息包括所述数据所在字段信息和 所述数据对应的分类信息； 利用数据处理语言描述所述数据的描述信息，以获得针对所述数据的数据处理任务； 其中，所述数据处理语言包括微软Μ语言、R语言、Hive查询语言HQL或者结构化查询 语目SQL。
9. 根据权利要求7所述的装置，其特征在于，所述任务分发单元，具体用于： 获得所述数据处理任务对应的数据源信息； 获得所述数据源信息所指示的数据源所在的第一终端； 将所述数据处理任务发送给所述第一终端，以使得所述第一终端利用所述数据源执行 所述数据处理任务，以获得用于提供给用户的所述数据。
10. 根据权利要求9所述的装置，其特征在于，所述数据处理任务的数目为Μ个，Μ为大 于或者等于1的整数；所述获得所述数据处理任务对应的数据源信息，具体为： 依据每个所述数据处理任务的属性信息，从Μ个所述数据处理任务中提取Ν个所述数 据处理任务，Ν为大于或者等于1，且小于或者等于Μ的整数； 对Ν个所述数据处理任务中每个所述数据处理任务进行解析，以获得每个所述数据处 理任务对应的数据源信息，每个所述数据源信息所指示的数据源用于存储对应的数据处理 任务所针对的数据。
11. 根据权利要求7所述的装置，其特征在于，所述装置还包括： 任务监控单元，用于获得所述第一终端执行所述数据处理任务的效率信息；若所述效 率信息小于预设的效率门限，确定所述第一终端执行所述数据处理任务出现异常；或者，用 于获得所述第一终端执行所述数据处理任务的执行结果；若所述执行结果为执行失败，确 定所述第一终端执行所述数据处理任务出现异常。
12. 根据权利要求9至11中任一项所述的装置，其特征在于，所述任务分发单元，具体 用于： 获得所述数据源信息所指示的数据源所在的第二终端，向所述第二终端发送所述数据 处理任务，以便于所述第二终端利用所述数据源执行所述数据处理任务，以获得用于提供 给用户的所述数据；或者， 确定第二终端，向所述第二终端发送所述数据处理任务和所述第一终端的标识，以便 于所述第二终端依据所述第一终端的标识从所述第一终端获得所述数据源，以及利用所述 数据源执行所述数据处理任务，以获得用于提供给用户的所述数据。
【文档编号】G06F9/46GK104281491SQ201410505500
【公开日】2015年1月14日 申请日期:2014年9月26日 优先权日:2014年9月26日
【发明者】单利伟 申请人:百度在线网络技术（北京）有限公司