[0001]本发明涉及数据处理
技术领域：
：，特别涉及一种动态修改执行计划方法、系统、计算机可读存储介质。
背景技术：
：：[0002]目前大数据计算框架无法动态修改执行计划问题，已经提交执行的流式计算任务，其执行计划dag或是数据处理逻辑是无法被动态修改，必须在修改执行计划之后重启才能生效。[0003]具体的，以flink计算框架为例，通过sql编写数据处理逻辑etl(extract-transform-load：将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端)是无法被动态修改的，必须在修改处理逻辑后重启程序才会被应用到流程中。技术实现要素：[0004]基于此，本发明的目的是提供一种动态修改执行计划方法系统、计算机可读存储介质，将配置语句从计算框架启动执行逻辑中抽取出来，成为独立的模块，并支持动态编译、调用执行以及动态刷新业务配置。[0005]本发明提供一种动态修改执行计划方法，其中，所述方法包括：[0006]接收待更新配置语句，并将所述待更新配置语句分发配置到每个执行节点；[0007]当所述执行节点的通用算子processfunction监听到所述待更新配置语句信息时，触发配置刷新指令；[0008]将所述待更新配置语句转换为可执行的程序逻辑；[0009]将原执行函数的代码对应修改替换。[0010]分发明提供的动态修改执行计划方法，当接收到待更新配置语句时，将待更新配置语句分发至每个执行节点，执行节点的通用算子processfunction实时监听是否接受到待更新配置语句，当接收到待更新配置语句是，触发刷新指令，使得配置语句从计算框架启动执行逻辑中抽取出来，并且将所述配置语句转换为代码并执行，完成对于程序逻辑的动态编译执行，然后将原执行函数的代码对应修改替换，动态刷新业务配置。[0011]进一步的，所述将所述待更新配置语句分发配置到每个执行节点的步骤之后还包括：[0012]对所述待更新配置语句进行解析，获取目标代码以及每个所述目标代码对应的替换路径；[0013]根据所述替换路径确定当前执行节点是否存在修改内容。[0014]进一步的，将所述待更新配置语句转换为可执行的程序逻辑的步骤之前还包括：[0015]校验所述待更新配置语句是否合法；[0016]若否，则结束配置刷新指令。[0017]进一步的，所述将所述待更新配置语句分发配置到每个执行节点的方法为：[0018]所述待更新配置语句通过发布订阅信息系统以信息队列的方式推送至flink广播流，所述订阅信息系统为kafka。[0019]进一步的，所述动态修改执行计划方法的执行计算框架为flink，所述待更新配置语句为json语句或者sql语句中的一种。[0020]本发明提供一种动态修改执行计划处理系统，包括：[0021]接收分配模块，用于接收待更新配置语句，并将所述待更新配置语句分发配置到每个执行节点；[0022]触发刷新模块，同于当所述执行节点的通用算子processfunction监听到所述待更新配置语句信息时，触发配置刷新指令；[0023]执行模块，用于将所述待更新配置语句转换为可执行的程序逻辑；[0024]替换模块，用于将原执行函数的代码对应修改替换。[0025]解析模块，用于对所述待更新配置语句进行解析。[0026]校验模块，用于校验所述待更新配置语句是否合法，若否，则结束配置刷新指令。[0027]本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。[0028]本发明还提出一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。[0029]本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。附图说明[0030]本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：[0031]图1为本发明第一实施例提出的动态修改执行计划方法流程图；[0032]图2为本发明第一实施中将待更新配置语句分发配置到每个执行节点后的流程图；[0033]图3为本发明第一实施中将待更新配置语句转换为可执行的程序逻辑的步骤之前的校验流程图；[0034]图4为本发明第一实施中配置更新触发的流程示意图；[0035]图5为本发明第二实施例的动态修改执行计划处理系统结构示意图；[0036]图6为本发明动态修改执行计划处理设备的硬件结构示意图。具体实施方式[0037]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。[0038]显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。[0039]在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。[0040]除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属
技术领域：
：内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。[0041]请参阅图1至图5，为本发明第一实施例提供的动态修改执行计划方法，对于本发明第一实施例中动态修改执行计划方法，所述方法包括如下步骤：[0042]步骤s10，接收待更新配置语句，并将待更新配置语句分发配置到每个执行节点。[0043]本发明实施例中，计算框架接收写好的待更新配置语句，并且对待更新配置语句解析分发配置到每个执行节点，待更新配置语句一般为sql语句或json语法，在本发明其他实施例中，待更新配置语句还可以是其他语言类语句以适配其构建计算框架的系统平台。[0044]实现配置化sql表达式的计算以下列代码为例：[0045][0046]上述代码算式通过json配置文件来描述组织sql计算逻辑，其中的部分代码所表示的含义如下表所示：[0047][0048]class为静态表(称维表)，student为数据流，可以理解为一个数量一直在增长的表。也就是以下描述说明中被处理的数据流。关于上述sql配置语句请参阅下列说明：[0049]table：给当前处理的流数据定义一个表名。[0050]field：表示从流入数据中选取什么字段，可以理解成selectname，age，genderfromuser这句sql中的select字段name，age，gender。[0051]script是一个嵌套结构。[0052]condition表示过滤条件，可以理解为select*fromstudentwhereage>14andgender＝1这句sql中的where表达式。[0053]joins：是字符串数组，用来表示关联其它表的数据，语法与普通sql无异，其逻辑为当前表student关联一些外部系统中的维度表，如上文配置文件中描述的为student关联class取classname设置到返回结果中。[0054]基于配置文件，程序将解析成对应的程序逻辑，并用程序中对象来描述各个计算逻辑，并能通过调用的方式获取计算结果。[0055]步骤s20，当执行节点的通用算子processfunction监听到待更新配置语句信息时，触发配置刷新指令。[0056]本发明实施例中，执行节点的通用算子processfunction会实时监听是否接收到关于待更新配置语句的信息，当执行节点接收到待更新配置语句的信息时，触发配置刷新指令。[0057]步骤s30，将待更新配置语句转换为可执行的程序逻辑。[0058]在接收到步骤s20的配置刷新指令后，程序将待更新配置语句转换为可执行的程序逻辑。实现了程序实时修改操作。[0059]步骤s40，将原执行函数的代码对应修改替换。[0060]本发明实施例中，当程序完成了其待更新配置语句的转换之后，还进一步的将原执行函数的代码对应修改替换为待更新配置语句转换后的代码，以实现动态刷新业务配置。[0061]本发明提供的动态修改执行计划方法，在修改执行计划时，将用于定义的配置语句(待修改的执行计划配置语句)以及静态编译过程从计算框架启动执行逻辑中抽取出来，成为独立的模块，并且使其支持动态编译、动态调用执行以及动态刷新配置语句。[0062]请参阅图2，为本发明将待更新配置语句分发配置到每个执行节点步骤之后的流程，具体包括：[0063]步骤s11，对待更新配置语句进行解析，获取目标代码以及每个目标代码对应的替换路径。[0064]本发明实施例中，对待更新配置语句进行解析得到需要进行修改替换的目标代码以及每个目标代码对应的替换路径。[0065]步骤s12，根据替换路径确定当前执行节点是否存在修改内容。[0066]进一步的额，通过替换路径和执行节点进行比对，以确定当前的执行节点是否存在需要修改替换的程序代码。[0067]请参阅图3，将待更新配置语句转换可执行的程序逻辑的步骤之前还包括：[0068]步骤s21，校验待更新配置语句是否合法。[0069]若是，则执行步骤s30，[0070]若否，则结束配置刷新指令。[0071]本发明实施例中，通过校验待更新配置语句的合法性，以提升动态修改执行计划处理过程中的安全保密性能，验证待更新配置语句是否合法的具体方式可以是通过秘钥加密的方式进行。可以理解的，在本发明其他实施例中，还可以通过其他认证方式对待更新配置语句进行校验，以达到提升修改执行计划处理过程的安全性的目的。[0072]在本发明实施例中，待更新配置语句通过发布订阅信息系统以信息队列的方式推送至flink广播流，订阅信息系统为kafka。即选用flink计算框架并采用kafka发送消息队列的方式至flink广播流，使得以广播流的方式将数据(待更新配置语句)分发至各个执行节点。[0073]具体还请参阅图4，为本发明配置的推送的更新触发的具体实现了流程示意图。本发明实施例中，除了原有的计算数据流，额外增加了一个广播流，广播流的作用是动态推送配置给分布式计算引擎的每个节点，达到通知的目的，此处使用该功能做配置的推送的更新触发。[0074]本实施例还提供了一种动态修改执行计划处理系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。[0075]请参阅图5，基于同一发明构思，本发明第二实施例提出的动态修改执行计划处理系统，该系统包括：[0076]接收分配模块，用于接收待更新配置语句，并将所述待更新配置语句分发配置到每个执行节点；[0077]触发刷新模块，同于当所述执行节点的通用算子processfunction监听到所述待更新配置语句信息时，触发配置刷新指令；[0078]执行模块，用于将所述待更新配置语句转换为可执行的程序逻辑；[0079]替换模块，用于将原执行函数的代码对应修改替换。[0080]本发明第二实施例提出的动态修改执行计划处理系统还包括：[0081]解析模块，用于对待更新配置语句进行解析。[0082]校验模块，用于校验待更新配置语句是否合法，若否，则结束配置刷新指令。[0083]需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。[0084]此外，本发明的实施例还提出一种存储介质，具体是可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一实施例中所述方法的步骤。在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、系统或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、系统或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、系统或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、系统或设备或结合这些指令执行系统、系统或设备而使用的系统。[0085]计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子系统)，便携式计算机盘盒(磁系统)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤系统，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。[0086]此外，本发明的实施例还提出一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一实施例中所述方法的步骤。[0087]应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。[0088]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。[0089]尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。[0090]另外，结合图1描述的本申请实施例动态修改执行计划处理方法可以由动态修改执行计划处理设备来实现。图6为根据本申请实施例的动态修改执行计划处理设备的硬件结构示意图。[0091]动态修改执行计划处理设备可以包括处理器61以及存储有计算机程序指令的存储器62。[0092]具体地，上述处理器61可以包括中央处理器(cpu)，或者特定集成电路(applicationspecificintegratedcircuit，简称为asic)，或者可以被配置成实施本申请实施例的一个或多个集成电路。[0093]其中，存储器62可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器62可包括硬盘驱动器(harddiskdrive，简称为hdd)、软盘驱动器、固态驱动器(solidstatedrive，简称为ssd)、闪存、光盘、磁光盘、磁带或通用串行总线(universalserialbus，简称为usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器62可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器62可在数据处理系统的内部或外部。在特定实施例中，存储器62是非易失性(non-volatile)存储器。在特定实施例中，存储器62包括只读存储器(read-onlymemory，简称为rom)和随机存取存储器(randomaccessmemory，简称为ram)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(programmableread-onlymemory，简称为prom)、可擦除prom(erasableprogrammableread-onlymemory，简称为eprom)、电可擦除prom(electricallyerasableprogrammableread-onlymemory，简称为eeprom)、电可改写rom(electricallyalterableread-onlymemory，简称为earom)或闪存(flash)或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器(staticrandom-accessmemory，简称为sram)或动态随机存取存储器(dynamicrandomaccessmemory，简称为dram)，其中，dram可以是快速页模式动态随机存取存储器(fastpagemodedynamicrandomaccessmemory，简称为fpmdram)、扩展数据输出动态随机存取存储器(extendeddateoutdynamicrandomaccessmemory，简称为edodram)、同步动态随机存取内存(synchronousdynamicrandom-accessmemory，简称sdram)等。[0094]存储器62可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器62所执行的可能的计算机程序指令。[0095]处理器61通过读取并执行存储器62中存储的计算机程序指令，以实现上述实施例中的任意一种动态修改执行计划处理方法。[0096]在其中一些实施例中，动态修改执行计划处理设备还可包括通信接口63和总线60。其中，如图6所示，处理器61、存储器62、通信接口63通过总线60连接并完成相互间的通信。[0097]通信接口63用于实现本申请实施例中各模块、系统、单元和/或设备之间的通信。通信接口63还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。[0098]总线60包括硬件、软件或两者，将动态修改执行计划处理设备的部件彼此耦接在一起。总线60包括但不限于以下至少之一：数据总线(databus)、地址总线(addressbus)、控制总线(controlbus)、扩展总线(expansionbus)、局部总线(localbus)。举例来说而非限制，总线60可包括图形加速接口(acceleratedgraphicsport，简称为agp)或其他图形总线、增强工业标准架构(extendedindustrystandardarchitecture，简称为eisa)总线、前端总线(frontsidebus，简称为fsb)、超传输(hypertransport，简称为ht)互连、工业标准架构(industrystandardarchitecture，简称为isa)总线、无线带宽(infiniband)互连、低引脚数(lowpincount，简称为lpc)总线、存储器总线、微信道架构(microchannelarchitecture，简称为mca)总线、外围组件互连(peripheralcomponentinterconnect，简称为pci)总线、pci-express(pci-x)总线、串行高级技术附件(serialadvancedtechnologyattachment，简称为sata)总线、视频电子标准协会局部(videoelectronicsstandardsassociationlocalbus，简称为vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线60可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。[0099]综上，本发明上述实施例当中的动态修改执行计划处理设备，通过接收到待更新配置语句时，将待更新配置语句分发至每个执行节点，执行节点的通用算子processfunction实时监听是否接受到待更新配置语句，当接收到待更新配置语句是，触发刷新指令，使得配置语句从计算框架启动执行逻辑中抽取出来，并且将所述配置语句转换为代码并执行，完成对于程序逻辑的动态编译执行，然后将原执行函数的代码对应修改替换，动态刷新业务配置。此外，对待更新配置语句进行解析得到需要进行修改替换的目标代码以及每个目标代码对应的替换路径，实现了代码的动态实时修改替换。此外，还通过校验待更新配置语句是否合法性，提升了动态修改执行计划处理过程中的安全保密性能。此外，除了原有的计算数据流，额外增加了一个广播流，广播流的作用是动态推送配置给分布式计算引擎的每个节点，达到通知的目的，该功能做配置的推送的更新触发。[0100]该动态修改执行计划处理系统可以基于获取到的动态修改执行计划处理，执行本申请实施例中的动态修改执行计划处理方法，从而实现结合图1描述的动态修改执行计划处理方法。[0101]另外，结合上述实施例中的动态修改执行计划处理方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种动态修改执行计划处理方法。[0102]本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。[0103]计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。[0104]应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。[0105]以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。[0106]以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。当前第1页1 2 3 当前第1页1 2 3