计算图优化方法及装置、电子设备、计算机可读存储介质与流程

1.本公开涉及计算机技术领域，特别涉及一种计算图优化方法及装置、电子设备、计算机可读存储介质。


背景技术：

2.随着人工智能技术的不断发展，越来越多的神经网络被应用到了生产实践中。这些神经网络在编程、部署、执行的过程中往往使用计算图的形式去描述，计算图作为ir(intermediate representation，中间表示)也被用于高性能计算等其他领域，因此，针对计算图的优化(如编译优化与执行优化)已经越来越受到人们的重视。


技术实现要素：

3.本公开提供一种基于众核系统的计算图优化方法及装置、处理核、电子设备、计算机可读存储介质。
4.第一方面，本公开提供了一种计算图优化方法，该计算图优化方法包括：对待处理的第一计算图进行遍历，确定所述第一计算图的第一子图；将所述第一子图与图模板库中的模板图进行匹配，确定所述模板图中是否存在与第一子图匹配的目标子图；在存在与所述第一子图匹配的目标子图的情况下，根据所述目标子图，对所述第一计算图进行优化，得到所述第一计算图的优化结果。
5.第二方面，本公开提供了一种计算图优化装置，该计算图优化装置包括：遍历模块，用于对待处理的第一计算图进行遍历，确定所述第一计算图的第一子图；匹配模块，用于将所述第一子图与图模板库中的模板图进行匹配，确定所述模板图中是否存在与第一子图匹配的目标子图；优化模块，用于在存在与所述第一子图匹配的目标子图的情况下，根据所述目标子图，对所述第一计算图进行优化，得到所述第一计算图的优化结果。
6.第三方面，本公开提供了一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的计算图优化方法。
7.第四方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器/处理核执行时实现上述的计算图优化方法。
8.本公开所提供的实施例，将用于传统的基于一维文本的编译体系的模板匹配方法用于对计算图进行优化，提升了计算图的优化效率，通过一系列流程，提升了计算图的编译效率。
9.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
10.附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：
11.图1为相关技术中对计算图进行优化的流程的示意图；
12.图2为本公开实施例提供的一种计算图优化方法的流程图；
13.图3为本公开实施例提供的一种计算图优化方法的部分步骤的流程图；
14.图4为本公开实施例提供的一种计算图优化方法的示意图；
15.图5为本公开实施例提供的一种计算图优化方法的部分步骤的流程图；
16.图6为本公开实施例提供的一种计算图优化方法的部分步骤的流程图；
17.图7为本公开实施例提供的一种计算图优化方法的部分步骤的流程图；
18.图8为本公开实施例提供的一种计算图优化方法的示意图；
19.图9为本公开实施例提供的一种计算图优化方法的示意图；
20.图10为本公开实施例提供的一种计算图优化装置的框图；
21.图11为本公开实施例提供的一种电子设备的框图。
具体实施方式
22.为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
23.在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
24.如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
25.本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由
……
制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
26.除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
27.在一些相关技术中，会针对特定的结构编写一系列的优化编译流程，这些优化编译流程一般被称为pass，pass用于完成编译对象(如计算图)的转换、分析或优化，参照图1，pass的执行就是编译器对编译对象进行转换、分析和优化的过程，通过执行与计算图对应的pass(即图中的pass1、pass2、pass3、pass4)，可以得到计算图对应的编译结果。
28.通过模板匹配的方法可以在编译对象上匹配一些模式，针对不同的模式调用不同
的编译流程以及优化方法，但这种方法多用于传统的基于一维文本的编译体系中，并没有应用于计算图的优化编译中。
29.本公开实施例的计算图优化方法中，将用于传统的基于一维文本的编译体系的模板匹配方法用于对计算图进行优化，提升了计算图的优化效率，通过一系列流程，提升了计算图的编译效率。
30.根据本公开实施例的计算图优化方法可以由终端设备或服务器等电子设备执行，终端设备可以为车载设备、用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(personal digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等，所述方法可以通过处理器调用存储器中存储的计算机可读程序指令的方式来实现。或者，可通过服务器执行所述方法。
31.图2为本公开实施例提供的一种计算图优化方法的流程图。参照图2，该方法包括：
32.在步骤s21中，对待处理的第一计算图进行遍历，确定第一计算图的第一子图；
33.在步骤s22中，将第一子图与图模板库中的模板图进行匹配，确定模板图中是否存在与第一子图匹配的目标子图；
34.在步骤s23中，在存在与第一子图匹配的目标子图的情况下，根据目标子图，对第一计算图进行优化，得到第一计算图的优化结果。
35.举例来说，在步骤s21中，可以使用并行或串行的方式对第一计算图进行遍历，以确定第一计算图的第一子图。
36.其中，第一计算图可以是没有编译、没有优化的计算图；也可以是由相关技术中的优化方式优化过的、未编译的计算图；本公开实施例对获取第一计算图的具体方式并不作限制。
37.在一些可能的实现方式中，第一计算图可以是神经网络对应的、在编程、部署、执行过程中的中间表示。其中，神经网络用于执行处理任务，处理任务包括图像处理任务、语音处理任务、文本处理任务、视频处理任务中的任意一种。本公开实施例对神经网络执行的任务类型不作限制。
38.在一些可能的实现方式中，可以使用多个不同的图遍历器对第一计算图进行遍历，确定第一计算图中不同大小、不同形状的第一子图。
39.在步骤s22中，每个第一子图都与图模板库中的模板图进行匹配，若匹配成功，则匹配成功的模板图为该第一子图对应的目标子图；若多个第一子图与一个模板图匹配成功，这多个第一子图对应的目标子图都是该模板图。
40.其中，图模板库中的每个模板图与一个特定结构对应，其可以是包含该特定结构的计算图，也可以是预先定义的表征该特定结构的规则、特征向量等。
41.在一些可能的实现方式中，针对每一个模板图，在步骤s21中，可以使用与该模板图对应的特定结构同样大小、同样形状的图遍历器对第一计算图进行遍历，在确定第一子图后，在步骤s22中，可以只使用第一子图与该模板图进行匹配。
42.在一些可能的实现方式中，在步骤s23中，根据目标子图，对第一计算图进行优化可以是调用与目标子图对应的优化方法，对第一子图进行优化，得到第二子图，并使用第二子图替换第一计算图中的第一子图。
43.在一些可能的实现方式中，在步骤s23中，根据目标子图，对第一计算图进行优化，
可以是获取与目标子图对应的优化编译流程，根据优化编译流程确定第一计算图对应的整体编译流程，并执行第一计算图对应的整体编译流程。
44.在一些可能的实现方式中，可以同时有多个匹配过程和优化过程同时发生。
45.也就是说，匹配过程可以是并行进行的，如在确定了多个第一子图的情况下，多个第一子图与模板图进行匹配的过程可以并行的。
46.优化过程也可以是并行进行的，如在多个第一子图都匹配到目标子图的情况下，根据这些第一子图对应的目标子图对第一计算图进行优化的过程可以是并行的。
47.匹配过程和优化过程也可以是并行进行的，如在第一子图a匹配到目标子图的情况下，第一子图b与模板图进行匹配的过程与根据第一子图a对应的目标子图对第一计算图进行优化的过程可以是并行的。
48.这些并行进行的过程可以是在同一个计算单元上运行，也可以是分别在不同的计算单元上运行，通过并行，可以大大加快计算图优化的速度。
49.本公开实施例的计算图优化方法中，将用于传统的基于一维文本的编译体系的模板匹配方法用于对计算图进行优化，提升了计算图的优化效率，并通过一系列流程，提升了计算图的编译效率。
50.下面对根据本公开实施例的计算图优化方法进行展开说明。
51.如前所述，在步骤s23中，根据目标子图，对第一计算图进行优化可以是调用与目标子图对应的优化方法，对第一子图进行优化，得到第二子图，并使用第二子图替换第一计算图中的第一子图；也可以是获取与目标子图对应的优化编译流程，根据优化编译流程确定第一计算图对应的整体编译流程，并执行第一计算图对应的整体编译流程。
52.图3为通过调用与目标子图对应优化方法，对第一子图进行优化，进而对第一计算图进行优化的步骤的流程示意图；参照图3，步骤s23可以包括步骤s31、步骤s32、步骤s33。
53.在步骤s31中，根据目标子图的标识，确定与目标子图对应的优化方法；
54.在步骤s32中，调用与目标子图对应的优化方法，对第一子图进行优化，得到第二子图；
55.在步骤s33中，采用第二子图替换第一计算图中相应的第一子图，得到优化后的第二计算图；第一计算图的优化结果包括第二计算图。
56.其中，目标子图的标识可以是目标子图对应的特定结构的索引，通过该索引可以确定与该特定结构对应的优化器或优化方法，优化器为执行优化方法的器件，优化器以及优化方法都可以用于对目标子图进行优化，因此，也可以用于对第一子图进行优化。
57.在步骤s32中，可以从结构优化库中调用与目标子图对应的优化方法，对第一子图进行优化。
58.其中，结构优化库可以是由多个优化器组成的，每个优化器可以用于执行一个特定结构对应的优化方法，以对特定结构进行优化，因此，调用优化器也就是调用优化方法。
59.结构优化库也可以是有多个优化方法组成，每个优化方法对应一个特定结构，用于对该特定结构进行优化。
60.在步骤s33中，可以使用图合并器将结构优化结果，即第二子图合并至第一计算图中，得到第二计算图。
61.在一些可能的实现方式中，在多个第一子图都匹配到目标子图的情况下，根据这
些第一子图中的每个第一子图在第一计算图中的位置以及第一子图对应的预先设定的优先级，将结构优化结果合并至第一计算图中。
62.举例来说，在多个第一子图都匹配到目标子图的情况下，按照这些第一子图对应的优先级从高到低的顺序，使用对应的优化方法对第一子图进行优化，得到第二子图，并使用第二子图替换第一子图，当运行到某个第一子图时，发现其已经在优先级更高的第一子图对应的优化过程中从优化后的第一计算图“消失”，则放弃对该第一子图进行优化，同时也放弃使用该第一子图对第一计算图进行优化。也就是说，当两个第一子图共用结构或算子，放弃使用低优先级的第一子图对第一计算图进行优化，以保证可以使用高优先级的第一子图对第一计算图进行优化，在避免冲突的基础上保证可以获取更好的优化效果。
63.其中，第一子图对应的优先级可以是与第一子图匹配的目标子图的优先级，当存在多个第一子图其对应的目标子图是一致的情况下，可以根据这些第一子图在第一计算图中的位置，来确定这些第一子图的优先级。
64.图合并器中可以存储有目标子图的优先级，用于判断第一子图的优先级，因此，可以按照顺序将第一子图对应的第二子图合并至第一计算图中，在完成对所有匹配到目标子图的第一子图的处理后，得到第二计算图。
65.在一些可能的实现方式中，在匹配到目标子图的第一子图满足预设条件的情况下，使用这些第一子图对第一计算图进行优化，并在获取优化结果之后，将该优化结果作为另一个计算图优化过程中的第一计算图，使用图遍历器对其进行优化，也就是说，一个计算图优化过程的输出(即第二计算图)可以作为下一个计算图优化过程的输入(即第一计算图)。
66.其中，预设条件可以是预先设定的，其可以是满足固定数量、也可以是同一个遍历过程获取的所有第一子图。
67.如参照图4，使用图遍历器对第一计算图进行遍历，确定第一计算图中的第一子图，并将第一子图输入模板匹配器，与图模板库中的模板图进行匹配，确定模板图中是否存在与第一子图匹配的目标子图；在匹配的目标子图的情况下，从结构优化库中调用与该目标子图对应的优化方法，对第一子图进行优化，获取结构优化结果，即第二子图，并将第二子图送入图合并器中，使用第二子图替换第一子图，得到第二计算图。
68.输入图合并器的第二子图的数量可以是多个，图合并器可以判断优先级顺序，得到第二计算图，得到的第二计算图可以作为下一个计算图优化过程的第一计算图，继续进行优化。
69.图5为获取与目标子图对应的优化编译流程，根据优化编译流程确定第一计算图对应的整体编译流程，并执行第一计算图对应的整体编译流程，对第一计算图进行优化的步骤的流程示意图；参照图5，步骤s23可以包括步骤s51、步骤s52、步骤s53。
70.在步骤s51中，根据目标子图的标识，确定与目标子图对应的第一编译流程；
71.在步骤s52中，根据与目标子图对应的第一编译流程，确定与第一计算图对应的整体编译流程；
72.在步骤s53中，执行与第一计算图对应的整体编译流程，获取第一计算图的编译结果。
73.其中，目标子图的标识可以是目标子图对应的特定结构的索引，通过该索引可以
确定与该特定结构对应的优化编译流程。
74.在步骤s51中，可以从pass库中调用与目标子图对应的第一编译流程。
75.其中，pass库中存储了一些编译器编译或优化流程(即pass)，这些流程即包括正常结构的编译流程，还包括特定结构的编译流程(即特定结构对应的第一编译流程)，还包括一些计算图编译流程中的通用流程。
76.特定结构对应的第一编译流程包括特定结构的优化编译流程以及在编译过程中需要执行的正常流程以及这些流程之间的执行顺序。
77.也就是说，pass库中存储的特定结构对应的第一编译流程是按照执行顺序排列的多个流程。
78.在步骤s52中，在从pass库确定了与目标子图对应的pass后，由pass调度器编排整体编译流程，即确定pass的执行顺序。
79.在步骤s53中，按照pass调度器确定的顺序来执行pass，获取第一计算图的编译结果。
80.由于执行的pass中包括特定结构对应的优化编译流程，因此，得到的编译结果也是优化后的编译结果，且根据模板匹配获取计算图中的特定结构，在获取计算图的特定结构中直接获取其对应的优化编译流程，并根据优化编译流程确定第一计算图对应的整体编译流程，通过这整个流程，提升了计算图优化和编译的效率。
81.在一些可能的实现方式中，根据与目标子图对应的第一编译流程，确定与第一计算图对应的整体编译流程还可以包括根据第一计算图从pass库中选取第一计算图对应的非优化编译流程(即计算图编译流程中的通用流程、正常结构的编译流程等)。
82.图6为确定第一计算图对应的整体编译流程并执行的步骤的流程示意图，参照图6，步骤s52可以包括步骤s61和步骤s62，步骤s53可以包括步骤s63。
83.在步骤s61中，根据目标子图对应的第一子图，确定第一编译流程的执行顺序；
84.在步骤s62中，根据第一计算图中除目标子图对应的第一子图外的其他子图，确定与第一计算图对应的至少一个第二编译流程以及第二编译流程的执行顺序；
85.在步骤s63中，按照确定的执行顺序执行第一编译流程以及第二编译流程，获取第一计算图的第一编译结果。
86.举例来说，在步骤s61中，根据匹配到目标子图的第一子图，确定目标子图对应的第一编译流程的执行顺序。
87.在匹配到目标子图的第一子图为多个的情况下，每个第一子图都对应一个第一编译流程，每个第一编译流程的执行顺序都需要确定。
88.在步骤s62中，根据第一计算图除特定结构外的其他结构以及第一计算图除结构外的其他特征，确定第一计算图对应的第二编译流程(即前文所述的第一计算图对应的非优化编译流程)，并对这些编译流程的执行顺序进行编排。
89.其中，第一计算图对应的第二编译流程可以包括第一计算图对应的先验编译流程、第一计算图中正常结构对应的编译流程等，即第一计算图编译流程中无法进行优化的编译流程。
90.每个第二编译流程可以包括多个子流程以及这些子流程之间的执行顺序，也就是说，每个第二编译流程包括多个按照执行顺序排列的子流程。
91.第一编译流程和第二编译流程共同组成第一计算图对应的整体编译流程，在步骤s61中确定的第一编译流程的执行顺序是指每个第一编译流程在第一计算图对应的整体编译流程中的执行顺序；在步骤s62中确定的第二编译流程的执行顺序是指每个第二编译流程在第一计算图对应的整体编译流程中的执行顺序。
92.步骤s61和步骤s62都可以在pass调度器中完成，也就是说，pass调度器在pass库中选取第一计算图对应的第一编译流程和第二编译流程，并对这些编译流程的执行顺序进行编排。
93.在步骤s63中，按照pass调度器编排的顺序，执行第一编译流程和第二编译流程，获取第一计算图的第一编译结果。
94.在一些可能的实现方式中，pass调度器根据目标子图对应的第一子图的优先级确定第一编译流程的执行顺序。图7为根据目标子图的优先级确定第一编译流程的执行顺序的步骤的流程示意图；参照图7，步骤s61可以包括步骤s71。
95.在步骤s71中，在目标子图对应的第一子图为多个的情况下，根据预先设定的目标子图对应的第一子图的优先级，确定第一编译流程的执行顺序。
96.其中，目标子图对应的第一子图为多个是指所有目标子图对应的第一子图的总数量为多个，即多个第一子图都匹配到目标子图。
97.第一子图对应的优先级可以是与第一子图匹配的目标子图的优先级，当存在多个第一子图匹配的目标子图是一致的情况下，可以根据这些第一子图在第一计算图中的位置，来确定这些第一子图的优先级。
98.由于目标子图对应的第一子图为多个，这多个第一子图自然对应多个第一编译流程，这多个第一编译流程之间的执行顺序根据第一计算图对应的计算逻辑以及预先设定的目标子图对应的第一子图的优先级来确定。
99.在一些可能的实现方式中，在多个目标子图对应的第一子图存在交集的情况下，分别确定这多个第一子图对应的优先级；根据这多个第一子图的优先级顺序，确定这多个第一子图对应的第一编译流程的执行顺序。
100.举例来说，在多个第一子图都匹配到目标子图的情况下，按照这些第一子图对应的优先级从高到低的顺序，确定第一子图对应的第一编译流程(即该第一子图对应的目标子图的第一编译流程)的执行顺序。
101.当运行到某个第一子图时，发现其对应的第一编译流程与优先级更高的第一子图对应的第一编译流程发生了冲突，则放弃该第一子图对应的第一编译流程。也就是说，当两个第一子图共用结构或算子，放弃使用低优先级的第一子图对第一计算图进行优化，以保证可以使用高优先级的第一子图对第一计算图进行优化，在避免冲突的基础上保证可以获取更好的优化效果。
102.pass调度器可以具有判断第一子图的优先级的功能，也就是说，pass调度器可以在特定结构a和特定结构b(特定结构a的优先级大于特定结构b的优先级)存在交集的情况下，根据特定结构a和特定结构b对应的优先级，只从pass库中选取特定结构a对应的pass，并对其顺序进行编排。
103.如参照图8，使用图遍历器对第一计算图进行遍历，确定第一计算图中的第一子图，并将第一子图输入模板匹配器，与图模板库中的模板图进行匹配，确定模板图中是否存
在与第一子图匹配的目标子图；在匹配的目标子图的情况下，模板匹配器指导pass调度器从pass中调用与该目标子图对应的第一编译流程，pass调度器同时也可以根据第一计算图从pass库中获取第一计算图对应的第二编译流程。
104.pass调度器对获取的第一编译流程和第二编译流程的顺序进行编排，生成pass列表，按照pass列表中的pass执行顺序执行pass，获取第一计算图的第一编译结果。
105.在一些可能的实现方式中，编译优化方法与编译流程(正常结构的编译流程、特定结构的优化流程、计算图编译流程中的通用流程等)也可以存储在优化与过程库中，调用pass，确定pass的执行顺序以及执行pass可以由编译执行器来执行，参照图9，可以使用图遍历器对第一计算图进行遍历，确定第一计算图中的第一子图，并将第一子图输入模板匹配器，与图模板库中的模板图进行匹配，确定模板图中是否存在与第一子图匹配的目标子图；在匹配的目标子图的情况下，编译执行器从优化与过程库调用与该目标子图对应的第一编译流程，同时也可以根据第一计算图从优化与过程库中获取第一计算图对应的第二编译流程，编译执行器获取的第一编译流程和第二编译流程的顺序进行编排，生成pass列表，按照pass列表中的pass执行顺序执行pass，生成第一计算图的第一编译结果。
106.可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
107.此外，本公开还提供了计算图优化装置、电子设备、计算机可读存储介质，上述均可用来实现本公开提供的任一种计算图优化方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
108.图10为本公开实施例提供的一种计算图优化装置的框图。
109.参照图10，本公开实施例提供了一种计算图优化装置，该计算图优化装置包括：
110.遍历模块，用于对待处理的第一计算图进行遍历，确定第一计算图的第一子图；
111.匹配模块，用于将第一子图与图模板库中的模板图进行匹配，确定模板图中是否存在与第一子图匹配的目标子图；
112.优化模块，用于在存在与第一子图匹配的目标子图的情况下，根据目标子图，对第一计算图进行优化，得到第一计算图的优化结果。
113.图11为本公开实施例提供的一种电子设备的框图。
114.参照图11，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器1101；至少一个存储器1102，以及一个或多个i/o接口1103，连接在处理器1101与存储器1102之间；其中，存储器1102存储有可被至少一个处理器1101执行的一个或多个计算机程序，一个或多个计算机程序被至少一个处理器1101执行，以使至少一个处理器1101能够执行上述的计算图优化方法。
115.本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器/处理核执行时实现上述的计算图优化方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
116.本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处
kit，sdk)等等。
122.这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
123.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
124.也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
125.附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
126.本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。