一种基于动态可拆分网络的遥感分布式数据处理方法

所属的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。根据本技术的这种实施方式的电子设备。电子设备仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：上述至少一个处理器、上述至少一个储存器、连接不同系统组件(包括储存器和处理器)的总线。其中，储存器存储有程序代码，程序代码可以被处理器执行，使得处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种示例性实施方式的步骤。储存器可以包括易失性储存器形式的可读介质，例如随机存取储存器(ram)和/或高速缓存储存器，还可以进一步包括只读储存器(rom)。储存器还可以包括具有一组(至少一个)程序模块的程序/实用工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。总线可以为表示几类总线结构中的一种或多种，包括储存器总线或者储存器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。电子设备也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器通过总线与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本技术的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本技术各种示例性实施方式的步骤。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本技术操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。此外，上述附图仅是根据本技术示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。以上，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。

背景技术：

1、随着信息技术的飞速发展，遥感图像解译已成为地球观测领域最基本和最重要的任务之一，服务于各种应用，如地理信息测绘、农业规划、交通规划、导航和灾情探测救援等。面对海量遥感图像，在实际应用中，往往通过多卫星与地面服务器协同配合来实现遥感数据的高效采集与处理，即将卫星采集到的遥感图像传输到地面服务器上统一处理。但由于遥感图像的数据量往往比较大，且星地之间通讯环境的稳定性较差，如果直接将卫星采集到的遥感图像发送至地面服务器，会导致通信成本大、延迟高且时效性差等问题，而由于遥感图像处理任务往往对时效性要求较高，故而上述的方案很难满足遥感图像处理任务的时效性要求。

技术实现思路

1、有鉴于此，本技术提供一种基于动态可拆分网络的遥感分布式数据处理方法，以解决现有技术中存在的问题。

2、在本技术的一方面，提供一种基于动态可拆分网络的遥感分布式数据处理方法，应用于卫星设备，包括：

3、将获取到的待处理遥感数据输入第一目标子处理器。

4、将第一目标子处理器输出的中间处理数据发送至地面设备，以使地面设备将中间处理数据输入第二目标子处理器，以得到第二目标子处理器输出的目标处理结果。

5、其中，第一目标子处理器和第二目标子处理器通过以下方法得到：

6、获取遥感数据处理器中每一处理模块对应的预测处理耗时；遥感数据处理器包括顺序执行的若干处理单元，每一处理单元包括若干顺序执行的处理模块；遥感数据处理器被配置为在当前的处理单元输出的候选处理结果对应的匹配度达到匹配度阈值时，将所述候选处理结果确定为目标处理结果，匹配度阈值根据遥感数据处理器对应的任务类型确定。

7、将每一小于时间阈值的预测处理耗时所对应的处理模块确定为候选处理模块；时间阈值根据任务类型确定。

8、获取每一候选处理模块对应的目标处理单元的测试匹配度；目标处理单元为遥感数据处理器中位于当前的候选处理模块之前且与当前的候选处理模块相邻的处理单元。

9、将任一测试匹配度大于或等于匹配度阈值的目标处理单元对应的候选处理模块确定为目标处理模块。

10、根据目标处理模块对遥感数据处理器进行拆分，得到第一目标子处理器和第二目标子处理器。

11、在本技术的一种示例性实施例中，第一目标子处理器包括遥感数据处理器中目标处理模块及其之前的每一处理模块，第二目标子处理器包括遥感数据处理器中目标处理模块之后的每一处理模块。

12、在本技术的一种示例性实施例中，预测处理耗时包括以下至少之一：卫星设备处理耗时、地面设备处理耗时、通讯耗时。

13、卫星设备处理耗时为预测的卫星设备运行当前的第一子处理器的处理耗时。

14、地面设备处理耗时为预测的地面设备运行当前的第二子处理器的处理耗时。

15、通讯耗时为预测的卫星设备将当前的处理模块的输出数据发送至地面设备的通讯耗时。

16、其中，第一子处理器包括遥感数据处理器中当前的处理模块及其之前的每一处理模块；第二子处理器包括遥感数据处理器中当前的处理模块之后的每一处理模块。

17、在本技术的一种示例性实施例中，获取遥感数据处理器中每一处理模块对应的预测处理耗时，包括：

18、根据卫星设备的设备参数和遥感数据处理器的任务类型，确定遥感数据处理器中每一处理模块对应的预测处理耗时。

19、其中，遥感数据处理器中目标处理模块及其之前的每一处理模块安装于卫星设备上。

20、在本技术的一种示例性实施例中，根据卫星设备的设备参数和遥感数据处理器的任务类型，确定遥感数据处理器中每一处理模块对应的预测处理耗时，包括：

21、根据任务类型确定每一处理模块的输出数据的数据大小。

22、根据设备参数和每一数据大小，得到预测的每一处理模块的通讯耗时。

23、在本技术的一种示例性实施例中，根据卫星设备的设备参数和遥感数据处理器的任务类型，确定遥感数据处理器中每一处理模块对应的预测处理耗时，包括：

24、根据任务类型，确定每一处理模块的处理模块特征。

25、将设备参数和每一处理模块对应的处理模块特征输入时间预测模型，得到预测的每一处理模块的模块处理耗时。

26、根据每一模块处理耗时，确定每一卫星设备处理耗时和/或地面设备处理耗时。

27、在本技术的一种示例性实施例中，将任一测试匹配度大于或等于匹配度阈值的目标处理单元对应的候选处理模块确定为目标处理模块，包括：

28、若测试匹配度大于或等于匹配度阈值的目标处理单元为多个，则将测试匹配度最大的目标处理单元对应的候选处理模块确定为目标处理模块。

29、在本技术的一种示例性实施例中，遥感数据处理器对应的总损失值符合预设条件，以使若干处理单元的候选处理结果随执行顺序依次增大。

30、总损失值包括以下至少之一：第一损失值、第二损失值、第三损失值。

31、第一损失值根据每一处理单元的训练处理结果与标记结果之间的损失确定。

32、第二损失值根据每一处理单元的训练预测概率分布信息与目标训练预测概率分布信息之间的损失确定；目标训练预测概率分布信息为遥感数据处理器中在执行顺序上最后一个处理单元的训练预测概率分布信息。

33、第三损失值根据每相邻两个处理单元对应的目标特征图之间的损失确定；目标特征图为当前处理单元在处理过程中得到的最后一个特征图。

34、在本技术的另一方面，提供一种基于动态可拆分网络的遥感分布式数据处理装置，数据处理装置设置于卫星设备内，且包括：

35、获取模块，用于将获取到的待处理遥感数据输入第一目标子处理器。

36、处理模块，用于将第一目标子处理器输出的中间处理数据发送至地面设备，以使地面设备将中间处理数据输入第二目标子处理器，以得到第二目标子处理器输出的目标处理结果。

37、其中，第一目标子处理器和第二目标子处理器通过以下方法得到：

38、获取遥感数据处理器中每一处理模块对应的预测处理耗时；遥感数据处理器包括顺序执行的若干处理单元，每一处理单元包括若干顺序执行的处理模块；遥感数据处理器被配置为在当前的处理单元输出的候选处理结果对应的匹配度达到匹配度阈值时，将所述候选处理结果确定为目标处理结果，匹配度阈值根据遥感数据处理器对应的任务类型确定。

39、将每一小于时间阈值的预测处理耗时所对应的处理模块确定为候选处理模块；时间阈值根据任务类型确定。

40、获取每一候选处理模块对应的目标处理单元的测试匹配度；目标处理单元为遥感数据处理器中位于当前的候选处理模块之前且与当前的候选处理模块相邻的处理单元。

41、将任一测试匹配度大于或等于匹配度阈值的目标处理单元对应的候选处理模块确定为目标处理模块。

42、根据目标处理模块对遥感数据处理器进行拆分，得到第一目标子处理器和第二目标子处理器。

43、在本技术的一种示例性实施例中，第一目标子处理器包括遥感数据处理器中目标处理模块及其之前的每一处理模块，第二目标子处理器包括遥感数据处理器中目标处理模块之后的每一处理模块。

44、在本技术的一种示例性实施例中，预测处理耗时包括以下至少之一：卫星设备处理耗时、地面设备处理耗时、通讯耗时。

45、卫星设备处理耗时为预测的卫星设备运行当前的第一子处理器的处理耗时。

46、地面设备处理耗时为预测的地面设备运行当前的第二子处理器的处理耗时。

47、通讯耗时为预测的卫星设备将当前的处理模块的输出数据发送至地面设备的通讯耗时。

48、其中，第一子处理器包括遥感数据处理器中当前的处理模块及其之前的每一处理模块；第二子处理器包括遥感数据处理器中当前的处理模块之后的每一处理模块。

49、在本技术的一种示例性实施例中，获取遥感数据处理器中每一处理模块对应的预测处理耗时，包括：

50、根据卫星设备的设备参数和遥感数据处理器的任务类型，确定遥感数据处理器中每一处理模块对应的预测处理耗时。

51、其中，遥感数据处理器中目标处理模块及其之前的每一处理模块安装于卫星设备上。

52、在本技术的一种示例性实施例中，根据卫星设备的设备参数和遥感数据处理器的任务类型，确定遥感数据处理器中每一处理模块对应的预测处理耗时，包括：

53、根据任务类型确定每一处理模块的输出数据的数据大小。

54、根据设备参数和每一数据大小，得到预测的每一处理模块的通讯耗时。

55、在本技术的一种示例性实施例中，根据卫星设备的设备参数和遥感数据处理器的任务类型，确定遥感数据处理器中每一处理模块对应的预测处理耗时，包括：

56、根据任务类型，确定每一处理模块的处理模块特征。

57、将设备参数和每一处理模块对应的处理模块特征输入时间预测模型，得到预测的每一处理模块的模块处理耗时。

58、根据每一模块处理耗时，确定每一卫星设备处理耗时和/或地面设备处理耗时。

59、在本技术的一种示例性实施例中，将任一测试匹配度大于或等于匹配度阈值的目标处理单元对应的候选处理模块确定为目标处理模块，包括：

60、若测试匹配度大于或等于匹配度阈值的目标处理单元为多个，则将测试匹配度最大的目标处理单元对应的候选处理模块确定为目标处理模块。

61、在本技术的一种示例性实施例中，遥感数据处理器对应的总损失值符合预设条件，以使若干处理单元的候选处理结果随执行顺序依次增大。

62、总损失值包括以下至少之一：第一损失值、第二损失值、第三损失值。

63、第一损失值根据每一处理单元的训练处理结果与标记结果之间的损失确定。

64、第二损失值根据每一处理单元的训练预测概率分布信息与目标训练预测概率分布信息之间的损失确定；目标训练预测概率分布信息为遥感数据处理器中在执行顺序上最后一个处理单元的训练预测概率分布信息。

65、第三损失值根据每相邻两个处理单元对应的目标特征图之间的损失确定；目标特征图为当前处理单元在处理过程中得到的最后一个特征图。

66、在本技术的另一方面，提供一种电子设备，包括处理器和存储器。

67、处理器通过调用存储器存储的程序或指令，用于执行上述任一项方法的步骤。

68、在本技术的另一方面，提供一种非瞬时性计算机可读存储介质，非瞬时性计算机可读存储介质存储程序或指令，程序或指令使计算机执行上述任一项方法的步骤。

69、有益效果：

70、本技术中，在获取到待处理遥感数据后，会将待处理遥感数据输入第一目标子处理器，并将第一目标子处理器输出的中间处理数据发送至地面设备，以使地面设备将中间处理数据输入第二目标子处理器，以得到第二目标子处理器输出的目标处理结果。从而实现了在不同设备上分段进行遥感数据的处理，以充分利用两个设备的设备性能。

71、进一步的，在进行遥感数据处理器的安装时，会将遥感数据处理器中目标处理模块及其之前的每一处理模块作为第一目标子处理器安装于卫星设备上，其余的处理模块可以安装于地面设备上。使得卫星设备在采集到的原始数据(如待处理遥感数据)后，可以先在卫星设备进行一部分处理工作，而不用直接将采集到的原始数据直接发送至地面设备，以减少通信成本。

72、在确定目标处理模块时，会根据每一处理模块对应的预测处理耗时和由任务类型确定出的时间阈值筛选出符合任务类型对应的时效需求的候选处理模块，以使确定出的分割方案满足任务的时效需求。

73、在确定出候选处理模块后，会将任一测试匹配度大于或等于匹配度阈值的目标处理单元对应的候选处理模块确定为目标处理模块。同时，由于本技术中遥感数据处理器被配置为在当前的处理单元输出的候选处理结果对应的匹配度达到匹配度阈值时，直接将该候选处理结果确定为目标处理结果并输出，且后续的处理单元不会再继续进行处理。故而可以使得在根据确定出的第一目标子处理器和第二目标子处理器安装遥感数据处理器后，卫星设备在实际应用中，能够大概率的在卫星设备上直接得到满足任务需求的目标处理结果，从而充分的利用卫星设备的设备性能，减小地面设备的处理量。而由于卫星设备能够直接在本地得到的符合任务需求的目标处理结果，且目标处理结果的数据大小是远远小于中间处理的数据大小的，卫星设备直接仅将目标处理结果发送至地面设备，可以使得遥感数据处理器最终输出的目标处理结果的实时性更高。

74、进一步的，由于在确定目标处理模块时，使用的是每一处理单元的测试匹配度，而不是实时匹配度，使得本技术可以在进行实际安装前，即可确定出分割方案，并仅将遥感数据处理器中，目标处理模块及其之前的每一处理模块安装于卫星设备上，其他处理模块安装于地面设备上。相较于直接将遥感数据处理器同时全部安装于卫星设备和地面设备上，在实际使用过程中，根据每一处理单元的实时匹配度确定在哪一处理模块将其输出数据发送至地面设备的方案，本技术提供的方案减小卫星设备和地面设备的存储压力，且避免了卫星设备在进行数据处理时，还要使用额外的算力实时确定目标处理模块，使得整体的运算量更小。