图像处理的方法、装置、设备和存储介质与流程

1.本公开的示例实施例总体涉及计算机领域，特别地涉及图像处理的方法、装置、设备和计算机可读存储介质。


背景技术：

2.全景图像可以提供室内外场景的广角视图，例如，可以呈现特定场景中水平360
°
、俯仰180
°
等角度的视觉信息。这种新颖的图像展现方式正在被各行各业所应用。例如，旅游、房产、酒店、展览、教育等行业都使用了全景图像展示。为了使用户获得更丰富的视觉体验，可以基于目标场景的全景图像提供关于目标场景的三维模型展示。三维模型构建通常需要人工介入，期望为用户提供方便、快捷、灵活的操作方式。


技术实现要素：

3.在本公开的第一方面，提供了一种图像处理方法。该方法包括在用户界面中显示至少一个图像的点云数据，至少一个图像在目标空间中被捕获，并且点云数据包括与目标空间相关联的位置信息；接收调整点云数据的位置信息的第一请求，第一请求指示自动还是手动调整位置信息；以及响应于接收到第一请求，调整点云数据的位置信息，以用于构建目标空间的三维模型。
4.在本公开的第二方面，提供了一种图像处理装置。该装置包括点云显示模块，被配置为在用户界面中显示至少一个图像的点云数据，至少一个图像在目标空间中被捕获，并且点云数据包括与目标空间相关联的位置信息；请求接收模块，被配置为接收调整点云数据的位置信息的第一请求，第一请求指示自动还是手动调整位置信息；以及位置调整模块，被配置为响应于接收到第一请求，调整点云数据的位置信息，以用于构建目标空间的三维模型。
5.在本公开的第三方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行第一方面的方法。
6.在本公开的第四方面，提供了一种计算机可读存储介质。介质上存储有计算机程序，程序被处理器执行时实现第一方面的方法。
7.应当理解，本发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。
附图说明
8.结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
9.图1示出了本公开的实施例能够在其中实现的示例环境的示意图；
10.图2示出了根据本公开的一些实施例的图像处理的过程的流程图；
11.图3a和图3b示出了根据本公开的一些实施例的用于点云数据处理的示例用户界面；
12.图4示出根据本公开的一些实施例的用于展示全景图像的装置的框图；以及
13.图5示出了能够实施本公开的多个实施例的设备的框图。
具体实施方式
14.下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的一些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
15.在此使用的术语“点云”是指点的集合，这些点是基于图像生成的，其可以具有图像中的对象的位置信息，例如，各对象的三维坐标。点云还可以具有与图像有关的颜色、反射强度等信息。在此使用的术语“点云数据”是点云的数据表示。利用点云数据，可以构建捕获图像的空间的三维实景模型。
16.在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。
17.可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获得或使用)应当遵循相应法律法规及相关规定的要求。
18.可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当根据相关法律法规通过适当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
19.例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获得和使用到用户的个人信息，从而使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
20.作为一种可选的但非限制性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式，例如可以是弹出窗口的方式，弹出窗口中可以以文字的方式呈现提示信息。此外，弹出窗口中还可以承载供用户选择“同意”或“不同意”向电子设备提供个人信息的选择控件。
21.可以理解的是，上述通知和获得用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其他满足相关法律法规的方式也可应用于本公开的实现方式中。
22.如以上提及的，可以基于目标空间中拍摄的全景图像来构建目标空间的三维模型展示。在目标场景的三维模型构建过程中，通常需要人工介入。例如，可以由采集人员使用专门的全景相机在目标空间中的多个位实勘采集图像。基于所拍摄的图像，可以生成点云数据，继而利用点云数据来生成目标空间的三维模型。点云数据的处理也常常需要人工介入。例如，可能需要人工对点云数据进行标注，以便删除、添加或者替换一部分数据，从而优
化三维模型的创建。因此，期望为用户提供方便、快捷、灵活的操作方式。
23.本公开的实施例提出了一种用于图像处理的交互方案。该方案基于用户请求，自动或者手动地调整在用户界面上显示的基于目标空间中所捕获的图像生成的点云数据的位置信息，从而优化目标空间的三维模型的构建过程。根据该方案，首先，在用户界面中显示至少一个图像的点云数据，该至少一个图像是在目标空间中被捕获的，而点云数据包括与所述目标空间相关联的位置信息，例如，目标空间中各物体的三维坐标。如果接收到调整点云数据的位置信息的请求，该请求指示自动还是手动进行该调整，则相应地调整点云数据的位置信息，以用于构建目标空间的三维模型。
24.由于不同点云数据是基于在目标空间中的不同位置捕获的图像生成的，所以不同点云数据所包含的位置信息之间可能会有偏差，因此需要对位置信息进行调整。例如，可以将不同视点和坐标系中的点云数据统一到参考坐标系(例如，大地坐标系)中，以提高三维模型构建的精度。
25.以此方式，用户可以根据需要请求自动还是手动对点云数据的位置信息进行调整，例如，将点云数据包含的三维坐标统一为真实世界的坐标，从而可以将相应地点云数据有效用于目标空间的三维模型构建中。由此，一方面提高了点云数据处理的效率，可以根据用户需求灵活采用手动或自动方式来处理每一片点云的数据；另一方面，提高了点云数据处理的灵活度，方便了用户操作，提高了用户体验。
26.图1示出了本公开的实施例能够在其中实现的示例环境100的示意图。
27.在环境100中，电子设备110能够在用户界面112中显示点云数据114。点云数据114是基于在目标空间中捕获的图像生成的，其包含与目标空间相关联的位置信息，例如，可以包括所捕获的图像中对象的三维坐标。而且，点云数据114还可以包括与图像有关的颜色和/或反射强度等信息。目标空间可以是任意室内外场景。
28.用于生成点云数据114的图像可以由图像捕获设备116在目标空间中捕获。图像捕获设备116可以是专用的全景相机，也可以是普通相机。相应地，所捕获的图像可以是全景图像，也可以是普通图像。可以由图像捕获设备116生成点云数据114，并且将点云数据发送给电子设备110，以用于构建目标空间的三维模型。在一些实施例中，可以由电子设备110捕获图像，生成相应的点云数据114，并且将所生成的点云数据114展示出来。
29.在此示例中，用户界面112中展示了两片点云，其分别具有点位118和120，点位118和120与在目标空间中捕获图像的位置相对应。针对每个点位，可以从多个角度捕获多个图像。捕获角度以及每个角度所捕获的图像的数目可以根据实际需要来设置，例如，可以取决于目标空间的特点，三维模型的精度等等。
30.电子设备110可以是任意类型的移动终端、固定终端或便携式终端，包括移动手机、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、媒体计算机、多媒体平板、个人通信系统(pcs)设备、个人导航设备、个人数字助理(pda)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者前述各项的任意组合，包括这些设备的配件和外设或者其任意组合。在一些实施例中，电子设备110也能够支持任意类型的针对用户的接口(诸如“可佩戴”电路等)。
31.在一些实施例中，电子设备110可以与远端的服务器121通信，以将处理后的点云数据114发送给服务器121，以供服务器121由此生成目标空间的三维模型。在一些实施例
中，服务器132还可以提供对点云数据114的存储功能、特定处理任务等等，以扩展电子设备110的存储和处理能力。服务器132可以是能够提供计算能力的各种类型的计算系统，包括但不限于大型机、边缘计算节点、云环境中的计算设备，等等。
32.应当理解，仅出于示例性的目的描述环境100的结构和功能，而不暗示对于本公开的范围的任何限制。例如，电子设备110可以不与远端的服务器121通信，因此服务器121可以省略。
33.在一些示例中，电子设备110可以安装有点云处理应用122，该应用122可以提供与用户124的交互，以根据用户124的请求对点云数据进行处理。如图1所示，用户124可以通过点击控制面板126上的界面元素128或130来请求自动或者手动调整点云数据114的位置信息，例如，将点云数据的位置信息统一到参考坐标系(例如，大地坐标系)中。目标空间的三维模型可以利用调整了位置信息的点云数据来构建。在其他示例中，电子设备110可以不需要安装点云处理应用122，而以其他方式，例如通过网页访问的方式提供与用户124的交互，以实现针对点云数据114的处理。由此，为用户124提供了非常灵活的点云数据处理方式。
34.应当理解，图1中的用户界面112以及下文中将描述的其他附图中的用户界面和展示界面仅仅是示例，实际可以存在各种设计。例如，界面中的各个图形元素和/或控件可以具有不同的布置和不同的视觉表示，其中的一个或多个元素和/或控件可以省略或被替换，并且还可以存在一个或多个其他元素和/或控件。而且，界面中可以包含任意适当文字内容。本公开的实施例在此方面不受限制。
35.图2示出了根据本公开的一些实施例的图像处理的过程200的流程图。过程200可以在电子设备110处实现。为便于讨论，将结合图1的环境100来描述过程200。
36.在框210，在用户界面(例如，图1中的用户界面112)中显示至少一个图像的点云数据(例如，图1中示出的点云数据114)。该至少一个图像是在目标空间中被捕获的，而点云数据包括与目标空间相关联的位置信息，以用于构建目标空间的三维模型。目标空间可以是待构建三维模型的任何适当空间区域。作为示例，在对房屋进行三维建模的场景中，目标空间可以是房屋所对应的空间区域。
37.点云数据可以基于该至少一个图像生成，该图像可以是在目标空间的一个或多个位置捕获的全景图像或者普通图像。在图1所示的示例中，用户界面112中显示的点云数据114包括分别具有点位118和120的两片点云的数据，而点位118和120与目标空间中捕获图像的位置相对应。可以采用当前已知以及将来开发的基于图像生成点云数据的任何适当方式，本公开的范围在此方面不受限制。
38.在框220，接收(例如，来自用户124)调整点云数据的位置信息的请求(称为“第一请求”)。第一请求指示自动还是手动调整该位置信息。在框230，响应于接收到第一请求，相应地调整点云数据的位置信息，以用于构建目标空间的三维模型。当前已知以及将来开发的用于构建目标空间的三维模型的任意适当算法或者方式可以在此使用，本公开的范围在此方面不受限制。
39.如前面提及的，由于不同点云数据是基于在目标空间中的不同位置捕获的图像生成的，所以不同点云数据所包含的位置信息之间可能会有偏差。可以例如通过将点云数据统一到同一个参考坐标系中，来对点云数据的位置信息进行调整，以减少偏差，从而提高三维模型构建的精度。可以采用任意适当参考坐标系，例如世界坐标系，或者其他通用的坐标
系。
40.根据本公开的实施例，用户可以根据实际需要灵活选择以手动方式还是自动方式来调整点云数据的位置信息，从而可以适应各种三维模型构建场景。由此，既提高了三维模型构建的想来，又便捷了用户操作，提高了用户体验。
41.用户(例如，图1中的用户124)可以任意适当方式来请求自动还是手动调整点云数据的位置信息。例如，在图1所示的示例中，用户124可以通过对界面元素128和130执行预定操作来请求自动或手动调整点云数据114的相应位置信息。该预定操作可以包括任意适当操作，诸如，点击、触摸或者接近等等。作为示例，如果用户124点击了界面元素128，则表明用户124请求以自动方式进行位置信息的调整。如果用户124点击了界面元素130，则表明用户124请求手动进行位置信息的调整。
42.在一些实施例中，用户可以通过对点云数据执行预定操作来请求自动或手动调整点云数据的相应位置信息。对点云数据的预定操作也可以包括任意适当操作，诸如，双击、单击、三击、触摸或者接近等等。例如，在图1所示的示例中，响应于检测到用户124双击了点云数据中的点位118，确定用户124请求自动调整点位118所对应的点云数据的位置信息。
43.在一些实施例中，用户还可以通过对点云数据执行预定操作而取消先前的位置信息调整。例如，在调整了点位118所对应的点云数据的位置信息后，如果检测到用户124后续针对点位118再次执行了预定操作(例如，再次双击点位118)，则将调整后的位置信息恢复为调整前的位置信息。位置信息没有调整的点云数据可以被视为无效，不用于进行后续对目标空间的三维模型的构建。
44.在一些实施例中，位置信息已被调整和未被调整的点云数据可以区别显示。例如，可以在用户界面中显示点云数据的位置信息已被调整的提示。由此，可以向用户提示点云数据的处理状态，从而进一步提高用户体验。该提示可以任意适当方式实现。作为示例，在调整了点位118对应的点云数据的位置信息之后，可以将点位118突出显示，例如改变其显示颜色，比如，从橙色变为蓝色，以表明相应的点云数据的位置信息已经调整。如果用户取消了该点云数据的调整，其位置信息被恢复为调整前的位置信息，则点位118可以恢复为先前的显示状态，比如，从蓝色变回橙色。应当理解，颜色改变仅仅是示例而非限制，还可以通过其他任意适当方式来向用户提示点云数据的位置信息已被调整。
45.在一些实施例中，如果来自用户(例如，图1中的用户124)的第一请求指示手动进行位置信息调整，则检测点云数据(例如，图1中的点云数据114)在用户界面(例如，图1中的用户界面112)中显示位置的改变，并且基于该改变来调整点云数据的位置信息。例如，在图1所示的示例中，用户124可以调整点位118和点位120相对位置，以改变相应两片点云的相对显示位置。继而，两片点云的位置信息可以基于其显示位置的改变而被调整。
46.在一些实施例中，用户可以根据需要改变点云数据中的待处理数据部分。例如，在用户发起了对点云数据中的一部分数据进行删除、替换和添加等处理的请求(称为“第二请求”)之后，可以在用户界面(例如，图1中的用户界面112)上显示相应的控件。如果用户对所显示的控件执行了预定操作(例如，双击、单击、三击、触摸或接近等)，则确定要从点云数据删除、替换或者向点云数据添加另一部分数据。下面将结合图3a和3b讨论这方面的示例实施例。
47.首先参考图3a，其示出了根据本公开的一些实施例的用于点云数据处理的示例用
户界面300。
48.在用户界面300中，在控制面板126上呈现了用于请求自动和手动的位置信息调整的界面元素128和130。此外，控制面板126上还呈现了界面元素302、304、306和308(例如，“剪刀”、“窗户”、“镜子”、“删除”图标)，用于触发对点云数据114的一部分数据进行相应处理(例如，删除)。如图3a所示，在控制面板126中各界面元素是平铺展开显示的。这样，所有的界面元素只有一个层级，不需要在不同界面元素或者控件之间进行导航，从而方便了用户操作。
49.用户(例如，图1中的用户124)可以通过对控制面板126上的各界面元素执行预定操作(诸如，点击、触摸或者接近等等)来触发相应的处理。例如，用户124可以通过点击控制面板126上的界面元素302(例如，“剪刀”图标)，来发起对点云数据114的一部分数据进行处理的第二请求。相应地，在用户界面300中显示了相应的控件310。作为示例，控件310可以包含“剪刀”图标。控件310还可以包括点云数据中待处理数据部分的指示(称为“第一指示”)312。如图3a所示，第一指示312中的箭头指向横线314上方，表示横线314上方的数据将被剪切或删除。删除表示相应方向的点云数据，被视为无效或没有用，不用于后续目标空间的三维模型的构建，无需进行后续处理。
50.用户124还可以点击界面元素304或306(例如，“窗户”或“镜子”图标)，并且，相应地，在用户界面300中显示控件316或318(例如，包括“窗户”或“镜子”图标)。还可以响应于用户124对界面元素308(例如，“删除”图标)执行预定操作，而显示相应的控件(未示出)。
51.用户124可以通过对用于对点云数据的一部分执行处理的控件310、316或318执行预定操作，例如，双击、单击、三击、触摸或接近等，来改变要被处理的点云数据部分。例如，如果用户124双击了控件310，则表明用户124请求从点云数据114中剪切或删除横线314下方(而不是横线314上方)的数据。在这种情况下，如图3b所示，在用户界面320中，图3a中示出的第一指示312被替换为指示(称为“第二指示”)322，其中的箭头方向指向横线314下方，表明横线314下方的点云数据部分要被删除或剪切。
52.应当理解，图3a所示的用户界面300中的界面元素仅仅是示例，实际可以存在各种设计。例如，控制面板126上可以包括用于点云数据进行其他任意适当处理(例如，替换和添加等等)的其他界面元素。响应于用户对其他界面元素的预定操作，可以触发替换或者添加一部分点云数据，以用于后续目标空间的三维模型的构建，从而进一步提高三维模型构建的效率。
53.以此方式，用户可以根据需要通过对用户界面中显示的控件执行操作来改变点云数据中待处理的数据部分，从而进一步提高了点云数据处理的灵活性和效率，同时方便了用户操作，提高了用户体验。
54.图4示出了根据本公开的一些实施例的用于展示全景图像的装置400的示意性结构框图。装置400可以被实现为或者被包括在电子设备110中。装置400中的各个模块/组件可以由硬件、软件、固件或者它们的任意组合来实现。
55.如图4所示，装置400包括点云显示模块410、请求接收模块420和位置调整模块430。点云显示模块410被配置为在用户界面中显示至少一个图像的点云数据。至少一个图像在目标空间中被捕获，并且点云数据包括与目标空间相关联的位置信息。请求接收模块420被配置为接收调整点云数据的位置信息的第一请求。第一请求指示自动还是手动调整
位置信息。位置调整模块430被配置为响应于接收到第一请求，调整点云数据的位置信息，以用于构建目标空间的三维模型。
56.在一些实施例中，位置调整模块430可以进一步被配置为：响应于第一请求指示手动调整位置信息，检测点云数据在用户界面中显示位置的改变；以及基于显示位置的改变，调整点云数据的位置信息。
57.在一些实施例中，位置调整模块430可以进一步被配置为：检测针对点云数据的预定操作。
58.在一些实施例中，装置400还可以包括：位置恢复模块，被配置为响应于检测到后续针对点云数据的预定操作，将位置信息恢复为调整前的位置信息。
59.在一些实施例中，装置400还可以包括：控件显示模块，被配置为响应于接收到从点云数据删除、替换或者向点云数据添加一部分数据的第二请求，在用户界面上显示相应的控件；以及删除确定模块，被配置为响应于检测到针对控件的预定操作，确定要从点云数据删除、替换或者向点云数据添加另一部分数据。
60.在一些实施例中，控件可以包括点云数据中的待处理数据部分的指示。删除确定模块可以进一步被配置为：响应于检测到针对控件的预定操作，将点云数据中的一部分数据待处理的第一指示替换为点云数据中的另一部分数据待处理的第二指示。
61.在一些实施例中，请求接收模块420可以进一步被配置为：检测针对用户界面中的控制面板上显示的用于触发自动调整位置信息的界面元素的预定操作，其中控制面板上的界面元素被平铺展开显示。
62.在一些实施例中，装置400还可以包括：提示模块，被配置为在所述用户界面中显示所述点云数据的所述位置信息已被调整的提示。
63.应当理解，上文参考图1、图2、图3a和图3b讨论的关于过程200的特征和效果同样适用于装置400，在此不再赘述。另外，装置400中所包括的模块可以利用各种方式来实现，包括软件、硬件、固件或其任意组合。在一些实施例中，一个或多个模块可以使用软件和/或固件来实现，例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代，装置400中的部分或者全部模块可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制，可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准品(assp)、片上系统(soc)、复杂可编程逻辑器件(cpld)，等等。
64.图5示出了示出了其中可以实施本公开的一个或多个实施例的电子设备500的框图。应当理解，图5所示出的电子设备500仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。图5所示出的电子设备500可以用于实现图1的电子设备110。
65.如图5所示，电子设备500是通用计算设备的形式。电子设备500的组件可以包括但不限于一个或多个处理器或处理单元510、存储器520、存储设备530、一个或多个通信单元540、一个或多个输入设备550以及一个或多个输出设备560。处理单元510可以是实际或虚拟处理器并且能够根据存储器520中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高电子设备500的并行处理能力。
66.电子设备500通常包括多个计算机存储介质。这样的介质可以是电子设备500可访
问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器520可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(ram))、非易失性存储器(例如，只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、闪存)或它们的某种组合。存储设备530可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在电子设备500内被访问。
67.电子设备500可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图5中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器520可以包括计算机程序产品525，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。
68.通信单元540实现通过通信介质与其他计算设备进行通信。附加地，电子设备500的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，电子设备500可以使用与一个或多个其他服务器、网络个人计算机(pc)或者另一个网络节点的逻辑连接来在联网环境中进行操作。
69.输入设备550可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备560可以是一个或多个输出设备，例如显示器、扬声器、打印机等。电子设备500还可以根据需要通过通信单元540与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与电子设备500交互的设备进行通信，或者与使得电子设备500与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(i/o)接口(未示出)来执行。
70.根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中计算机可执行指令被处理器执行以实现上文描述的方法。根据本公开的示例性实现方式，还提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括计算机可执行指令，而计算机可执行指令被处理器执行以实现上文描述的方法。
71.这里参照根据本公开实现的方法、装置、设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
72.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
73.可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生
计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
74.附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
75.以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各个实现方式。