关键点检测的方法、装置、设备以及存储介质与流程

本公开涉及人工智能技术领域，尤其涉及计算机视觉和深度学习领域，可应用于机器人或自动驾驶场景下。

背景技术：

随着社会的进步和科技的迅猛发展，短视频、直播、在线教育、自动驾驶等行业不断的兴起，在各种交互场景中，基于关键点信息进行互动的功能需求越来越多。

相关技术在进行关键点检测时，依赖于神经网络的输出结果。在图像被遮挡或神经网络训练精度不够的情况下，关键点检测结果无法满足需求。

技术实现要素：

本公开提供了一种关键点检测的方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种关键点检测的方法，该方法可以包括以下步骤：

确定图像中目标对象的中心关键点的空间坐标；

利用中心关键点的空间坐标，以及中心关键点与目标对象的其他关键点的位置关系，确定其他关键点的空间坐标；

确定其他关键点的平面坐标，利用其他关键点的平面坐标对其他关键点的空间坐标进行修正，以得到检测结果。

根据本公开的另一方面，提供了一种关键点检测的装置，该装置可以包括以下组件：

中心关键点的空间坐标确定模块，用于确定图像中目标对象的中心关键点的空间坐标；

其他关键点的空间坐标确定模块，用于利用中心关键点的空间坐标，以及中心关键点与目标对象的其他关键点的位置关系，确定其他关键点的空间坐标；

空间坐标修正模块，用于确定其他关键点的平面坐标，利用其他关键点的平面坐标对其他关键点的空间坐标进行修正，以得到检测结果。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。

根据本公开的技术，利用目标对象中心关键点，采用辐射的方式进行其他关键点空间坐标的确认。由于上述过程考虑了目标对象的深度因素。尤其在包括多个目标对象的情况下，各目标对象的相对位置数据会保留下来。并且，采用辐射确定空间坐标以及利用平面坐标进行修正的方式，可以保证各关键点空间坐标的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开关键点检测的方法的流程图；

图2是根据本公开目标对象的检测框以及目标对象的中心关键点的空间坐标的示意图；

图3是根据本公开目标对象的各关键点之间的位置关系的示意图；

图4是根据本公开目标对象的各关键点的平面坐标的示意图；

图5是根据本公开对图像进行特征识别的示意图；

图6是根据本公开确定中心关键点的空间坐标的流程图；

图7是根据本公开目标对象的各关键点的深度值的示意图；

图8是根据本公开确定其他关键点的空间坐标的流程图；

图9是根据本公开确定第一候选关键点的示意图；

图10是根据本公开确定其他关键点的空间坐标的流程图；

图11是根据本公开对其他关键点的空间坐标进行修正的流程图；

图12是根据本公开对其他关键点的空间坐标进行修正的流程图；

图13是根据本公开关键点检测的装置的示意图；

图14是用来实现本公开实施例的关键点检测的方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

如图1所示，本公开涉及一种关键点检测的方法，该方法可以包括以下步骤：

s101：确定图像中目标对象的中心关键点的空间坐标；

s102：利用中心关键点的空间坐标，以及中心关键点与目标对象的其他关键点的位置关系，确定其他关键点的空间坐标；

s103：确定其他关键点的平面坐标，利用其他关键点的平面坐标对其他关键点的空间坐标进行修正，以得到检测结果。

本公开上述方案的执行主体可以是安装在手机、平板电脑、音箱等智能设备中的应用程序，也可以是前述应用程序的服务器等。通过智能设备接收到图像，以实现对于图像中目标对象的关键点检测。

其中，目标对象可以是人物、动物或者是车辆等物体。以下实施例以目标对象是人物为例进行说明。

可以将图像输入预先训练的模型，以得到目标对象中心关键点的空间坐标。即，该中心关键点可以是3d关键点。预先训练的模型可以包括用于确定目标对象框检测的第一模型。例如图2所示，该第一模型接收图像，可以输出图像中的目标对象的检测框以及目标对象的中心关键点的空间坐标等，另外，还可以输出检测框的宽度值和高度值等。

进一步地，预先训练的模型还可以包括用于确定目标对象各关键点之间的位置关系特征向量的第二模型。例如图3所示，该第二模型接收图像，可以输出图像中目标对象的各关键点之间的位置关系特征向量。该位置关系可以是空间位置关系。

根据目标对象中心关键点的空间坐标，以及目标对象各关键点之间的位置关系特征向量，可以从中心关键点出发，依次发散的确定出在中心关键点周围的各其他关键点的空间坐标。

进一步的，利用已确认出空间坐标的其他关键点的空间坐标继续发散，可以确定出检测框内所有目标对象的关键点的空间坐标。

此外，预先训练的模型还可以包括确定目标对象各关键点平面坐标的第三模型。例如图4所示，该第三模型接收图像，可以输出图像中目标对象的各关键点的平面坐标。

一般来说，由于平面坐标是二维数据，相较于三维数据来说可信度更高。因此，可以利用各关键点的平面坐标对对应的关键点的空间坐标进行修正，以得到检测结果。

结合图5所示，可以利用主干网络(hourglass)进行图像特征的提取，以得到图像特征。将图像特征分别输入上述第一模型、第二模型和第三模型，可以得到对应的目标对象的检测框、目标对象的中心关键点的空间坐标、目标对象的各关键点之间的位置关系特征向量和目标对象的各关键点的平面坐标等。

另外，还可以包括第四模型，第四模型可以是确定关键点深度值的模型，具体功能将在后文详述。

本申请的上述第一模型、第二模型和第三模型(包括第四模型)可以预先进行训练。例如，以目标对象为人物为例，可以预先对不同性别、不同体型以及不同姿势的人物图像样本进行关键点标注。标注结果可以是上述第一模型、第二模型和第三模型的输出结果。其中，标注结果的分辨率可以与第一模型、第二模型和第三模型的输出结果的分辨率保持一致。

将人物图像样本输入主干网络，可以提取图像特征。通过待训练的第一模型、待训练的第二模型和待训练的第三模型，可以分别得到预测结果。分别将预测结果与对应的标注结果进行比较，利用差异对待训练的第一模型、待训练的第二模型和待训练的第三模型中的参数进行调整，直至模型输出结果收敛。

另外，为了增强模型的泛化能力，以及丰富训练数据。在训练之前，还可以将图像样本进行不同尺度缩放、不同旋转角度和/或彩色空间的扰动增强处理等。

通过上述方案，利用目标对象中心关键点，采用辐射的方式进行其他关键点空间坐标的确认。由于上述过程考虑了目标对象的深度因素。尤其在包括多个目标对象的情况下，各目标对象的相对位置数据会保留。并且，采用发散的方式依次确定关键点的空间坐标，以及利用平面坐标进行修正的方式，可以保证各关键点空间坐标的准确性。

如图6所示，在一种实施方式中，步骤s101可以进一步包括以下子步骤：

s601：确定目标对象的检测框，以及中心关键点的待修订的空间坐标；

s602：将出现在检测框内部的关键点确定为目标对象的关键点；

s603：利用目标对象的关键点的深度，对中心关键点的待修订的空间坐标进行修订，以得到目标对象中心关键点的空间坐标。

利用前述的第一模型，可以得到图像中每个目标对象的检测框，以及目标对象的中心关键点的空间坐标。在当前实施方式中，通过第一模型得到的目标对象的中心关键点的空间坐标可以作为待修订的空间坐标。

利用第四模型，可以确定目标对象各关键点的深度值。例如图7所示，该第四模型接收图像，可以输出图像中目标对象的各关键点的深度值。

对于同一目标对象，可以利用该目标对象的检测框对各关键点进行约束，从而可以相对准确的获取到属于同一目标对象的各关键点。

可以计算同一目标对象的各关键点深度值的平均值等。将计算结果作为修订参数，以对待修订的空间坐标进行修订。例如，待修订的空间坐标可以表示为(x，y，z)。利用同一目标对象的各关键点深度值进行平均值计算的计算结果可以表示为z’。则，修订后的空间坐标可以表示为(x，y，z’)。

通过上述方案，引入关键点深度检测结果。利用目标对象的所有关键点的深度值对该目标对象的中心关键点的空间坐标进行修正，以使修正后的中心关键点的坐标准确度更高。

如图8所示，在一种实施方式中，步骤s102可以具体包括以下子步骤：

s801：根据预定规则，在其他关键点中选择至少一个第一候选关键点，将第一候选关键点与中心关键点组成第一关键点集合；

s802：利用空间向量模型，分别确定中心关键点与第一关键点集合中的每个第一候选关键的位置关系；

s803：利用中心关键点的空间坐标，以及中心关键点与第一关键点集合中的任一第一候选关键点的位置关系，确定对应的第一候选关键点的空间坐标；

将第一候选关键点的空间坐标作为其他关键点的空间坐标。

预定规则可以是按照与中心关键点的距离进行选择，也可以是按照各关键点所代表的关节或部位之间的联动关系进行选择，还可以是随机选择等。

以各关键点所代表的关节之间的联动关系进行选择为例，可以以中心关键点为原点，选择与中心关键点所代表的关节或部位具有联动关系的其他关节或部位所对应的关键点作为第一候选关键点。第一候选关键点可以是一个，也可以是多个。

将第一候选关键点与中心关键点组成集合，该集合可以称为由关键点组成的链路结构。

利用中心关键点的空间坐标，以及前述第二模型得出的各关键点之间的位置关系，可以得出集合中的每个第一候选关键点的空间坐标。

通过上述方案，采用以中心关键点为原点，对其周围的关键点进行辐射以确定周围关键点空间坐标的方式，可以保证各关键点空间坐标的准确性。

在一种实施方式中，第一关键点集合的数量为多个，每个第一关键点集合中的第一候选关键点不同。

结合图9所示，可以利用多种预定规则，选择与中心关键点具有关联的第一候选关键点，以组成不同的集合。即，不同的集合对应不同的链路结构。每个第一关键点集合中的第一候选关键点不同可以指数量不同，也可以指包括不同的关键点。以目标对象为人物为例，示例性地，人物可以包括17个关键点，除中心关键点外的16个关键点可以作为第一关键点集合中的第一候选关键点。另外，也可以根据距离，选择距离中心关键点距离较近的n个关键点作为第一关键点集合中的第一候选关键点。

通过上述方案，每个第一候选关键点可能会得到多个不同的空间坐标。在后续处理过程中，可以利用多个不同的空间坐标，得到每个第一候选关键点的空间坐标最终计算结果。该空间坐标最终计算结果与真值的差异较小，符合精度要求。

利用多组不同的空间坐标，得到每个第一候选关键点的空间坐标最终计算结果的具体过程将在后文进行详述。

如图10所示，在一种实施方式中，还包括：

s1001：根据预定规则以及与已确定空间坐标的第一候选关键点的关联关系，在未确定空间坐标的其他关键点中，选择至少一个第二候选关键点，将已确定空间坐标的第一候选关键点与第二候选关键点组成第二关键点集合；

s1002：利用空间向量模型，分别确定已确定空间坐标的第一候选关键点与第二关键点集合中的每个第二候选关键的位置关系；

s1003：利用已确定空间坐标的第一候选关键点的空间坐标，以及已确定空间坐标的第一候选关键点与第二关键点集合中的任一第二候选关键的位置关系，确定对应的第二候选关键点的空间坐标；

将第二候选关键点的空间坐标作为其他关键点的空间坐标。

在第一候选关键点无法覆盖目标对象所有关键点的情况下，可以将未确定空间坐标的关键点作为第二候选关键点。

在确定第二候选关键点的空间坐标时，可以借助已确定空间坐标的第一候选关键点。例如，对于已确定空间坐标的第一候选关键点，可以通过前述预定规则，选择与第一候选关键点相关联的第二候选关键点，组成第二关键点集合。

根据第二模型的输出结果，可以得到第二关键点集合中第一候选关键点与每个第二候选关键点的位置关系。进而可以利用该位置关系，得到每个第二候选关键点的位置关系。

进一步的，在前述实施方式中，第一关键点集合的数量为多个的情况下，则可以对应得到多个第二关键点集合。即，可以得到每个第二候选关键点的多个空间坐标。同理，也可以根据过个不同的空间坐标，得到每个第一候选关键点的空间坐标最终计算结果。

由于第二关键点的空间坐标是利用第一关键点的空间坐标得来的，因此第二关键点的坐标精度也可以满足要求。

如图11所示，在一种实施方式中，步骤s103可以进一步包括以下子步骤：

s1101：对于任意其他关键点，利用平面坐标确定模型，确定每个其他关键点的平面坐标；

s1102：利用其他关键点的平面坐标与空间坐标中的x轴坐标、y轴坐标的差异，对其他关键点的空间坐标进行修正。

在当前实施方式中，平面坐标获取模型可以采用高斯热图模型。

例如，图像分辨率为640×640。图像中目标对象为人物，该人物共包括17个关键点。则每个(圆形)关键点在图像中会以高斯热图的形式占据一部分像素点。在关键点中心的坐标可以作为关键点的平面坐标。

对关键点的空间坐标进行修正的方式可以包括以下几种：

在关键点的平面坐标与空间坐标中的x轴坐标、y轴坐标的差异不大于对应阈值的情况下，可以以平面坐标替换空间坐标中的x轴坐标、y轴坐标。

在关键点的平面坐标与空间坐标中的x轴坐标、y轴坐标的差异大于对应阈值的情况下，可以保留空间坐标中的x轴坐标、y轴坐标。

或者，还可以根据差异的大小，对应设置不同权重。例如，对于平面坐标，可以设置权重为q1。根据差异的大小，对空间坐标中的x轴坐标、y轴坐标，可以设置权重为q2。可以利用计算权重和的方式，对空间坐标中的x轴坐标、y轴坐标进行修正。

通过上述方案，可以借助准确度相对较高的关键点的平面坐标对空间坐标进行修正。由于空间坐标中的深度值(z轴坐标)以后前述第二模型的输出结果进行修正，在当前实施方式中，再对空间坐标中的x轴坐标、y轴坐标进行修正，以使空间坐标的精准度更高。

如图12所示，在一种实施方式中，在同一个其他关键点包括多个空间坐标的情况下，步骤s103还可以包括以下步骤：

s1201：根据其他关键点的平面坐标与每个空间坐标中的x轴坐标、y轴坐标的差异，对每个空间坐标分配权重；

s1202：计算每个空间坐标的权重和，得到计算结果；

s1203：将计算结果作为其他关键点的空间坐标的修正结果。

其他关键点可以对应前述的第一候选关键点和第二候选关键点。对于任意其他关键点，可以以该关键点的平面坐标为参考值。根据该关键点的平面坐标，对每个空间坐标进行打分。

打分可以根据空间坐标中的x轴坐标、y轴坐标与平面坐标的差异进行。差异越小则分数越高。

对于分数高的空间坐标，可以分配高权重。对应的，对于分数低的坐标，可以分配低权重。

进一步的，还可以设置对应阈值。在分数低于对应阈值的情况下，可以将低分对应的空间坐标舍弃。

对于保留下来的空间坐标，可以计算权重和，将权重和作为该坐标最终的结果。

通过上述方案，可以根据不同链路结构，得到同一个关键点的多个空间坐标，利用多个空间坐标进行综合计算，可以得到准确度较高的最终结果。

如图13所示，本公开涉及一种关键点检测的装置，该装置可以包括以下组件：

中心关键点的空间坐标确定模块1301，用于确定图像中目标对象的中心关键点的空间坐标；

其他关键点的空间坐标确定模块1302，用于利用中心关键点的空间坐标，以及中心关键点与目标对象的其他关键点的位置关系，确定其他关键点的空间坐标；

空间坐标修正模块1303，用于确定其他关键点的平面坐标，利用其他关键点的平面坐标对其他关键点的空间坐标进行修正，以得到检测结果。

在一种实施方式中，中心关键点的空间坐标确定模块1301可以进一步包括：

初始信息确定子模块，用于确定目标对象的检测框，以及中心关键点的待修订的空间坐标；

目标对象的关键点确定子模块，用于将出现在检测框内部的关键点确定为目标对象的关键点；

空间坐标修订子模块，用于利用目标对象的关键点的深度，对中心关键点的待修订的空间坐标进行修订，以得到目标对象中心关键点的空间坐标。

在一种实施方式中，其他关键点的空间坐标确定模块1302可以进一步包括：

第一关键点集合确定子模块，用于根据预定规则，在其他关键点中选择至少一个第一候选关键点，将第一候选关键点与中心关键点组成第一关键点集合；

位置关系确定子模块，用于利用空间向量模型，分别确定中心关键点与第一关键点集合中的每个第一候选关键的位置关系；

第一候选关键点的空间坐标确定子模块，用于利用中心关键点的空间坐标，以及中心关键点与第一关键点集合中的任一第一候选关键点的位置关系，确定对应的第一候选关键点的空间坐标；

将第一候选关键点的空间坐标作为其他关键点的空间坐标。

在一种实施方式中，第一关键点集合的数量为多个，每个第一关键点集合中的第一候选关键点不同。

在一种实施方式中，其他关键点的空间坐标确定模块1302，还可以包括：

第二关键点集合确定子模块，用于根据预定规则以及与已确定空间坐标的第一候选关键点的关联关系，在未确定空间坐标的其他关键点中，选择至少一个第二候选关键点，将已确定空间坐标的第一候选关键点与第二候选关键点组成第二关键点集合；

第二候选关键的位置关系确定子模块，用于利用空间向量模型，分别确定已确定空间坐标的第一候选关键点与第二关键点集合中的每个第二候选关键的位置关系；

第二候选关键点的空间坐标确定子模块，用于利用已确定空间坐标的第一候选关键点的空间坐标，以及已确定空间坐标的第一候选关键点与第二关键点集合中的任一第二候选关键的位置关系，确定对应的第二候选关键点的空间坐标；

将第二候选关键点的空间坐标作为其他关键点的空间坐标。

在一种实施方式中，空间坐标修正模块1303可以进一步包括：

平面坐标确定子模块，用于对于任意其他关键点，利用平面坐标确定模型，确定每个其他关键点的平面坐标；

空间坐标修正执行子模块，用于利用其他关键点的平面坐标与空间坐标中的x轴坐标、y轴坐标的差异，对其他关键点的空间坐标进行修正。

在一种实施方式中，在同一个其他关键点包括多个空间坐标的情况下，空间坐标修正执行子模块，包括：

权重分配单元，用于根据其他关键点的平面坐标与每个空间坐标中的x轴坐标、y轴坐标的差异，对每个空间坐标分配权重；

权重和计算单元，用于计算每个空间坐标的权重和，得到计算结果；

将计算结果作为其他关键点的空间坐标的修正结果。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图14示出了可以用来实施本公开的实施例的电子设备1400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。

如图14所示，电子设备1400包括计算单元1410，其可以根据存储在只读存储器(rom)1420中的计算机程序或者从存储单元1480加载到随机访问存储器(ram)1430中的计算机程序来执行各种适当的动作和处理。在ram1430中，还可存储设备1400操作所需的各种程序和数据。计算单元1410、rom1420以及ram1430通过总线1440彼此相连。输入输出(i/o)接口1450也连接至总线1440。

电子设备1400中的多个部件连接至i/o接口1450，包括：输入单元1460，例如键盘、鼠标等；输出单元1470，例如各种类型的显示器、扬声器等；存储单元1480，例如磁盘、光盘等；以及通信单元1490，例如网卡、调制解调器、无线通信收发机等。通信单元1490允许电子设备1400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1410可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1410的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1410执行上文所描述的各个方法和处理，例如关键点检测的方法。例如，在一些实施例中，关键点检测的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1480。在一些实施例中，计算机程序的部分或者全部可以经由rom1420和/或通信单元1490而被载入和/或安装到电子设备1400上。当计算机程序加载到ram1430并由计算单元1410执行时，可以执行上文描述的关键点检测的方法的一个或多个步骤。备选地，在其他实施例中，计算单元1410可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行关键点检测的方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。