一种对象信息监测方法、装置及电子设备与流程

1.本发明涉及测量技术领域，尤其涉及一种对象信息监测方法、装置及电子设备。


背景技术：

2.对于一些以人体特征信息为重要检测指标的事项，在人员集中区域的体征信息确定具有较高难度。例如：以人体体温为重要检测指标的传染性疾病。在人员集中场所或重要出入口(例如：机场、车站、商场、小区入口、各个企业入口等)等地方需要设置非接触式并且能够快速响应的体温测量装置，以对人员体温进行有效筛查。
3.目前对于人流量较大的地方，主要采用红外测温的方式实现无接触式快速人体测温。举例说明，可以采用用户配合的测温方式，例如：将人脸对准指定的屏幕前的摄像头实现测温。但是，该方法需要用户主动配合，测温效率较低。另外还可以采用用户无感知的测温方式，例如：用户通过测温区时，利用包括红外传感器和图像采集装置等装置的测温设备检测测温区域，实现对测温区用户的温度检测，在出现高温人员时进行报警提示。但是，该方法对于面部遮挡较多的人员，由于无法正常进行人脸检测而导致的测温失败等情况，不能进行有效的检测，容易出现漏检、检测不准确、检测到高温时无法确定相应的高温人员等情况。


技术实现要素：

4.本发明实施例提供一种对象信息监测方法、装置及电子设备。
5.根据本发明第一方面，提供了一种对象信息监测方法，所述方法包括：检测目标区域中的待测对象；确定第一目标区域；确定与所述第一目标区域相对应的待测对象的第二目标区域，所述第二目标区域与所述第一目标区域具有相对位置关系；基于所述第一目标区域，对所述待测对象进行目标跟踪；在目标跟踪过程中的采样时刻，采集所述第二目标区域的测试值；根据所述测试值，确定所述待测对象的体征信息。
6.根据本发明一实施方式，确定第一目标区域，包括：获取所述目标区域的第一图像；对所述第一图像进行图像识别，得到图像识别结果；根据所述图像识别结果，确定所述第一目标区域。
7.根据本发明一实施方式，所述图像识别结果包括若干个第一目标区域和若干个第二目标区域；相应的，确定与所述第一目标区域相对应的所述待测对象的第二目标区域，包括：根据所述图像识别结果和所述相对位置关系，对所述若干个第一目标区域和所述若干个第二目标区域进行匹配，得到匹配结果；根据所述匹配结果，确定与所述第一目标区域相对应的待测对象的第二目标区域。
8.根据本发明一实施方式，所述确定与所述第一目标区域相对应的所述待测对象的第二目标区域，还包括：在所述匹配结果示出第一目标区域匹配失败时，采集所述第一目标区域的测试体征值；根据所述测试体征值和所述相对位置关系，确定所述第一目标区域相对应的待测对象的第二目标区域。
9.根据本发明一实施方式，所述图像识别结果包括：每一所述采样时刻所述第一图像中第一目标区域的特征向量；相应的，所述基于所述第一目标区域，对所述待测对象进行目标跟踪；包括：确定第一目标区域在前一采样时刻的初始特征向量；获取当前采样时刻的当前采样图像；根据所述第一目标区域在前一采样时刻的特征向量，预测所述第一目标区域在所述当前采样图像中的预测位置；确定所述预测位置中的第一目标区域的当前特征向量；将所述当前特征向量与所述初始特征向量进行匹配；在所述当前特征向量与所述初始特征向量匹配成功时，确定所述采样图像中的第一目标区域与前一采样时刻的第一目标区域为针对同一待测对象的第一目标区域。
10.根据本发明一实施方式，根据所述测试体征值，确定所述待测对象的体征信息，包括以下之一：确定多个采样时刻所采集的测试体征值的最高值为体征信息；或确定多个采样时刻所采集的测试体征值的平均值为体征信息。
11.根据本发明一实施方式，根据所述测试体征值，确定所述待测对象的体征信息，还包括：对多个采样时刻所采集的测试体征值进行预处理。
12.根据本发明一实施方式，所述测试值为所述待测对象的测试体温值；所述体征信息为所述待测对象的实际体温值。
13.根据本发明第二方面，还提供了一种对象信息监测装置，所述装置包括：检测模块，用于检测目标区域中的待测对象；第一确定模块，用于确定第一目标区域；第二确定模块，用于确定与所述第一目标区域相对应的待测对象的第二目标区域，所述第二目标区域与所述第一目标区域具有相对位置关系；跟踪模块，用于基于所述第一目标区域，对所述待测对象进行目标跟踪；采集模块，用于在目标跟踪过程中的采样时刻，采集所述第二目标区域的测试体征值；信息确定模块，用于根据所述测试体征值，确定所述待测对象的体征信息。
14.根据本发明第三方面，又提供了一种电子设备，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述对象信息监测方法。
15.本发明实施例对象信息监测的方法、装置及电子设备，检测目标区域中的待测对象；确定第一目标区域；确定与所述第一目标区域相对应的待测对象的第二目标区域，所述第二目标区域与所述第一目标区域具有相对位置关系；基于所述第一目标区域，对所述待测对象进行目标跟踪；在目标跟踪过程中的采样时刻，采集所述第二目标区域的测试值；根据所述测试值，确定所述待测对象的体征信息。如此，利用容易进行目标跟踪的第二目标区域对待测对象进行目标跟踪，并根据第二目标区域确定待测对象需要监测的第一目标区域，以对第一目标区域进行监测，获取待测对象的体征信息。有效提高了监测精度，并且能够有效解决第一目标区域检测失败时的漏检问题，显著提高监测效率。并且利用目标跟踪的方法，得到待测对象的跟踪轨迹，由此根据跟踪轨迹上的若干帧的测试值，得到待测对象的最终测温结果，有效避免单帧检测产生的目标跳变不稳定和测试值跳变问题，显著提高测试结果的稳定性。
16.需要理解的是，本发明的教导并不需要实现上面所述的全部有益效果，而是特定的技术方案可以实现特定的技术效果，并且本发明的其他实施方式还能够实现上面未提到
的有益效果。
附图说明
17.通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
18.在附图中，相同或对应的标号表示相同或对应的部分。
19.图1示出了本发明实施例对象信息监测方法的实现流程示意图；
20.图2示出了本发明实施例对象信息监测方法的具体应用示例的实现流程示意图；
21.图3示出了本发明实施例对象信息监测方法的具体应用示例的模型结构示意图；
22.图4示出了本发明实施例对象信息监测装置的实现流程示意图；
23.图5示出了本发明实施例电子设备的组成结构示意图。
具体实施方式
24.下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为使本发明更加透彻和完整，并能够将本发明的范围完整地传达给本领域的技术人员。
25.下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
26.首先，对本发明实施例对象信息监测方法的应用场景进行示例性说明，本发明实施例对象信息监测方法可以应用于体温测量设备，以测量人体体温，具体的，利用普通的图像采集装置来采集可见光图像，以对目标区域的图像进行采集，例如：可以使用摄像机，利用热红外成像设备采集待测对象的体温，体温测量设备所涉及的其他装置此处不再赘述。
27.当然，本发明实施例对象信息监测方法还能够用于监测其他体征信息，例如：监测人体肤色并进行统计、监测面部特征以分析年龄等。当然还可以应用于其他可以适用的场景，本发明对此不作限定。
28.图1示出了本发明实施例对象信息监测方法的实现流程示意图。参考图1，本发明实施例对象信息监测方法，至少包括如下操作流程：操作101，检测目标区域中的待测对象；操作102，确定第一目标区域；操作103，确定与第一目标区域相对应的待测对象的第二目标区域，第二目标区域与第一目标区域具有相对位置关系；操作104，基于第一目标区域，对待测对象进行目标跟踪；操作105，在目标跟踪过程中的采样时刻，采集第二目标区域的测试值；操作106，根据测试值，确定待测对象的体征信息。
29.在操作101，检测目标区域中的待测对象。
30.在本发明一实施方式中，当待测对象进入目标区域后，即自动检测到待测对象，这里，目标区域的待测对象可以是一个，也可以是多个。
31.在操作102，确定第一目标区域。
32.在本发明一实施方式中，首先获取目标区域的第一图像，并对第一图像进行图像识别，得到图像识别结果，从而根据图像识别结果，确定第一目标区域。
33.举例说明，第一图像为体温测量设备的图像采集设备所采集的目标区域的图像，
目标区域可以是某个区域的进出口的指定区域。第一目标区域为人体的头肩区域，这里对所采集的图像进行图像识别即可得到人体的头肩区域。
34.将第一目标区域设置为人体的头肩区域是因为后续操作需要利用第一目标区域对待测人员进行目标跟踪，对待测人员进行测温时需要采集人脸区域的温度，而待测人员低头或面部区域被遮盖时，无法捕捉到人脸区域，但是人脸和肩部具有确定的相对位置，头肩区域的轮廓相对固定，对头肩区域图像的捕捉成功率非常高。当然还可以利用人体的整个上半身或者整个人体的人体姿态进行目标跟踪，以对待测人员进行目标跟踪，并在目标跟踪过程中获取待测人员的多个体温测试值，本发明对此不作具体限定。
35.在操作103，确定与第一目标区域相对应的待测对象的第二目标区域，第二目标区域与第一目标区域具有相对位置关系。
36.在本发明一实施方式中，在对目标区域的第一图像进行图像识别时，同时识别得到包括若干个第一目标区域和若干个第二目标区域的图像识别结果，由此，可以根据图像识别结果和相对位置关系，对若干个第一目标区域和若干个第二目标区域进行匹配，得到匹配结果。进一步的，可以根据匹配结果，确定与其中一个第一目标区域相对应的待测对象的第二目标区域。
37.举例说明，第一目标区域为人体的头肩区域，第二目标区域为人体的人脸区域，人脸区域位于头肩区域的上半部分。当从目标区域的第一图像中识别得到若干个头肩区域和若干个人脸区域时，针对每一头肩区域，确定该头肩区域内上半部分的区域有一个人脸区域，则可以确定该人脸区域为头肩区域相对应的待测人员的人脸区域。
38.在本发明一实施方式中，在匹配结果示出第一目标区域匹配失败时，还可以采集第一目标区域的测试体征值，并根据测试体征值和相对位置关系，确定第一目标区域相对应的待测对象的第二目标区域。
39.举例说明，针对某一个头肩区域，从目标区域的第一图像中识别得到的若干个人脸区域均不能与这一头肩区域匹配时，则可以采集头肩区域的热成像图，确定位于该头肩区域的上半部分并且温度较高的区域为这一头肩区域相对应的待测对象的人脸区域。
40.在操作104，基于第一目标区域，对待测对象进行目标跟踪。
41.在本发明一实施方式中，对目标区域的第一图像进行图像识别时，能够得到每一采样时刻第一图像中第一目标区域的特征向量；相应的，可以确定第一目标区域在前一采样时刻的初始特征向量；获取当前采样时刻的当前采样图像；根据第一目标区域在前一采样时刻的特征向量，预测第一目标区域在当前采样图像中的预测位置；确定预测位置中的第一目标区域的当前特征向量；将当前特征向量与初始特征向量进行匹配；在当前特征向量与初始特征向量匹配成功时，确定采样图像中的第一目标区域与前一采样时刻的第一目标区域为针对同一待测对象的第一目标区域。
42.具体的，每一采样时刻能够获取一帧针对目标区域的图像，在前一采样时刻的图像中，头肩区域t1对应的特征向量为w1，根据头肩区域t1对应的特征向量预测在当前采样时刻该头肩区域t1对应的位置为d1，然后根据当前采样时刻的图像识别结果，d1位置对应的头肩区域t2的特征向量为w2，可以根据w1和w2，利用iou(intersection
‑
over
‑
union，交并比)匹配算法，确定t1和t2是否为针对同一待测人员的头肩区域。
43.在操作105，在目标跟踪过程中的采样时刻，采集第二目标区域的测试值。
44.在本发明一实施方式中，针对每一帧图像中的第一目标区域，采集与其相对应的待测对象的测试值，则可以在目标跟踪过程的中多个采样时刻，分别得到相应的第二目标区域的测试值，如此，再根据多个测试值，确定最终的第二目标区域的实际值。有效避免了对待测目标进行监测过程中的测试数据不稳定、漏检等问题，显著提高测试结果准确度。
45.在操作106，根据测试值，确定待测对象的体征信息。
46.在本发明一实施方式中，测试值为待测对象的测试体温值；体征信息为待测对象的实际体温值。例如：对于待测人员的体温监测，取整个监测过程中的最高值，对于某些以体温大于设定值为重要判断指标的传染性疾病的检测，最大程度地降低待测人员的漏排查可能性。
47.在本发明一实施方式中，根据测试体征值，确定待测对象的体征信息，包括以下之一：确定多个采样时刻所采集的测试体征值的最高值为体征信息；或确定多个采样时刻所采集的测试体征值的平均值为体征信息。
48.例如：对于待测人员的体温监测，取整个监测过程中的平均值，有效提高对待测人员温度检测过程的可靠性和稳定性。
49.在本发明一实施方式中，根据测试体征值，确定待测对象的体征信息，还包括：对多个采样时刻所采集的测试体征值进行预处理。例如：例如：对于待测人员的体温监测，可以在确定待测人员的实际体温值之前，删除整个监测过程中采集的明显不符合人体体温范围的值，例如：30℃、45℃等。
50.图2示出了本发明实施例对象信息监测方法的具体应用示例的实现流程示意图。
51.参考图2，本发明实施例对象信息监测方法，至少包括如下操作流程：
52.操作201，检测出人脸区域和头肩区域，并进行人脸区域和头肩区域的匹配，从相应的热红外图中提取人脸区域的当前目标温度。
53.操作202，针对未匹配上人脸区域的头肩区域，根据热红外图预测头肩区域相对应的人脸区域的位置，并提取人脸区域的当前目标温度。
54.举例说明，利用图像识别的模型预测出人脸区域、头肩区域和头肩特征向量，首先将头肩区域和人脸区域进行匹配，由于人脸区域肯定在头肩区域里，根据人脸区域在头肩区域的上半部分的相对位置关系，对人脸区域和头肩区域进行配对，再映射到热红外图上提取人脸区域的最高温度作为该待测人员的温度，对于由于遮挡遮盖导致无法配对到人脸区域的头肩区域，在头肩区域内定位温度最高的区域，根据头肩特征向量，预测人脸区域，并记录该人脸区域的温度为待测人员当前采样时刻的测试温度。
55.此外，这里可以构建一个跟踪框目标池子，将成功匹配的头肩区域和人脸区域以及匹配的图像帧进行标识并存储。
56.操作203，确定当前帧的头肩区域和头肩区域的特征向量。头肩区域的特征向量可以为一个128位的特征向量。
57.操作204，上一帧跟踪上待测对象，当前帧丢失待测对象，即当前帧中不具有与上一帧中多跟踪的头肩区域相对应的头肩区域。
58.操作205，利用卡尔曼滤波算法，预测跟踪丢失的头肩区域在当前帧的位置。
59.操作206，利用iou算法，计算预测的位置的头肩区域的头肩特征向量与上一帧跟踪到的头肩区域的头肩特征向量的头肩特征距离。
60.举例说明，可以利用当前帧匹配上人脸区域及头肩头肩区域，跟上一帧有效的跟踪目标(例如：上一帧成功跟踪的目标和上一帧暂时丢失跟踪的目标)经过卡尔曼滤波预测的当前位置的目标进行128维度的特征匹配。
61.操作207，利用匈牙利匹配算法，对头肩区域和人脸区域进行匹配。由于在整个对象信息监测过程中，将利用头肩区域进行目标跟踪、利用人脸区域进行信息采集，因此，以下将头肩区域标识为跟踪框，人脸区域为检测框。
62.操作208，对于操作207中将上一帧暂时跟踪丢失的跟踪框与当前帧的检测框成功匹配的待测对象，更新跟踪框目标池。
63.操作209～操作211，对于未匹配上的检测框和未匹配上的跟踪框使用iou匹配算法再次匹配，这里未匹配上的检测框是指上一帧图像中的检测框未能在当前帧的图像中匹配到相应的检测框，相应的，未匹配上的跟踪框是指上一帧图像中的跟踪框未能在当前帧的图像中匹配到相应的跟踪框。对于未能匹配上的检测框和未匹配上的跟踪框进行iou匹配，直至当前帧图像中的所有跟踪框与检测框一一比对之后。对于仍然无法匹配的检测框和跟踪框，执行操作212。
64.操作212，在下一帧中，利用匈牙利算法，再次对跟踪框进行匹配，对于匹配上的跟踪框，更新跟踪框参数，跟踪框目标池，返回执行操作204。
65.针对未匹配上的检测框，执行操作214，针对未激活的跟踪框，执行操作215。
66.操作214，对于未匹配上的跟踪框，执行操作216和操作221，使用iou匹配算法再次对未匹配上的检测框与未匹配上的跟踪框匹配。
67.操作215，对于未匹配上的跟踪框，分两种情况处理：对于已经跟踪结束的跟踪框，执行操作216，删除的跟踪框；对于跟踪丢失的跟踪框，执行操作218，针对丢失的跟踪框，返回操作204。
68.操作219，当操作218中再次进行iou匹配算法处理后，仍然未能未匹配上的跟踪框，删除跟踪框，并执行操作221，将未匹配上的跟踪框进入未激活的跟踪框内。
69.操作220，当未激活的跟踪框被检测框匹配时，激活该跟踪框，将其存储至跟踪框目标池。并返回执行操作204。
70.通过以上对象信息监测方法，若干进入目标区域的待测人员均被记录一条准确的跟踪轨迹，每条跟踪轨迹根据跟踪轨迹上若干帧的测试温度采样得到一个稳定的高温作为轨迹人的最终测温结果。能有效避免单帧检测产生的目标跳变不稳定和温度跳变。
71.此外，目标跟踪不以人脸区域为跟踪目标，而是利用可见性非常高的头肩区域进行目标跟踪，将头肩区域和人脸区域进行匹配和绑定，能有效解决跟踪链上待测人员的人脸区域无法有效跟踪的问题。有效防止监测过程中的待测对象跟踪丢失导致的监测失败问题，例如：待测人员低头看走路、面部遮挡等。
72.图3示出了本发明实施例对象信息监测方法的具体应用示例的模型结构示意图。
73.输入图像为h*w*3经过图3所示的模型输出两个大小为h1*w1*3*140和h2*w2*3*140的输出。其中，3表示每个网格点上对应的三个锚点anchor。所以模型最终在每个网格点上输出3*140的特征，第一个140对应第一个锚点，第二个140对应第二个锚点，第三个140对应第三个锚点。
74.模型训练时，首先确定6个尺度的锚点，将训练数据的标签根据锚点转化为h1*w1*
3*(6+6+c)和h2*w2*3*(6+6+c)的标签,其中第一个6代表dx,dy,dw,dh,prob,cls代表头肩区域的编码信息，第二个6代表dx,dy,dw,dh,prob,cls代表人脸区域的编码信息，最后一个c代表跟踪数据集的id数，使用one
‑
hot标签。
75.锚点的尺寸可以根据对训练数据中目标的尺寸聚类得到，然后对于一个待测对象的图像，对于一个标注框计算这个框对应到输出尺寸图上网格的锚点，设置重合大于0.3为正样本，并且保证一个目标至少有一个锚点。确定重合度更高的锚点为正样本，假设是头肩区域标注就在140这个维度中的1
‑
6输入编码值，其他位置零。如果只标注了人脸区域则在140的7
‑
12输入编码值，其他位置零。如果标注了头肩跟踪框就在140的1
‑
6输入标注框编码值，在13
‑
140输入框跟踪id的one
‑
hot值。
76.对于模型的输出(6+6+128),其中128再接一个1*1*128*c的分类器用于跟踪id的监督，模型输出的128代表目标的特征。对于只有头肩区域的输入，只计算140中1
‑
6的编码信息和网络输出产生的loss，忽略人脸区域的检测和跟踪产生的loss,对于只有人脸区域的输入只计算140中7
‑
12的编码信息和网络输出产生的loss,忽略头肩区域的检测和跟踪产生的loss,对于头肩区域同时计算140中1
‑
6的编码信息和网络输出产生的loss以及13
‑
128的跟踪id loss。
77.通过上述应用示例中拆分式的监督信号学习过程，可以有效融合只有头肩区域标注的人体数据、只有人脸区域标注的人体数据以及同时具有人脸区域标注和头肩区域标注的人体数据，训练得到能够利用头肩区域进行目标跟踪，并利用人脸区域进行信息检测的模型，在标注数据量有限的情况下快速进行模型的自学习，实现模型性能的优化。
78.本发明实施例对象信息监测的方法、装置及电子设备，检测目标区域中的待测对象；确定第一目标区域；确定与第一目标区域相对应的待测对象的第二目标区域，第二目标区域与第一目标区域具有相对位置关系；基于第一目标区域，对待测对象进行目标跟踪；在目标跟踪过程中的采样时刻，采集第二目标区域的测试值；根据测试值，确定待测对象的体征信息。如此，利用容易进行目标跟踪的第二目标区域对待测对象进行目标跟踪，并根据第二目标区域确定待测对象需要监测的第一目标区域，以对第一目标区域进行监测，获取待测对象的体征信息。有效提高了监测精度，并且能够有效解决第一目标区域检测失败时的漏检问题，显著提高监测效率。并且利用目标跟踪的方法，得到待测对象的跟踪轨迹，由此根据跟踪轨迹上的若干帧的测试值，得到待测对象的最终测温结果，有效避免单帧检测产生的目标跳变不稳定和测试值跳变问题，显著提高测试结果的稳定性。
79.同理，基于上文对象信息监测方法，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有程序，当程序被处理器执行时，使得处理器至少执行如下的操作步骤：操作101，检测目标区域中的待测对象；操作102，确定第一目标区域；操作103，确定与第一目标区域相对应的待测对象的第二目标区域，第二目标区域与第一目标区域具有相对位置关系；操作104，基于第一目标区域，对待测对象进行目标跟踪；操作105，在目标跟踪过程中的采样时刻，采集第二目标区域的测试值；操作106，根据测试值，确定待测对象的体征信息。
80.进一步，基于如上文对象信息监测方法，本发明实施例还提供一种对象信息监测装置，如图4，该装置40包括：检测模块401，用于检测目标区域中的待测对象；第一确定模块402，用于确定第一目标区域；第二确定模块403，用于确定与第一目标区域相对应的待测对
象的第二目标区域，第二目标区域与第一目标区域具有相对位置关系；跟踪模块404，用于基于第一目标区域，对待测对象进行目标跟踪；采集模块405，用于在目标跟踪过程中的采样时刻，采集第二目标区域的测试体征值；信息确定模块406，用于根据测试体征值，确定待测对象的体征信息。
81.更进一步，基于如上文对象信息监测方法，本发明实施例还提供了一种电子设备，如图5所示，设备50包括至少一个处理器501、以及与处理器501连接的至少一个存储器502、总线503；其中，处理器501、存储器502通过总线503完成相互间的通信；处理器501用于调用存储器502中的程序指令，以执行上述对象信息监测方法。
82.这里需要指出的是：以上对针对对象信息监测装置及电子设备实施例的描述，与前述图1至3所示的方法实施例的描述是类似的，具有同前述图1至3所示的方法实施例相似的有益效果，因此不做赘述。对于本发明对象信息监测装置及电子设备实施例中未披露的技术细节，请参照本发明前述图1至3所示的方法实施例的描述而理解，为节约篇幅，因此不再赘述。
83.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
84.在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
85.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
86.另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
87.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
88.或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前
述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
89.以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。