光源光谱和多光谱反射率图像获取方法、装置及电子设备与流程

1.本申请涉及多光谱检测技术领域，特别涉及一种光源光谱获取方法、装置及电子设备，以及多光谱反射率图像获取方法、装置及电子设备。


背景技术：

2.多光谱成像和多光谱分析的技术，既能获取空间图像维度的信息，又能获取光谱维度的信息。多光谱成像原理就是把入射的光分成若干个窄波段的光，分别成像在多光谱的探测器上，从而获得不同光谱波段的图像，形成多光谱三维数据。多光谱数据处理方法是从图像维度提取纹理，如局部二值模式(local binary pattern，lbp)纹理提取、灰度共生矩阵纹理提取、方向梯度直方图(histogram of oriented gradient，hog)纹理提取等；从光谱维度提取物质成分和颜色相关的特征。最后将图像维度信息和光谱维度信息进行融合，来分析目标对象。
3.如果拍摄多光谱图像所处的环境光的光谱已知，将多光谱图像各个像素的响应值光谱除以环境光的光谱，即可以得到多光谱的反射率图像，该图像和被拍摄的物体的性质相关，不随着光源变化。环境光的光谱即光源光谱，指入射到多光谱拍摄对象的表面的光源光谱。可见，获取精度较高的环境光光谱对获取高精度的多光谱反射率图像至关重要。因此，如何获取精度较高的环境光的光谱是亟待解决的问题。


技术实现要素：

4.有鉴于此，本申请实施例提供了一种光源光谱获取方法、装置及电子设备，以及多光谱反射率图像获取方法、装置及电子设备，能够获得精度较高的环境光的光谱。
5.第一方面，本申请一实施例提供了一种光源光谱获取方法，包括：
6.获取多光谱图像，确定所述多光谱图像中每个像素的多光谱响应值；
7.根据所述多光谱图像重构rgb图像；
8.将所述rgb图像转换成灰度图像；
9.确定所述灰度图像中灰度值小于阈值或灰度值小于或等于阈值的目标区域，根据所述目标区域在所述多光谱图像中对应的各像素的多光谱响应值计算光源光谱响应值。
10.本实施例将灰度值小于阈值，或灰度值小于或等于阈值的目标区域找出来，基于目标区域计算光源光谱响应值，可以提高获取到的光源光谱的准确度。
11.作为第一方面的一种实现方式，所述灰度图像中各像素对应的灰度值根据该像素在所述rgb图像中的三通道数值计算得到。
12.作为该实现方式的一示例，根据公式deta＝abs(1
‑
g/b)+abs(1
‑
r/b)计算各像素对应的灰度值，其中，r、g和b表示rgb图像中各像素的三通道数值，即r值、g值和b值，abs表示绝对值函数。
13.作为第一方面的一种实现方式，所述将所述rgb图像转换成灰度图像之后，还包括：
14.根据所述灰度图像确定阈值。
15.作为一实现方式，根据所述灰度图像确定阈值包括：对所述灰度图像进行直方图统计，根据直方图统计结果中最小数值区间的区间参数确定阈值。
16.作为一种实现方式，所述根据直方图统计结果中最小数值区间的区间参数确定阈值，包括：
17.根据直方图统计结果中最小数值区间的区间边界数值和像素占比确定阈值。
18.作为第一方面的一种实现方式，所述根据所述目标区域在所述多光谱图像中对应的各像素的多光谱响应值计算光源光谱响应值，包括：
19.计算所述目标区域在所述多光谱图像中对应的各像素的多光谱响应值的平均值，得到光源光谱响应值。
20.第二方面，本申请一实施例提供了一种多光谱反射率图像获取方法，包括：
21.获取多光谱图像，确定所述多光谱图像中每个像素的多光谱响应值；
22.根据所述多光谱图像重构rgb图像；
23.将所述rgb图像转换成灰度图像；
24.确定所述灰度图像中灰度值小于阈值或灰度值小于或等于阈值的目标区域，根据所述目标区域在所述多光谱图像中对应的各像素的多光谱响应值计算光源光谱响应值；
25.根据所述多光谱图像中每个像素的多光谱响应值和所述光源光谱响应值，获取多光谱反射率图像。
26.本实施例将灰度值小于阈值，或灰度值小于或等于阈值的目标区域找出来，基于目标区域计算光源光谱响应值，可以提高获取到的光源光谱的准确度，从而提高多光谱反射率图像的精度。
27.作为第一方面的一种实现方式，所述灰度图像中各像素对应的灰度值根据该像素在所述rgb图像中的三通道数值计算得到。
28.作为该实现方式的一示例，根据公式deta＝abs(1
‑
g/b)+abs(1
‑
r/b)计算各像素对应的灰度值，其中，r、g和b表示rgb图像中各像素的三通道数值，即r值、g值和b值，abs表示绝对值函数。
29.作为第一方面的一种实现方式，所述将所述rgb图像转换成灰度图像之后，还包括：
30.根据所述灰度图像确定阈值。
31.作为一实现方式，根据所述灰度图像确定阈值包括：对所述灰度图像进行直方图统计，根据直方图统计结果中最小数值区间的区间参数确定阈值。
32.作为一种实现方式，所述根据直方图统计结果中最小数值区间的区间参数确定阈值，包括：
33.根据直方图统计结果中最小数值区间的区间边界数值和像素占比确定阈值。
34.作为第一方面的一种实现方式，所述根据所述目标区域在所述多光谱图像中对应的各像素的多光谱响应值计算光源光谱响应值，包括：
35.计算所述目标区域在所述多光谱图像中对应的各像素的多光谱响应值的平均值，得到光源光谱响应值。
36.作为第一方面的一种实现方式，所述根据所述多光谱图像中每个像素的多光谱响
应值和所述光源光谱响应值，获取多光谱反射率图像，包括：
37.将所述多光谱图像中每个像素的多光谱响应值除以所述光源光谱响应值，获得多光谱反射率图像。
38.第三方面，本申请一实施例提供了一种光源光谱获取装置，包括：
39.获取模块，用于获取多光谱图像，确定所述多光谱图像中每个像素的多光谱响应值；
40.重构模块，用于根据所述多光谱图像重构rgb图像；
41.转换模块，用于将所述rgb图像转换成灰度图像；
42.第一计算模块，用于确定所述灰度图像中灰度值小于阈值或灰度值小于或等于阈值的目标区域，根据所述目标区域在所述多光谱图像中对应的各像素的多光谱响应值计算光源光谱响应值。
43.第四方面，本申请一实施例提供了一种多光谱反射率图像获取装置，包括：
44.获取模块，用于获取多光谱图像，确定所述多光谱图像中每个像素的多光谱响应值；
45.重构模块，用于根据所述多光谱图像重构rgb图像；
46.转换模块，用于将所述rgb图像转换成灰度图像；
47.第一计算模块，用于确定所述灰度图像中灰度值小于阈值或灰度值小于或等于阈值的目标区域，根据所述目标区域在所述多光谱图像中对应的各像素的多光谱响应值计算光源光谱响应值；
48.第二计算模块，用于根据所述多光谱图像中每个像素的多光谱响应值和所述光源光谱响应值，获取多光谱反射率图像。
49.第五方面，本申请实施例提供了一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面任一实现方式所述的光源光谱获取方法，和/或，实现如第二方面或第二方面任一实现方式所述的多光谱反射率图像获取方法。
50.第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面任一实现方式所述的光源光谱获取方法，和/或，实现如第二方面或第二方面任一实现方式所述的多光谱反射率图像获取方法。
51.第七方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行如第一方面或第一方面任一实现方式所述的光源光谱获取方法，和/或，实现如第二方面或第二方面任一实现方式所述的多光谱反射率图像获取方法。
52.可以理解的是，上述第三方面至第七方面的有益效果可以参见上述第一方面或第二方面中的相关描述，在此不再赘述。
附图说明
53.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些
实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
54.图1是本申请一实施例提供的一种多光谱反射率图像获取方法的实现流程示意图；
55.图2是本申请一实施例提供的一种对灰度图像进行直方图统计的统计结果示意图；
56.图3是本申请一实施例提供的另一种多光谱反射率图像获取方法的实现流程示意图；
57.图4是本申请一实施例提供的一种活体检测方法的实现流程示意图；
58.图5是本申请一实施例提供的另一种活体检测方法的实现流程示意图；
59.图6是本申请一实施例提供的一种光源光谱获取装置的示意图；
60.图7是本申请一实施例提供的另一种光源光谱获取装置的示意图；
61.图8是本申请一实施例提供的一种多光谱反射率图像获取装置的示意图；
62.图9是本申请一实施例提供的另一种多光谱反射率图像获取装置的示意图；
63.图10是本申请一实施例提供的一种电子设备的示意图。
具体实施方式
64.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
65.在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
66.在本申请说明书中描述的“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
67.此外，在本申请的描述中，“多个”的含义是两个或两个以上。术语“第一”、“第二”、“第三”和“第四”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
68.为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
69.光源估计方法一般有如下两种：第一种，基于白世界的光源光谱估计方法。该方法找到多光谱图像最亮的区域，求取其平均光谱作为光源光谱。该方法对最亮区域是白色区域时，还原效果较好。第二种，基于灰世界的光源光谱估计方法。该方法求取整个多光谱图像的平均光谱作为光源光谱。该方法对颜色丰富的场景，还原效果较好。
70.这两种方法都是基于对整个多光谱图像的模糊预估，来估计光源光谱。例如，基于白世界的光源光谱预估，取多光谱图像中最亮的区域作为光源光谱，如果最亮的区域不是白色，则预估的误差较大。又如，基于灰世界的光源光谱预估，取多光谱图像中所有像素的
平均值作为光源光谱，如果图像中白色区域很少且有大面积单一色时，则预估的误差较大。
71.以上两种方法在使用不同光源的应用场景下，适应性不强，误差较大。为了解决如何更准确预估环境光或光源光谱(或称为环境光或光源近似光谱)的技术问题，本申请实施例提供了一种获取多光谱反射率图像的方法，可以通过获取多光谱图像，在该多光谱图像中定位光源区域，从而根据该光源区域的多光谱信息确定光源光谱。
72.实施例一
73.图1是本申请一实施例提供的一种多光谱反射率图像获取方法的实现流程示意图，本实施例中的多光谱反射率图像获取方法可由电子设备执行。电子设备包括但不限于计算机、平板电脑、服务器、手机或多光谱相机等。服务器包括但不限于独立服务器或云服务器等。本实施例中的多光谱反射率图像获取方法适用于需要预估当前环境中光源光谱(或光源近似光谱)的情形。如图1所示，多光谱反射率图像获取方法可以包括步骤s110至步骤s150。
74.s110，获取多光谱图像，确定所述多光谱图像中每个像素的多光谱响应值。
75.其中，多光谱图像为单张多光谱图像。通过多光谱相机采集任一场景(场景中存在环境光或光源)的多光谱图像。单张多光谱图像包含的信息包括各个像素的响应值信息，响应值信息代表反射到多光谱相机的光在多光谱相机上的响应。该响应值信息是随着光源的强度、光源光谱的形状、光源的打光方向而变化的。
76.多光谱相机的通道数量可以为几个至十几个，例如八通道、九通道或十六通道等。本实施例对多光谱相机的通道数量以及各通道的波段不作具体限定。为了更好的理解本实施例，后续以九通道的多光谱相机作为多光谱相机的示例，应理解，示例性描述不能解释为对本实施例的具体限制。
77.作为一非限制性示例，多光谱相机为九通道的多光谱相机，九通道的多光谱相机的每个像素能获得x1，x2，x3，x4，x5，x6，x7，x8，x9这九个响应值。也就是说，每个像素的多光谱响应值为对应九个通道的九个响应值。其中，x1代表具有q1响应曲线特性的第一通道的响应值；x2代表具有q2响应曲线特性的第二通道的响应值；x3代表具有q3响应曲线特性的第三通道的响应值；......；x9代表具有q9响应曲线特性的第三通道的响应值。也就是说，xi代表具有qi响应曲线特性的第i通道的响应值，i取值为1至9的整数。
78.s120，根据所述多光谱图像重构红绿蓝(red green blue，rgb)图像。
79.rgb图像中每个像素有三个通道的响应值，即r通道的r值、g通道的g值和b通道的b值。根据多光谱图像重构rgb图像，就是根据多光谱图像中每个像素的多光谱响应值计算该像素的r值、g值和b值。
80.作为一实现方式，步骤s120，根据所述多光谱图像重构rgb图像，包括如下步骤s121至s124。
81.s121，获取多光谱相机的九个通道的量子效率(quantum efficiency，qe)响应曲线。
82.具体地，获取多光谱相机的九个通道的qe响应曲线矩阵，qe响应曲线矩阵可以记为q1，q2，q3，q4，q5，q6，q7，q8，q9。其中，矩阵q1为第一通道的响应曲线，矩阵q2为第二通道的响应曲线，......，矩阵q9为第九通道的响应曲线。也就是说，矩阵qj为第j通道的响应曲线，j取值为1至9的整数。
83.需要说明的是，针对一款固定的多光谱相机(或多光谱硬件)，这些响应曲线可以通过测试得到。测试得到这些曲线后，可以预先存储在电子设备的存储器中，在需要时调用即可。
84.s122，获取三刺激值曲线，即r曲线，g曲线和b曲线。
85.获取真实三原色表色系统(cie 1931rgb系统)的光谱三刺激值曲线，包括r曲线，g曲线和b曲线。需要说明的是，这些曲线为已知，可以从cie标准查到。三个曲线预先存储在电子设备的存储器中，在需要时调用即可。
86.s123，利用九通道的qe响应曲线对三刺激值曲线进行线性拟合，得到拟合参数。
87.具体地，用线性拟合的方法，分别将r曲线，g曲线和b曲线用九通道的响应曲线，即q1，q2，q3，q4，q5，q6，q7，q8，q9曲线进行线性拟合。线性拟合的公式如下：
88.r＝a1*q1+a2*q2+a3*q3+a4*q4+a5*q5+a6*q6+a7*q7+a8*q8+a9*q9；
89.g＝b1*q1+b2*q2+b3*q3+b4*q4+b5*q5+b6*q6+b7*q7+b8*q8+b9*q9；
90.b＝c1*q1+c2*q2+c3*q3+c4*q4+c5*q5+c6*q6+c7*q7+c8*q8+c9*q9。
91.用偏最小二乘法解以上方程的解，求得拟合参数的值，即以下各参数的值：
92.a1，a2，a3，a4，a5，a6，a7，a8，a9；
93.b1，b2，b3，b4，b5，b6，b7，b8，b9；
94.c1，c2，c3，c4，c5，c6，c7，c8，c9。
95.s124，根据所述拟合参数和每个像素的所述多光谱响应值进行拟合计算，得到每个像素的r值、g值和b值。
96.具体地，根据步骤s110确定多光谱图像中某一像素的九通道响应值为：x1，x2，x3，x4，x5，x6，x7，x8，x9，根据步骤s123计算得到拟合参数，在步骤s124中根据拟合参数和该像素的九通道响应值进行拟合计算，得到该像素的r值、g值和b值。公式如下：
97.r＝a1*x1+a2*x2+a3*x3+a4*x4+a5*x5+a6*x6+a7*x7+a8*x8+a9*x9；
98.g＝b1*x1+b2*x2+b3*x3+b4*x4+b5*x5+b6*x6+b7*x7+b8*x8+b9*x9；
99.b＝c1*x1+c2*x2+c3*x3+c4*x4+c5*x5+c6*x6+c7*x7+c8*x8+c9*x9。
100.经过拟合计算得到多光谱图像中每个像素的r值、g值和b值，就得出了整幅多光谱图像对应的rgb图像，即根据多光谱图像重构了rgb图像。
101.在其他一些实施例中，在重构rgb图像之后，还可以对rgb图像进行白平衡，得到经白平衡后的rgb图像，可以记为rgb_wb图像。在这些实施例中，在后续的步骤s130中，是将rgb_wb图像转换成灰度图像。
102.在一些实现方式中，可以直接借用现有的白平衡方法，例如灰世界、白世界或自动阈值等方法，对rgb图像做白平衡处理，得到经白平衡的rgb图像rgb_wb。借用白平衡这个步骤，可以使得在后续步骤s140中得到的deta值接近0的区域，与灰色或白色区域更好地对应上，可以更准确得到区域选择结果，从而得到更准确的光源光谱。
103.s130，将所述rgb图像转换成灰度图像。
104.其中，灰度图像可称为deta图像。灰度图像中各像素对应的灰度值根据该像素在所述rgb图像中的多通道数值计算得到。
105.根据rgb图像中每个像素的r、g和b三个通道的r值、g值和b值，计算该像素的灰度值(或deta值)，根据各个像素的灰度值(或deta值)就得到与rgb图像对应的灰度图像(或
deta图像)。也就是说，灰度图像(或deta图像)各像素对应的灰度值(或deta值)根据该像素在所述rgb图像中的多通道数值，即r值、g值和b值计算得到。
106.作为一非限制性示例，提取rgb图像的r、g和b三个通道，针对每一个像素，根据公式deta＝abs(1
‑
g/b)+abs(1
‑
r/b)求取该像素对应的deta值，并将该deta值作为灰度值赋值给灰度图像的该像素，根据各个像素的灰度值得到deta图像，其中，公式中的abs代表绝对值函数。
107.s140，确定所述灰度图像中灰度值小于阈值的目标区域，根据所述目标区域在所述多光谱图像中对应的各像素的多光谱响应值计算光源光谱响应值。
108.具体地，确定所述灰度图像(或deta图像)中灰度值(或deta值)小于阈值的目标区域。其中，阈值t可以取接近0的某个数值。根据多光谱图像中对应该目标区域的各像素的多光谱响应值计算光源的光谱响应值。
109.在本实施例中，找到deta图像中deta值接近0的区域，是为了找到r值、g值、b值这三个值均接近的区域。当r值、g值、b值这三个值接近时，可能为白色区域，也可能为不同灰度的灰色区域。由于白色区域和/或灰色区域的反射率是一条直线，而入射的光源光谱曲线和反射的光源光谱曲线一致，仅仅是亮度上的差异。因而，白色区域和/或灰色区域的光谱能更加准确的反映光源光谱。
110.作为本实施例一实现方式，对deta图像进行直方图统计，即用直方图统计deta图像中deta数据的分布，根据deta图像的直方图统计结果确定阈值t。具体地，对deta图像进行直方图统计后，根据直方图统计结果中最小数值区间的区间参数确定阈值t。区间参数包括但不限于像素个数，像素占比，区间边界数值等中的一个或多个。
111.作为一非限制性示例，对灰度图像(或deta图像)进行直方图统计的统计过程如下：首先找到灰度值(或deta值)的最小值m0和最大值m10；然后将最小值m0和最大值m10之间划为10个范围(或称为数值区间)，10个数值区间从小到大依次为：[m0，m1)，[m1，m2)，[m2，m3)，[m3，m4)，[m4，m5)，[m5，m6)，[m6，m7)，[m7，m8)，[m8，m9)，[m9，m10]，其中，m0，m1，m2，m3，m4，m5，m6，m7，m8，m9，m10可称为区间数值m。统计灰度值大于等于m0且小于m1的像素个数，即第一数值区间或最小数值区间的像素个数，该像素个数占总像素个数的比例为h1，即第一数值区间的像素占比h为h1。以同样方法得到第二数值区间至第十数值区间的像素占比h依次为：h2，h3，h4，h5，h6，h7，h8，h9，h10。对deta图像进行直方图统计的统计结果的示意图如图2所示。针对第一数值区间或最小数值区间，t＝m0+(m1
‑
m0)*h1。每个数值区间对应的t值不一样，与该数值区间的区间数值m以及h值相关。在本实施例中，只需要找到第一数值区间的t值，即确定使deta接近0的t值。
[0112]
作为另一非限制性示例，首先找到灰度值(或deta值)的最小值m0和最大值m10；然后将最小值m0和最大值m10之间划为10个范围(或称为数值区间)。确定第一个数值区间，即最小数值区间的区间参数，具体地，统计deta值大于等于m0且小于m1的像素个数，即最小数值区间的像素个数，该像素个数占总像素个数的比例为h1，即第一数值区间的像素占比为h1。最后，根据m0，m1和h1确定预设数值t。例如，t＝m0+(m1
‑
m0)*h1。这样就确定了使deta接近0的t值。
[0113]
在阈值t确定以后，统计deta<t的目标区域，即找到灰度图像中deta值接近0的目标区域，计算该目标区域在多光谱图像中对应的各像素的九通道中每个通道的平均值。该
目标区域的平均多光谱数据，即为近似的光源光谱。例如，灰度图像中deta<t的目标区域包括n个像素，n为正整数，获取目标区域在多光谱图像中对应的n个像素各自的九通道的多光谱响应值，针对九通道中每个通道，计算n个像素的多光谱响应值的平均值，平均值作为光源光谱响应值。n个像素中每个像素对应九通道的多光谱响应值，因而平均值是对应九个通道的九个数值。
[0114]
在本实施例其他实现方式中，阈值t确定以后，统计deta<＝t的目标区域。
[0115]
需要说明的是，本实施例直方图统计时数值区间的划分数量可以取经验值，例如可以根据现有拍摄数据的经验获得。区间划分得越多，得到的目标区域的deta值更接近0，得到的光源光谱在理论上会越准确，但是当区间划分得足够多导致deta值接近0的目标区域只包括几个像素时，可能会由于噪声过大，反而使得到的光源光谱噪声过大，因此区间的划分数量需要折中考虑，既不能太大，也不能太小。本申请对此不予具体限制。
[0116]
还需要说明的是，直方图统计时划分好的多个数值区间，可以包括左开右闭区间，左闭右开区间，左开右开区间，左闭右闭区间等中的一种或多种的组合。本申请对此不予具体限制。
[0117]
s150，根据所述多光谱图像中每个像素的多光谱响应值和所述光源光谱响应值，获取多光谱反射率图像。
[0118]
作为本实施例一实现方式，根据步骤s110确定了多光谱图像中每个像素的多光谱响应值，根据步骤s140确定了光源光谱响应值，因此，在步骤s150中，将多光谱图像中每个像素的多光谱响应值除以光源光谱响应值获得多光谱反射率图像。
[0119]
作为一非限制性示例，多光谱图像中某一像素的九通道多光谱响应值为x1，x2，x3，x4，x5，x6，x7，x8，x9。光源光谱响应值，即九个通道的多光谱响应值的平均值为y1，y2，y3，y4，y5，y6，y7，y8，y9。计算x1/y1，x2/y2，x3/y3，x4/y4，x5/y5，x6/y6，x7/y7，x8/y8，x9/y9得到该像素的反射率，求出每个像素的反射率后，这样就得到了多光谱图像对应的多光谱反射率图。
[0120]
本实施例借用多光谱图像可以还原rgb图像的优势，从还原的rgb图像中寻找到白色或灰色区域，由于多光谱图像中白色或灰色区域的光谱为最接近光源的光谱，本方案中增加了区域选择这一步骤，将该区域的平均光谱作为光源的近似光谱，预估的光源光谱精度较高，可适用于采用不同光源的场景，基于该光源光谱计算的多光谱反射率图像也更精准。
[0121]
实施例二
[0122]
图3是本申请另一实施例提供的一种多光谱反射率图像获取方法的实现流程示意图，本实施例中的多光谱反射率图像获取方法可由电子设备执行。如图3所示，多光谱反射率图像获取方法可以包括步骤s210至步骤s250。应理解，实施例二与实施例一的相同之处，请详见前述方法的描述，此处不再赘述。
[0123]
s210，获取多光谱图像，确定所述多光谱图像中每个像素的多光谱响应值。
[0124]
s220，获取rgb图像，将rgb图像与多光谱图像进行匹配，获得匹配后的rgb图像。
[0125]
在实施例一中rgb图像是根据多光谱图像重构获得的，因此rgb图像和多光谱图像具有相同视角。而在实施例二中，通过另一个相机，即彩色相机获取同一场景的rgb图像，因此rgb图像与通过多光谱相机获取的多光谱图像视角不同，需要进行匹配操作。
[0126]
作为本实施例一实现方式，将rgb图像中的像素点和多光谱图像的像素点一一对应，例如将rgb图像中某物体和多光谱图像中该物体的像素点对应。当通过rgb图像找到灰色白色区域时，再通过对应关系找到多光谱图像中的灰色白色区域，计算该区域的多通道响应的平均值，作为近似的光源光谱响应值。
[0127]
在本实施例中，彩色相机和多光谱相机相邻设置，两者位置越近，两者的接收端或成像端拍摄的视场越接近，这样在匹配过程中rgb图像和多光谱图像具备更多的对应像素点，从而可以增加光源光谱预估结果的精度。
[0128]
s230，将匹配后的rgb图像转换成灰度图像。
[0129]
其中，灰度图像中各像素对应的灰度值根据该像素在匹配后的rgb图像中的多通道数值计算得到。
[0130]
s240，确定所述灰度图像中灰度值小于阈值的目标区域，根据所述目标区域在所述多光谱图像中对应的各像素的多光谱响应值计算光源光谱响应值。
[0131]
s250，根据所述多光谱图像中每个像素的多光谱响应值和所述光源光谱响应值，获取多光谱反射率图像。
[0132]
实施例二与实施例一的不同之处在于步骤s120与s220不同，其他步骤相同或相似。在实施例一中rgb图像是根据多光谱图像重构获得的，因而rgb图像和多光谱图像是由同一相机获得的，两者具有相同视角，因而实施例一预估的光源光谱精度较实施例二更高。
[0133]
基于实施例一和实施例二的方法获得的多光谱反射率图像，进行活体检测或应用在其他的模型，在不同光源下应用时均可以有更好的鲁棒性。例如，基于多光谱反射率图像做活体检测，其分析结果不随光源的变化而变化，具有较好的鲁棒性。接下来介绍一种活体检测方法。
[0134]
由于真实人体皮肤和假体(例如假手指或假面具等)在几个特征波段的光谱特性有较大的区别，用本申请提供的波段比方法能应用皮肤本身的光谱特性，来排除掉大部分的假体，足够满足普通产品的精度需要。例如真实人体皮肤的特性包括：在420至440nm(单位：纳米)波段，皮肤特有黑色素吸收；在550至590nm波段，皮肤特有血红蛋白吸收；在960至980nm波段，皮肤特有水分吸收；在800至850nm波段，皮肤吸收较弱(即反射较高)等。对于精度要求较高的支付类消费场景，该波段比方法可以作为多光谱活检的第一步判断，将大部分假体排除掉，当遇到精度特别高的假体，再用机器学习或深度学习等精度更高的模型来判断。该波段比方法计算过程简单，且受环境光和暗噪声等因素的影响较小。
[0135]
实施例三
[0136]
图4是本申请另一实施例提供的一种活体检测方法的实现流程示意图，本实施例中的活体检测方法可由电子设备执行。如图4所示，活体检测方法可以包括步骤s310至步骤s340。
[0137]
s310，获取包含人体皮肤的多光谱图像，所述多光谱图像包含至少一个像素。
[0138]
其中，人体皮肤包括但不限于人体中未被覆盖的某个部位或某个区域的皮肤，例如人脸皮肤、或人脸的某个区域的皮肤、或手指的皮肤等。
[0139]
通过多光谱相机获取包含人体皮肤的多光谱图像。所述多光谱图像至少包含一个像素。需要说明的是，该至少一个像素是针对人体皮肤成像的像素。
[0140]
s320，确定所述至少一个像素分别在第一特征波段和第二特征波段的第一多光谱
响应值dw1及第二多光谱响应值dw2。
[0141]
其中，根据多光谱图像，确定至少一个像素在第一特征波段的第一多光谱响应值dw1，以及在第二特征波段的第二多光谱响应值dw2。
[0142]
根据实施一的描述可知，多光谱图像包括每个像素的多通道的多光谱响应值。在实施例一中，并不限定通道的数量和波段，而在实施例三中，多通道至少包括第一特征波段和第二特征波段这两个通道，并不限定其他通道的数量和波段。也就是说，在实施例三中，多光谱相机的通道数量至少为2个，至少包括第一特征波段和第二特征波段这两个通道。多光谱图像包括每个像素的至少两个通道的多光谱响应值，即包括第一特征波段的第一多光谱响应值dw1，以及第二特征波段的第二多光谱响应值dw2。因而，可以根据多光谱图像确定人体皮肤对应的至少一个像素的第一特征波段的第一多光谱响应值dw1及第二特征波段的第二多光谱响应值dw2。
[0143]
在实施例三中，可以根据真实人体皮肤的反射光谱特性，选择两个有代表性的波段，即第一特征波段w1和第二特征波段w2。
[0144]
在一些实现方式中，第一特征波段w1选择为真实人体皮肤特有的吸收峰波段，在该波段假体和真实人体皮肤的反射率有较大差异。例如420至440nm波段或在该波段内的某个波段，该波段为真实人体皮肤特有黑色素吸收波段；又如550至590nm波段或在该波段内的某个波段，该波段为真实人体皮肤特有血红蛋白吸收波段；再如960至980nm波段或在该波段内的某个波段，该波段为真实人体皮肤特有水分吸收波段。
[0145]
在一些实现方式中，第二特征波段w2选择为真实人体皮肤的非吸收峰波段，即真实人体皮肤吸收较弱(或反射较高)的波段，例如800至850nm波段或在该波段内的某个波段。
[0146]
s330，根据所述多光谱图像分别获取第一特征波段和第二特征波段的第一光源光谱响应值sw1以及第二光源光谱响应值sw2。
[0147]
其中，根据多光谱图像获取第一特征波段的第一光源光谱响应值sw1，以及第二特征波段的第二光源光谱响应值sw2。
[0148]
在实施例三的一些实现方式中，可以用现有技术获取多光谱图像在第一特征波段的第一光源光谱响应值sw1，以及在第二特征波段的第二光源光谱响应值sw2。
[0149]
在实施例三的其他一些实现方式中，可以利用实施例一和实施例二中描述的获取光源光谱响应值的方法，获取第一特征波段的第一光源光谱响应值sw1，以及在第二特征波段的第二光源光谱响应值sw2。此处未详细描述之处，请参见实施例一和实施例二的相关描述之处。
[0150]
具体地，首先，获取多光谱图像对应的rgb图像，可以根据多光谱图像重构rgb图像(参见实施一)，也可以在拍摄多光谱图像时针对相同场景拍摄rgb图像(参见实施例二)；然后，将rgb图像转换成灰度图像；再确定灰度图像中灰度值小于阈值的目标区域；最后，计算目标区域的多通道中第一特征波段这一通道的多光谱响应值的平均值，即第一光源光谱响应值sw1；计算目标区域的多通道中第二特征波段这一通道的多光谱响应值的平均值，即第二光源光谱响应值sw2。
[0151]
需要说明的是，一方面，由于实施例一和实施例二的方法预估的光源光谱更准确，因而基于实施例一和实施例二的相关描述得到的第一光源光谱响应值sw1和第二光源光谱
响应值sw2更准确，从而可以提高后续活体检测结果的精度。另一方面，由于实施例一和实施例二中预估光源光谱的方法可适用于不同光源的应用场景，因此，活体检测方案在不同光源下应用时可以有更好的鲁棒性。
[0152]
s340，计算dw1/dw2与sw2/sw1的乘积，并将乘积与阈值k比较，若乘积小于阈值k，则判断所述人体为活体。
[0153]
至少一个像素点在第一特征波段w1的多光谱响应值为dw1，光源光谱的第一特征波段w1的预估响应值为第一光源光谱响应值sw1；至少一个像素点在第二特征波段w2的多光谱响应值为dw2，光源光谱的第二特征波段w2的预估响应值为第二光源光谱响应值sw2。
[0154]
计算(dw1/dw2)*(sw2/sw1)得到乘积rw，并将乘积rw与阈值k进行比较，根据比较结果获得活体检测结果。
[0155]
作为一实现方式，首先，计算dw1与sw1的比值，即计算至少一个像素在第一特征波段的反射率值，可以记为rw1，rw1＝dw1/sw1；计算dw2与sw2的比值，即计算至少一个像素在第二特征波段的反射率值，可以记为rw2，rw2＝dw2/sw2。然后，计算rw1与rw2的比值，可以记为rw，rw＝rw1/rw2＝(dw1/dw2)*(sw2/sw1)。因此，本实现方式可以称作波段比的活体检测方法。
[0156]
在一些实施例中，若乘积rw小于阈值k，则判定人体为活体；若乘积rw等于或大于阈值k，则判断人体为假体。在其他一些实施例中，根据活体检测的实际精度要求，调整比较条件，例如，当乘积rw等于阈值k时，对应的活体检测结果可以设置为：判定人体为活体。本申请对此不予具体限制。
[0157]
在图4所示实施例的基础上，在其他实施例中，步骤s340之前还包括确定阈值k的步骤。
[0158]
作为一实现方式，确定阈值k的过程包括：获取多个真实皮肤样本在第一特征波段和第二特征波段的第一样本反射率r1和第二样本反射率r2，计算多个真实皮肤样本的第一样本反射率比值，即r1/r2，确定多个真实皮肤样本中第一样本反射率比值的最大值a。此外，获取多个不同种类的假体样本在第一特征波段和第二特征波段的第三样本反射率r3和第四样本反射率r4，计算多个假体样本的第二样本反射率比值r3/r4，确定多个假体样本中第二样本反射率比值的最小值b。最后，根据最大值a和最小值b确定阈值k。
[0159]
作为一非限制性示例，通过光谱仪采集m个(m为大于1的整数)不同的真实皮肤样本各自在第一特征波段的第一样本反射率r1，以及在第二特征波段的第二样本反射率r2，计算m个真实皮肤样本中每个真实皮肤样本的第一样本反射率比值，即r1/r2，找到m个真实皮肤样本的第一样本反射率比值的最大值a。此外，采用与真实皮肤样本相同的处理方法，通过光谱仪采集n个(n为大于1的整数)不同种类的假体样本各自在第一特征波段的第三样本反射率r3，以及在第二特征波段的第四样本反射率r4，计算n个假体样本中每个假体样本的第二样本反射率比值，即r3/r4，找到n个假体样本的第二样本反射率比值的最小值b。然后根据a和b确定阈值k的取值范围。例如阈值k的取值范围为：(a+b)/2>＝k>＝min(a,b)，其中min表示取最小值函数。即阈值k大于或等于a和b两个值中较小的值，阈值k小于或等于a和b两个值的均值。阈值k的具体取值可以跟实际应用的需求确定，本实施例通过简单的阈值k设计即可将较多的活体和假体进行区分。
[0160]
实施例四
[0161]
图5是本申请另一实施例提供的一种活体检测方法的实现流程示意图，本实施例中的活体检测方法可由电子设备执行。如图5所示，活体检测方法可以包括步骤s410至步骤s440。应理解，实施例四与实施例三中相同之处，请详见前述实施例三的描述，此处不再赘述。
[0162]
s410，获取包含人体皮肤的多光谱图像，所述多光谱图像包含至少一个像素。
[0163]
s420，确定所述至少一个像素分别在第一特征波段和第二特征波段的第一多光谱响应值dw1及第二多光谱响应值dw2。
[0164]
s430，根据所述多光谱图像分别获取第一特征波段和第二特征波段的第一光源光谱响应值sw1以及第二光源光谱响应值sw2。
[0165]
s440，计算dw1与sw1的第一比值，计算dw2与sw2的第二比值，计算第一比值与第二比值的第三比值。
[0166]
其中，计算dw1与sw1的第一比值，即计算至少一个像素在第一特征波段的反射率值，第一比值可以记为rw1，rw1＝dw1/sw1；计算dw2与sw2的第二比值，即计算至少一个像素在第二特征波段的反射率值，第二比值可以记为rw2，rw2＝dw2/sw2。然后，计算rw1与rw2的第三比值，第三比值可以记为rw，rw＝rw1/rw2＝(dw1/dw2)*(sw2/sw1)。
[0167]
s450，将第一比值、第二比值和第三比值输入活体检测模型获得活体检测结果。
[0168]
其中，活体检测模型为经训练的用于判断待测人体是否为活体的检测模型。将第一比值rw1、第二比值rw2和第三比值rw输入活体检测模型，模型可以输出待测人体为活体或假体的分类结果。
[0169]
在本实施例中，活体检测模型可以包括机器学习或深度学习模型。例如，支持向量机模型、神经网络模型、贝叶斯分类器或随机森林等模型。本申请对活体检测模型不予具体限制。
[0170]
在一些实现方式中，活体检测模型可以包括二分类模型，二分类模型的二分类结果包括待测人体为活体和待测人体为假体。例如，将[rw1，rw2，rw1/rw2]输入活体检测模型，模型的输出为1，表示待测人体为活体；输出为0，表示待测人体为假体。
[0171]
在其他一些实现方式中，活体检测模型可以包括多分类活体检测模型，在这些实现方式中，活体检测模型可以对活体和/或假体进行更细的分类。例如，对假体作进一步细分以区分假体的不同种类或类别(如不同种类或类别的假体对应不同材质的假体)。本申请对活体检测模型的分类数量不作具体限制。
[0172]
需要说明的是，在利用活体检测模型之前，还需要获取经训练的活体检测模型。作为一非限制性示例，获取经训练的活体检测模型的过程包括：获取多个真实皮肤样本各自的第一样本向量及对应标签，第一样本向量包括真实皮肤样本在第一特征波段的第一样本反射率值、在第二特征波段的第二样本反射率值、第一样本反射率值与第二样本反射率值的比值这三个特征；获取多个不同种类的假体样本的第二样本向量及对应标签，第二样本向量包括假体样本在第一特征波段的第三样本反射率值、在第二特征波段的第四样本反射率值、第三样本反射率值与第四样本反射率值的比值这三个特征；利用第一样本向量及对应标签和第二样本向量及对应标签作为训练样本，对活体检测模型进行训练，得到经训练的活体检测模型。这样，经训练的活体检测模型可以实现活体和假体的分类，也就是说，经训练的活体检测模型可以用于识别待测人体是否为活体。应理解，作为一非限制性示例，获
取第一样本反射率值、第二样本反射率值、第一样本反射率值与第二样本反射率值的比值、第三样本反射率值、第四样本反射率值、以及第三样本反射率值与第四样本反射率值的比值的过程，可以参见确定阈值k的相关描述。
[0173]
在本实施例中，将波段比值rw1/rw2加入到两个特征波段的反射率特征中，组成了三维的特征组合向量，即[rw1，rw2，rw1/rw2]，增加了特征的维度。将该特征组合向量输入活体检测模型输出活体检测结果，该活体检测结果由[rw1，rw2，rw1/rw2]中的三个特征共同决定，可以获得更准确的结果。
[0174]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
[0175]
本申请一实施例还提供一种光源光谱获取装置。该光源光谱获取获取装置中未详细描述之处请详见前述实施例中方法的描述。
[0176]
参见图6，图6是本申请实施例提供的一种光源光谱获取装置的示意框图。所述光源光谱获取装置包括：获取模块81、重构模块82、转换模块83和第一计算模块84。
[0177]
其中，获取模块81，用于获取多光谱图像，确定所述多光谱图像中每个像素的多光谱响应值；
[0178]
重构模块82，用于根据所述多光谱图像重构rgb图像；
[0179]
转换模块83，用于将所述rgb图像转换成灰度图像；
[0180]
第一计算模块84，用于确定所述灰度图像中灰度值小于阈值或灰度值小于或等于阈值的目标区域，根据所述目标区域在所述多光谱图像中对应的各像素的多光谱响应值计算光源光谱响应值。
[0181]
可选的，作为一实现方式，所述灰度图像中各像素对应的灰度值根据该像素在所述rgb图像中的三通道数值计算得到。
[0182]
作为该实现方式的一非限制性示例，根据公式deta＝abs(1
‑
g/b)+abs(1
‑
r/b)计算各像素对应的灰度值，其中，r、g和b表示rgb图像中各像素的三通道数值，即r值、g值和b值，abs表示绝对值函数。
[0183]
可选的，作为一实现方式，如图7所示，所述光源光谱获取装置，还包括：阈值确定模块85。
[0184]
阈值确定模块85，用于对所述灰度图像进行直方图统计，根据直方图统计结果中最小数值区间的区间参数确定阈值。
[0185]
作为该实现方式的一非限制性示例，所述阈值确定模块85，具体用于：
[0186]
根据直方图统计结果中最小数值区间的区间边界数值和像素占比确定阈值。
[0187]
可选的，作为一实现方式，第一计算模块84，具体用于：
[0188]
计算所述目标区域在所述多光谱图像中对应的各像素的多光谱响应值的平均值，得到光源光谱响应值。
[0189]
本申请一实施例还提供一种多光谱反射率图像获取装置。该多光谱反射率图像获取装置中未详细描述之处请详见前述实施一中方法的描述。
[0190]
参见图8，图8是本申请实施例提供的一种多光谱反射率图像获取装置的示意框图。所述多光谱反射率图像获取装置包括：获取模块101、重构模块102、转换模块103、第一
计算模块104和第二计算模块105。
[0191]
获取模块101，用于获取多光谱图像，确定所述多光谱图像中每个像素的多光谱响应值；
[0192]
重构模块102，用于根据所述多光谱图像重构rgb图像；
[0193]
转换模块103，用于将所述rgb图像转换成灰度图像；
[0194]
第一计算模块104，用于确定所述灰度图像中灰度值小于阈值或灰度值小于或等于阈值的目标区域，根据所述目标区域在所述多光谱图像中对应的各像素的多光谱响应值计算光源光谱响应值；
[0195]
第二计算模块105，用于根据所述多光谱图像中每个像素的多光谱响应值和所述光源光谱响应值，获取多光谱反射率图像。
[0196]
可选的，作为一实现方式，所述灰度图像中各像素对应的灰度值根据该像素在所述rgb图像中的三通道数值计算得到。
[0197]
作为该实现方式的一非限制性示例，根据公式deta＝abs(1
‑
g/b)+abs(1
‑
r/b)计算各像素对应的灰度值，其中，r、g和b表示rgb图像中各像素的三通道数值，即r值、g值和b值。
[0198]
可选的，作为一实现方式，如图9所示，所述多光谱反射率图像获取装置，还包括：阈值确定模块106。
[0199]
阈值确定模块106，用于对所述灰度图像进行直方图统计，根据直方图统计结果中最小数值区间的区间参数确定阈值。
[0200]
作为该实现方式的一非限制性示例，所述阈值确定模块106，具体用于：
[0201]
根据直方图统计结果中最小数值区间的区间边界数值和像素占比确定阈值。
[0202]
可选的，作为一实现方式，第一计算模块104，具体用于：
[0203]
计算所述目标区域在所述多光谱图像中对应的各像素的多光谱响应值的平均值，得到光源光谱响应值。
[0204]
可选的，作为一实现方式，第二计算模块105，具体用于：
[0205]
将所述多光谱图像中每个像素的多光谱响应值除以所述光源光谱响应值，获得多光谱反射率图像。
[0206]
本申请实施例还提供了一种电子设备，如图10所示，电子设备可以包括一个或多个处理器120(图10中仅示出一个)，存储器121以及存储在存储器121中并可在一个或多个处理器120上运行的计算机程序122，例如，获取光源光谱和/或多光谱反射率图像的程序。一个或多个处理器120执行计算机程序122时可以实现光源光谱获取方法和/或多光谱反射率图像获取方法实施例中的各个步骤。或者，一个或多个处理器120执行计算机程序122时可以实现光源光谱获取装置和/或多光谱反射率图像获取装置实施例中各模块/单元的功能，此处不作限制。
[0207]
本领域技术人员可以理解，图10仅仅是电子设备的示例，并不构成对电子设备的限定。电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备还可以包括输入输出设备、网络接入设备、总线等。
[0208]
在一个实施例中，所称处理器120可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，
dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0209]
在一个实施例中，存储器121可以是电子设备的内部存储单元，例如电子设备的硬盘或内存。存储器121也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，存储器121还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器121用于存储计算机程序以及电子设备所需的其他程序和数据。存储器121还可以用于暂时地存储已经输出或者将要输出的数据。
[0210]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0211]
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现光源光谱获取方法实施例和/或多光谱反射率图像获取方法实施例中的步骤。
[0212]
本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备可实现光源光谱获取方法实施例和/或多光谱反射率图像获取方法实施例中的步骤。
[0213]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0214]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0215]
在本发明所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0216]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络
单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0217]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0218]
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0219]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。