活体检测方法、装置、设备及系统与流程

1.本说明书属于计算机技术领域，尤其涉及一种活体检测方法、装置、设备及系统。


背景技术：

2.随着计算机互联网技术的发展，人脸识别技术的应用越来越多如：刷脸支付、刷脸登录、刷脸考勤、刷脸身份认证以便出行等，还有其他生物识别技术的应用也在不断的增加。生物识别技术需要采集生物图像，再通过对生物图像实现身份认证的目的。
3.正因为人脸识别技术的应用愈加广泛，其安全隐患可能带来的社会影响面也会愈加严重。威胁人脸识别安全的主要风险之一是活体攻击，即通过照片、屏幕、面具等媒介绕过人脸识别，对受害者的账户进行盗取。
4.因此，如何提出一种活体检测方案，可以预防生物识别时的活体攻击，提升生物识别的安全性是本领域亟需解决的技术问题。


技术实现要素：

5.本说明书实施例的目的在于提供一种活体检测方法、装置、设备及系统，提升了活体检测的准确性，进而提升生物识别的安全性。
6.一方面，本说明书实施例提供了一种活体检测方法，所述方法包括：
7.采集目标检测对象在进行生物识别时指定数量的生物特征图像；
8.对所述指定数量的生物特征图像进行鼻子区域检测，确定各个生物特征图像中的鼻子区域以及所述鼻子区域对应的关键点；
9.对所述指定数量的生物特征图像中的鼻子区域进行呼吸检测，确定出所述目标检测对象的呼吸类别和呼吸特征；
10.根据所述呼吸特征以及所述鼻子区域对应的关键点进行呼吸频率检测，确定出所述目标检测对象的呼吸频率；
11.基于所述呼吸类别和所述呼吸频率，确定所述目标检测对象是否为活体对象。
12.另一方面，本说明书提供了一种活体检测装置，包括：
13.图像采集模块，用于采集目标检测对象在进行生物识别时指定数量的生物特征图像；
14.鼻子区域检测模块，用于对所述生物特征图像进行鼻子区域检测，确定各个生物特征图像中的鼻子区域以及所述鼻子区域对应的关键点；
15.呼吸动作检测模块，用于对所述指定数量的生物特征图像中的鼻子区域进行呼吸检测，确定出所述目标检测对象的呼吸类别和呼吸特征；
16.呼吸频率检测模块，用于根据所述呼吸特征以及所述鼻子区域对应的关键点进行呼吸频率检测，确定出所述目标检测对象的呼吸频率；
17.活体检测模块，用于基于所述呼吸类别和所述呼吸频率，确定所述目标检测对象是否为活体对象。
18.又方面，本说明书实施例提供了一种活体检测设备，包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述活体检测方法。
19.再一方面，本说明书实施例提供了一种活体检测系统，包括：图像采集设备和图像处理设备，其中所述图像采集设备用于采集进行生物识别的目标检测对象的生物特征图像，所述图像处理设备包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述活体检测方法。
20.本说明书提供的活体检测方法、装置、设备及系统，通过采集目标检测对象在进行生物识别时的生物特征图像，并对生物特征图像进行鼻子区域及其关键点的识别，基于识别出的鼻子区域及其关键点来对目标检测对象进行呼吸动作的检测以及呼吸频率的检测，基于检测出的呼吸动作和呼吸频率快速准确的检测出目标检测对象是否属于活体对象。通过检测用户在自然状态下的呼吸动作，来完成对活体检测，无需用户额外的配合，适用性更广，提升了活体检测的准确性和适用性，进而提升了生物识别的安全性。
附图说明
21.为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
22.图1是本说明书实施例提供的活体检测方法实施例的流程示意图；
23.图2是本说明书一个场景示例中活体检测的原理流程示意图；
24.图3是本说明书提供的活体检测装置一个实施例的模块结构示意图；
25.图4是本说明书一个实施例中活体检测服务器的硬件结构框图。
具体实施方式
26.为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
27.随着生物识别技术的不断普及，生物识别技术的安全性越来越被大家重视。一般威胁生物识别安全的主要是活体攻击，如：人脸识别过程中通过使用照片、屏幕、面具等方式进行伪装，对人脸识别的用户进行信息盗用等。一般生物识别系统如人脸识别系统会集成活体防攻击算法进行活体检测，一般的活体防攻击算法可能只会使用简单的活体检测模型来对人脸识别的用户进行分类，这种方式一般安全能力比较弱，对于在训练数据中没有出现的攻击类型的拦截能力较弱。或者，有些算法需要用户配合做一系列动作来实现活体检测，例如眨眼、点头等，通过动作的完成度来提升攻击的难度。但是这类方法较多使用于较为私密和安全的场景(例如银行等)，在人较多的商业场景(售卖机等)体验较差，难以得到应用。
28.本说明书一些实施例中可以提供活体检测方法，主要应用于人脸识别过程中的活
体检测，以避免活体攻击，造成用户信息的盗用等。本说明书实施例通过采集目标检测对象的生物特征图像，基于采集到的生物特征图像识别出其中的鼻子区域，通过检测鼻子区域的一些微动作来判断是否存在呼吸动作，并进一步估计呼吸的频率。通过检测呼吸动作和对应的频率，可以在用户无需额外配合的情况下，打到和交互式活体类似的安全能力。
29.此外，需要说明的是，本说明书实施例中如：人脸识别、活体检测中涉及到的数据的获取、存储、使用、处理等，均符合国家法律法规的相关规定。
30.图1是本说明书实施例提供的活体检测方法实施例的流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本说明书实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置、服务器或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境)。
31.具体的一个实施例如图1所示，本说明书提供的活体检测方法的一个实施例中，所述方法可以应用在服务器、计算机、平板电脑、服务器、智能手机、智能穿戴设备、车载设备、智能家居设备等能够进行图像处理的设备，主要可以应用于生物识别设备中如：人脸识别设备，所述方法可以包括如下步骤：
32.步骤102、采集目标检测对象在进行生物识别时指定数量的生物特征图像。
33.在具体的实施过程中，在进行生物识别如：人脸识别时，可以利用生物识别设备中的摄像头采集正在识别的目标检测对象的生物特征图像，目标检测对象可以理解为进行生物识别的对象，本说明书实施例主要用于检测目标检测对象是否是活体对象，确保进行生物识别的用户是真人，进而保障进行生物识别的用户是用户本人。生物特征图像可以根据生物识别的类型而定，可以指带有人脸的图像信息，也可以是瞳孔信息或指纹信息等，本说明书实施例中主要可以使用人脸图像。生物特征图像可以是图片或视频，具体可以根据实际需要而定，本说明书实施例不做具体限定。
34.此外，在采集目标检测对象的生物特征图像时，可以采集目标检测对象在生物识别开始后指定时间内的图像信息，获得指定数量的生物特征图像，其中，获取到的指定数量的生物特征图像可以是连续采集到的，基于连续采集到的目标检测对象的生物特征图像，可以分析目标检测对象在进行生物识别时的鼻孔的变化，进而进行呼吸动作以及呼吸频率的识别。如：用户通过iot设备采集进行人脸识别，可以采集用户人脸识别开始5s左右的人脸数据，可以是5s的视频数据，或者也可以是5s连续拍摄的照片数据。选取其中指定数量张的图像如：10张图像作为目标检测对象的生物特征图像。本说明书实施例中的生物特征图像可以采集高清的生物特征图像，如：人脸区域分辨率大于400*400的人脸图像，一般人脸识别算法的人脸区域一般在100*100，信息量较少，通过采集高清的生物特征图像可以提升活体检测以及生物识别的准确性。
35.通过采集一定时间内图像信息，再从中选取指定数量的图像作为生物特征图像，确保生物采样的均匀性和全面性，为活体检测以及生物识别提供更加准确的数据基础，提升活体检测和生物识别的准确性。
36.步骤104、对所述指定数量的生物特征图像进行鼻子区域检测，确定各个生物特征图像中的鼻子区域以及所述鼻子区域对应的关键点。
37.在具体的实施过程中，采集到目标检测对象的生物特征图像后，可以对采集到的生物特征图像进行鼻子区域的检测，即识别出生物特征图像中的鼻子区域以及鼻子区域对应的关键点，可以将生物特征图像中的鼻子区域框选出来，并对鼻子区域的关键点进行标记，获得鼻子区域的图像，以备后续使用。每个生物特征图像可以对应有一个鼻子区域及其对应的关键点，各个鼻子区域根据对应的生物特征图像也可以是连续的，进而为后续呼吸动作的识别检测奠定了数据基础。其中，鼻子区域检测方法可以根据实际需要选择合适的关键点检测算法，或者利用智能学习算法训练构建出鼻子区域检测的模型，利用智能学习模型来对目标检测对象的生物特征图像进行鼻子区域检测，本说明书实施例不限定具体方法。
38.本说明书一些实施例中，所述对所述生物特征图像进行鼻子区域检测，确定各个生物特征图像中的鼻子区域以及所述鼻子区域对应的关键点，包括：
39.设置鼻子区域检测模型的模型参数，所述模型参数包括所述鼻子区域检测模型的网络结构、损失函数；
40.采集不同年龄段的活体样本对象的活体生物特征样本图像和不同类别攻击样本对象的攻击生物特征样本图像；
41.根据预先设置的鼻子区域关键点模板对所述活体生物特征样本图像、所述攻击生物特征样本图像进行标记，标记出所述活体生物特征样本图像、所述攻击生物特征样本图像中的鼻子区域标签和鼻子区域对应的关键点标签；
42.将所述活体生物特征样本图像、所述攻击生物特征样本图像作为所述鼻子区域检测模型的输入，将所述活体生物特征样本图像、所述攻击生物特征样本图像对应的鼻子区域标签以及关键点标签作为所述鼻子区域检测模型的输出，进行模型训练，直至所述鼻子区域检测模型的损失函数收敛，完成所述鼻子区域检测模型的训练；
43.利用预先训练的鼻子区域检测模型对所述生物特征图像进行鼻子区域检测，确定各个生物特征图像中的鼻子区域以及所述鼻子区域对应的关键点。
44.在具体的实施过程中，在进行鼻子区域以及关键点的识别时，可以预先训练构建鼻子区域检测模型，利用训练出的鼻子区域检测模型来对目标检测对象的生物图像特征进行鼻子区域的识别。其中，鼻子检测模型的训练方可以参考如下：
45.先设置鼻子区域检测模型的模型参数，如：模型的网络结构以及损失函数等，本说明书一些实施例中鼻子区域检测模型的网络结构可以采用yolov3再额外连接一个关键点回归器(两个3x3的卷积层)，以便检测出检测对象的鼻子区域以及对应的关键点。其中，yolov3可以理解为you only look once模型的v3版本，指只需要浏览一次就可以识别出图中的物体的类别和位置，是一种目标检测模型。损失函数可以根据实际需要进行设置，本说明书实施例不做具体限定。
46.设置好鼻子区域检测模型的模型参数后，可以进行训练样本的采集，可以采集不同年龄段、不同性别的活体样本对象即真实用户进行生物识别时的活体生物特征样本图像和不同类别攻击样本对象(如：照片、屏幕、面具等)的攻击生物特征样本图像，再对采集到的活体生物特征样本图像和攻击生物特征样本图像进行标记，标记出其中的鼻子区域以及
鼻子区域对应的关键点，作为模型训练的标签。再将采集到的样本图像作为模型的输入，将标记出的样本图像的鼻子区域以及关键点作为模型的输出，进行模型训练，直至损失函数收敛或者训练次数满足要求时，则完成鼻子区域检测模型的训练。在需要对目标检测对象进行活体检测时，可以将目标检测对象进行生物识别时的生物特征图像依次输入到训练好的鼻子区域检测模型中，利用鼻子区域检测模型识别出目标检测对象对应的各个生物特征图像的鼻子区域及其关键点，为后续活体检测奠定数据基础。其中，模型的训练过程可以预先离线进行，可以在服务器或其他客户端中完成，本说明书实施例对此不作限定。
47.本说明书一些实施例中，在进行鼻子区域检测模型的训练时，该模型的约束条件可以包括鼻子区域、关键点的坐标约束以及采用三维人脸统计算法的形状约束。
48.在具体的实施过程中，一般的鼻子区域的识别检测的约束信号只有鼻子区域的框的坐标以及关键点的坐标，本说明书实施例增加了三维人脸统计算法即3dmm(3d morphable face model)的形状约束，3dmm的形状约束，可以将平均脸的3dmm鼻子区域作为监督信号，计算对应的关键点仿射变换以后的偏差，实现了将二维人脸数据回归出三维人脸形状，进而可以更加准确的对鼻子区域以及相关的关键点进行识别，提升了鼻子区域以及关键点识别的准确性。
49.本说明书一些实施例中，所述鼻子区域关键点模板包括：鼻子区域框架以及鼻子区域关键点，所述鼻子区域关键点包括鼻子区域框架对应的基础关键点以及鼻孔区域关键点。
50.在具体的实施过程中，本技术在训练鼻子区域检测模型，对采集到的样本图像进行鼻子区域和关键点的标记时，可以先设置鼻子区域关键点模板，该模板中可以包括鼻子区域框架以及鼻子区域关键点，鼻子区域框架可以理解为鼻子区域对应的大致范围，鼻子区域关键点可以理解为鼻子的关键部位对应的坐标点。本说明书实施例中，在设置鼻子区域关键点时，不仅仅包括鼻子区域框架对应的基础关键点，额外增加了鼻孔区域的关键点，如：可以在两个鼻孔附近各增加一定数量的关键点，基于鼻孔区域的关键点，可以对鼻孔的动作进行识别处理，以便后续基于关键点进行呼吸动作检测以及呼吸频率的计算。
51.步骤106、对所述指定数量的生物特征图像中的鼻子区域进行呼吸检测，确定出所述目标检测对象的呼吸类别和呼吸特征。
52.在具体的实施过程中，在确定出目标检测对象的生物特征图像的鼻子区域后，可以对各个生物特征图像对应的鼻子区域进行呼吸检测，确定出目标检测对象的呼吸类别和呼吸特征。如：通过对连续多张生物特征图像的鼻子区域进行比对，计算出连续多张生物特征图像的鼻子区域的变化特征，进而确定出目标检测对象的呼吸类别和呼吸特征等。呼吸检测的具体算法可以根据实际需要进行选择，本说明书实施例不做具体限定，如：可以使用光流算法对连续多张生物特征图像的鼻子区域的图像进行光流计算，进而确定出目标检测对象的呼吸类别和呼吸特征。其中，呼吸类别可以包括有呼吸和无呼吸两种类别，呼吸特征可以理解为用于呼吸类别识别的向量特征，如：基于光流算法对鼻子区域件光流计算后，对光流数据进行数据处理获得的向量特征。光流法是关于视域中的物体运动检测中的概念，可以用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动，可用于运动检测、物件切割、碰撞时间与物体膨胀的计算、运动补偿编码，或者通过物体表面与边缘进行立体的测量等等。
53.在实际使用时，可以利用智能学习算法，利用鼻子区域的样本图像以及对应是否有呼吸的标签，计算各个鼻子区域图像之间的光流，进行智能模型的训练，利用训练好的模型来对目标检测对象的鼻子区域进行呼吸动作的检测。或者采用其他方法进行呼吸动作的检测，本说明书实施例不做具体限定。
54.本说明书一些实施例中，所述对所述生物特征图像中的鼻子区域进行呼吸检测，确定出所述目标检测对象的呼吸类别和呼吸特征，包括：
55.设置呼吸动作检测模型的模型参数，所述模型参数包括所述呼吸动作检测模型的网络结构、损失函数；
56.采集不同年龄段的活体样本对象以及不同类别攻击样本对象的鼻子区域样本，并获取各个鼻子区域样本对应的呼吸类别；
57.对所述鼻子区域样本进行对齐处理，并利用光流算法计算相邻两帧鼻子区域样本的光流，获得光流图像样本；
58.将所述光流图像样本作为所述呼吸动作检测模型的输入，将所述鼻子区域样本对应的呼吸类别以及呼吸特征作为所述呼吸动作检测模型的输出，进行模型训练，直至所述呼吸动作检测模型的损失函数收敛，完成所述呼吸动作检测模型的训练；
59.利用预先训练的呼吸动作检测模型对所述指定数量的生物特征图像中的鼻子区域进行呼吸检测，确定出所述目标检测对象的呼吸类别和呼吸特征。
60.在具体的实施过程中，可以预先训练构建用于呼吸动作检测的呼吸动作检测模型，在需要对目标检测对象进行活体检测时，可以采集目标检测对象的生物特征图像，并利用上述实施例的方法识别出其中的鼻子区域，再利用训练好的呼吸动作检测模型来对目标检测对象的鼻子区域进行呼吸动作的识别，识别出目标检测对象是否有呼吸动作。其中，模型的训练过程可以预先离线进行，可以在服务器或其他客户端中完成，本说明书实施例对此不作限定。
61.其中，呼吸动作检测模型的训练方法可以参考如下：
62.设置呼吸动作检测模型的模型参数如：网络结构、损失函数等，本说明书实施例中，呼吸动作检测模型的模型结构可以选择shufflenetv2(一种计算高效的cnn模型)作为backbone，损失函数可以选择二分类损失函数，或根据实际需要选择其他的网络结构和损失函数，本说明书实施例不做具体限定。
63.设置好呼吸动作检测模型的模型参数后，可以采集模型训练的训练样本，如：可以采集不同年龄段、不同性别的活体样本对象的鼻子区域样本，以及不同攻击类别如：照片、面具、屏幕等攻击样本对象的鼻子区域样本，并根据样本对应的对象的类别，标记各个鼻子区域样本对应的呼吸类别，如：活体样本对象对应的鼻子区域的呼吸类别为有呼吸，攻击样本对象对应的鼻子区域的呼吸类别为无呼吸。此外，本说明书实施例中，可以将上述实施例训练出的鼻子区域检测模型来识别出的鼻子区域作为呼吸动作检测模型的训练样本，如：可以直接将鼻子区域检测模型训练时输出的鼻子区域作为呼吸动作检测模型的训练样本，或者，可以采集不同年龄段、不同性别的活体对象以及不同攻击类别的生物特征图像，输入到训练好的鼻子区域检测模型中，利用鼻子区域检测模型识别出对应的鼻子区域，作为呼吸动作检测模型的训练样本。
64.不同的生物特征图像标记出的鼻子区域的大小、位置可能不同，本说明书实施例
可以对获取到的鼻子区域样本进行对齐处理，对齐到统一的模板，再对对齐后的各个鼻子区域样本进行光流计算。一个活体对象或一个攻击对象可以对应有指定数量的生物特征图像，每个生物特征图像对应有一个鼻子区域，那么每个活体对象或每个攻击对象会对应有连续多个鼻子区域。对每个活体对象、每个攻击对象对应的鼻子区域分别进行对齐操作，每个对象对齐后的鼻子区域基于采集时间的先后顺序排列好，再对每个对象的鼻子区域的图像进行光流计算，相邻两帧鼻子区域计算一次光流，获得各个对象对应的光流图像样本。本说明书实施例中，可以对识别出的鼻子区域的图像进行光流计算，获得对应的光流图像，再基于光流图像来识别目标检测对象是否有呼吸，进而为后续活体检测提供了数据基础。
65.将光流图像样本作为呼吸动作检测模型的输入，将鼻子区域对应的呼吸类别以及呼吸特征作为呼吸动作检测模型的输出，进行模型训练，直至呼吸动作检测模型的损失函数收敛，或训练次数达到要求，即完成呼吸动作检测模型的训练。其中，呼吸特征可以理解为呼吸动作检测模型输出呼吸类别之前一步获得的向量，呼吸动作检测模型通过对光流图像样本进行处理后，可以获得对应的向量特征即呼吸特征，基于获得的向量特征可以进一步分类，确定出该光流图像样本对应的对象是否存在呼吸动作。
66.再对目标检测对象进行活体检测时，可以先采集目标检测对象进行生物识别时的生物特征图像，再利用上述实施例的方法识别出生物特征如图像中的鼻子区域，将识别出的鼻子区域输入到训练好的呼吸动作检测模型，利用呼吸动作检测模型识别目标检测对象是否存在呼吸动作，进而为后续活体检测奠定数据基础。
67.此外，本说明书一些实施例中，在确定出所述目标检测对象的呼吸类别和呼吸特征之后，所述方法还包括：
68.若确定出所述目标检测对象的呼吸类别为无呼吸，则直接确定所述目标检测对象不是活体对象。
69.在具体的实施过程中，若基于目标检测对象的生物特征图像中的鼻子区域，识别出目标检测对象的呼吸类别为无呼吸，即可以确定目标检测对象是没有呼吸动作的，这样可以直接确定目标检测对象不是活体对象，不用进行后续呼吸频率的计算，减少了数据处理量，提升了活体检测的效率。
70.步骤108、根据所述呼吸特征以及所述鼻子区域对应的关键点进行呼吸频率检测，确定出所述目标检测对象的呼吸频率。
71.在具体的实施过程中，利用上述实施例的方法识别出目标检测对象对应的呼吸特征、鼻子区域及其对应的关键点后，可以基于目标检测对象的呼吸特征、鼻子区域及其对应的关键点，对目标检测对象进行呼吸频率的预测。如：可以根据目标检测对象鼻子区域的关键点以及呼吸特征，计算出目标检测对象鼻孔大小的变化，分析出目标检测对象鼻子的呼吸动作，进而计算出目标检测对象的呼吸频率。
72.本说明书一些实施例中，所述根据所述呼吸特征以及所述鼻子区域对应的关键点进行呼吸频率检测，确定出所述目标检测对象的呼吸频率，包括：
73.采集不同年龄段的活体样本对象以及不同类别的攻击样本对象在进行生物识别时的生物特征样本图像以及对应的呼吸频率标签，其中，所述攻击样本对象的呼吸频率标签为0；
74.获取多个生物特征样本图像的鼻子区域对应的关键点样本以及呼吸特征，根据所
述关键点样本计算各个生物特征样本图像的最大鼻孔直径、最小鼻孔直径、所述最大鼻孔直径与所述最小鼻孔直径的鼻孔直径差值以及相邻两帧鼻子区域的关键点的关键点差值；
75.基于所述呼吸特征、所述鼻子区域对应的关键点样本、所述最大鼻孔直径、所述最小鼻孔直径、所述鼻孔直径差值、所述关键点差值以及所述呼吸频率标签训练构建呼吸频率检测模型；
76.利用预先训练的呼吸频率检测模型根据所述呼吸特征以及所述鼻子区域对应的关键点进行呼吸频率检测，确定出所述目标检测对象的呼吸频率。
77.在具体的实施过程中，可以预先训练构建呼吸频率检测模型，在进行活体检测时，利用训练好的呼吸频率检测模型对检测对象的呼吸频率进行预测。呼吸频率检测模型的训练方法可以参考如下：
78.设置呼吸频率检测模型的模型参数如：网络结构、损失函数等，本说明书实施例中，呼吸频率检测模型的模型结构可以选择5层的mlp(multilayer perceptron，多层感知器，一种前馈人工神经网络模型)，损失函数可以选择回归损失函数，回归频率值，或根据实际需要选择其他的网络结构和损失函数，本说明书实施例不做具体限定。
79.设置好呼吸频率检测模型的模型参数后，可以采集模型训练的训练样本，如：可以采集不同年龄段、不同性别的活体样本对象、不同攻击类别如：照片、面具、屏幕等攻击样本对象进行生物识别时的生物特征样本图像及其对应的呼吸频率标签，其中，攻击样本对象的呼吸频率标签为0。其中呼吸频率标签可以通过呼吸频率采集仪器对样本对象进行呼吸频率的采集，本说明书一些实施例中，所述活体样本对象的呼吸频率标签的采集方法包括：
80.选择不同年龄段的活体对象作为活体样本对象，各个活体样本对象佩戴有心率计数器；
81.采集所述活体样本对象在进行生物识别时的生物特征样本图像以及所述活体样本对象的心率计数器对应的心率计数，将所述心率计数作为所述活体样本对象对应的呼吸频率标签。
82.在具体的实施过程中，选择出活体样本对象后，可以让各个活体样本对象进行生物识别，并采集活体样本对象进行生物识别时的生物特征样本图像。同时，各个活体样本对象进行生物识别时可以在手上佩戴指夹式的心率计数器，利用心率计数器采集活体样本对象进行生物识别时的心率计数，并将采集到的心率计数作为活体样本对象对应的呼吸频率标签。呼吸频率不易采集，本说明书实施例通过心率计数器采集用户的心率，作为用户的呼吸频率，来进行呼吸频率检测模型的训练，为呼吸频率的计算奠定了数据基础。
83.采集到不同样本对象的生物特征样本图像和对应的呼吸频率标签后，可以获取多个生物特征样本图像的鼻子区域对应的关键点样本，可以通过对生物特征样本图像进行鼻子区域、关键点进行标记，获取对应的关键点样本，再对识别出的鼻子区域进行光流计算，获得对应的呼吸特征。本说明书一些实施例中，可以利用上述实施例中训练好的鼻子区域检测模型、呼吸动作检测模型来获取呼吸频率检测模型的训练样本，如：可以直接将鼻子区域检测模型训练时输出的鼻子区域的关键点、以及呼吸动作检测模型训练时输出的呼吸特征作为呼吸频率检测模型的训练样本，或者，可以采集不同年龄段、不同性别的活体对象以及不同攻击类别的生物特征图像，输入到训练好的鼻子区域检测模型中，利用鼻子区域检测模型识别出对应的鼻子区域及其对应的关键点，将鼻子区域检测模型输出的关键点作为
呼吸频率检测模型的训练关键点样本，再将鼻子区域检测模型输出的鼻子区域输入到训练好的呼吸动作检测模型，利用呼吸动作检测模型获得各个鼻子区域对应的呼吸特征，将呼吸动作检测模型输出的呼吸特征作为呼吸频率检测模型的训练呼吸特征样本。
84.获得呼吸频率检测模型的关键点样本以及呼吸特征样本后，可以基于关键点样本计算各个生物特征样本图像的最大鼻孔直径、最小鼻孔直径、最大鼻孔直径与最小鼻孔直径的鼻孔直径差值以及相邻两帧鼻子区域的关键点的关键点差值。再将呼吸特征、关键点特征以及计算出的鼻孔直径等数据作为呼吸频率检测模型的输入，将对应的呼吸频率标签作为呼吸频率检测模型的输出，进行模型训练，直至损失函数收敛或训练次数满足预设要求，完成呼吸频率检测模型的训练。
85.利用训练好的呼吸频率检测模型，可以对目标检测对象的呼吸特征以及鼻子区域的关键点进行呼吸频率的预测，本说明书实施例采用智能学习算法训练出鼻子区域检测模型、呼吸动作检测模型以及呼吸频率检测模型，在活体检测过程中，通过对检测对象快速准确的进行鼻子区域、呼吸动作以及呼吸频率的检测，为活体检测奠定了准确的数据基础。
86.步骤110、基于所述呼吸类别和所述呼吸频率，确定所述目标检测对象是否为活体对象。
87.在具体的实施过程中，在确定出目标检测对象的呼吸类别以及呼吸频率后，进而可以确定出目标检测对象是否为活体对象，可以预先设置活体对象识别规则，基于预先设置的规则，进行活体对象的识别。例如：若呼吸类别为无，则可以确定属于活体攻击。本说明书一些实施例中，所述基于所述呼吸类别和所述呼吸频率，确定所述目标检测对象是否为活体对象，包括：
88.若所述呼吸类别为有呼吸，且所述呼吸频率在预设频率区间，则确定所述目标检测对象为活体对象。
89.在具体的实施过程中，可以根据不同用户进行生物识别时的呼吸频率的变化，设置预设频率区间，预设频率区间的具体取值本说明书实施例不做具体限定。若识别出的目标检测对象的呼吸类别为无呼吸，且呼吸频率在预设频率区间，则可以确定目标检测对象为活体对象。通过呼吸类别的有无和预设频率区间，可以快速判定检测对象是否属于活体攻击。
90.本说明书实施例提供的活体检测方法，通过采集目标检测对象在进行生物识别时的生物特征图像，并对生物特征图像进行鼻子区域及其关键点的识别，基于识别出的鼻子区域及其关键点来对目标检测对象进行呼吸动作的检测以及呼吸频率的检测，基于检测出的呼吸动作和呼吸频率快速准确的检测出目标检测对象是否属于活体对象。通过检测用户在自然状态下的呼吸动作，来完成对活体检测，无需用户额外的配合，适用性更广，提升了活体检测的准确性和适用性，进而提升了生物识别的安全性。
91.图2是本说明书一个场景示例中人脸识别过程中活体检测的原理示意图，如图2所示，本说明书一些场景示例中，活体检测主要可以包括4个步骤：
92.1.鼻子区域检测和关键点定位：在用户开始人脸识别后，检测出与呼吸动作强相关的鼻子区域，并根据事先定义的关键点结构进行鼻子区域关键点回归；
93.2.多帧动作呼吸动作：结合多帧的鼻子区域和对应的关键点(约5s)，检测用户动作；
94.3.呼吸频率估计：根据第一步的关键点和第二步的多帧特征进行呼吸频率估计；
95.4.活体判断：根据呼吸动作识别的结果和呼吸频率估计的结果判断活体/攻击。
96.具体过程参考如下：
97.1)鼻子区域检测和关键点定位：
98.鼻子区域关键点定义：在dlib定义的9个点的基础上，增加两个鼻孔区域的10个关键点(上下左右以及中心点，左右各5个)，最终的19个关键点作为模板；
99.基于3dmm监督的鼻子区域检测&关键点回归模型训练(事先在服务器完成)：
100.网络结构：网络结构为yolov3再额外连接一个关键点回归器(两个3x3的卷积层)；
101.输入输出：输入为用户的单张人脸识别图像，输出为这张图像中用户的鼻子区域以及对应的关键点位置；
102.监督信号：一般方法的监督信号为鼻子区域的框的坐标以及关键点的坐标，本方法额外加入了3dmm的形状监督，将平均脸的3dmm鼻子区域作为监督信号，计算对应的关键点仿射变换以后的偏差；
103.训练方法：利用上述的网络结构和损失函数进行训练，直至模型收敛；
104.鼻子区域检测和关键点回归：用户开始人脸识别后，连续采集5s图像；从5s图像中挑选10帧(均匀采样)；对这10帧数据进行鼻子区域检测和关键点回归，得到10个鼻子区域以及对应的关键点。
105.2)多帧动作呼吸动作：
106.数据预处理：对检测到的鼻子区域做对齐处理，对齐到统一的模板；对做好对齐操作的10个鼻子区域计算光流，相邻两帧进行计算，得到9帧光流图像；
107.呼吸动作检测模型训练-(事先在云端服务器完成)：
108.模型结构：使用shufflenetv2作为backbone；
109.模型输入输出：模型输入为9帧光流图像，共18个通道，输出为是否包含呼吸动作；
110.损失函数：二分类损失函数；
111.训练方法：利用上述模型结构和损失函数训练，直至模型收敛；
112.呼吸动作检测：完成鼻子区域检测后，进行光流计算和呼吸动作分类，得到是否呼吸的结果，以及对应的呼吸特征(分类前一层的特征)；
113.3)呼吸频率估计：
114.基于第一步的关键点和第二步的呼吸特征进行频率估计；
115.关键点特征提取：对于10帧关键点信息分别计算鼻子区域的最大鼻孔直径和最小鼻孔直径，同时计算两者的差值；另外，相邻帧计算关键点的差值，得到9个差值关键点集合；
116.呼吸频率估计模型训练-事先在云端完成：
117.模型结构：一个5层的mlp；
118.损失函数：回归损失函数，回归频率值；
119.输入输出：输入为关键点，关键点差值，最大最小直径及其差值，以及上一步的呼吸特征；
120.模型训练：利用上述模型结构和损失函数训练，直至模型收敛；
121.呼吸频率估计：完成呼吸动作检测后，利用上述的特征计算方法，将特征输入到训
练好的模型，得到呼吸频率；
122.4)活体判断：当同时满足下列条件时，判断为活体，否则判断为攻击：呼吸分类的结果为真；呼吸的频率估计在10-30之间。
123.本说明书实施例，基于鼻子光流的呼吸行为检测，基于呼吸特征和鼻子关键点的呼吸频率估计，基于呼吸动作和呼吸频率的对检测对象进行活体检测，可以在用户无需额外配合的情况下，打到和交互式活体类似的安全能力，进而提升了活体检测的准确性以及生物识别的安全性。
124.本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参考方法实施例的部分说明即可。
125.基于上述所述的活体检测方法，本说明书一个或多个实施例还提供一种用于活体检测的系统。所述系统可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参考前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
126.具体地，图3是本说明书提供的活体检测装置一个实施例的模块结构示意图，该装置可以应用在生物识别设备中，如：刷脸设备、刷脸支付设备等，如图3所示，本说明书中提供的活体检测装置可以包括：
127.图像采集模块31，用于采集目标检测对象在进行生物识别时指定数量的生物特征图像；
128.鼻子区域检测模块32，用于对所述生物特征图像进行鼻子区域检测，确定各个生物特征图像中的鼻子区域以及所述鼻子区域对应的关键点；
129.呼吸动作检测模块33，用于对所述指定数量的生物特征图像中的鼻子区域进行呼吸检测，确定出所述目标检测对象的呼吸类别和呼吸特征；
130.呼吸频率检测模块34，用于根据所述呼吸特征以及所述鼻子区域对应的关键点进行呼吸频率检测，确定出所述目标检测对象的呼吸频率；
131.活体检测模块35，用于基于所述呼吸类别和所述呼吸频率，确定所述目标检测对象是否为活体对象。
132.本说明书实施例提供的活体检测装置，通过检测鼻子区域的一些微动作来判断是否存在呼吸动作，并进一步估计呼吸的频率。通过检测呼吸动作和对应的频率，可以在用户无需额外配合的情况下，打到和交互式活体类似的安全能力。
133.需要说明的，上述所述的装置根据对应方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照上述对应的方法实施例的描述，在此不作一一赘述。
134.本说明书实施例还提供一种活体检测设备，包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述实施例的活体检测方法，如：
135.采集目标检测对象的生物特征图像；
136.基于所述生物特征图像，预测所述目标检测对象的脑波信号；
137.根据所述脑波信号确定所述目标检测对象的情绪特征；
138.根据所述情绪特征，确定所述目标检测对象是否为活体对象。
139.本说明书实施例还提供一种活体检测系统，包括：图像采集设备和图像处理设备，其中所述图像采集设备用于采集进行生物识别的目标检测对象的生物特征图像，所述图像处理设备包括至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时上述活体检测方法对所述图像采集设备采集到的生物特征图像进行活体检测如：
140.采集目标检测对象在进行生物识别时指定数量的生物特征图像；
141.对所述指定数量的生物特征图像进行鼻子区域检测，确定各个生物特征图像中的鼻子区域以及所述鼻子区域对应的关键点；
142.对所述指定数量的生物特征图像中的鼻子区域进行呼吸检测，确定出所述目标检测对象的呼吸类别和呼吸特征；
143.根据所述呼吸特征以及所述鼻子区域对应的关键点进行呼吸频率检测，确定出所述目标检测对象的呼吸频率；
144.基于所述呼吸类别和所述呼吸频率，确定所述目标检测对象是否为活体对象。
145.需要说明的，上述所述的设备和系统根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
146.本说明书提供的活体检测装置，也可以应用在多种数据分析处理系统中。所述系统或服务器或终端或设备可以为单独的服务器，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例系统或服务器或终端或设备的服务器集群、系统(包括分布式系统)、软件(应用)、实际操作装置、逻辑门电路装置、量子计算机等并结合必要的实施硬件的终端装置。所述核对差异数据的检测系统可以包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现上述任意一个或者多个实施例中所述方法的步骤。
147.本说明书实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图4是本说明书一个实施例中活体检测服务器的硬件结构框图，该计算机终端可以是上述实施例中的活体检测服务器或活体检测装置。如图4所示服务器10可以包括一个或多个(图中仅示出一个)处理器100(处理器100可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的非易失性存储器200、以及用于通信功能的传输模块300。本领域普通技术人员可以理解，图4所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器10还可包括比图4中所示更多或者更少的组件，例如还可以包括其他的处理硬件，如数据库或多级缓存、gpu，或者具有与图4所示不同的配置。
148.非易失性存储器200可用于存储应用软件的软件程序以及模块，如本说明书实施例中的活体检测方法对应的程序指令/模块，处理器100通过运行存储在非易失性存储器200内的软件程序以及模块，从而执行各种功能应用以及资源数据更新。非易失性存储器200可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪
存、或者其他非易失性固态存储器。在一些实例中，非易失性存储器200可进一步包括相对于处理器100远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
149.传输模块300用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输模块300包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输模块300可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
150.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
151.本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例所描述方案的效果，如：
152.采集目标检测对象在进行生物识别时指定数量的生物特征图像；
153.对所述指定数量的生物特征图像进行鼻子区域检测，确定各个生物特征图像中的鼻子区域以及所述鼻子区域对应的关键点；
154.对所述指定数量的生物特征图像中的鼻子区域进行呼吸检测，确定出所述目标检测对象的呼吸类别和呼吸特征；
155.根据所述呼吸特征以及所述鼻子区域对应的关键点进行呼吸频率检测，确定出所述目标检测对象的呼吸频率；
156.基于所述呼吸类别和所述呼吸频率，确定所述目标检测对象是否为活体对象。
157.本说明书实施例提供的上述活体检测方法或装置可以在计算机中由处理器执行相应的程序指令来实现，如使用windows操作系统的c++语言在pc端实现、linux系统实现，或其他例如使用android、ios系统程序设计语言在智能终端实现，以及基于量子计算机的处理逻辑实现等。
158.需要说明的是说明书上述所述的装置、计算机存储介质、系统根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照对应方法实施例的描述，在此不作一一赘述。
159.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参考方法实施例的部分说明即可。
160.本说明书实施例并不局限于必须是符合行业通信标准、标准计算机资源数据更新和数据存储规则或本说明书一个或多个实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处
理方式等获取的实施例，仍然可以属于本说明书实施例的可选实施方案范围之内。
161.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
162.虽然本说明书一个或多个实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式资源数据更新环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
163.为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
164.本发明是参照根据本发明实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程资源数据更新设备的处理器以产生一个机器，使得通过计算机或其他可编程资源数据更新设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
165.这些计算机程序指令也可存储在能引导计算机或其他可编程资源数据更新设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
166.这些计算机程序指令也可装载到计算机或其他可编程资源数据更新设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
167.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网
络接口和内存。
168.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
169.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储、石墨烯存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
170.本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
171.本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
172.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参考方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
173.以上所述仅为本说明书一个或多个实施例的实施例而已，并不用于限制本说明书一个或多个实施例。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在权利要求范围之内。