一种多模态人脸活体检测方法及系统与流程

本发明涉及数字图像处理技术领域，尤其涉及一种多模态人脸活体检测方法及系统。

背景技术：

随着电子商务等技术的发展，基于人脸的身份验证已经得到广泛的应用，基于人脸的身份验证其中主要是通过人脸识别技术来实现，在人脸识别技术极大提高了人们生活便利性的同时，其安全性问题也逐渐暴露，采用单个模态进行活体检测，其算法鲁棒性和泛化能力不高。因此，人脸活体防伪技术引发了广泛的关注。

现有的活体检测技术一般是采用配合式方法，即检测人脸点头、摇头、眨眼、张嘴之类的行为，需要用户配合做出相应的动作；如果预先拍摄一段相应动作(如点头、摇头、眨眼、张嘴等)的视频或者戴上假头套，则也会检测出活体，从而使得冒仿者很容易就通过活体检测。综上所述，现有的活体检测技术不仅用户体验效果差，而且安全性差，很容易被不法使用者突破。

上述背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

技术实现要素：

本发明的目的在于提供一种多模态人脸活体检测方法及系统，以解决上述背景技术问题中的至少一种问题。

为达到上述目的，本发明实施例的技术方案是这样实现的：

一种多模态人脸活体检测方法，包括如下步骤：

s1、采集目标区域的彩色图像、红外图像及深度图像，并进行配准；

s2、对所述彩色图像进行人脸关键点检测，获得初始人脸框和人脸关键点信息；

s3、基于所述初始人脸框和所述人脸关键点信息对采集图像进行预处理，将预处理后图像进行裁剪，获取有效人脸图像；

s4、转换和/或归一化所述有效人脸图像，并将经过所述转换和/或归一化的有效人脸图像进行叠加；

s5、将所述叠加后的图像分别输送至至少三个不同架构的神经网络以提取不同人脸特征，合并所述不同人脸特征，获取合并特征图并进行活体判断。

在一些实施例中，步骤s2包括：

s20、将所述彩色图像输送至主干特征提取网络，输出三个第一有效特征层；

s21、对所述三个第一有效特征层进行处理，获得有效特征融合层；

s22、对所述有效特征融合层进行加强特征提取，输出第二有效特征层；

s23、根据所述第二有效特征层进行人脸预测，获得所述初始人脸框和所述人脸关键点信息。

在一些实施例中，步骤s3包括：

s30、根据所述人脸关键点的坐标信息，计算其中两个关键点的距离，并判断计算出的距离是否在两个关键点的预设距离范围内，过滤掉不符合预设尺寸的人脸图像，获取彩色有效人脸图像；

s31、对所述彩色有效人脸图像的对应红外图像进行人脸轮廓检测和平均亮度计算，判断所述红外图像是否包含完整的人脸轮廓及活体，以获取红外有效人脸图像；

s32、基于所述人脸关键点信息，获取所述红外有效人脸图像对应的深度图像中对应的人脸关键点的深度值，并判断人脸关键点是否在预设有效范围内且深度值的相对分布关系是否符合预设深度分布，以获取最终有效处理图像；

s33、根据所述有效处理图像，基于所述人脸关键点的坐标信息对所述彩色图像、所述红外图像及所述深度图像进行裁剪，分别得到第一有效人脸图像、第二有效人脸图像及第三有效人脸图像。

在一些实施例中，步骤s5包括：

s50、将所述叠加后的图像分别输入至少三个不同架构的神经网络，对所述有效人脸图像的不同特征部分进行特征提取；

s51、将所述不同特征部分的特征图进行合并，获得合并特征图，并通过全连接层将所述合并特征图连接生成一个与神经元数量相同维度的特征向量；

s52、通过逻辑回归，将经过所述全连接层获取的所述特征向量平均输入至soft-max层，进行活体判断。

在一些实施例中，步骤s4中，将所述第一有效人脸图像转换为ycrcb人脸图像，并对所述第二有效人脸图像和所述第三有效人脸图像进行归一化处理，将所述归一化处理后的第二有效人脸图像、第三有效人脸图像及所述ycrcb人脸图像进行叠加，得到所述叠加后的图像。

本发明另一实施例技术方案为：

一种多模态人脸活体检测系统，包括采集相机、图像配准模块、图像检测模块、图像裁剪模块、图像融合模块以及活体判断模块；其中，

所述采集相机用于采集彩色图像、红外图像及深度图像；

所述图像配准模块用于获取所述采集相机采集的所述彩色图像、所述红外图像及所述深度图像，并对所述彩色图像、所述红外图像及所述深度图像进行配准；

所述图像检测模块包括彩色人脸检测单元与图像预处理单元；其中，所述彩色人脸检测单元用于检测人脸并获取初始人脸框及人脸关键点信息；所述图像预处理单元用于对所述初始人脸框和所述人脸关键点信息进行处理以获取有效处理图像；

所述图像裁剪模块用于对所述有效处理图像对应的彩色图像、红外图像及深度图像进行裁剪，得到不同的有效人脸图像；

所述图像融合模块用于转换和/或归一化有效人脸图像，并将经过转换和/或归一化的有效人脸图像进行叠加，得到融合图像；

所述活体判断模块包括至少三种不同的神经网络架构，通过搭建不同的神经网络架构对融合图像进行不同特征提取以获得不同特征图，将不同特征图进行合并，获取合并特征图，并根据合并特征图进行活体判断。

在一些实施例中，所述图像预处理单元根据所述人脸关键点的坐标信息，计算其中两个关键点的距离，并判断计算出的距离是否在所述两个关键点的预设距离范围内，以获得彩色有效人脸图像。

在一些实施例中，所述图像预处理单元还用于对所述彩色有效人脸图像的对应红外图像进行人脸轮廓检测和平均亮度计算，判断所述彩色有效人脸图像对应的红外图像是否包含完整的人脸轮廓及活体，以获得红外有效人脸图像。

在一些实施例中，所述图像预处理单元基于人脸关键点信息获取所述红外有效人脸图像对应的深度图像中对应的人脸关键点的深度值，并判断人脸关键点是否在预设有效范围内且深度值的相对分布关系是否符合预设深度分布，以获得有效处理图像。

在一些实施例中，所述图像裁剪模块对所述有效处理图像对应的彩色图像、红外图像及深度图像进行裁剪，得到第一有效人脸图像、第二有效人脸图像及第三有效人脸图像；所述图像融合模块将所述第一有效人脸图像转换为ycrcb人脸图像，并对所述第二有效人脸图像和所述第三有效人脸图像进行归一化处理，将所述归一化处理后的第二有效人脸图像、第三有效人脸图像及所述ycrcb人脸图像进行叠加，得到所述融合图像。

本发明技术方案的有益效果是：

相较于现有技术，本发明通过将彩色图像、红外图像以及深度图像进行信息融合，通过多模态人脸活体检测，剔除了类似人脸的信息的干扰，提升了人脸活体检测的准确度，提高了人脸检测算法的鲁棒性及泛化能力，同时，检测时无需用户做出相应的配合动作，优化了用户的体验效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明一个实施例多模态人脸活体检测方法的流程图示。

图2是根据本发明另一个实施例多模态人脸活体检测系统的示意图。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

图1所示为本发明一个实施例多模态人脸活体检测方法的流程示意图，方法包括如下步骤：

s1、采集目标区域的彩色图像、红外图像及深度图像，并进行配准；

在一个实施例中，通过采集设备采集目标区域的彩色图像、红外图像及深度图像。其中，采集设备可以为基于结构光、双目、tof(时间飞行算法)技术的深度相机。优选地，采集设备包括结构光深度相机与彩色相机，以用于采集深度图像、红外图像及彩色图像。其中，深度图像、红外图像及彩色图像的采集频率可以相同也可以不同，根据具体的功能需求进行相应的设定，比如以60fps的频率交叉采集深度图像、红外图像及彩色图像，或者分别获取30fps的深度图像、红外图像及彩色图像。

在一个实施例中，对采集设备所采集到彩色图像、红外图像及深度图像进行配准，即通过配准算法找到深度图像、红外图像及彩色图像中各个像素之间的对应关系，以消除彩色图像、红外图像及深度图像三者之间由于空间位置不同所产生的视差。需要说明的是，配准可以由采集设备中专用处理器来完成，也可以由外部处理器完。经配准后的深度图像、红外图像及彩色图像可以实现多种功能，比如可以加快人脸活体检测与识别。

在一个实施例中，可以先对彩色图像进行人脸检测，再利用像素对应关系直接定位出深度图像或红外图像中的人脸部分，由此可以减少一次对深度图像或红外图像的人脸检测算法；在一个实施例中，可以先对上一帧的彩色图像进行物体检测，在下一帧进行深度图像或红外图像采集时，仅获取人脸所在位置上的像素的深度值或红外光反射的光强度，即仅输出人脸部分的深度图像或红外图像，从而减少深度图像或红外图像的提取算法计算量，同时降低数据传输带宽，从而提升了处理运算的速度，提高了检测识别的效率。反之，也可以先对深度图像进行人脸活体检测或识别，再利用像素对应关系加速对彩色图像或红外图像中人脸活体的检测或识别。在本发明实施例中，不作特别限定，无论采取何种方式，只要不脱离本发明的主旨，均应属于本申请的保护范围。

s2、对彩色图像进行人脸关键点检测，获得初始人脸框和人脸关键点信息；

具体的，将彩色图像传输至彩色图像人脸检测模型进行人脸关键点检测，在一个实施例中，彩色图像人脸检测模型是基于retinaface人脸检测算法搭建的，其步骤包括：

s20、将彩色图像输送至主干特征提取网络，输出最后三个第一有效特征层；

在一个实施例中，主干特征提取网络包括深度可分离卷积(mobilenet)模型或深度残差网络(resnet)模型，优选mobilenet模型，采用mobilenet模型可减少模型的参数。

s21、对三个第一有效特征层进行处理，获得有效特征融合层；

在一个实施例中，利用三个第一有效特征层进行特征图金字塔网络(fpn)结构的构建，获取有效特征融合层；更具体地，利用卷积核为1×1卷积层对三个第一有效特征层进行通道数的调整，并利用调整后的有效特征层进行上采样和图像融合以实现三个第一有效特征层的特征融合，得到三个不同尺寸的有效特征融合层，进而完成fpn结构的构建。应当理解的是，卷积层的卷积核大小可根据实际情况进行设计，此处不作限制。

s22、对获取的有效特征融合层进行加强特征提取，输出第二有效特征层；

在一个实施例中，利用ssh(singlestageheadlessfacedetector，单点无头人脸检测器)结构对三个不同尺寸的有效特征融合层进行加强特征提取。其中，ssh结构包括三个并行卷积层结构，三个卷积层结构可分别为1个3×3卷积层、2个3×3卷积层及3个3×3卷积层进行并联(即一个卷积层为1个3×3卷积层构成，一个卷积层为2个3×3构成，一个卷积层为3个3×3构成)，增大了卷积层的感受野(receptivefield)，并减少了参数的计算。有效特征融合层经过三个并行卷积层结构后通过concat函数合并，得到新的有效特征层，即三个不同尺寸的有效特征融合层经过三个并行卷积层结构可得到三个新的具有ssh结构的不同尺寸的第二有效特征层。

s23、根据第二有效特征层进行人脸预测，获得初始人脸框和人脸关键点信息。

在一个实施例中，具有ssh结构的三个不同尺寸的第二有效特征层等效于把整幅彩色图像划分成不同大小的网格，每个网格上包含两个先验框，每个先验框代表彩色图像上的一定区域，对每个先验框进行人脸检测，通过设置置信度的阈值为0.5，对先验框是否包含人脸的概率进行预测，并与阈值进行比对，若先验框的概率大于阈值，则该先验框包含人脸，即为初始人脸框。应当理解的是，置信度的阈值可根据实际情况进行具体设置，此处不作限制。

进一步地，对先验框进行调整获取人脸关键点，应当理解的是，人脸关键点可包括98个或106个，可根据实际情况进行设计，且每个人脸关键点需要两个调整参数，对每个先验框中心的x、y轴进行调整以获取人脸关键点坐标。

应当理解的是，彩色图像人脸检测模型不仅限于retinaface人脸检测算法，还可以是mtcnn等，此处不作限制。

s3、基于步骤s2获取的初始人脸框和人脸关键点信息对基于步骤s1采集的图像进行预处理，将预处理后图像进行裁剪，获取有效人脸图像；

在一个实施例中，将预处理后的彩色图像、红外图像及深度图像进行裁剪，分别得到第一有效人脸图像、第二有效人脸图像及第三有效人脸图像。

在一个实施例中，预处理包括以下步骤：

s30、根据步骤s2获取的人脸关键点坐标信息，计算其中两个关键点的距离，并判断计算出的距离是否在两个关键点的预设距离范围内，从而以过滤掉一些不符合预设尺寸的人脸图像；在本发明实施例中，选取两个瞳孔位置处关键点，计算双瞳间距，并判断瞳距是否在预设瞳距范围内，以过滤一些不符合预设尺寸的人脸图像，若在预设瞳距获取内，获取彩色有效人脸图像，进行下一步，否则过滤该图像；

s31、对步骤s30获取的彩色有效人脸图像的对应红外图像进行人脸轮廓检测和平均亮度计算，判断彩色有效人脸图像对应的红外图像是否包含完整的人脸轮廓及活体，从而可以判断图像是否存在假体头套或头模及屏幕攻击，若不存在，则获取红外有效人脸图像，进行下一步；否则过滤该图像；

s32、基于步骤s2获取的人脸关键点信息，获取基于步骤s31获取的红外有效人脸图像对应的深度图像中对应的人脸关键点的深度值，并判断人脸关键点是否在预设有效范围内且深度值的相对分布关系是否符合预设深度分布，若符合深度分布，则获取最终有效处理图像，进行下一步；否则过滤该图像。应当理解的是，上述预处理步骤可以串联进行也可以并行，此处不做限制。

s33、根据预处理步骤得到的有效处理图像，基于步骤s2获取的人脸关键点的坐标信息，对彩色图像、红外图像及深度图像进行裁剪，分别得到第一有效人脸图像、第二有效人脸图像及第三有效人脸图像。

更具体地，对经过预处理后的彩色图像进行裁剪，裁剪出彩色图像中的人脸图像，为第一有效人脸图像；彩色图像、红外图像及深度图像为对齐图像，因此，根据彩色图像获取的人脸关键点同理亦可裁剪红外图像及深度图像的人脸图像，分别得到第二有效人脸图像及第三有效人脸图像。

s4、转换和/或归一化有效人脸图像，并将经过转换和/或归一化的有效人脸图像进行叠加；

具体的，将第一有效人脸图像转换为ycrcb人脸图像，并对第二有效人脸图像和第三有效人脸图像进行归一化处理，将归一化后的第二有效人脸图像、第三有效人脸图像及ycrcb人脸图像进行叠加，得到第四有效人脸图像。

由于彩色图像中的人脸肤色受亮度影响大，以致于在人脸活体检测时容易发生混淆，但活体与非活体在ycrcb图像中的纹理明显区别，因此，在一个实施例中，可将据彩色图像裁剪得到的第一有效人脸图像转换为ycrcb人脸图像，其中，y通道表示彩色图像的亮度值，cr通道反映了彩色图像红色部分与亮度值的差异，cb通道则表示彩色图像蓝色部分与亮度值的差异值；归一化第二有效人脸图像为8位位图，具有1个通道，该通道表现为从黑色到白色的256个色阶的变化；归一化第三有效人脸图像为16位位图，具有2个通道，表示0-65535之间的数值，测量最大值为65米；将上述转换或归一化处理后的有效人脸图像进行叠加，得到一幅六通道的图像，即为第四有效人脸图像。

s5、将叠加后的图像分别输送至至少三个不同架构的神经网络以提取不同人脸特征，合并所述不同人脸特征，获取合并特征图并进行活体判断，输出活体判断结果。

在一个实施例中，将步骤s4中所得的第四有效人脸图像输入至少三个不同架构的神经网络以提取不同人脸特征，获得三幅特征不同的特征图并进行合并，输出合并特征图，进行活体判断并输出判断结果。

更具体地，步骤s5包括：

s50、将叠加后的图像分别输入至少三个不同架构的神经网络，对有效人脸图像的不同特征部分进行特征提取，得到不同特征部分的特征图；

在一个实施例中，不同特征部分包括眼睛、鼻子、嘴角、耳朵等人脸的关键点；优选地，可根据基于步骤s2获取的人脸关键点信息，采用vgg网络对第四有效人脸图像的眼睛进行特征提取以获取眼睛特征图，采用geoglenet对鼻子进行特征提取以获取鼻子特征图，采用残差网络对嘴角进行特征提取以获取嘴角特征图。应当理解的是，不同架构的神经网络不限于上述三种网络，还可以是squeezenet或resnext网络，且均可针对人脸的任一关键点进行特征提取，此处不作限制。

s51、将不同特征部分的特征图进行合并，获得合并特征图；并通过全连接层将合并特征图连接生成一个与全连接层的神经元数量相同维度的特征向量；

具体的，将获取眼睛特征图、鼻子特征图以及嘴角特征图的三个特征图进行合并，获取合并特征图，将合并特征图输入全连接层，其中，全连接层由多个神经元构成，与每个神经网络的最后一个卷积层连接，利用全连接层将上述合并特征图连接生成一个与神经元数量相同维度的特征向量。

在一个实施例中，为了提高人脸活体检测的准确性，可在基于步骤s51获取的合并特征图上进行随机擦除(randomerasing)，即在合并特征图的空间维度上任意选取一块固定大小的矩形框(patch)，将矩形框里的像素值全部置零，以实现图像的数据增强，提高模型的鲁棒性。

s52、通过逻辑回归，将经过全连接层获取的特征向量平均输入至soft-max层，进行活体判断；

在一个实施例中，soft-max层包括两个神经元，分别对应于人脸图像在活体和非活体的二分类上的概率分布，预先设置在活体的概率阈值为0.6，若经过人脸检测模型检测出的概率大于阈值时，则该人脸图像中的人脸为在活体，输出活体判断结果；若小于阈值，则结束操作。应当理解的是，预先设置的活体概率可根据实际情况进行设置，此处不作限制。

图2为根据本发明一个施例提供的一种多模态人脸活体检测系统的示意图，系统200包括采集相机201、图像获取模块202、图像检测模块203、图像裁剪模块204、图像融合模块205以及活体判断模块206；其中，采集相机201用于采集彩色图像、红外图像及深度图像；图像配准模块202用于获取采集相机201采集的彩色图像、红外图像及深度图像，并对彩色图像、红外图像及深度图像进行配准；图像检测模块203，其包括彩色人脸检测单元2031与图像预处理单元2032，其中，彩色人脸检测单元2031用于检测人脸并获取初始人脸框及人脸关键点信息；图像预处理单元2032用于对初始人脸框和人脸关键点信息进行处理以获取有效处理图像，以剔除不符合预设要求的图像；图像裁剪模块204用于对有效处理图像对应的彩色图像、红外图像及深度图像进行裁剪，得到不同的有效人脸图像；图像融合模块205，用于转换和/或归一化有效人脸图像，并将经过转换和/或归一化的有效人脸图像进行叠加，得到融合图像；活体判断模块206，其包括至少三种不同的神经网络架构，通过搭建不同的神经网络架构对融合图像进行不同特征提取以获得不同特征图，将不同特征图进行合并，获取合并特征图，并根据合并图像进行活体判断以输出活体判断结果。

在一些实施例中，图像预处理单元2032根据人脸关键点坐标信息，计算其中两个关键点的距离，并判断计算出的距离是否在两个关键点的预设距离范围内，从而以过滤掉一些不符合预设尺寸的人脸图像，以获得彩色有效人脸图像。

在一些实施例中，图像预处理单元2032还用于对彩色有效人脸图像的对应红外图像进行人脸轮廓检测和平均亮度计算，判断彩色有效人脸图像对应的红外图像是否包含完整的人脸轮廓及活体，以获得红外有效人脸图像。

在一些实施例中，图像预处理单元2032基于人脸关键点信息获取红外有效人脸图像对应的深度图像中对应的人脸关键点的深度值，并判断人脸关键点是否在预设有效范围内且深度值的相对分布关系是否符合预设深度分布，从而以获得有效处理图像。

在一些实施例中，图像裁剪模块204对有效处理图像对应的彩色图像、红外图像及深度图像进行裁剪，得到第一有效人脸图像、第二有效人脸图像及第三有效人脸图像。

在一些实施例中，图像融合模块205将第一有效人脸图像转换为ycrcb人脸图像，并对第二有效人脸图像和第三有效人脸图像进行归一化处理，将归一化后的第二有效人脸图像、第三有效人脸图像及ycrcb人脸图像进行叠加，得到融合图像。

本发明通过将彩色图像、红外图像以及深度图像进行信息融合，通过多模态人脸活体检测，剔除了类似人脸的信息的干扰，提升了人脸活体检测的准确度，提高了人脸检测算法的鲁棒性及泛化能力，同时，检测时无需用户做出相应的配合动作，优化了用户的体验效果。

本发明还提出了一种计算机可读存储介质，计算机刻度存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述实施例方案的多模态人脸活体检测方法。所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。

本发明的实施例可以包括或利用包括计算机硬件的专用或通用计算机，如下面更详细讨论的。在本发明的范围内的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以被通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本发明的实施例可以包括至少两种截然不同的计算机可读介质：物理计算机可读存储介质和传输计算机可读介质。

本申请实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时至少实现前述实施例方案中所述的多模态人脸活体检测方法。

可以理解的是，以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。

在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离由所附权利要求限定的范围的情况下，可以在本文中进行各种改变、替换和变更。

此外，本发明的范围不旨在限于说明书中所述的过程、机器、制造、物质组成、手段、方法和步骤的特定实施例。本领域普通技术人员将容易理解，可以利用执行与本文所述相应实施例基本相同功能或获得与本文所述实施例基本相同结果的目前存在的或稍后要开发的上述披露、过程、机器、制造、物质组成、手段、方法或步骤。因此，所附权利要求旨在将这些过程、机器、制造、物质组成、手段、方法或步骤包含在其范围内。