一种刷脸支付意愿识别方法、装置以及设备与流程

1.本说明书涉及机器学习技术领域，尤其涉及一种刷脸支付意愿识别方法、装置以及设备。


背景技术：

2.随着计算机和互联网技术的发展，很多业务都可以在线上进行，促进了各种线上业务平台的发展。其中，刷脸支付是指基于人工智能、机器视觉、3d传感、大数据等技术实现的新型支付方式，通过采用人脸识别作为身份验证的支付方式，给用户带来了极大的便利性，受到用户的普遍喜爱。
3.目前，在刷脸支付场景中，待支付用户开启刷脸支付后，需要站在具有刷脸支付功能设备的前方，进行人脸识别。但是，在刷脸的过程中，可能在设备的前方站着多个用户，将导致设备采集的刷脸图像中，出现多个用户。此时，设备对刷脸图像进行人脸识别时，难以判断哪个用户是当前的待支付用户，即，哪个用户具有刷脸支付意愿。换言之，只有当前的待支付用户具有刷脸支付意愿，而其他用户则不具有刷脸支付意愿。
4.基于此，刷脸支付意愿识别是对支付系统中刷脸安全保障的重要环节，有助于提升刷脸安全体验，但是，设备如果识别到其他用户，对其他用户进行识别，将出现误刷脸支付，从而降低刷脸支付的安全性。
5.基于此，对于刷脸支付需要更安全的识别方案。


技术实现要素：

6.本说明书一个或多个实施例提供一种刷脸支付意愿识别方法、装置、设备以及存储介质，用以解决如下技术问题：对于刷脸支付需要更安全的识别方案。
7.为解决上述技术问题，本说明书一个或多个实施例是这样实现的：
8.本说明书一个或多个实施例提供的一种刷脸支付意愿识别方法，包括：
9.获取刷脸2d图像以及与所述刷脸2d图像对应的刷脸3d图像；
10.在所述刷脸2d图像中确定待识别的候选人，并根据各所述候选人在所述刷脸2d图像中的第一所处区域，分别生成对应的掩码图以区别所述第一所处区域和所述刷脸2d图像中的其他区域；
11.提取所述刷脸2d图像的特征，并根据所述刷脸2d图像的特征和所述掩码图，得到第一融合特征；
12.提取所述刷脸3d图像的特征，并根据所述第一融合特征与所述刷脸3d图像的特征，得到第二融合特征；
13.根据所述第二融合特征，识别各所述候选人是否具有刷脸支付意愿。
14.本说明书一个或多个实施例提供的一种刷脸支付意愿识别装置，包括：
15.获取模块，获取刷脸2d图像以及与所述刷脸2d图像对应的刷脸3d图像；
16.生成模块，在所述刷脸2d图像中确定待识别的候选人，并根据各所述候选人在所
述刷脸2d图像中的第一所处区域，分别生成对应的掩码图以区别所述第一所处区域和所述刷脸2d图像中的其他区域；
17.第一提取模块，提取所述刷脸2d图像的特征，并根据所述刷脸2d图像的特征和所述掩码图，得到第一融合特征；
18.第二提取模块，提取所述刷脸3d图像的特征，并根据所述第一融合特征与所述刷脸3d图像的特征，得到第二融合特征；
19.识别模块，根据所述第二融合特征，识别各所述候选人是否具有刷脸支付意愿。
20.本说明书一个或多个实施例提供的一种刷脸支付意愿识别设备，包括：
21.至少一个处理器；以及，
22.与所述至少一个处理器通信连接的存储器；其中，
23.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
24.获取刷脸2d图像以及与所述刷脸2d图像对应的刷脸3d图像；
25.在所述刷脸2d图像中确定待识别的候选人，并根据各所述候选人在所述刷脸2d图像中的第一所处区域，分别生成对应的掩码图以区别所述第一所处区域和所述刷脸2d图像中的其他区域；
26.提取所述刷脸2d图像的特征，并根据所述刷脸2d图像的特征和所述掩码图，得到第一融合特征；
27.提取所述刷脸3d图像的特征，并根据所述第一融合特征与所述刷脸3d图像的特征，得到第二融合特征；
28.根据所述第二融合特征，识别各所述候选人是否具有刷脸支付意愿。
29.本说明书一个或多个实施例提供的一种刷脸支付意愿识别非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：
30.本说明书一个或多个实施例采用的上述至少一个技术方案能够达到以下有益效果：
31.能够通过为各候选人在刷脸2d图像中第一所处区域，分别生成对应的掩码图，能够将该候选人的特征信息更加鲜明化，增加了具有刷脸支付意愿与不具有刷脸支付意愿的差异性，通过第一融合特征，能够增强图像对比效果，从而实现了将注意力集中至具有刷脸支付意愿的候选人，并且通过第二融合特征，识别各候选人是否具有刷脸支付意愿，结合刷脸3d图像中相应候选人的特征与刷脸2d图像中该候选人的特征，两者相互补充同一候选人的人脸特征，能够进一步提升人脸识别的准确度，从而能够更加将刷脸图像中具有刷脸支付意愿的候选人与不具有刷脸支付意愿的候选人进行准确区分，更有针对性地识别刷脸图像中候选人的刷脸支付意愿，从而能够增强刷脸安全体验。
附图说明
32.为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
33.图1为本说明书一个或多个实施例提供的一种刷脸支付意愿识别方法的流程示意图；
34.图2为本说明书一个或多个实施例提供的一种刷脸支付意愿识别系统的框架示意图；
35.图3为本说明书一个或多个实施例提供的一种基于深度卷积神经网络端到端学习的刷脸支付意愿识别方法的流程示意图；
36.图4为本说明书一个或多个实施例提供的一种刷脸支付意愿识别装置的结构示意图；
37.图5为本说明书一个或多个实施例提供的一种刷脸支付意愿识别设备的结构示意图。
具体实施方式
38.本说明书实施例提供一种刷脸支付意愿识别方法、装置、设备以及存储介质。
39.为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
40.图1为本说明书一个或多个实施例提供的一种刷脸支付意愿识别方法的流程示意图。该流程可以由具有刷脸支付功能的电子设备执行，该电子设备可以是具备图像数据处理功能的终端，例如，可以是手机、平板、笔记本等移动终端，也可以是台式机等固定终端或服务器，流程中的某些输入参数或者中间结果允许人工干预调节，以帮助提高准确性。
41.在本说明书的一个或多个实施例中，待识别的候选人是指需要支付相关费用的用户，需要说明的是，候选人想要进行刷脸支付，需要在对应的客户端上进行身份信息注册，并录入人脸信息，用于在候选人开启刷脸支付时，识别到候选人具有刷脸支付识别意愿之后，通过预先注册的人脸信息对该候选人进行身份认证。
42.即，在刷脸图像中包括候选人的人脸信息，通过识别人脸信息能够获取到候选人是否具有刷脸支付意愿，然后通过人脸信息能够对候选人进行身份认证。需要说明的是，刷脸图像包括刷脸2d图像与刷脸3d图像中的至少一种。
43.其中，可以是电子设备在接收到刷脸支付指令后，通过预先安装的图像采集设备获取刷脸图像，也可以是电子设备根据支付订单生成刷脸支付指令，通过图像采集设备获取刷脸图像。
44.图像采集设备前方的候选人的数量可以为一个或者多个，当候选人的数量为多个时，则刷脸图像中包括多个候选人，当候选人的数量为一个时，则刷脸图像中包括一个候选人。同时，刷脸图像不仅包括候选人的人脸信息，还可以包括候选人的其他特征信息，比如，躯干信息以及四肢信息，也可以包括其他不需要识别的对象，比如，候选人所处环境中所包括的的桌椅、悬挂物等。
45.另外，通常情况下，电子设备在执行单次刷脸支付指令时，是为了对当前开启刷脸支付的特定候选人进行身份认证，而该特定候选人通常也具有刷脸支付意愿，也就是说，在
执行单次刷脸支付指令时，即使刷脸图像中包括多个候选人，但是，该多个候选人并非都具有刷脸支付意愿，只有特定候选人具有刷脸支付意愿，可以认为该特定候选人为支付意愿安全，其他候选人为支付意愿非安全。
46.例如，在公共场合中，通常采用线下物联网(internet of things，iot)刷脸机具进行刷脸支付。其中，公共场所的刷脸iot机具是指商超/便利店/餐饮/酒旅/校园教育医疗/校园教育等公共消费场景设置的具有刷脸功能的机具。其中，刷脸iot机具一般都集成多种传感信息，如2d视觉，3d视觉，来支持刷脸支付系统实现人脸识别。
47.如果a候选人点击刷脸支付，则将开启刷脸支付，iot刷脸机具接收到刷脸支付指令，通过图像采集设备获取到刷脸图像，由于处在开放的公共场所，存在着多个候选人排队支付的情景，那么iot机具获取的刷脸图像中极有可能包括多个候选人，但是，在多个候选人中，实际上只有a候选人具有刷脸支付意愿，此时需要识别到a候选人具有刷脸支付意愿的前提下，通过a候选人的人脸信息对a候选人进行身份认证，即，其他候选人实际上并不具有刷脸支付意愿。
48.进一步地，假如b候选人排在a候选人的后面或者b候选人与a候选人并排，那么即使b候选人没有刷脸支付意愿，a候选人在刷脸支付认证的过程中，图像采集设备可能拍摄a候选人的同时，拍摄到b候选人，导致拍摄的刷脸图像中既包括a候选人，又包括b候选人。如果电子设备在识别刷脸图像的过程中，没有将a侯选人作为刷脸用户，而是误识到b候选人，那么电子设备不对b候选人识别是否具有刷脸支付意愿的话，，而是直接对b候选人进行身份认证，在认证通过后，将通过b候选人的账户进行支付，从而误刷b候选人的资产，导致b候选人的资产损失，从而造成a用户启用刷脸，误刷b用户的情况。基于此，提供了对于刷脸支付更安全的识别方案，提升刷脸安全体验，接下来通过图1及相关内容进行详细描述。
49.图1中的流程可以包括以下步骤：
50.s102：获取刷脸2d图像以及与所述刷脸2d图像对应的刷脸3d图像。
51.在本说明书的一个或多个实施例中，刷脸2d图像为平面图像，没有携带三维信息，没有立体感，即，2d图像是平面上的，在平面上的图像通常就是二维图像，而刷脸3d图像是携带有三维信息的，需要说明的是，刷脸3d图像可以直接或者间接地表现立体形象，一种典型的刷脸3d图像为深度图像，其结合2d和深度信息来表现3d，下面的一些实施例主要以深度图像为例进行说明。深度图像也被称为距离影像，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。也就是说，刷脸2d图像相当于待识别的候选人在平面上的投影。
52.需要说明的是，在采集刷脸2d图像时，主要是获取待识别的候选人的rgb彩色图像，只用获取平面的rgb图像信息，不需要深度信息。而在采集刷脸3d图像时，比刷脸2d图像多了一维深度的信息，即需要获取一个rgb图像外加深度图像d，合起来就是rgbd图像。
53.但是，由于刷脸2d图像相当于待识别的候选人在平面上的投影，对刷脸2d图像人进行人脸识别时，识别结果会受到光照、姿态、表情等外界因素干扰，影响人脸识别的准确性，从而影响刷脸支付意愿识别的准确性，而刷脸3d图像是更加立体的，因此，需要充分利用人脸的二维和三维信息，而多模态识别是指融合多种模态信息进行识别，因此，可以通过多模态视觉信息，即，刷脸2d图像与刷脸3d图像，提高识别的准确率。
54.基于此，采用包括彩色和深度数据的图像采集设备收集人脸信息，图像采集设备
能够同时输出彩色图和深度数据。
55.也就是说，每张刷脸2d图像都具有一张相同时刻拍摄的刷脸2d图像，即，每张刷脸2d图像都具有各自对应的刷脸3d图像。
56.其中，可以是电子设备在接收到刷脸支付指令后，通过预先安装的图像采集设备获取刷脸2d图像与刷脸3d图像，也可以是电子设备根据支付订单生成刷脸支付指令，通过图像采集设备获取刷脸2d图像与刷脸3d图像。
57.s104：在所述刷脸2d图像中确定待识别的候选人，并根据各所述候选人在所述刷脸2d图像中的第一所处区域，分别生成对应的掩码图以区别所述第一所处区域和所述刷脸2d图像中的其他区域。
58.在本说明书的一个或多个实施例中，将候选人在刷脸2d图像中的所处区域称为第一所处区域，该第一所处区域可以包括候选人的外观特征信息，比如，人脸信息、躯干信息、四肢信息，但是为了增加识别结果的准确性，第一所处区域主要包括候选人的人脸信息。同时，可以根据候选人在刷脸2d图像中的位置信息确定第一所处区域。
59.由于图像的掩码操作是指通过掩码核算子重新计算图像中各个像素的值，掩码核算子刻画领域像素点对新像素值得影响程度，同时根据掩码算子中权重因子对像素点进行加权平均，图像掩码操作常用于图像平滑、边缘检测、特征分析等区域。因此，可以通过掩码操作，区别候选人在刷脸2d图像中的第一所处区域和刷脸2d图像中的其他区域。
60.需要说明的是，单个候选人在刷脸2d图像中的第一所处区域，对应单张掩码图，也就是说，如果刷脸2d图像中有多个候选人，则为每个候选人均生成一张对应的掩码图，最终得到多张掩码图。
61.也就是说，在单张掩码图中，能够区分第一所处区域与其他区域，比如，将第一所处区域填充值作为1，将其他区域填充值作为0。即，通过生成每个候选人对应的掩码图，能够将该候选人的特征信息更加鲜明化，从而增加了具有刷脸支付意愿与不具有刷脸支付意愿的差异性。
62.s106：提取所述刷脸2d图像的特征，并根据所述刷脸2d图像的特征和所述掩码图，得到第一融合特征。
63.在本说明书的一个或多个实施例中，如何提取刷脸2d图像的特征，在此不作限定，比如，通过第一特征提取模型提取刷脸2d图像的特征。刷脸2d图像的特征可以包括各候选人的人脸特征、躯干特征、四肢特征。其中，对于人脸特征可以是候选人的人脸的全局特征，通过全局特征识别人脸，能够提高识别结果的准确度。
64.当然，在得到掩码图之后，可以通过将刷脸2d图像的特征和掩码图输入第一融合特征提取模型中，得到第一融合特征。
65.通过提取刷脸2d图像的特征，将刷脸2d图像的特征与掩码图进行结合，相当于为刷脸2d图像的特征新增加了一个通道，即，增加刷脸2d图像的特征的通道数量，从而得到第一融合特征，在第一融合特征中，则更加注意刷脸2d图像中的对应候选人的人脸特征，能够更加将刷脸2d图像中具有刷脸支付意愿的候选人与不具有刷脸支付意愿的候选人进行准确区分。
66.s108：提取所述刷脸3d图像的特征，并根据所述第一融合特征与所述刷脸3d图像的特征，得到第二融合特征。
67.在本说明书的一个或多个实施例中，如何提取刷脸3d图像的特征，在此不作限定，比如，可以通过第二特征提取模型提取刷脸3d图像的特征。也可以是通过与刷脸3d图像对应的刷脸2d图像，对该刷脸2d图像进行特征检测，然后将刷脸2d图像的检测结果对应到刷脸3d图像中，从而提取到刷脸3d图像的特征。
68.其中，由于刷脸3d图像与刷脸2d图像相对应，因此，刷脸3d图像的特征也可以包括各候选人的人脸特征、躯干特征、四肢特征。其中，对于人脸特征可以是候选人的人脸的全局特征，通过全局特征识别人脸，能够提高识别结果的准确度。
69.当然，可以通过将第一融合特征和刷脸3d图像的特征输入第二融合特征提取模型中，得到第二融合特征。
70.通过将第一融合特征和刷脸3d图像的特征进行结合，相当于为第一融合特征的特征新增加了一个通道，即，增加第一融合特征的通道数量，从而得到第二融合特征，在第二融合特征中，能够结合刷脸2d图像与刷脸3d图像的空间差异，通过刷脸3d图像的特征，补充刷脸2d图像中的对应候选人的人脸特征，或者通过刷脸2d图像中的特征，补充刷脸3d图像中对应候选人的人脸特征，即，两者相互补充同一候选人的人脸特征，从而提升人脸识别准确率，并且实现了刷脸支付意愿多模态识别，最终能够将具有刷脸支付意愿的候选人与不具有刷脸支付意愿的候选人进行准确区分。
71.s110：根据所述第二融合特征，识别各所述候选人是否具有刷脸支付意愿。
72.在本说明书的一个或多个实施例中，根据第二融合特征确定出候选人的特征信息，从而根据候选人的特征信息识别该候选人是否具有刷脸支付意愿。
73.其中，由于刷脸2d图像中有多个候选人，则为每个候选人均生成一张对应的掩码图，最终得到多张掩码图，因此，在识别单个候选人是否具有刷脸支付意愿时，则在生成一张掩码图时，便执行一次识别过程，识别掩码图对应的候选人是否具有刷脸支付意愿。也就是说，当具有多张掩码图时，则会执行多次刷脸支付意愿识别过程。
74.需要说明的是，可以结合预设规则识别所对应的候选人是否具有刷脸支付意愿，比如，识别到该候选人的人脸区域位于正中间区域，则认为该候选人具有刷脸支付意愿，或者，识别到该候选人的人脸区域占据刷脸图像的大部分区域，则认为该候选人具有刷脸支付意愿，或者识别到该候选人的人脸区域占据刷脸图像的大部分区域，并且人脸角度符合预设角度阈值，则认为该候选人具有刷脸支付意愿。
75.进一步地，可以将第二融合特征输入支付意愿识别模型，通过支付意愿识别模型识别出候选人的特征信息，并根据预设规则输出处理结果，然后，根据处理结果生成刷脸支付意愿概率值，可以通过刷脸支付意愿概率值判断候选人是否具有刷脸支付意愿。
76.其中，处理结果可以是支付意愿识别模型生成的用于表示刷脸支付意愿概率值的向量。
77.比如，若概率值大于预设概率阈值，则可以认为候选人具有刷脸支付意愿，即，电子设备的刷脸支付指令为该候选人开启刷脸支付之后，所生成的，若概率值小于或者等于预设概率阈值，则可以认为候选人不具有刷脸支付意愿。即，电子设备的刷脸支付指令不是该候选人开启刷脸支付之后，所生成的，而是其他候选人开启刷脸支付之后，所生成的。
78.进一步地，若是概率值大于预设概率的候选人的数量为多个，则说明本次刷脸支付意愿识别的结果不可信，将提示认证失败。反之，若不存在概率值大于预设概率的候选
人，则同样说明本次刷脸支付意愿识别的结果不可信，将提示认证失败。
79.通过图1的方法，能够通过为各候选人在刷脸2d图像中第一所处区域，分别生成对应的掩码图，能够将该候选人的特征信息更加鲜明化，增加了具有刷脸支付意愿与不具有刷脸支付意愿的差异性，通过第一融合特征，能够增强图像对比效果，从而实现了将注意力集中至具有刷脸支付意愿的候选人，并且通过第二融合特征，识别各候选人是否具有刷脸支付意愿，结合刷脸3d图像中相应候选人的特征与刷脸2d图像中该候选人的特征，两者相互补充同一候选人的人脸特征，能够进一步提升人脸识别的准确度，从而能够更加将刷脸图像中具有刷脸支付意愿的候选人与不具有刷脸支付意愿的候选人进行准确区分，更有针对性地识别刷脸图像中候选人的刷脸支付意愿，从而能够增强刷脸安全体验。
80.基于图1的方法，本说明书还提供了该方法的一些具体实施方案和扩展方案，下面继续进行说明。
81.在本说明书一个或多个实施例中，在确定出候选人之后，将提取刷脸2d图像中候选人的人脸区域，比如，首先通过人脸提取模型提取候选人在刷脸2d图像中的人脸，然后通过人脸的位置信息，确定出候选人的人脸区域。然后对人脸区域进行处理，确定人脸区域选择框。其中，人脸区域选择框可以有多种展示方式，比如，圆形框、矩形框、不规则多边形框等，但是，有一个前提条件，为了保证识别结果的准确性，人脸区域选择框必须全部包围候选人的人脸区域。
82.在得到人脸区域选择框之后，将根据候选人的人脸区域选择框，确定该候选人对应的的掩码图的第一填充区域。其中，第一填充区域的形状可以有多种展示方式，在此不作限定，比如，圆形区域、矩形区域、不规则多边形区域等。但是，有一个前提条件，为了保证识别结果的准确性，在确定第一填充区域时，要结合人脸区域选择框，尽可能接近实际的人脸区域。
83.在确定第一填充区域之后，在刷脸图像中继续确定出除第一填充区域之外的第二填充区域，并且为第一填充区域与第二填充区域赋予不同的填充值。
84.需要说明的是，为了掩码图中的第一填充区域尽可能与刷脸2d图像中的人脸区域相符，从而在为第一填充区域与第二填充区域赋予不同的填充值之后，生成分辨率与所述刷脸2d图像的分辨率一致的掩码图。
85.进一步地，由于人脸区域大部分是圆形区域或者椭圆形区域，因此为了使得第一填充区域更加贴合候选人的人脸区域，将第一填充区域作为圆形区域。
86.具体地，在对人脸区域进行处理，确定人脸区域选择框时，将人脸区域选择框确定为矩形框。在得到矩形框的人脸区域之后，通过矩形框在刷脸图像中的位置，计算人脸框宽与人脸框高，通过人脸框宽与人脸框高计算圆形区域的半径。
87.其中，在计算圆形区域的半径时，由于人脸区域为圆形区域或者椭圆形区域，那么在最初生成矩形框时，人脸区域类似于矩形框的内切圆，因此为了最大可能还原人脸区域，同时保证第一填充区域尽可能包括全部的人脸区域，取矩形框宽一半长度与框高一半长度之间的最大值，作为圆形区域的半径。
88.因此，将矩形框的中心作为圆心，确定矩形框的最长边的一半长度，作为半径，然后基于圆心和半径构成的圆形区域，确定为该候选人对应的掩码图的第一填充区域。
89.例如，假设候选人的人脸矩形框在刷脸图像中的位置为(x1,y1,x2,y2)，其中，x1与
x2分别为矩形框宽在x轴的位置坐标，y1与y2分别为矩形框高在y轴的位置坐标。
90.则计算人脸框宽的表达式为w＝x
2-x1，其中，w为人脸框宽。需要说明的是，x1的位置坐标小于x2的位置坐标。
91.则计算人脸框高的表达式为h＝y
2-y1，其中，h为人脸框高，需要说明的是，y1的位置坐标小于y2的位置坐标。
92.确定圆形区域半径的表达式为其中，r为圆形区域半径。
93.基于此，矩形框的中心的位置坐标为r为max
94.根据前面的说明，更直观地，结合图2-图3，对本方案进行更具体的说明。
95.图2为本说明书一个或多个实施例提供的一种刷脸支付意愿识别系统的框架示意图。
96.在本说明书一个或多个实施例中，为了更加准确地识别候选人的刷脸支付意愿，提出了对刷脸支付过程中获取的刷脸2d图像与刷脸3d图像，采用深度卷积神经网络进行多模态信息端到端学习的方式，能够实现刷脸支付意愿安全检测，并在端到端学习网络中，刷脸2d图像学习特征引入候选人区域注意力机制，以便将掩码图融入到网络学习中，使得网络更有针对性地识别刷脸2d图像中候选人的刷脸支付意愿，从而能够增强刷脸安全体验。进一步地，以刷脸3d图像的人脸区域的深度值为基准，对刷脸3d图像进行处理，从而使得网络能够对刷脸3d图像的人脸区域进行有效感知。从而将刷脸2d图像网络特征与刷脸3d图像网络特征进行融合，实现刷脸支付意愿多模态识别。
97.如图2所示，刷脸支付意愿识别系统采用深度卷积神经网络进行多模态信息端到端学习的方式实现，该系统包括包括刷脸2d图像、候选人在刷脸2d图像中的第一所处区域生成的掩码图、第三卷积网络模块、候选人第一所处区域注意力机制实施模块、刷脸3d图像、处理后的刷脸3d图像、第一卷积网络模块、多模态特征融合模块、第五卷积网络模块、网络输出。
98.需要说明的是，第三卷积网络与第五卷积网络具有特定的对应关系，也就是说，第三卷积网络与第五卷积网络的所涉及的网络类型，在此不作限定，但是，两者之间不是割裂的，比如，第三卷积网络与第五卷积网络属于同一识别网络类型的不同部分。
99.其中，刷脸2d图像、生成的掩码图以及处理后的刷脸3d图像作为深度卷积神经网络的输入数据，网络输出为刷脸支付意愿概率值，即，意愿安全概率以及意愿非安全概率。
100.需要说明的是，由于深度图是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，因此，刷脸3d图像中各像素点距离图像采集设备越远，则对应像素点的深度值越大。而候选人在进行刷脸支付意愿识别时，通常该候选人相对于其他候选人，距离图像采集设备最近。
101.因此，在刷脸3d图像中，包括多个候选人的情况下，此时，不具有刷脸支付意愿的候选人，通常是距离图像采集设备更远，那么该不具有刷脸支付意愿的候选人在刷脸3d图像中对应像素点的深度值，大于具有刷脸支付意愿的候选人在刷脸3d图像中对应像素点的深度值。则可以通过在提取刷脸3d图像的特征之前，对刷脸3d图像进行处理，以将距离图像采集设备超过预设阈值的像素点进行过滤，需要说明的是，这里的过滤可以不是单纯地完全放弃这些像素点，而是可以将这些像素点进行统一的泛化处理，比如将用于表现这些像
素点的值统一为一个指定的相同值。目的是减少这些像素点之间的区别，减少这些像素点对于模型训练和使用过程中的贡献，从而使得模型更专注于该预设阈值以内的像素点，将算力集中在更有价值的像素点上，提高了效率，降低了干扰。从而针对于开启本次刷脸支付的候选人，也有助于提高刷脸支付意愿识别的准确率。
102.基于此，在刷脸支付意愿识别的过程中，通过第三卷积网络，提取到刷脸2d图像的特征。将刷脸图像的特征和掩码图输入候选人第一所处区域注意力机制实施模块，候选人第一所处区域注意力机制实施模块对刷脸2d图像的特征和掩码图进行处理，输出第一融合特征。并且，通过第一卷积网络与处理后的刷脸3d图像，提取到刷脸3d图像的特征。
103.其中，如图2所示，候选人第一所处区域注意力机制实施模块包括刷脸2d图像的特征、降分辨率处理后的掩码图，第四卷积网络模块，第一融合特征。
104.在候选人第一所处区域注意力机制实施模块对刷脸2d图像的特征和掩码图进行处理时，将对掩码图进行降分辨率处理，得到降分辨率处理后的掩码图，以适应于刷脸2d图像的特征。然后，通过第四卷积网络，融合刷脸2d图像的特征和降分辨率处理后的掩码图，输出第一融合特征。
105.然后，将刷脸3d图像的特征与第一融合特征输入多模态特征融合模块，多模态特征融合模块输对刷脸3d图像的特征与第一融合特征进行处理，输出第二融合特征。
106.其中，如图2所示，多模态特征融合模块包括第一融合特征、刷脸3d图像的特征、第二卷积网络模块。
107.在将多模态特征融合模块输对刷脸3d图像的特征与第一融合特征进行处理时，将通过第二卷积网络，融合刷脸3d图像的特征和第一融合特征，从而输出第二融合特征。
108.最后，将第二融合特征输入第五卷积网络，通过第五卷积网络对第二融合特征进行处理，得到处理结果。
109.接下来继续说明提取刷脸3d图像的特征之前，如何对刷脸3d图像进行处理，以将距离图像采集设备超过预设阈值的像素点进行过滤。
110.具体地，首先计算各候选人在刷脸3d图像中的第二所处区域的深度值。需要说明的是，将候选人在刷脸3d图像中所处区域称为第二所处区域。该第二所处区域包括人脸区域。
111.然后，在第二所处区域中的所有像素点中，根据第二所处区域的深度值，将距离图像采集设备超过预设阈值的像素点进行过滤。其中，在设置预设阈值时，需要通过经验，有效保证具有刷脸支付意愿的候选人对应的像素点的深度值，要小于预设阈值。
112.进一步地，由于在计算各候选人在刷脸3d图像中的第二所处区域的深度值时，需要获取各候选人在刷脸3d图像中的第二所处区域，因此，由于刷脸支付意愿识别系统会获取刷脸2d图像，并提取刷脸2d图像的特征，因此，为了减少系统的计算压力，采用将刷脸2d图像的检测结果对应到刷脸3d图像中，获取到第二所处区域，而不是直接通过第二特征提取模型提取刷脸3d图像的特征。
113.具体地，首先根据各候选人在刷脸2d图像中的人脸区域选择框，确定各候选人在刷脸3d图像中的人脸区域。比如，提取人脸区域选择框在刷脸2d图像中的位置坐标，然后根据位置坐标，将人脸区域选择框对应到刷脸3d图像中，从而得到各候选人在刷脸3d图像中的人脸区域。
114.然后，计算人脸区域中的所有像素点具有的多个深度值，最后根据多个深度值的平均值，确定各候选人在刷脸3d图像中的人脸区域的深度值。比如，将多个深度值的平均值作为人脸区域的深度值。也就是说，将人脸区域中有深度测量值结果的值取平均值作为人脸的深度值。
115.更进一步地，在根据第二所处区域的深度值，将距离图像采集设备超过预设阈值的像素点进行过滤时，为了数据处理方便，以第二所处区域的深度值为基准，将所有像素点具有的多个深度值经过处理后，相应映射到需要的指定范围内，以更好地反应像素点之间的区别，以及便于后续计算，可以对处理后的多个深度值进行过滤处理，从而将距离图像采集设备超过预设阈值的像素点进行过滤。
116.具体地，首先分别计算所有像素点具有的多个深度值与人脸区域的深度值之间的比值，由于是根据所有像素点具有的多个深度值的平均值，得到人脸区域的深度值。因此，所有像素点具有的多个深度值与人脸区域的深度值均相差不大。也就是说，假如，多个深度值均为正数，那么比值结果的数据分布将大部分介于0-2。
117.然后，根据人脸区域的深度值的基准值与比值，将所有像素点具有的多个深度值分别处理为在所述基准值的附近范围内。其中，人脸区域的深度值的基准值可以根据实际需要进行设置，比如，将人脸区域的深度值的基准值设置为127，即，假如，多个深度值均为正数，那么处理后的所有像素点的多个深度值的数据分布比如大部分介于0-254。
118.比如，为了减少系统的计算压力，可以首先计算人脸区域的深度值的基准值与比值的乘积，然后根据乘积，将所有像素点具有的多个深度值分别处理为在基准值的附近范围内。
119.最后，将处理后的所有像素点的多个深度值大于预设基准阈值所对应的像素点进行过滤。其中，处理后的像素点的深度值越大表示像素点距离图像采集设备越远。其中，预设基准阈值可以根据实际需要进行设置，比如，将基准阈值设置为127+30＝157，这里的30是示例性的取值，可以根据实际需要进行调整，其取值越大，则对更远距离的像素点考虑得越多。
120.更进一步地，由于当候选人距离图像采集设备非常近的时候，可能导致候选人的人脸区域并不完整，也就是说，图像采集设备并未完全拍摄到候选人的人脸区域，从而也会影响候选人刷脸支付意愿识别的结果。因此，为了保证识别结果的准确性，可以将距离图像采集设备较远的像素点进行过滤的基础上，同时将距离图像采集设备非常近的像素点进行过滤。
121.具体地，预先设置第一预设基准阈值与第二预设基准阈值，其中，第一预设基准阈值小于基准值，第二预设阈值大于基准值。在设置第二预设阈值时，可以通过以基准值为标准，设置可调节区间。
122.则在将处理后的所有像素点的多个深度值大于预设基准阈值所对应的像素点进行过滤时，相当于将大于第二预设基准阈值所对应的像素点进行过滤时，则表示将距离图像采集设备非常远的像素点进行过滤，将小于第一预设基准阈值所对应的像素点进行过滤时，则表示将距离图像采集设备非常近的像素点进行过滤。即，可以认为将大于第一预设基准阈值且小于第二预设基准阈值所对应的像素点尽量真实地保留下来，其他的像素点则可以泛化或者忽略。
123.基于此，可以分别提取处理后的所有像素点的多个深度值与第一预设基准阈值之间的最大值，提取最大值与第二预设基准阈值之间的最小值，根据最大值和最小值，将深度值大于第二预设基准阈值的处理后的像素点进行过滤，以及深度值小于第一预设基准阈值的处理后的像素点进行过滤。
124.具体比如，采用下面的表达式，通过该最大值，将小于第一预设基准阈值所对应的像素点过滤，通过该最小，将大于第二预设基准阈值所对应的像素点过滤。
125.比如，表达式为min其中，d为刷脸3d图像中像素点的深度值，d为人脸区域的深度值，127为人脸区域的深度值的基准值，0为第一预设基准阈值，30为距离图像采集设备较远的像素点的可调节值，可以设置包含30的区间，作为上述可调节区间，127+30为第二预设基准阈值，min为取最小值，max为取最大值。
126.通过图2的系统，利用刷脸支付过程中采集的多模态信息，即，多模态信息包括刷脸2d图像与刷脸3d图像，采用深度卷积神经网络端到端学习的方式，通过候选人所处区域注意力机制实施模块能够使得网络更有针对性的学习判断刷脸图像中候选人的刷脸支付意愿，且在端到端网络中引入多模态融合机制，使得网络能够充分利用多个模态信息有效判断刷脸图像中被识别候选人的刷脸意愿，实现候选人的刷脸支付多模态意愿识别，尤其在公共场所中，能够有效防止a候选人启用刷脸，误刷b候选人的资产的技术效果，增强安全刷脸体验。
127.基于图2的系统，更直观地，图3为本说明书一个或多个实施例提供的一种基于深度卷积神经网络端到端学习的刷脸支付意愿识别方法的流程示意图。
128.图3中的流程可以包括以下步骤：
129.s302：获取刷脸2d图像以及与所述刷脸2d图像对应的刷脸3d图像。
130.s304：计算各所述候选人在所述刷脸3d图像中的第二所处区域的深度值，并在所述第二所处区域中的所有像素点中，根据所述第二所处区域的深度值，将距离图像采集设备超过预设阈值的像素点进行过滤。
131.s306：通过第三卷积网络，提取所述刷脸2d图像的特征，对所述掩码图进行降分辨率处理，以适应于所述刷脸2d图像的特征。需要说明的是，第三卷积网络预先通过有监督训练得到。
132.比如，通过最近邻采样的方式，降低掩码图的分辨率，从而生成与刷脸2d图像的相同分辨率的掩码图，能够适应于刷脸2d图像的特征，以便第四卷积网络进行处理。
133.s308：通过第四卷积网络，融合所述刷脸2d图像的特征和所述降分辨率处理后的掩码图，得到第一融合特征。需要说明的是，第四卷积网络预先通过有监督训练得到。
134.在本说明书的一个或多个实施例中，在得到第一融合特征的过程中，按照通道维度，将刷脸2d图像的特征和降分辨率处理后的掩码图进行连接，将连接得到的特征输入第四卷积网络进行处理，得到第一融合特征。
135.其中，第四卷积网络的卷积层数，在此不作具体限定。也就是说，第四卷积网络的卷积层数可以由1个或多个卷积层构成。
136.s310：通过第一卷积网络，提取所述刷脸3d图像的特征。需要说明的是，第一卷积网络预先通过有监督训练得到。
137.其中，第一卷积网络的卷积层数，在此不作具体限定。也就是说，第一卷积网络的卷积层数可以由1个或多个卷积层构成。
138.s312：按照通道维度，将所述第一融合特征和所述刷脸3d图像的特征进行连接；将所述连接得到的特征输入第二卷积网络进行处理，得到第二融合特征。需要说明的是，第二卷积网络预先通过有监督训练得到。
139.其中，第二融合特征与第一融合特征之间的特征通道数以及分辨率相同。
140.s314：将所述第二融合特征输入对应于所述第三卷积网络的第五卷积网络进行处理，得到处理结果，其中，所述第三卷积网络和所述第五卷积网络是预先从同一个卷积网络拆分得到的。
141.在本说明书的一个或多个实施例中，在第三卷积网络和第五卷积网络是预先从同一个卷积网络拆分得到的，比如，卷积网络为resent，shufflenet v2等。
142.在拆分的过程中，可以分别将第三卷积网络和第五卷积网络作为同一个卷积网络的前后部分。
143.针对于拆分的位置，可以由刷脸2d图像的特征的分辨率的大小决定。因此，需要确定目标分辨率，以便作为刷脸2d图像的特征的分辨率。
144.其中，在确定目标分辨率时，需要结合刷脸2d图像的分辨率的大小。比如，将刷脸2d图像的特征的分辨率设定为刷脸2d图像的分辨率的则目标分辨率为刷脸2d图像的分辨率的
145.然后，在同一个卷积网络中的卷积层中，确定与目标分辨率匹配的卷积层。最后，以匹配的卷积层作为拆分点，将同一个卷积网络拆分为前一部分和后一部分，前一部分作为第三卷积网络，后一部分作为第五卷积网络。
146.s316：根据所述处理结果生成概率值，以表示对应的所述候选人是否具有刷脸支付意愿。
147.比如，将概率值与设定的阈值概率进行比较，若概率值大于设定的阈值概率，则判定为该候选人的意愿安全，即，该候选人具有刷脸支付意愿。若概率值小于或等于设定的阈值概率，则判定为该候选人的意愿非安全，即，该候选人不具有刷脸支付意愿。
148.根据前面的说明，下面继续阐述识别各候选人是否具有刷脸支付意愿之前，如何对第一卷积网络、第二卷积网络、第三卷积网络、第四卷积网络以及第五卷积网络进行有监督训练。
149.在本说明书的一个或多个实施例中，首先需要建立训练数据集，然后通过训练数据集进行网络训练。
150.具体地，在建立训练数据集时，首先获取包含已确认为刷脸用户的刷脸2d样本图像与与刷脸2d样本图像对应的刷脸3d样本图像，即，候选人启用刷脸支付，通过图像采集设备采集刷脸2d图像与刷脸3d样本图像，无论刷脸2d图像中是否存在多个待识别候选人，在该刷脸2d图像中，将该候选人作为刷脸用户，将该刷脸2d图像作为刷脸2d样本图像。同样，无论刷脸3d图像中是否存在多个待识别候选人，在该刷脸3d图像中，将该候选人作为刷脸用户，将该刷脸3d图像作为刷脸3d样本图像。
151.比如，通过线下iot刷脸机具上的摄像头采集刷脸图像，若a候选人启用刷脸支付，
则在该刷脸2d图像中将a候选人作为刷脸用户，将该刷脸2d图像作为刷脸2d样本图像。
152.需要说明的是，每次启用刷脸支付时，都会采集一次对应的刷脸2d图像与刷脸3d图像。比如，若a候选人启用刷脸支付时，则iot刷脸机具将针对附近用户进行采集图像，从而得到单张刷脸2d图像与单张刷脸3d图像，若b候选人启用刷脸支付时，则iot刷脸机具将再次针对附近用户进行采集图像，从而再次得到单张刷脸2d图像与单张刷脸3d图像。
153.在获取刷脸2d样本图像后，通过将刷脸用户标记为具有刷脸支付意愿，并生成对应的掩码图，得到正样本，即，正样本包括刷脸2d样本图像、对应的掩码图，对应的刷脸3d样本图像。
154.其中，生成对应的掩码图时，从刷脸2d图像中选取刷脸用户的人脸区域选择框在刷脸2d图像中的位置，然后通过该位置生成对应的掩码图。
155.此外，在对刷脸3d图像中距离图像采集设备超过预设阈值的像素点进行过滤时，根据人脸区域选择框在刷脸2d图像中的位置，对应到刷脸3d深度图像,然后将刷脸3d深度图像的人脸区域中有深度测量值结果的值取平均值作为人脸区域深度值，从而根据人脸区域的深度值，将距离图像采集设备超过预设阈值的像素点进行过滤。
156.且在刷脸2d样本图像与刷脸3d样本图像中，将刷脸用户标记为具有刷脸支付意愿时，可以通过意愿标记标签进行标记，比如，意愿标签为{0,1}，其中，1代表具有刷脸支付意愿，0表示不具有刷脸支付意愿。
157.在获取刷脸2d样本图像与刷脸3d样本图像后，由于刷脸样本图像可能存在多个待识别候选人，因此，若刷脸2d样本图像与刷脸3d样本图像中还包含被顺便拍到的其他用户，则通过将其他用户标记为不具有刷脸支付意愿，并生成对应的掩码图，得到负样本。比如，若a候选人启用刷脸支付，则在刷脸2d样本图像与刷脸3d样本图像中将b候选人标记为不具有刷脸支付意愿。
158.最后，根据所得到的正样本与负样本，对第一卷积网络、第二卷积网络、第三卷积网络、所述第四卷积网络、所述第五卷积网络进行有监督训练。
159.其中，在进行有监督训练时，首先在训练数据集中对正样本与负样本进行随机采样，生成训练batch及其对应的标记标签。然后，将训练batch及其对应的标记标签输入初始深度卷积神经网络。初始深度卷积神经网络包括未训练的第一卷积网络、第二卷积网络、第三卷积网络、第四卷积网络、第五卷积网络。
160.然后，初始深度卷积神经网络输出概率值，通过概率值与对应的标记标签计算损失函数，并通过梯度下降法，不打断优化损失函数进行网络训练，从而完成有监督训练，得到深度卷积神经网络。其中，能够通过网络训练，得到识别候选人是否具有刷脸支付意愿的规则。比如，深度卷积神经网络识别到候选人的人脸区域位于正中间区域，则认为该候选人具有刷脸支付意愿。
161.基于同样的思路，本说明书一个或多个实施例还提供了上述方法对应的装置和设备，如图4、图5所示。
162.图4为本说明书一个或多个实施例提供的一种刷脸支付意愿识别装置的结构示意图，所述装置包括：
163.获取模块402，获取刷脸2d图像以及与所述刷脸2d图像对应的刷脸3d图像；
164.生成模块404，在所述刷脸2d图像中确定待识别的候选人，并根据各所述候选人在
所述刷脸2d图像中的第一所处区域，分别生成对应的掩码图以区别所述第一所处区域和所述刷脸2d图像中的其他区域；
165.第一提取模块406，提取所述刷脸2d图像的特征，并根据所述刷脸2d图像的特征和所述掩码图，得到第一融合特征；
166.第二提取模块408，提取所述刷脸3d图像的特征，并根据所述第一融合特征与所述刷脸3d图像的特征，得到第二融合特征；
167.识别模块410，根据所述第二融合特征，识别各所述候选人是否具有刷脸支付意愿。
168.可选地，还包括过滤模块，计算各所述候选人在所述刷脸3d图像中的第二所处区域的深度值，并在所述第二所处区域中的所有像素点中，根据所述第二所处区域的深度值，将距离图像采集设备超过预设阈值的像素点进行过滤。
169.可选地，所述过滤模块，根据各所述候选人在所述刷脸2d图像中的人脸区域选择框，确定各所述候选人在所述刷脸3d图像中的人脸区域；
170.计算所述人脸区域中的所有像素点具有的多个深度值；
171.根据所述多个深度值的平均值，确定所述各候选人在所述刷脸3d图像中的人脸区域的深度值。
172.可选地，所述过滤模块，分别计算所述所有像素点具有的多个深度值与所述人脸区域的深度值之间的比值；
173.根据所述人脸区域的深度值的基准值与所述比值，将所述所有像素点具有的多个深度值分别处理为在所述基准值的附近范围内；
174.将处理后的所述所有像素点的多个深度值大于预设基准阈值所对应的像素点进行过滤；其中，所述处理后的像素点的深度值越大表示所述像素点距离所述图像采集设备越远。
175.可选地，所述过滤模块，计算所述人脸区域的深度值的基准值与所述比值的乘积；
176.根据所述乘积，将所述所有像素点具有的多个深度值分别处理为在所述基准值的附近范围内。
177.可选地，设置有第一预设基准阈值与第二预设基准阈值，所述第一预设基准阈值小于所述基准值，所述第二预设基准阈值大于所述基准值；所述过滤模块，分别提取处理后的所述所有像素点的多个深度值与第一预设基准阈值之间的最大值；
178.提取所述最大值与第二预设基准阈值之间的最小值；
179.根据所述最大值和所述最小值，将深度值大于所述第二预设基准阈值的处理后的所述像素点进行过滤，以及深度值小于所述第一预设基准阈值的处理后的所述像素点进行过滤。
180.可选地，所述第二提取模块408，通过第一卷积网络，提取所述刷脸3d图像的特征；
181.按照通道维度，将所述第一融合特征和所述刷脸3d图像的特征进行连接；将所述连接得到的特征输入第二卷积网络进行处理，得到第二融合特征。
182.可选地，所述第一提取模块406，通过第三卷积网络，提取所述刷脸2d图像的特征；
183.对所述掩码图进行降分辨率处理，以适应于所述刷脸2d图像的特征；
184.通过第四卷积网络，融合所述刷脸2d图像的特征和所述降分辨率处理后的掩码
图，得到第一融合特征。
185.可选地，所述第一提取模块406，按照通道维度，将所述刷脸2d图像的特征和所述降分辨率处理后的掩码图进行连接；
186.将所述连接得到的特征输入所述第四卷积网络进行处理，得到第一融合特征。
187.可选地，所述识别模块410，将所述第二融合特征输入对应于所述第三卷积网络的第五卷积网络进行处理，得到处理结果，其中，所述第三卷积网络和所述第五卷积网络是预先从同一个卷积网络拆分得到的；
188.根据所述处理结果生成概率值，以表示对应的所述候选人是否具有刷脸支付意愿。
189.可选地，所述识别模块410，确定目标分辨率，以便作为所述刷脸2d图像的特征的分辨率；
190.在所述同一个卷积网络中的卷积层中，确定与所述目标分辨率匹配的卷积层；
191.以所述匹配的卷积层作为拆分点，将同一个卷积网络拆分为前一部分和后一部分，所述前一部分作为所述第一卷积网络，所述后一部分作为所述第三卷积网络。
192.可选地，还包括有监督训练模块，获取包含已确认为刷脸用户的刷脸2d样本图像以及与所述刷脸2d样本图像对应的刷脸3d样本图像；
193.通过将所述刷脸用户标记为具有刷脸支付意愿，并生成对应的掩码图，得到正样本；
194.若所述刷脸2d样本图像以及刷脸3d样本图像中还包含被顺便拍到的其他用户，则通过将所述其他用户标记为不具有刷脸支付意愿，并生成对应的掩码图，得到负样本；
195.根据所得到的样本，对第一卷积网络、第二卷积网络、所述第三卷积网络、所述第四卷积网络、所述第五卷积网络进行有监督训练。
196.可选地，所述生成模块404，分别针对所述确定出的各所述候选人，执行：
197.根据该候选人的人脸区域选择框，确定该候选人对应的掩码图的第一填充区域，以及所述第一填充区域之外的第二填充区域；
198.通过为所述第一填充区域和所述第二填充区域赋予不同的填充值，生成分辨率与所述刷脸图像的分辨率一致的所述掩码图。
199.可选地，所述人脸区域选择框为矩形框；所述生成模块404，确定所述矩形框的中心作为圆心，确定所述矩形框的最长边的一半长度，作为半径；
200.将基于所述圆心和所述半径构成的圆形区域，确定为该候选人对应的掩码图的第一填充区域。
201.可选地，所述刷脸2d图像中包含至少两张人脸。
202.可选地，所述装置应用于线下的iot刷脸机具，所述刷脸图像由iot刷脸机具针对附近用户采集得到。
203.图5为本说明书一个或多个实施例提供的一种刷脸支付意愿识别设备的结构示意图，所述设备包括：
204.至少一个处理器；以及，
205.与所述至少一个处理器通信连接的存储器；其中，
206.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一
个处理器执行，以使所述至少一个处理器能够：
207.获取刷脸2d图像以及与所述刷脸2d图像对应的刷脸3d图像；
208.在所述刷脸2d图像中确定待识别的候选人，并根据各所述候选人在所述刷脸2d图像中的第一所处区域，分别生成对应的掩码图以区别所述第一所处区域和所述刷脸2d图像中的其他区域；
209.提取所述刷脸2d图像的特征，并根据所述刷脸2d图像的特征和所述掩码图，得到第一融合特征；
210.提取所述刷脸3d图像的特征，并根据所述第一融合特征与所述刷脸3d图像的特征，得到第二融合特征；
211.根据所述第二融合特征，识别各所述候选人是否具有刷脸支付意愿。
212.基于同样的思路，本说明书一个或多个实施例还提供了对应于上述方法的一种刷脸支付意愿识别非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：
213.获取刷脸2d图像以及与所述刷脸2d图像对应的刷脸3d图像；
214.在所述刷脸2d图像中确定待识别的候选人，并根据各所述候选人在所述刷脸2d图像中的第一所处区域，分别生成对应的掩码图以区别所述第一所处区域和所述刷脸2d图像中的其他区域；
215.提取所述刷脸2d图像的特征，并根据所述刷脸2d图像的特征和所述掩码图，得到第一融合特征；
216.提取所述刷脸3d图像的特征，并根据所述第一融合特征与所述刷脸3d图像的特征，得到第二融合特征；
217.以上所述仅为本说明书的一个或多个实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。