1.本发明涉及移动互联技术领域,尤其涉及一种提示方法、装置及系统。
背景技术:2.随着移动互联网领域的迅速发展以及智能设备的大规模普及,移动支付由于其方便、安全的使用体验,已经渗透到人们生活的方方面面。在日常消费的各种场景中,由于消费者快速流动的特性和现代生活的快节奏,商户端实时核对收款结果、快速完成消费服务,以提供更加流畅的消费体验,已经变得越来越重要。
3.目前比较通用的商户收款通知方法是为商户配置收款音箱,当顾客扫码支付以后,收单机构服务端将收款结果发送到收款音箱,播报收款结果信息。但这种商户收款通知方法对于经常存在多人同时付款且付款金额相同的情形的场景,比如人员流动迅速的食堂、早餐店等,会因为其无法确认每个付款顾客是否已经付款而无法满足商户快速核实收款对账、防止逃单漏单的需求,在一些情况下,甚至可能需要商户逐个和待付款顾客核对付款金额,费时费力,严重影响了商户的经营效率,也降低了顾客的消费体验。
技术实现要素:4.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
5.为此,本发明的第一个目的在于提出一种提示方法,以实现通过向监控设备发送在目标人脸区域标注了支付金额的目标图像以进行展示,来达到可视化实时确认支付信息的效果,便于商户在付款顾客复杂的情况下也能快速定位当前付款顾客,清晰便捷地核对收款结果,在防止顾客逃单漏单的同时,可有效提高商户的经营效率和顾客的消费体验。
6.本发明的第二个目的在于提出一种提示装置。
7.本发明的第三个目的在于提出一种服务器。
8.本发明的第四个目的在于提出一种提示系统。
9.本发明的第五个目的在于提出一种计算机可读存储介质。
10.本发明的第六个目的在于提出一种计算机程序产品。
11.为达上述目的,本发明第一方面实施例提出了一种提示方法,包括:
12.获取支付客户端的支付信息,其中,所述支付信息中包括支付商户标识和支付金额;
13.响应于支付客户端支付成功,获取所述支付客户端的支付信息,其中,所述支付信息中包括支付时刻、支付商户标识和支付金额;
14.查询所述支付客户端预留的人脸信息,其中,所述人脸信息是基于所述支付客户端采集到的人脸图像中的人脸区域进行特征提取得到的;
15.根据所述支付商户标识,从所述支付商户标识对应的监控设备获取所述支付时刻采集到的监控图像,并根据所述人脸图像中人脸区域的尺寸和所述监控图像中至少一个人脸区域的平均尺寸,对所述监控图像进行缩放处理,以使缩放处理后的监控图像中的人脸
区域与所述人脸图像中人脸区域尺寸匹配;
16.在缩放处理后的所述监控图像中识别与所述人脸信息匹配的目标人脸区域,并对所述目标人脸区域标注所述支付金额,以得到目标图像;
17.向监控设备发送所述目标图像以展示。
18.可选地,作为第一方面的第一种可能的实现方式,所述方法还包括:
19.接收所述支付客户端发送的注册请求;
20.响应于所述注册请求,通过所述支付客户端获取人脸图像;
21.对所述人脸图像中的人脸区域进行图像特征提取,以得到所述支付客户端预留的人脸信息。
22.可选地,作为第一方面的第二种可能的实现方式,所述对所述人脸图像中的人脸区域进行图像特征提取,以得到所述支付客户端预留的人脸信息,包括:
23.对所述人脸图像进行灰度处理,以得到第一灰度图;
24.采用支持向量机svm对所述第一灰度图进行人脸检测,以得到第一人脸检测框;
25.将所述第一灰度图中处于所述第一人脸检测框内的人脸区域作为输入图像,输入到神经网络模型中进行特征提取,以得到所述神经网络模型输出的所述支付客户端预留的人脸信息。
26.可选地,作为第一方面的第三种可能的实现方式,所述根据所述人脸图像中人脸区域的尺寸和所述监控图像中至少一个人脸区域的平均尺寸,对所述监控图像进行缩放处理,包括:
27.将所述第一人脸检测框的尺寸作为所述人脸图像中人脸区域的尺寸;
28.对所述监控图像进行灰度处理,以得到第二灰度图;
29.采用所述svm对所述第二灰度图进行人脸检测,以得到至少一个第二人脸检测框;
30.将所述至少一个第二人脸检测框的平均尺寸作为所述监控图像中至少一个人脸区域的平均尺寸;
31.基于所述人脸图像中人脸区域的尺寸与所述平均尺寸之比,对所述监控图像进行缩放处理,以得到所述缩放处理后的监控图像。
32.可选地,作为第一方面的第四种可能的实现方式,所述在缩放处理后的所述监控图像中识别与所述人脸信息匹配的目标人脸区域,并对所述目标人脸区域标注所述支付金额,以得到目标图像,包括:
33.对缩放处理后的所述监控图像进行灰度处理得到缩放处理后的第二灰度图;
34.采用支持向量机svm对所述缩放处理后的第二灰度图进行人脸检测,以得到至少一个缩放处理后的第二人脸检测框;
35.将所述缩放处理后的第二灰度图中处于所述至少一个缩放处理后的第二人脸检测框内的人脸区域作为输入图像,输入到神经网络模型中进行特征提取,得到所述缩放处理后的第二人脸检测框对应的图像特征;
36.确定所述人脸信息与所述缩放处理后的第二人脸检测框对应的图像特征之间的相似度;
37.在所述相似度大于阈值的情况下,将所述缩放处理后的第二人脸检测框内的人脸区域作为所述监控图像中与所述人脸信息匹配的目标人脸区域,并对所述目标人脸区域标
注所述支付金额,以得到目标图像。
38.可选地,作为第一方面的第五种可能的实现方式,所述支付信息还包括支付渠道;所述方法还包括:
39.对所述人脸区域标注所述支付渠道。
40.为达上述目的,本发明第二方面实施例提出了一种提示装置,包括:
41.获取模块,用于响应于支付客户端支付成功,获取所述支付客户端的支付信息,其中,所述支付信息中包括支付时刻、支付商户标识和支付金额;
42.查询模块,用于查询所述支付客户端预留的人脸信息,其中,所述人脸信息是基于所述支付客户端采集到的人脸图像中的人脸区域进行特征提取得到的;
43.处理模块,用于根据所述支付商户标识,从所述支付商户标识对应的监控设备获取所述支付时刻采集到的监控图像,并根据所述人脸图像中人脸区域的尺寸和所述监控图像中至少一个人脸区域的平均尺寸,对所述监控图像进行缩放处理,以使缩放处理后的监控图像中的人脸区域与所述人脸图像中人脸区域尺寸匹配;
44.识别模块,用于在缩放处理后的所述监控图像中识别与所述人脸信息匹配的目标人脸区域,并对所述目标人脸区域标注所述支付金额,以得到目标图像;
45.发送模块,用于向监控设备发送所述目标图像以展示。
46.可选地,作为第二方面的第一种可能的实现方式,所述装置还包括:
47.注册模块,用于接收所述支付客户端发送的注册请求;响应于所述注册请求,通过所述支付客户端获取人脸图像;
48.提取模块,用于对所述人脸图像中的人脸区域进行图像特征提取,以得到所述支付客户端预留的人脸信息。
49.可选地,作为第二方面的第二种可能的实现方式,所述提取模块,具体用于:
50.对所述人脸图像进行灰度处理,以得到第一灰度图;采用支持向量机svm对所述第一灰度图进行人脸检测,以得到第一人脸检测框;将所述第一灰度图中处于所述第一人脸检测框内的人脸区域作为输入图像,输入到神经网络模型中进行特征提取,以得到所述神经网络模型输出的所述支付客户端预留的人脸信息。
51.可选地,作为第二方面的第三种可能的实现方式,所述处理模块,还用于:
52.将所述第一人脸检测框的尺寸作为所述人脸图像中人脸区域的尺寸;对所述监控图像进行灰度处理,以得到第二灰度图;采用所述svm对所述第二灰度图进行人脸检测,以得到至少一个第二人脸检测框;将所述至少一个第二人脸检测框的平均尺寸作为所述监控图像中至少一个人脸区域的平均尺寸;基于所述人脸图像中人脸区域的尺寸与所述平均尺寸之比,对所述监控图像进行缩放处理,以得到所述缩放处理后的监控图像。
53.可选地,作为第二方面的第四种可能的实现方式,所述识别模块,具体用于:
54.对缩放处理后的所述监控图像进行灰度处理得到缩放处理后的第二灰度图;采用支持向量机svm对所述缩放处理后的第二灰度图进行人脸检测,以得到至少一个缩放处理后的第二人脸检测框;将所述缩放处理后的第二灰度图中处于所述至少一个缩放处理后的第二人脸检测框内的人脸区域作为输入图像,输入到神经网络模型中进行特征提取,得到所述缩放处理后的第二人脸检测框对应的图像特征;确定所述人脸信息与所述缩放处理后的第二人脸检测框对应的图像特征之间的相似度;在所述相似度大于阈值的情况下,将所
述缩放处理后的第二人脸检测框内的人脸区域作为所述监控图像中与所述人脸信息匹配的目标人脸区域,并对所述目标人脸区域标注所述支付金额,以得到目标图像。
55.为达上述目的,本发明第三方面实施例提出了一种服务器,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面所述的提示方法。
56.为了实现上述目的,本发明第四方面实施例提出了一种提示系统,包括:
57.支付客户端,用于执行支付操作;
58.服务器,用于响应于支付客户端支付成功,获取所述支付客户端的支付信息,其中,所述支付信息中包括支付时刻、支付商户标识和支付金额;查询所述支付客户端预留的人脸信息,其中,所述人脸信息是基于所述支付客户端采集到的人脸图像中的人脸区域进行特征提取得到的;根据所述支付商户标识,从所述支付商户标识对应的监控设备获取所述支付时刻采集到的监控图像,并根据所述人脸图像中人脸区域的尺寸和所述监控图像中至少一个人脸区域的平均尺寸,对所述监控图像进行缩放处理,以使缩放处理后的监控图像中的人脸区域与所述人脸图像中人脸区域尺寸匹配;在缩放处理后的所述监控图像中识别与所述人脸信息匹配的目标人脸区域,并对所述目标人脸区域标注所述支付金额,以得到目标图像;向监控设备发送所述目标图像以展示;
59.至少一个监控设备,各所述监控设备具有对应的支付商户标识,用于采集监控图像,以及对所述目标图像进行展示。
60.为了实现上述目的,本发明第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行第一方面所述的提示方法。
61.为了实现上述目的,本发明第五方面实施例提出了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现第一方面所述的提示方法。
62.本发明实施例所提供的技术方案包含如下的有益效果:
63.通过响应于支付客户端支付成功,获取支付客户端的支付信息,其中,支付信息中包括支付时刻、支付商户标识和支付金额,从而查询支付客户端预留的人脸信息,其中,人脸信息是基于支付客户端采集到的人脸图像中的人脸区域进行特征提取得到的,进而根据支付商户标识,从支付商户标识对应的监控设备获取支付时刻采集到的监控图像,并根据人脸图像中人脸区域的尺寸和监控图像中至少一个人脸区域的平均尺寸,对监控图像进行缩放处理,以使缩放处理后的监控图像中的人脸区域与人脸图像中人脸区域尺寸匹配,在缩放处理后的监控图像中识别与人脸信息匹配的目标人脸区域,对目标人脸区域标注支付金额,以得到目标图像之后,向监控设备发送目标图像以展示。由此,通过向监控设备发送在目标人脸区域标注了支付金额的目标图像以进行展示,可实现可视化实时确认顾客付款结果,便于商户在付款顾客复杂的情况下也能快速定位当前付款顾客,清晰便捷地核对收款结果,提高了商户的经营效率和顾客的消费体验,避免逃单漏单。
64.本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
65.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
66.图1为本发明实施例所提供的一种提示方法的流程示意图;
67.图2为本发明实施例所提供的另一种提示方法的流程示意图;
68.图3为本发明实施例所提供的另一种提示方法的流程示意图;
69.图4为本发明实施例所提供的一种场景下对监控图像进行缩放处理的流程示意图;
70.图5为本发明实施例所提供的另一种提示方法的流程示意图;
71.图6为本发明实施例所提供的一种场景下提示方法的流程示意图;
72.图7为本发明实施例所提供的一种场景下提示系统的的模块示意图;
73.图8为本发明实施例提供的一种提示装置的结构示意图;
74.图9为本发明实施例提供的另一种提示装置的结构示意图;以及
75.图10为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
76.下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
77.随着移动互联网领域的迅速发展以及智能设备的大规模普及,移动支付已经应用到生活服务的各种场景。在日常消费的各种场景中,顾客在手机端扫码支付后,商户端配置的收款音箱会实时语音播报付款金额,以使商户能够实时确认收款结果,避免错账漏账。
78.虽然上述收单音箱语音播报确认收款结果的方式可以适用于很多场景,但对于经常存在多人同时付款且付款金额相同的情形的场景,比如人员流动迅速的食堂、早餐店等,单一的语音播报由于其无法在存在多个付款顾客的情况下确认每个付款顾客是否付款,从而无法满足商户快速核实收款对账、防止逃单漏单的需求,在一些情况下,甚至可能需要商户逐个和待付款顾客核对付款金额,费时费力,严重影响了商户的经营效率,也降低了顾客的消费体验。
79.针对上述问题,本发明实施例提供了一种提示方法,以实现通过向监控设备发送在目标人脸区域标注了支付金额的目标图像以进行展示,来达到可视化实时确认支付信息的效果,便于商户在付款顾客复杂的情况下也能快速定位当前付款顾客,清晰便捷地核对收款结果,在防止顾客逃单漏单的同时,可有效提高商户的经营效率和顾客的消费体验。
80.下面参考附图描述本发明实施例的提示方法、装置及系统。
81.图1为本发明实施例所提供的一种提示方法的流程示意图。
82.需要说明的是,本发明实施例的提示方法可以由本发明实施例提供的提示装置执行。该提示装置可以为服务器,以执行向监控设备发送在目标人脸区域标注了支付金额的目标图像以进行展示,或者,该提示装置可以配置在服务器中,以使该服务器能够执行向监控设备发送在目标人脸区域标注了支付金额的目标图像以进行展示。
83.如图1所示,该提示方法包括以下步骤:
84.步骤101,响应于支付客户端支付成功,获取支付客户端的支付信息,其中,支付信息中包括支付时刻、支付商户标识和支付金额。
85.在本实施例中,支付客户端可以理解为任意一能够执行支付功能的客户端,例如手机、平板等。可选地,支付客户端的支付功能可以由安装在支付客户端的app(application,应用程序)提供。在本实施例中,支付客户端的数量可以为一个或者多个,本实施例中对此不作限制。
86.在本实施例中,支付客户端的支付信息可以理解为支付客户端当前付款用户使用支付客户端支付成功之后得到的与支付有关的一些支付信息,可以包括支付时刻、支付商户标识和支付金额。其中,支付时刻可以用于指示支付客户端当前付款用户支付行为发生的时间,支付商户标识可以用于指示支付客户端当前付款用户支付行为的对象,即支付客户端当前付款用户对应的支付商户。支付金额可以用于指示支付客户端当前付款用户支付行为所花费的金额。可选地,支付客户端的支付信息可以由安装在支付客户端的app生成,其中,生成方式可以包括卡片、文字、图片和列表中的至少一个。需要说明的是,支付商户标识是支付商户的区别性标识,一个支付商户标识可以唯一标识一个支付商户。
87.可以理解的是,支付客户端某次支付行为的支付结果包括支付成功和支付失败,在本实施例中,响应于支付客户端支付成功,获取支付客户端的支付信息。作为一种可能的实现方式,可以在支付客户端当前付款用户使用支付客户端支付成功之后,通过网络传输的方式获取支付客户端的支付信息。需要说明的是,支付客户端当前付款用户使用支付客户端进行支付的方式可以是扫描支付商户提供的收款码进行支付,也可以是向支付商户提供支付客户端当前付款用户的付款码进行支付,本实施例中对此不作限制。
88.步骤102,查询支付客户端预留的人脸信息,其中,人脸信息是基于支付客户端采集到的人脸图像中的人脸区域进行特征提取得到的。
89.需要说明的是,支付客户端当前付款用户在使用支付客户端进行支付之前,需要先在支付客户端中提供支付功能的app上完成注册,得到个人账号之后方能使用该app进行各种支付行为。由此,支付客户端中提供支付功能的app可以在用户进行注册的过程中,向用户征求采集人脸图像的同意和授权,从而在取得用户的明示同意和授权的情况下,采集用户的人脸图像。可选地,支付客户端中提供支付功能的app可以在用户在支付客户端上打开支付客户端中提供支付功能的app进行注册时,通过弹窗说明收集人脸数据的目的和手段来向用户征求采集人脸图像的同意和授权,并在取得用户的明示同意和授权之后,采集用户的人脸图像。可以理解的是,当用户在支付客户端中提供支付功能的app上完成注册,得到个人账号之后,支付客户端中提供支付功能的app可以得到对应的用户信息。可选地,用户信息可以包括用户编号、昵称等。
90.在本实施例中,支付客户端可以将该支付客户端的用户信息和采集的用户的人脸图像上传至提示装置,以使提示装置对接收到的支付客户端的人脸图像中的人脸区域进行特征提取,得到支付客户端预留的人脸信息,并对支付客户端的用户信息和支付客户端预留的人脸信息进行存储。可选地,提示装置可以将支付客户端的用户信息和支付客户端预留的人脸信息存储到数据库中。
91.可以理解的是,由于人脸图像是在用户进行注册的过程中采集的,从而支付客户端的用户信息和采集的人脸图像是一一对应的关系,再加上支付客户端预留的人脸信息是
基于支付客户端的人脸图像得到的,进而支付客户端的用户信息和支付客户端预留的人脸信息也是一一对应的关系。
92.在本实施例中,可以查询支付客户端预留的人脸信息,其中,人脸信息是基于支付客户端采集到的人脸图像中的人脸区域进行特征提取得到的。具体地在支付客户端当前付款用户使用支付客户端支付成功之后,可以根据支付客户端当前付款用户的用户信息,查询得到对应的支付客户端预留的人脸信息。作为一种可能的实现方式,响应于提示装置将支付客户端的用户信息和支付客户端预留的人脸信息存储到数据库中,可以在支付客户端当前付款用户使用支付客户端支付成功之后,根据支付客户端当前付款用户的用户信息,从数据库中查询得到对应的支付客户端预留的人脸信息。
93.步骤103,根据支付商户标识,从支付商户标识对应的监控设备获取支付时刻采集到的监控图像,并根据人脸图像中人脸区域的尺寸和监控图像中至少一个人脸区域的平均尺寸,对监控图像进行缩放处理,以使缩放处理后的监控图像中的人脸区域与人脸图像中人脸区域尺寸匹配。
94.在本实施例中,监控图像是监控设备拍摄得到的图像,监控设备是支付商户安装的用于摄像监控的设备,可以包括摄像、传输、控制、显示四部分。
95.在本实施例中,由于支付商户标识可以用于指示支付客户端当前付款用户支付行为的对象,即支付客户端当前付款用户对应的支付商户,从而可以根据支付商户标识,确定对应的支付商户,进而可以从支付商户安装的监控设备获取支付时刻采集到的监控图像,并根据人脸图像中人脸区域的尺寸和监控图像中至少一个人脸区域的平均尺寸,对监控图像进行缩放处理,以使缩放处理后的监控图像中的人脸区域与人脸图像中人脸区域尺寸匹配。其中,人脸图像中人脸区域的尺寸是支付客户端采集到的人脸图像中的人脸区域的尺寸。作为一种可能的实现方式,可以根据支付商户标识,通过网络传输的方式从支付商户标识对应的监控设备获取支付时刻采集到的监控图像。
96.可以理解的是,由于可以根据支付客户端采集到的人脸图像中的人脸区域的尺寸和监控图像中至少一个人脸区域的平均尺寸,对监控图像进行缩放处理,从而可以使得缩放处理后的监控图像中的人脸区域的尺寸与支付客户端采集到的人脸图像中的人脸区域的尺寸匹配,避免由于监控图像中的人脸区域的尺寸与支付客户端采集到的人脸图像中的人脸区域的尺寸不同带来的误差。
97.步骤104,在缩放处理后的监控图像中识别与人脸信息匹配的目标人脸区域,并对目标人脸区域标注支付金额,以得到目标图像。
98.在本实施例中,在对监控图像进行缩放处理,得到缩放处理后的监控图像之后,可以在缩放处理后的监控图像中识别出与支付客户端预留的人脸信息匹配的目标人脸区域,并对目标人脸区域标注支付金额,以得到目标图像。其中,目标人脸区域的形状可以是规则的,比如矩形、圆形等,也可以是不规则的,本实施例中对此不做限制。
99.可以理解的是,由于监控图像是监控设备在支付时刻进行摄像得到的图像,从而会包括支付时刻时监控设备摄像区域内的所有人脸图像,由此易知,监控图像中也会包括支付客户端当前付款用户的人脸图像。而通过上述分析可知,支付客户端预留的人脸信息是基于支付客户端采集到的人脸图像中的人脸区域进行特征提取得到的,以及可以查询到支付客户端预留的人脸信息,从而可以根据查询得到的支付客户端预留的人脸信息,从缩
放处理后的监控图像中识别出支付客户端当前付款用户的人脸图像。
100.在本实施例的一种可能的实现方式中,可以针对缩放处理后的监控图像中的任意一人脸图像中的人脸区域进行特征提取,以得到该人脸图像的特征信息,从而得到缩放处理后的监控图像中的所有人脸图像的特征信息,并将得到的所有人脸图像的特征信息与支付客户端预留的人脸信息进行匹配,以从缩放处理后的监控图像中的所有人脸图像中识别出支付客户端当前付款用户的人脸图像,进而可以基于识别出的支付客户端当前付款用户的人脸图像的位置,确定缩放处理后的监控图像中与支付客户端预留的人脸信息匹配的目标人脸区域,并将支付金额标注在该目标人脸区域内,以得到目标图像。
101.需要说明的是,由于缩放处理后的监控图像中的人脸区域与支付客户端采集到的人脸图像中人脸区域尺寸匹配,从而可以使得对缩放处理后的监控图像中的所有人脸图像的的人脸区域进行特征提取得到的特征信息更可信,便于从缩放处理后的监控图像识别出与支付客户端预留的人脸信息匹配的目标人脸区域。
102.可以理解的是,目标图像是基于监控图像生成的,目标图像与监控图像的区别只在于目标图像中将支付客户端的支付金额标注在了支付客户端当前付款用户的人脸图像周围,也就是说,得到的目标图像是在与人脸信息匹配的人脸区域中标注了对应的支付金额的监控图像。
103.步骤105,向监控设备发送目标图像以展示。
104.在本实施例中,在得到目标图像之后,可以将目标图像发送给监控设备,以使监控设备对目标图像进行展示。可选地,可以通过网络传输的方式将目标图像发送给监控设备。
105.本实施例提供的提示方法,通过响应于支付客户端支付成功,获取支付客户端的支付信息,其中,支付信息中包括支付时刻、支付商户标识和支付金额,从而查询支付客户端预留的人脸信息,其中,人脸信息是基于支付客户端采集到的人脸图像中的人脸区域进行特征提取得到的,进而根据支付商户标识,从支付商户标识对应的监控设备获取支付时刻采集到的监控图像,并根据人脸图像中人脸区域的尺寸和监控图像中至少一个人脸区域的平均尺寸,对监控图像进行缩放处理,以使缩放处理后的监控图像中的人脸区域与人脸图像中人脸区域尺寸匹配,在缩放处理后的监控图像中识别与人脸信息匹配的目标人脸区域,对目标人脸区域标注支付金额,以得到目标图像之后,向监控设备发送目标图像以展示。由此,通过向监控设备发送在目标人脸区域标注了支付金额的目标图像以进行展示,可实现可视化实时确认顾客付款结果,便于商户在付款顾客复杂的情况下也能快速定位当前付款顾客,清晰便捷地核对收款结果,提高了商户的经营效率和顾客的消费体验,避免逃单漏单。
106.为了清楚说明上一实施例,本实施例提供了另一种提示方法,图2为本发明实施例所提供的另一种提示方法的流程示意图。
107.如图2所示,该提示方法可以包括以下步骤:
108.步骤201,接收支付客户端发送的注册请求。
109.在本实施例中,支付客户端可以理解为任意一能够执行支付功能的客户端,例如手机、平板等。可选地,支付客户端的支付功能可以由安装在支付客户端的app(application,应用程序)提供。在本实施例中,支付客户端的数量可以为一个或者多个,本实施例中对此不作限制。
110.可以理解的是,用户在使用支付客户端进行支付之前需要先进行注册,从而在本实施例中,可以接收支付客户端发送的注册请求。可选地,在支付客户端的支付功能由安装在支付客户端的app提供的情况下,支付客户端可以基于该app执行的注册操作向提示装置发送注册请求,从而提示装置可以接收支付客户端发送的注册请求。
111.步骤202,响应于注册请求,通过支付客户端获取人脸图像。
112.在本实施例中,提示装置在接收到支付客户端发送的注册请求之后,可以响应于注册请求,通过支付客户端获取人脸图像。可以理解的是,这里获取的人脸图像是申请注册的用户的人脸图像。需要说明的是,提示装置通过支付客户端获取人脸图像需要经过申请注册的用户的明示同意和授权。可选地,提示装置可以响应于注册请求,通过支付客户端向用户征求获取人脸图像的同意和授权,在取得用户的明示同意和授权之后,再通过支付客户端获取人脸图像。
113.步骤203,对人脸图像中的人脸区域进行图像特征提取,以得到支付客户端预留的人脸信息。
114.在本实施例中,提示装置在获取到人脸图像之后,可以对人脸图像中的人脸区域进行图像特征提取,以得到支付客户端预留的人脸信息。具体地,可以先对人脸图像进行预处理,将人脸图像转换为灰度图像,以减少彩色背景对人脸图像识别的干扰,再对人脸图像进行人脸检测,确定人脸图像中的人脸区域,从而对人脸区域内的图像进行图像特征提取,提取出人脸特征信息并进行存储,得到支付客户端预留的人脸信息。可以理解的是,得到的支付客户端预留的人脸信息可以用于指示支付客户端用户的人脸特征信息。
115.步骤204,响应于支付客户端支付成功,获取支付客户端的支付信息,其中,支付信息中包括支付时刻、支付商户标识、支付金额和支付渠道。
116.在本实施例中,支付客户端的支付信息可以理解为支付客户端当前付款用户使用支付客户端支付成功之后得到的与支付有关的一些支付信息,可以包括支付时刻、支付商户标识、支付金额和支付渠道。其中,支付时刻可以用于指示支付客户端当前付款用户支付行为发生的时间。支付商户标识可以用于指示支付客户端当前付款用户支付行为的对象,即支付客户端当前付款用户对应的支付商户。支付金额可以用于指示支付客户端当前付款用户支付行为所花费的金额。支付渠道可以用于指示支付客户端当前付款用户支付行为所采用的支付方式,可以包括银行卡支付、零钱支付等。可选地,支付客户端的支付信息可以由安装在支付客户端的app生成,其中,生成方式可以包括卡片、文字、图片和列表中的至少一个。需要说明的是,支付商户标识是支付商户的区别性标识,一个支付商户标识可以唯一标识一个支付商户。
117.可以理解的是,支付客户端某次支付行为的支付结果包括支付成功和支付失败,在本实施例中,响应于支付客户端支付成功,获取支付客户端的支付信息。作为一种可能的实现方式,可以在支付客户端当前付款用户使用支付客户端支付成功之后,通过网络传输的方式获取支付客户端的支付信息。需要说明的是,支付客户端当前付款用户使用支付客户端进行支付的方式可以是扫描支付商户提供的收款码进行支付,也可以是向支付商户提供支付客户端当前付款用户的付款码进行支付,本实施例中对此不作限制。
118.步骤205,查询支付客户端预留的人脸信息,其中,人脸信息是基于支付客户端采集到的人脸图像中的人脸区域进行特征提取得到的。
119.步骤206,根据支付商户标识,从支付商户标识对应的监控设备获取支付时刻采集到的监控图像,并根据人脸图像中人脸区域的尺寸和监控图像中至少一个人脸区域的平均尺寸,对监控图像进行缩放处理,以使缩放处理后的监控图像中的人脸区域与人脸图像中人脸区域尺寸匹配。
120.需要说明的是,步骤205-206的执行过程可以参见上一实施例中步骤102-103的执行过程,原理相同,在此不再赘述。
121.步骤207,在缩放处理后的监控图像中识别与人脸信息匹配的目标人脸区域,并对目标人脸区域标注支付金额和支付渠道,以得到目标图像。
122.在本实施例中,在缩放处理后的监控图像中识别出与人脸信息匹配的目标人脸区域之后,在目标人脸区域除了要标注支付金额,还要标注支付渠道,从而使得目标图像中与人脸信息匹配的目标人脸区域同时标注了对应的支付金额和支付渠道。
123.需要说明的是,本步骤的其他执行过程可以参见上一实施例中步骤104的执行过程,原理相同,在此不再赘述。
124.步骤208,向监控设备发送目标图像以展示。
125.需要说明的是,本步骤的执行过程可以参见上一实施例中步骤105的执行过程,原理相同,在此不再赘述。
126.本实施例提供的提示方法,通过接收支付客户端发送的注册请求,实现响应于注册请求,通过支付客户端获取人脸图像,从而对人脸图像中的人脸区域进行图像特征提取,以得到支付客户端预留的人脸信息。由此,可以通过在用户注册期间,获取用户的人脸图像,并进行图像特征提取来得到支付客户端预留的人脸信息。同时,通过在支付信息中增加支付渠道,可以得到目标图像中除了标注有支付金额,还会标注支付渠道,便于支付商户快捷收款对账。
127.通过上述分析可知,本发明实施例中可以对人脸图像中的人脸区域进行图像特征提取,以得到支付客户端预留的人脸信息,为了清楚说明本发明是如何对人脸图像中的人脸区域进行图像特征提取,以得到支付客户端预留的人脸信息的,本实施例提供了另一种提示方法,图3为本发明实施例所提供的另一种提示方法的流程示意图。
128.如图3所示,该提示方法可以包括以下步骤:
129.步骤301,接收支付客户端发送的注册请求。
130.步骤302,响应于注册请求,通过支付客户端获取人脸图像。
131.需要说明的是,步骤301-302的执行过程可以参见上一实施例中步骤201-202的执行过程,原理相同,在此不再赘述。
132.步骤303,对人脸图像进行灰度处理,以得到第一灰度图。
133.在本实施例中,可以通过对获取到的人脸图像进行灰度处理,得到第一灰度图,来减少彩色背景对人脸图像识别的干扰。
134.步骤304,采用支持向量机svm对第一灰度图进行人脸检测,以得到第一人脸检测框。
135.在本实施例中,在得到第一灰度图之后,可以采用svm(support vector machines,支持向量机)对第一灰度图进行人脸检测,从而得到第一人脸检测框。其中,svm是一类按监督学习方式对数据进行二元分类的广义线性分类器,其决策边界是对学习样本
求解的最大边距超平面。svm还可以通过核方法进行非线性分类。需要说明的是,第一人脸检测框的形状可以是规则的,比如矩形、圆形等,也可以是不规则的,本实施例中对此不做限制。
136.在本实施例的一种可能的实现方式中,可以使用svm的两组分类原则区分第一灰度图中的人脸部分和非人脸部分,从而实现对第一灰度图进行人脸检测,得到第一人脸检测框。可以理解的是,第一人脸检测框中会包括第一灰度图中的人脸部分。
137.步骤305,将第一灰度图中处于第一人脸检测框内的人脸区域作为输入图像,输入到神经网络模型中进行特征提取,以得到神经网络模型输出的支付客户端预留的人脸信息。
138.在本实施例中,由于第一人脸检测框中会包括第一灰度图中的人脸部分,从而可以将第一灰度图中处于第一人脸检测框内的人脸区域作为输入图像,输入到神经网络模型中进行特征提取,从而得到神经网络模型输出的支付客户端预留的人脸信息。需要说明的是,本步骤使用的神经网络模型是预先训练好的神经网络模型。可以理解的是,神经网络模型输出的支付客户端预留的人脸信息可以用于指示支付客户端用户的人脸特征信息。
139.步骤306,响应于支付客户端支付成功,获取支付客户端的支付信息,其中,支付信息中包括支付时刻、支付商户标识、支付金额和支付渠道。
140.步骤307,查询支付客户端预留的人脸信息,其中,人脸信息是基于支付客户端采集到的人脸图像中的人脸区域进行特征提取得到的。
141.步骤308,根据支付商户标识,从支付商户标识对应的监控设备获取支付时刻采集到的监控图像,并根据人脸图像中人脸区域的尺寸和监控图像中至少一个人脸区域的平均尺寸,对监控图像进行缩放处理,以使缩放处理后的监控图像中的人脸区域与人脸图像中人脸区域尺寸匹配。
142.步骤309,在缩放处理后的监控图像中识别与人脸信息匹配的目标人脸区域,并对目标人脸区域标注支付金额和支付渠道,以得到目标图像。
143.步骤310,向监控设备发送目标图像以展示。
144.需要说明的是,步骤306-310的执行过程可以参见上一实施例中步骤204-208的执行过程,原理相同,在此不再赘述。
145.本实施例提供的提示方法,通过对人脸图像进行灰度处理,以得到第一灰度图,实现采用支持向量机svm对第一灰度图进行人脸检测,以得到第一人脸检测框,从而将第一灰度图中处于第一人脸检测框内的人脸区域作为输入图像,输入到神经网络模型中进行特征提取,以得到神经网络模型输出的支付客户端预留的人脸信息。由此,可实现对人脸图像中的人脸区域进行图像特征提取,以得到支付客户端预留的人脸信息。
146.为了清楚说明图3所示实施例中,步骤308中根据人脸图像中人脸区域的尺寸和监控图像中至少一个人脸区域的平均尺寸,对监控图像进行缩放处理的过程,本实施例提供了图4所示的对监控图像进行缩放处理的流程示意图,如图4所示,对监控图像进行缩放处理可以包括以下步骤:
147.步骤401,将第一人脸检测框的尺寸作为人脸图像中人脸区域的尺寸。
148.这里,可以步骤304中采用svm对第一灰度图进行人脸检测得到的第一人脸检测框的尺寸作为人脸图像中人脸区域的尺寸。
149.步骤402,对监控图像进行灰度处理,以得到第二灰度图。
150.这里,可以通过对获取到的监控图像进行灰度处理,来得到第二灰度图,从而有效减少彩色背景对监控图像中人脸图像的识别所带来的干扰。需要说明的是,由于监控图像是监控设备在支付时刻进行摄像得到的图像,会包括支付时刻时监控设备摄像区域内的所有人脸图像,从而得到的第二灰度图也会包括支付时刻时监控设备摄像区域内的所有人脸图像。
151.步骤403,采用svm对第二灰度图进行人脸检测,以得到至少一个第二人脸检测框。
152.这里,在得到第二灰度图之后,可以采用svm对第二灰度图进行人脸检测,从而得到至少一个第二人脸检测框。其中,第二人脸检测框的形状可以是规则的,比如矩形、圆形等,也可以是不规则的,本实施例中对此不做限制。可以理解的是,由于第二灰度图会包括支付时刻时监控设备摄像区域内的所有人脸图像,从而在采用svm对第二灰度图进行人脸检测的过程中,需要针对每一个人脸图像生成一个第二人脸检测框,从而可以得到多个第二人脸检测框。
153.作为一种可能的实现方式,可以先根据各人脸图像的位置,对第二灰度图进行区域划分,以得到多个仅包括一个人脸图像的区域,从而可以针对任意一个仅包括一个人脸图像的区域,使用svm的两组分类原则区分该区域中的人脸部分和非人脸部分,由此实现对第二灰度图进行人脸检测,得到多个第二人脸检测框。可以理解的是,每个第二人脸检测框中都会包括对应区域中的人脸部分。
154.步骤404,将至少一个第二人脸检测框的平均尺寸作为监控图像中至少一个人脸区域的平均尺寸。
155.这里,可以在得到至少一个第二人脸检测框之后,可以计算得到至少一个第二人脸检测框的平均尺寸,从而将至少一个第二人脸检测框的平均尺寸作为监控图像中至少一个人脸区域的平均尺寸。
156.步骤405,基于人脸图像中人脸区域的尺寸与平均尺寸之比,对监控图像进行缩放处理,以得到缩放处理后的监控图像。
157.这里,可以基于人脸图像中人脸区域的尺寸与监控图像中至少一个人脸区域的平均尺寸之比,对监控图像进行缩放处理,从而得到缩放处理后的监控图像。
158.由此,通过将第一人脸检测框的尺寸作为人脸图像中人脸区域的尺寸,并对监控图像进行灰度处理,以得到第二灰度图,从而采用svm对第二灰度图进行人脸检测,以得到至少一个第二人脸检测框,并将至少一个第二人脸检测框的平均尺寸作为监控图像中至少一个人脸区域的平均尺寸,进而基于人脸图像中人脸区域的尺寸与平均尺寸之比,对监控图像进行缩放处理,以得到缩放处理后的监控图像。由此,可以实现根据人脸图像中人脸区域的尺寸和监控图像中至少一个人脸区域的平均尺寸,对监控图像进行缩放处理。
159.通过上述分析可知,本发明实施例中可以在缩放处理后的监控图像中识别与人脸信息匹配的目标人脸区域,并对目标人脸区域标注支付金额,以得到目标图像,为了清楚说明本发明是如何在缩放处理后的监控图像中识别与人脸信息匹配的目标人脸区域,并对目标人脸区域标注支付金额,以得到目标图像的,本实施例提供了另一种提示方法,图5为本发明实施例所提供的另一种提示方法的流程示意图。
160.如图5所示,该提示方法可以包括以下步骤:
161.步骤501,响应于支付客户端支付成功,获取支付客户端的支付信息,其中,支付信息中包括支付时刻、支付商户标识和支付金额。
162.步骤502,查询支付客户端预留的人脸信息,其中,人脸信息是基于支付客户端采集到的人脸图像中的人脸区域进行特征提取得到的。
163.步骤503,根据支付商户标识,从支付商户标识对应的监控设备获取支付时刻采集到的监控图像,并根据人脸图像中人脸区域的尺寸和监控图像中至少一个人脸区域的平均尺寸,对监控图像进行缩放处理,以使缩放处理后的监控图像中的人脸区域与人脸图像中人脸区域尺寸匹配。
164.需要说明的是,步骤501-503的执行过程可以参见上述实施例中步骤101-103的执行过程,原理相同,在此不再赘述。
165.步骤504,对缩放处理后的监控图像进行灰度处理得到缩放处理后的第二灰度图。
166.在本实施例中,可以通过对缩放处理后的监控图像进行灰度处理,来得到缩放处理后的第二灰度图,从而有效减少彩色背景对缩放处理后的监控图像中人脸图像的识别所带来的干扰。需要说明的是,由于监控图像是监控设备在支付时刻进行摄像得到的图像,会包括支付时刻时监控设备摄像区域内的所有人脸图像,从而得到的缩放处理后的第二灰度图也会包括支付时刻时监控设备摄像区域内的所有人脸图像。
167.步骤505,采用支持向量机svm对缩放处理后的第二灰度图进行人脸检测,以得到至少一个缩放处理后的第二人脸检测框。
168.在本实施例中,在得到缩放处理后的第二灰度图之后,可以采用svm对缩放处理后的第二灰度图进行人脸检测,从而得到至少一个缩放处理后的第二人脸检测框。其中,缩放处理后的第二人脸检测框的形状同样可以是规则的,比如矩形、圆形等,也可以是不规则的,本实施例中对此不做限制。可以理解的是,由于缩放处理后的第二灰度图会包括支付时刻时监控设备摄像区域内的所有人脸图像,从而在采用svm对缩放处理后的第二灰度图进行人脸检测的过程中,需要针对每一个人脸图像生成一个第二人脸检测框,从而可以得到多个缩放处理后的第二人脸检测框。
169.在本实施例的一种可能的实现方式中,可以先根据各人脸图像的位置,对缩放处理后的第二灰度图进行区域划分,以得到多个缩放处理后的仅包括一个人脸图像的区域,从而可以针对任意一个缩放处理后的仅包括一个人脸图像的区域,使用svm的两组分类原则区分该区域中的人脸部分和非人脸部分,由此实现对缩放处理后的第二灰度图进行人脸检测,得到多个缩放处理后的第二人脸检测框。可以理解的是,每个缩放处理后的第二人脸检测框中都会包括对应区域中的人脸部分。
170.步骤506,将缩放处理后的第二灰度图中处于至少一个缩放处理后的第二人脸检测框内的人脸区域作为输入图像,输入到神经网络模型中进行特征提取,得到缩放处理后的第二人脸检测框对应的图像特征。
171.在本实施例中,由于每个缩放处理后的第二人脸检测框中都会包括对应区域中的人脸部分,从而可以针对任意一个缩放处理后的第二人脸检测框,通过将缩放处理后的第二灰度图中处于该缩放处理后的第二人脸检测框内的人脸区域作为输入图像,输入到神经网络模型中进行特征提取,来得到神经网络模型输出的该缩放处理后的第二人脸检测框对应的图像特征。需要说明的是,本步骤使用的神经网络模型是预先训练好的神经网络模型。
可以理解的是,神经网络模型输出的缩放处理后的第二人脸检测框对应的图像特征可以用于指示该缩放处理后的第二人脸检测框内的人脸图像的人脸特征信息。
172.步骤507,确定人脸信息与缩放处理后的第二人脸检测框对应的图像特征之间的相似度。
173.在本实施例中,在得到各缩放处理后的第二人脸检测框对应的图像特征之后,可以分别确定每个缩放处理后的第二人脸检测框对应的图像特征与支付客户端预留的人脸信息之间的相似度。
174.步骤508,在相似度大于阈值的情况下,将缩放处理后的第二人脸检测框内的人脸区域作为监控图像中与人脸信息匹配的目标人脸区域,并对目标人脸区域标注支付金额,以得到目标图像。
175.在本实施例中,在确定好每个缩放处理后的第二人脸检测框对应的图像特征与支付客户端预留的人脸信息之间的相似度之后,可以将各相似度的值与阈值进行比较,从而在相似度大于阈值的情况下,将该缩放处理后的第二人脸检测框内的人脸区域作为监控图像中与人脸信息匹配的目标人脸区域,并对目标人脸区域标注支付金额,以得到目标图像。其中,对于阈值的具体取值本实施例中并没有作出限定,可选地,可以根据人工经验进行设定,或者,也可以根据实际应用需求进行动态调整,本实施例中对此不作限制。
176.可以理解的是,目标图像是基于监控图像生成的,目标图像与监控图像的区别只在于目标图像中将支付客户端的支付金额标注在了支付客户端当前付款用户的人脸图像周围,也就是说,得到的目标图像是在与人脸信息匹配的人脸区域中标注了对应的支付金额的监控图像。
177.步骤509,向监控设备发送目标图像以展示。
178.需要说明的是,本步骤的执行过程可以参见上述实施例中步骤105的执行过程,原理相同,在此不再赘述。
179.本实施例提供的提示方法,通过对缩放处理后的监控图像进行灰度处理得到缩放处理后的第二灰度图,实现采用支持向量机svm对缩放处理后的第二灰度图进行人脸检测,以得到至少一个缩放处理后的第二人脸检测框,从而将缩放处理后的第二灰度图中处于至少一个缩放处理后的第二人脸检测框内的人脸区域作为输入图像,输入到神经网络模型中进行特征提取,得到缩放处理后的第二人脸检测框对应的图像特征,进而确定人脸信息与缩放处理后的第二人脸检测框对应的图像特征之间的相似度,并在相似度大于阈值的情况下,将缩放处理后的第二人脸检测框内的人脸区域作为监控图像中与人脸信息匹配的目标人脸区域,并对目标人脸区域标注支付金额,以得到目标图像。由此,可实现在缩放处理后的监控图像中识别与人脸信息匹配的目标人脸区域,并对目标人脸区域标注支付金额,以得到目标图像。
180.为了更加清楚说明上述实施例,现举例进行说明。
181.图6为本发明实施例所提供的一种场景下提示方法的流程示意图。
182.如图6所示,该提示方法可以包括以下步骤:
183.步骤601,支付客户端响应于用户的注册操作,进行用户注册,录入用户信息。
184.这里,用户可以在支付客户端上打开提供支付功能的app,以执行注册操作,从而支付客户端可以响应于用户的注册操作,进行用户注册,录入用户信息。
185.步骤602,支付客户端向用户申请人脸图像使用授权。
186.这里,在用户使用支付客户端中提供支付功能的app进行注册时,支付客户端可以通过弹窗说明收集人脸数据的目的和手段来向用户申请人脸图像使用授权。
187.步骤603,支付客户端采集用户的人脸图像,并将用户信息和人脸图像发送给提示装置。
188.这里,支付客户端在向用户申请人脸图像使用授权之后,可以在获取到用户的明示同意和授权的情况下,采集用户的人脸图像,并将用户信息和人脸图像发送给提示装置。
189.步骤604,提示装置接收支付客户端发送的用户信息和人脸图像,并进行存储。
190.这里,提示装置接收到支付客户端发送的用户信息和人脸图像之后,可以对支付客户端的用户信息和人脸图像进行存储。
191.步骤605,提示装置对人脸图像进行特征提取,以得到支付客户端预留的人脸信息。
192.这里,提示装置可以对存储的人脸图像进行特征提取,以得到支付客户端预留的人脸信息。具体地,提示装置可以对人脸图像进行预处理,将人脸图像转换为第一灰度图像,减少彩色背景对人脸图像识别的干扰,并使用支持向量机(svm)的两组分类原则来区分第一灰度图像中的人脸部分和非人脸部分,实现对第一灰度图像进行人脸检测,得到第一人脸检测框,并将第一灰度图中处于第一人脸检测框内的图像区域作为输入图像,输入到预先训练好的神经网络模型中进行特征提取,来得到支付客户端预留的人脸信息。
193.步骤606,提示装置将支付客户端预留的人脸信息存储在数据库中。
194.这里,提示装置在得到支付客户端预留的人脸信息之后,可以将支付客户端预留的人脸信息进行存储,存储到数据库中。
195.步骤607,支付客户端响应于用户的支付操作,向提示装置发送付款请求。
196.这里,支付客户端可以响应于用户的支付操作,向提示装置发送付款请求。可选地,用户可以通过扫描支付商户提供的收款码进行支付操作,也可以向支付商户提供付款码进行支付操作。
197.步骤608,提示装置接收支付客户端发送的付款请求,完成商户收款,并在支付客户端支付成功的情况下,获取支付客户端的支付信息。
198.这里,提示装置可以接收支付客户端发送的付款请求,并在收单系统中完成商户收款,并在支付客户端支付成功的情况下,获取支付客户端的支付信息。其中,支付信息中包括支付时刻、支付商户标识和支付金额。
199.步骤609,提示装置查询数据库中支付客户端预留的人脸信息。
200.这里,提示装置可以根据支付客户端的用户信息,查询数据库,以得到支付客户端预留的人脸信息。
201.步骤610,监控设备采集支付时刻的监控图像。
202.这里,监控设备实时采集拍摄区域的监控图像。可选地,监控设备摄像区域可以是支付商户的付款窗口区域。需要说明的是,本步骤中的监控设备是与支付信息中支付商户标识对应的监控设备。
203.步骤611,提示装置获取支付时刻的监控图像,并根据人脸图像中人脸区域的尺寸和监控图像中至少一个人脸区域的平均尺寸,对监控图像进行缩放处理,以使缩放处理后
的监控图像中的人脸区域与人脸图像中人脸区域尺寸匹配。
204.这里,提示装置可以根据支付商户标识,从支付商户标识对应的监控设备获取支付时刻的监控图像,并根据人脸图像中人脸区域的尺寸和监控图像中至少一个人脸区域的平均尺寸,对监控图像进行缩放处理,以使缩放处理后的监控图像中的人脸区域与人脸图像中人脸区域尺寸匹配。具体地,提示装置可以在获取到监控设备采集的支付时刻的监控图像之后,将人脸图像中的第一人脸检测框的尺寸作为人脸图像中人脸区域的尺寸,并对监控图像进行灰度处理,以得到第二灰度图,从而采用支持向量机(svm)对第二灰度图进行人脸检测,以得到至少一个第二人脸检测框,并将至少一个第二人脸检测框的平均尺寸作为监控图像中至少一个人脸区域的平均尺寸,进而基于人脸图像中人脸区域的尺寸与平均尺寸之比,对监控图像进行缩放处理,以使缩放处理后的监控图像中的人脸区域与人脸图像中人脸区域尺寸匹配。
205.步骤612,提示装置在缩放处理后的监控图像中识别与支付客户端预留的人脸信息匹配的目标人脸区域。
206.这里,提示装置可以在缩放处理后的监控图像中识别与支付客户端预留的人脸信息匹配的目标人脸区域。具体地,提示装置可以对缩放处理后的监控图像进行预处理,将缩放处理后的监控图像转换为缩放处理后的第二灰度图像,减少彩色背景对缩放处理后的监控图像中人脸图像识别的干扰,并根据缩放处理后的第二灰度图像中各人脸图像的位置,对缩放处理后的第二灰度图进行区域划分,以得到多个缩放处理后的仅包括一个人脸图像的区域,从而针对任意一个缩放处理后的仅包括一个人脸图像的区域,使用支持向量机(svm)的两组分类原则来区分该区域的人脸部分和非人脸部分,由此实现对缩放处理后的第二灰度图像进行人脸检测,得到多个缩放处理后的第二人脸检测框,进而针对任意一个缩放处理后的第二人脸检测框,通过将缩放处理后的第二灰度图中处于该缩放处理后的第二人脸检测框内的人脸区域作为输入图像,输入到预先训练好的神经网络模型中进行特征提取,来得到该缩放处理后的第二人脸检测框对应的图像特征,分别确定每个缩放处理后的第二人脸检测框对应的图像特征与支付客户端预留的人脸信息之间的相似度之后,将各相似度的值与阈值进行比较,并在相似度大于阈值的情况下,将该缩放处理后的第二人脸检测框内的人脸区域作为监控图像中与人脸信息匹配的目标人脸区域。
207.步骤613,提示装置将支付结果信息标识在目标人脸区域,以得到目标图像。
208.这里,提示装置在得到目标人脸区域之后,可以将支付结果信息标识在目标人脸区域,以得到目标图像。其中,支付结果信息可以包括支付金额、支付渠道等。可选地,可以将支付金额标识在目标人脸区域,以得到对应的目标图像,也可以将支付金额和支付渠道标识在目标人脸区域,以得到对应的目标图像。
209.步骤614,提示装置将目标图像发送给监控设备。
210.这里,提示装置在得到目标图像之后,可以将目标图像发送给监控设备。可选地,可以通过网络传输的方式将目标图像发送给监控设备。
211.步骤615,监控设备接收目标图像并进行展示。
212.这里,监控设备在接收到目标图像之后,可以将目标图像进行展示,由此,可实现可视化实时确认顾客付款结果。
213.综上,通过支付客户端、提示装置和监控设备之间的交互,可实现可视化实时确认
顾客付款结果,便于商户在付款顾客复杂的情况下也能快速定位当前付款顾客,清晰便捷地核对收款结果,提高了商户的经营效率和顾客的消费体验,避免逃单漏单。
214.为了更加清楚地说明上述实施例,本发明还提供了如图7所示的一种场景下提示系统的模块示意图。
215.图7为本发明实施例所提供的一种场景下提示系统的模块示意图。
216.如图7所示,该提示系统包括:图像采集模块71、人脸检测模块72、特征提取模块73、人脸查找模块74、消息服务模块75、收单结算模块76和用户信息模块77。
217.其中,图像采集模块71,用于采集人脸图像和监控图像;
218.人脸检测模块72,用于对人脸图像、监控图像和缩放处理后的监控图像灰度处理后得到的第一灰度图像、第二灰度图像和缩放处理后的第二灰度图像进行人脸检测,以得到第一人脸检测框、第二人脸检测框和缩放处理后的第二人脸检测框;
219.特征提取模块73,用于将第一人脸检测框、第二人脸检测框和缩放处理后的第二人脸检测框内的人脸区域作为输入图像,输入到预先训练好的神经网络模型中进行特征提取,来得到支付客户端预留的人脸信息、第二人脸检测框对应的图像特征和缩放处理后的第二人脸检测框对应的图像特征;
220.人脸查找模块74,用于在监控图像中识别与支付客户端预留的人脸信息匹配的目标人脸区域;
221.消息服务模块75,用于将支付结果信息标识在目标人脸区域,以得到目标图像,并发送给监控设备;
222.收单结算模块76,用于接收支付客户端发送的付款请求,完成商户收款;
223.用户信息模块77,用于接收支付客户端发送的用户信息和人脸图像,并进行存储。
224.为了实现上述实施例,本发明还提出一种提示装置。
225.图8为本发明实施例提供的一种提示装置的结构示意图。
226.如图8所示,该提示装置包括:获取模块81、查询模块82、处理模块83、识别模块84和发送模块85。
227.获取模块81,用于响应于支付客户端支付成功,获取支付客户端的支付信息,其中,支付信息中包括支付时刻、支付商户标识和支付金额;
228.查询模块82,用于查询支付客户端预留的人脸信息,其中,人脸信息是基于支付客户端采集到的人脸图像中的人脸区域进行特征提取得到的;
229.处理模块83,用于根据支付商户标识,从支付商户标识对应的监控设备获取支付时刻采集到的监控图像,并根据人脸图像中人脸区域的尺寸和监控图像中至少一个人脸区域的平均尺寸,对监控图像进行缩放处理,以使缩放处理后的监控图像中的人脸区域与人脸图像中人脸区域尺寸匹配;
230.识别模块84,用于在缩放处理后的监控图像中识别与人脸信息匹配的目标人脸区域,并对目标人脸区域标注支付金额,以得到目标图像;
231.发送模块85,用于向监控设备发送目标图像以展示。
232.需要说明的是,前述对提示方法实施例的解释说明也适用于该实施例的提示装置,此处不再赘述。
233.基于上述实施例,本发明实施例还提供了一种提示装置的可能的实现方式,图9为
本发明实施例提供的另一种提示装置的结构示意图,在上一实施例的基础上,该提示装置还包括:注册模块86和提取模块87。
234.注册模块86,用于接收支付客户端发送的注册请求;响应于注册请求,通过支付客户端获取人脸图像;
235.提取模块87,用于对人脸图像中的人脸区域进行图像特征提取,以得到支付客户端预留的人脸信息。
236.进一步地,在本发明实施例的一种可能的实现方式中,提取模块87,具体用于:
237.对人脸图像进行灰度处理,以得到第一灰度图;采用支持向量机svm对第一灰度图进行人脸检测,以得到第一人脸检测框;将第一灰度图中处于第一人脸检测框内的人脸区域作为输入图像,输入到神经网络模型中进行特征提取,以得到神经网络模型输出的支付客户端预留的人脸信息。
238.进一步地,在本发明实施例的一种可能的实现方式中,处理模块83,还用于:
239.将第一人脸检测框的尺寸作为人脸图像中人脸区域的尺寸;对监控图像进行灰度处理,以得到第二灰度图;采用svm对第二灰度图进行人脸检测,以得到至少一个第二人脸检测框;将至少一个第二人脸检测框的平均尺寸作为监控图像中至少一个人脸区域的平均尺寸;基于人脸图像中人脸区域的尺寸与平均尺寸之比,对监控图像进行缩放处理,以得到缩放处理后的监控图像。
240.进一步地,在本发明实施例的一种可能的实现方式中,识别模块84,具体用于:
241.对缩放处理后的监控图像进行灰度处理得到缩放处理后的第二灰度图;采用支持向量机svm对缩放处理后的第二灰度图进行人脸检测,以得到至少一个缩放处理后的第二人脸检测框;将缩放处理后的第二灰度图中处于至少一个缩放处理后的第二人脸检测框内的人脸区域作为输入图像,输入到神经网络模型中进行特征提取,得到缩放处理后的第二人脸检测框对应的图像特征;确定人脸信息与缩放处理后的第二人脸检测框对应的图像特征之间的相似度;在相似度大于阈值的情况下,将缩放处理后的第二人脸检测框内的人脸区域作为监控图像中与人脸信息匹配的目标人脸区域,并对目标人脸区域标注支付金额,以得到目标图像。
242.本发明实施例的提示装置,通过响应于支付客户端支付成功,获取支付客户端的支付信息,其中,支付信息中包括支付时刻、支付商户标识和支付金额,从而查询支付客户端预留的人脸信息,其中,人脸信息是基于支付客户端采集到的人脸图像中的人脸区域进行特征提取得到的,进而根据支付商户标识,从支付商户标识对应的监控设备获取支付时刻采集到的监控图像,并根据人脸图像中人脸区域的尺寸和监控图像中至少一个人脸区域的平均尺寸,对监控图像进行缩放处理,以使缩放处理后的监控图像中的人脸区域与人脸图像中人脸区域尺寸匹配,在缩放处理后的监控图像中识别与人脸信息匹配的目标人脸区域,对目标人脸区域标注支付金额,以得到目标图像之后,向监控设备发送目标图像以展示。由此,通过向监控设备发送在目标人脸区域标注了支付金额的目标图像以进行展示,可实现可视化实时确认顾客付款结果,便于商户在付款顾客复杂的情况下也能快速定位当前付款顾客,清晰便捷地核对收款结果,提高了商户的经营效率和顾客的消费体验,避免逃单漏单。
243.为了实现上述实施例,本发明还提出一种服务器,该服务器包括:至少一个处理
器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,该指令被至少一个处理器执行,以使至少一个处理器能够执行本发明上述任一实施例提出的提示方法。
244.图10为本发明实施例提供的一种服务器的结构示意图。图10示出的服务器仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
245.如图10所示,该服务器可以包括:壳体11、处理器12、存储器13、电路板14和电源电路15,其中,电路板14安置在壳体11围成的空间内部,处理器12和存储器13设置在电路板14上;电源电路15,用于为上述服务器的各个电路或器件供电;存储器13用于存储可执行程序代码;处理器12通过读取存储器13中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行本发明上述任一实施例提出的提示方法。
246.处理器12对上述步骤的具体执行过程以及处理器12通过运行可执行程序代码来进一步执行的步骤,可以参见本发明图1-5所示方法实施例的描述,在此不再赘述。
247.为了实现上述实施例,本发明还提出一种提示系统,包括:
248.支付客户端,用于执行支付操作;
249.服务器,用于响应于支付客户端支付成功,获取支付客户端的支付信息,其中,支付信息中包括支付时刻、支付商户标识和支付金额;查询支付客户端预留的人脸信息,其中,人脸信息是基于支付客户端采集到的人脸图像中的人脸区域进行特征提取得到的;根据支付商户标识,从支付商户标识对应的监控设备获取支付时刻采集到的监控图像,并根据人脸图像中人脸区域的尺寸和监控图像中至少一个人脸区域的平均尺寸,对监控图像进行缩放处理,以使缩放处理后的监控图像中的人脸区域与人脸图像中人脸区域尺寸匹配;在缩放处理后的监控图像中识别与人脸信息匹配的目标人脸区域,并对目标人脸区域标注支付金额,以得到目标图像;向监控设备发送目标图像以展示;
250.至少一个监控设备,各监控设备具有对应的支付商户标识,用于采集监控图像,以及对目标图像进行展示。
251.为了实现上述实施例,本发明还提供一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行本发明上述任一实施例提出的提示方法。
252.为了实现上述实施例,本发明还提出一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现本发明上述任一实施例提出的提示方法。
253.在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
254.此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
255.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
256.在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(ram),只读存储器(rom),可擦除可编辑只读存储器(eprom或闪速存储器),光纤装置,以及便携式光盘只读存储器(cdrom)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
257.应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(pga),现场可编程门阵列(fpga)等。
258.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
259.此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
260.上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。