一种基于人脸识别技术的餐饮结算方法与流程

本发明涉及授权，例如，支付人或收款人识别，审核客户或商店证书；支付人的审核和批准，例如，信用额度或拒绝清单的检查的技术领域，特别涉及一种基于人脸识别技术的餐饮结算方法。

背景技术：

随着人们生活节奏的加快、智能生活的程度加强，人们需要在各个场合，尤其是工作环境下分秒必争。

餐饮是人们生活中必不可少的一个环节，随着社会化的进程，自助餐厅越来越多，而目前的餐饮行业一般都采用用餐人员拿取菜品、工作人员人工对消费情况进行结算的形式，用餐人员无法高效利用碎片化时间，取菜品的过程中涉及到拥堵、排队，结算的过程中又需要由工作人员人工计算价格、输入菜品等，这样的结算方法不但耽误时间还影响结算效率，是与人们的生活节奏，尤其是工作环境下的节奏相悖的。

更为常见的情况是，用餐人员在用餐的高峰时期集体抵达餐厅，本意追求的是用餐高效、省时，补充能量的同时争取更多休息的时间，然而，由于现有的结算体系无法满足要求，尤其在人流高峰时间，无法在短时间内对消费者的消费进行计算，导致消费者等待的时间比较长，错误率高，无法对商家和客源进行双向保障。

技术实现要素：

本发明解决了现有技术中，结算体系无法满足要求，尤其在人流高峰时间，无法在短时间内对消费者的消费进行计算，导致消费者等待的时间比较长，错误率高，无法对商家和客源进行双向保障的问题，提供了一种优化的基于人脸识别技术的餐饮结算方法。

本发明所采用的技术方案是，一种基于人脸识别技术的餐饮结算方法，所述方法包括以下步骤：

步骤1：用户人脸数据初始化；

步骤2：等待，任一用户发起点餐请求，则生成订单；

步骤3：结算终端提取当前用户对应的人脸数据并与订单进行绑定，置于待结算队列中；

步骤4：若人脸识别设备识别到人脸，则进行下一步，否则，返回步骤2；

步骤5：对于人脸识别设备识别到的人脸进行目标检测，若检测到目标，则进行下一步，否则，检测是否存在新生成的订单；若存在新生产的订单，则返回步骤3，否则返回步骤4；

步骤6：若检测到的目标与待结算队列中已绑定的任一人脸数据匹配，则结算核销，进行下一步，否则，提示无订单；检测是否存在新生成的订单；若存在新生产的订单，则返回步骤3，否则返回步骤4；

步骤7：在待结算队列中删除已取餐用户对应的已绑定的人脸数据与订单。

优选地，所述步骤1中，用户数据初始化包括以下步骤：

步骤1.1：用户启动智能终端，开启摄像头；

步骤1.2：针对当前用户采集若干面部图像；

步骤1.3：若当前面部图像符合采集要求，则基于当前用户的若干面部图像，获取用户面部轮廓曲线，否则重新拍摄面部图像，重复步骤1.3；

步骤1.4：基于所述用户面部轮廓曲线，获得针对当前用户的特征向量，以特征向量与用户信息进行绑定，存储至结算终端的数据库中；

步骤1.5：完成当前用户的数据初始化，返回步骤1.2。

优选地，所述步骤1.3包括以下步骤：

步骤1.3.1：获取当前用户的若干面部图像；

步骤1.3.2：取若干面部图像进行预处理，将面部图像校正至正位；

步骤1.3.3：若存在任意两张面部图像的重合率超过阈值q且完整露出面部及双耳，则符合采集要求，进行下一步，否则重新拍摄面部图像，返回步骤1.3.1；

步骤1.3.4：获取用户面部轮廓曲线。

优选地，所述步骤1.3.2中，取双瞳连线得到线a，取线a的中点与鼻尖连线得到线b，当线a水平且线b位于采集的面部图像的中部，则为正位。

优选地，所述用户面部轮廓曲线包括面部外轮廓、双耳轮廓、五官轮廓。

优选地，基于所述用户面部轮廓曲线，获得针对当前用户的特征向量包括以下步骤：

步骤1.4.1：基于所述用户面部轮廓曲线，采集面部外轮廓的五分点、双耳轮廓的顶点和底点、除双耳外的五官轮廓的所有拐点和/或端点；

步骤1.4.2：以正位的面部中心为坐标轴的原点；

步骤1.4.3：以预设的顺序，获得步骤1.4.1中每个采集到的点的矢量；

步骤1.4.4：获得针对当前用户的特征向量。

优选地，所述步骤3包括以下步骤：

步骤3.1：将订单与发起点餐请求的用户的用户信息进行整合，发送至结算终端；

步骤3.2：结算终端提取当前用户对应的人脸数据并与订单进行绑定，置于待结算队列中。

优选地，所述步骤3.2中，若结算终端查询到当前用户对应有人脸特征，则进行下一步，否则，提示用户进行人脸录入或执行普通结算；若用户进行人脸录入，则用户数据初始化，重复步骤3.2。

优选地，所述步骤5包括以下步骤：

步骤5.1：对于人脸识别设备识别到的人脸进行目标检测；

步骤5.2：若识别到的人脸同时满足在人脸识别设备中停留时间超过阈值t、人脸在人脸识别设备中的显示面积超过阈值w、且人脸识别设备可以采集到预设的采集点信息，则认为检测到目标，进行步骤6，否则，进行步骤5.3；

步骤5.3：检测当前是否存在新生成的订单，若存在新生产的订单，则返回步骤3，否则返回步骤4。

优选地，所述步骤6中，检测到的目标与待结算队列中已绑定的任一人脸数据匹配包括以下步骤：

步骤6.1：以预设的顺序，获得检测到的目标中任意个采集点与目标中心间的矢量，将未采集点的矢量设为0向量，获得待匹配特征向量；

步骤6.2：以待匹配特征向量与待结算队列中的特征向量进行匹配，逐次对应计算矢量夹角；

步骤6.3：若存在任一矢量夹角小于预设角度α，则计数；

步骤6.4：若计数值与非0向量间的比值大于预设值p，则为匹配，结算核销。

本发明提供了一种优化的基于人脸识别技术的餐饮结算方法，通过用户人脸数据初始化，由用户预先录入自己的人脸数据，随后用户可以利用碎片化时间发起点餐请求、生成订单，在此过程中，结算终端提取当前用户对应的人脸数据并与订单进行绑定，置于待结算队列中，可以用工作人员预先将菜品在结算队列中放置妥当，也可以由用户自行领取，在结算终端处，只要人脸识别设备识别到人脸，则可以对人脸进行目标检测，确认存在目标后，则与待结算队列中已绑定的任一人脸数据匹配，结算核销，最后在待结算队列中删除已取餐用户对应的已绑定的人脸数据与订单，完成单人单次的领取。

本发明将容易存在拥堵的取菜环节分配到不同的时间段，允许用户利用自己的碎片化时间进行在线点菜、提交订单，并预先录入自己的人脸数据进行后续取餐的匹配；抵达结算窗口时，领取自己的菜品并通过人脸识别进行核销即可完成整个取餐流程；相较于现有技术中的人工结算，显然存在极大的便利性，用户无需腾出双手进行取卡或输入密码等其他方式进行验证，人脸的采集显然更为快捷、便利，整个流程除去配菜的时间可以在5秒内完成，大大缩短了排队的时间。

本发明满足了餐厅用餐的高效、省时，核算迅速、流转快，对于商家的营业和客源的体验进行了双向保障。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。

本发明涉及一种基于人脸识别技术的餐饮结算方法，所述方法包括以下步骤。

步骤1：用户人脸数据初始化。

所述步骤1中，用户数据初始化包括以下步骤：

步骤1.1：用户启动智能终端，开启摄像头；

步骤1.2：针对当前用户采集若干面部图像；

步骤1.3：若当前面部图像符合采集要求，则基于当前用户的若干面部图像，获取用户面部轮廓曲线，否则重新拍摄面部图像，重复步骤1.3；

所述步骤1.3包括以下步骤：

步骤1.3.1：获取当前用户的若干面部图像；

步骤1.3.2：取若干面部图像进行预处理，将面部图像校正至正位；

所述步骤1.3.2中，取双瞳连线得到线a，取线a的中点与鼻尖连线得到线b，当线a水平且线b位于采集的面部图像的中部，则为正位。

步骤1.3.3：若存在任意两张面部图像的重合率超过阈值q且完整露出面部及双耳，则符合采集要求，进行下一步，否则重新拍摄面部图像，返回步骤1.3.1；

步骤1.3.4：获取用户面部轮廓曲线。

步骤1.4：基于所述用户面部轮廓曲线，获得针对当前用户的特征向量，以特征向量与用户信息进行绑定，存储至结算终端的数据库中；

所述用户面部轮廓曲线包括面部外轮廓、双耳轮廓、五官轮廓。

基于所述用户面部轮廓曲线，获得针对当前用户的特征向量包括以下步骤：

步骤1.4.1：基于所述用户面部轮廓曲线，采集面部外轮廓的五分点、双耳轮廓的顶点和底点、除双耳外的五官轮廓的所有拐点和/或端点；

步骤1.4.2：以正位的面部中心为坐标轴的原点；

步骤1.4.3：以预设的顺序，获得步骤1.4.1中每个采集到的点的矢量；

步骤1.4.4：获得针对当前用户的特征向量。

步骤1.5：完成当前用户的数据初始化，返回步骤1.2。

本发明中，智能终端包括所有具有人脸采集摄像头及网络通信功能的终端，如手机、平板电脑、pda等。

本发明中，步骤1.3中的采集要求包括图像清晰度达到预设值，包括眉、眼、耳、下颌的人脸被完整录入，不存在如眼镜片反光等的明显具有遮挡效果的光斑，本领域技术人员可以依据实际需求自行设置具体的采集要求。

本发明中，采集到照片后，将所有的面部图像进行处理，主要为校正到正位，但不进行扭曲或拉伸，当存在任意两张面部图像的重合率超过阈值q，一般为95%，且完整露出面部及双耳，则符合采集要求。

本发明中，事实上，必须确认图像录入时为本人录入，故还可以要求眨眼、摇头，也可以简单的推定，当所有的面部图像存在完全重合时，认为是虚假录入，要求重新拍摄。

本发明中，用户面部轮廓曲线包括但不限于，面部外轮廓、双耳轮廓、五官轮廓，本领域技术人员可以依据需求自行设置。

本发明中，对于获得的用户面部轮廓曲线进行特征点采样，一般来说，采集的点应当落入所述用户面部轮廓曲线中，如面部外轮廓的五分点、双耳轮廓的顶点和底点、五官轮廓的所有拐点及端点，其中，面部外轮廓的五分点用于限定脸型，双耳轮廓的顶点和底点除了用于确定特征外，还可以用于确定面部图像相对于步骤1.3中的正位；五官轮廓的所有拐点及端点包括任一眉毛的两端及眉峰、任一眼睛的眼角和眼尾、鼻子的顶部、底部及两翼、及嘴的两端和/或唇珠的位置。

本发明中，对于每个采集到的点与正位的面部中心间构建矢量，矢量的出发点为正位的面部中心，以预设的顺序将所有的矢量整合到一起，行成当前用户的特征向量，即后续的比对仅需比对特征向量的角度即可。

步骤2：等待，任一用户发起点餐请求，则生成订单。

本发明中，用户录完自己的头像信息后，发起点餐请求，利用碎片化的时间进行点菜，生成订单，随后只需要核算处进行取餐核算即可。

本发明中，为了满足不同客户的不同需求，可以在点餐的同时确认取餐时间，便于工作人员事先准备菜品。

步骤3：结算终端提取当前用户对应的人脸数据并与订单进行绑定，置于待结算队列中。

所述步骤3包括以下步骤：

步骤3.1：将订单与发起点餐请求的用户的用户信息进行整合，发送至结算终端；

步骤3.2：结算终端提取当前用户对应的人脸数据并与订单进行绑定，置于待结算队列中。

所述步骤3.2中，若结算终端查询到当前用户对应有人脸特征，则进行下一步，否则，提示用户进行人脸录入或执行普通结算；若用户进行人脸录入，则用户数据初始化，重复步骤3.2。

本发明中，将订单与发起点餐请求的用户的用户信息进行整合，并发送到结算终端，结算终端主要是提取人脸数据，即特征向量与订单进行绑定。

本发明中，可以提供多种结算方式，人脸结算的进程显然较快，当然也可以提供非人脸结算的路径。

步骤4：若人脸识别设备识别到人脸，则进行下一步，否则，返回步骤2。

步骤5：对于人脸识别设备识别到的人脸进行目标检测，若检测到目标，则进行下一步，否则，检测是否存在新生成的订单；若存在新生产的订单，则返回步骤3，否则返回步骤4。

所述步骤5包括以下步骤：

步骤5.1：对于人脸识别设备识别到的人脸进行目标检测；

步骤5.2：若识别到的人脸同时满足在人脸识别设备中停留时间超过阈值t、人脸在人脸识别设备中的显示面积超过阈值w、且人脸识别设备可以采集到预设的采集点信息，则认为检测到目标，进行步骤6，否则，进行步骤5.3；

步骤5.3：检测当前是否存在新生成的订单，若存在新生产的订单，则返回步骤3，否则返回步骤4。

本发明中，由于人脸识别设备前经过的用户较多，故需要进行目标检测，只有在识别到人脸、并确认为目标的情况下，才进行核算的进程，否则根据是否有新订单执行不同的路径。

本发明中，当满足识别到的人脸为目标时，此人脸应当在人脸识别设备前停留足够长的时间、且人脸应尽可能靠近设备的采集模块但又要保证采集点的完整，特别是双耳的采集点数据。

步骤6：若检测到的目标与待结算队列中已绑定的任一人脸数据匹配，则结算核销，进行下一步，否则，提示无订单；检测是否存在新生成的订单；若存在新生产的订单，则返回步骤3，否则返回步骤4。

所述步骤6中，检测到的目标与待结算队列中已绑定的任一人脸数据匹配包括以下步骤：

步骤6.1：以预设的顺序，获得检测到的目标中任意个采集点与目标中心间的矢量，将未采集点的矢量设为0向量，获得待匹配特征向量；

步骤6.2：以待匹配特征向量与待结算队列中的特征向量进行匹配，逐次对应计算矢量夹角；

步骤6.3：若存在任一矢量夹角小于预设角度α，则计数；

步骤6.4：若计数值与非0向量间的比值大于预设值p，则为匹配，结算核销。

本发明中，在核销的过程中，一般将当前用户名下的所有订单整体进行核销，避免出现不必要的差错。

本发明中，对检测到的目标执行相同的提取特征向量的工作，当存在未采集到的采集点时，将当前采集点对应的特征向量中的矢量位设为0向量，当然，0向量的个数应当满足一定的下限要求，以保证匹配的准确。

本发明中，逐次对应计算矢量夹角，当满足匹配的夹角度数时则计数，最后以计数值与非0向量间的比值来判断是否匹配，匹配则结算核销。

步骤7：在待结算队列中删除已取餐用户对应的已绑定的人脸数据与订单。

本发明中，删除已核销的订单对应的已绑定的人脸数据与订单，释放空间。

本发明通过用户人脸数据初始化，由用户预先录入自己的人脸数据，随后用户可以利用碎片化时间发起点餐请求、生成订单，在此过程中，结算终端提取当前用户对应的人脸数据并与订单进行绑定，置于待结算队列中，可以用工作人员预先将菜品在结算队列中放置妥当，也可以由用户自行领取，在结算终端处，只要人脸识别设备识别到人脸，则可以对人脸进行目标检测，确认存在目标后，则与待结算队列中已绑定的任一人脸数据匹配，结算核销，最后在待结算队列中删除已取餐用户对应的已绑定的人脸数据与订单，完成单人单次的领取。

本发明将容易存在拥堵的取菜环节分配到不同的时间段，允许用户利用自己的碎片化时间进行在线点菜、提交订单，并预先录入自己的人脸数据进行后续取餐的匹配；抵达结算窗口时，领取自己的菜品并通过人脸识别进行核销即可完成整个取餐流程；相较于现有技术中的人工结算，显然存在极大的便利性，用户无需腾出双手进行取卡或输入密码等其他方式进行验证，人脸的采集显然更为快捷、便利，整个流程除去配菜的时间可以在5秒内完成，大大缩短了排队的时间。

本发明满足了餐厅用餐的高效、省时，核算迅速、流转快，对于商家的营业和客源的体验进行了双向保障。