一种基于人脸识别与数据库的服务方法与流程

本发明涉及顾客管理领域，尤其涉及一种基于人脸识别与数据库的服务方法。

背景技术：

在服务产业中，顾客的信息数据对商家而言至关重要，服务者极大的依赖这些顾客的数据来为顾客提供更好的服务，同时对店铺进行相关改造升级或转型。

当前，商家对顾客的信息数据管理还停留在人工记录与统计的阶段，这在一定程度上势必会造成资源的浪费，给管理者带来时间和成本上的损失。通过引用人脸识别技术将顾客的消费信息、消费喜好等数据和人脸信息建立联系，在识别出顾客人脸时自动导出顾客的历史消费信息进入手持终端，根据顾客的历史信息有针对性的给予服务，会给顾客带来很好的消费体验，同时也有利于管理者对顾客信息的管理。但服务产业存在人工工作量大的问题，服务员替换带来的服务质量下降经常发生，导致顾客的体验不佳，长期困扰服务产业发展。

技术实现要素：

针对现有技术中的缺陷，本发明的目的在于提供一种基于人脸识别与数据库的服务方法，能智能的记录顾客的信息数据，解决人工工作量大的问题以及服务员替换带来的服务质量下降的问题，并且对于顾客而言，还能够体验到个性化的服务，从而极大地提高顾客的消费体验。

为了达到上述目的，本发明采用技术方案如下：

本发明提供一种基于人脸识别与数据库的服务方法，采用的服务系统包括人脸采集系统、本地服务器、云端数据库和智能终端四个模块；其中，云端数据库与本地服务器相互通信，本地服务器分别与人脸采集系统和智能终端相互通信，服务方法的操作步骤如下：

1)人脸采集系统包括采集人脸信息，并将所述信息发送给本地服务器；执行本地服务器的指令；

2)本地服务器包括接收所述信息，对信息进行人脸识别算法处理，返回特征向量，并将该特征向量发送到云端数据库进行检索；响应智能终端对云端数据库的检索和更新的请求，并上传至云端服务器；响应智能终端对人脸采集系统的操作请求，并对该系统发送指令；接收从云端数据库下载的相应数据；建立临时数据库；

3)云端数据库包括根据本地服务器上传的请求，对数据库进行检索和更新操作，再将相应的数据返回给本地服务器。

作为本发明优选的技术方案，所述步骤1)中人脸采集系统采用多点多视角的采集方式：区别于传统的单点采集，人脸信息采集设备由一到多个不等，分布位置不限定，根据实际情况而定；该方式可以全方位多角度地采集人脸信息，使整个环境处于立体式的布局之下，不仅可以避免无法采集到处于视野死角的对象信息，而且还可以更加精准的提高采集的准确度。

作为本发明优选的技术方案，所述步骤2)人脸识别算法可采用多点多视角人脸识别技术、活体检测技术和立体式图像处理技术；

多点多视角人脸识别技术：对不同位置的顾客人脸信息进行多点采集，对采集到的图像进行捕捉和处理，根据特定人脸子空间算法对人脸区域进行识别和提取。

活体检测技术：在面对各种非活体攻击，包括纸片翻拍，通过打印用户的照片进行攻击；屏幕翻拍，一些3d建模技术可以驱动用户的单张照片或视频做出系统要求的摇头、张嘴、眨眼等动作；用户戴面具；该技术拦截成功率高于99％；

立体式图像处理技术：多个采集设备精准定位同一个采集对象，采集该对象的立体信息。

作为本发明优选的技术方案，所述步骤2)中智能终端包括移动通信终端与非移动通信终端；移动通信终端包括顾客手机和服务人员手持pad；非移动通信终端包括收银台结账电脑。

作为本发明优选的技术方案，所述步骤3)中云端数据库包括顾客的身份信息、人脸信息和历史消费记录；

上述身份信息包括顾客的的姓氏、会员级别、姓名、电话号码、年龄、性别、付费类移动端应用软件账号中的一项或多项内容；

上述人脸信息包括顾客的人脸特征值；

上述历史消费记录包括顾客的消费时间、消费地点、消费产品、消费金额、消费次数中的一项或多项内容；

作为本发明优选的技术方案，所述消费次数用于判定顾客是新顾客、老顾客还是会员，从而给予顾客更加优质的服务，比如可以采用给老顾客或会员一定的减免、打折、赠送菜品或礼品等优惠。

作为本发明优选的技术方案，所述消费时间、消费地点和消费产品用于获取顾客的喜好信息，从而更好地满足顾客的要求，同时可以根据情况向顾客推送和顾客喜好相关的信息，比如顾客喜欢吃的菜品、顾客喜欢坐的位置。

作为本发明优选的技术方案，服务人员根据所述顾客的姓名，对来访的顾客打招呼，使服务更加人性化。

上述云端数据库优选采用关系型数据库。

作为本发明优选的技术方案，云端数据库分别与多个本地服务器相互通信，每个本地服务器又与其本地所在的人脸采集系统和智能终端相连接，多个本地服务器可以共享云端数据库的资源，实现资源共享。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：

本发明的服务方法程序是：由人脸采集系统通过多点多视角采集人脸信息，并交由本地服务器进行处理，将处理结果上传至云端数据库进行匹配，再将匹配结果下载到智能终端上，这一流程可以完成信息检索；同样的，当顾客进行消费并成功结账后，智能终端可以自动上传用户消费信息，可以完成对数据库的更新；在顾客下次进店消费时，根据数据库中顾客已有的信息，可以对不同分类的顾客给与针对性地服务，从而极大地提升顾客的消费体验。本发明能够在数个商家服务器之间进行资源共享。本发明能在服务人员更替的情况下保持良好的服务状态。本发明解决了人工记录信息费时、费力、效率低下的问题。

附图说明

图1为顾客人脸识别流程示意图。

图2为云端数据库的建立方法示意图。

图3为本发明实施例提供的基于人脸识别与数据库服务方法的模块连接方式示意图。

图4为云端数据库和多个本地资源共享方式示意图。

图5为实施方法流程示意图。

具体实施方式

以下结合具体的实施例子对上述方案做进一步说明，本发明的优选实施例详述如下：

为方便举例说明，以下实施例均以餐饮服务进行具体说明，并非说明本发明只适用于餐饮服务行业。

实施例一：

参见图1-图5，一种基于人脸识别与数据库的服务方法，采用的服务系统包括人脸采集系统、本地服务器、云端数据库和智能终端四个模块；其中，云端数据库与本地服务器相互通信，本地服务器分别与人脸采集系统和智能终端相互通信，服务方法的操作步骤如下：

1)人脸采集系统包括采集人脸信息，并将所述信息发送给本地服务器；执行本地服务器的指令；

2)本地服务器包括接收所述信息，对信息进行人脸识别算法处理，返回特征向量，并将该特征向量发送到云端数据库进行检索；响应智能终端对云端数据库的检索和更新的请求，并上传至云端服务器；响应智能终端对人脸采集系统的操作请求，并对该系统发送指令；接收从云端数据库下载的相应数据；建立临时数据库；

3)云端数据库根据本地服务器上传的请求，对数据库进行检索和更新操作，再将相应的数据返回给本地服务器。本实施例用来阐明本发明所述方法实现流程。如图5所示。本发明能够在数个商家服务器之间进行资源共享。本发明能在服务人员更替的情况下保持良好的服务状态。本发明解决了人工记录信息费时、费力、效率低下的问题。

实施例二：

本实施例与实施例一基本相同，特别之处在于：

在本实施例中，所述步骤1)中人脸采集系统采用多点采集方式：其中，人脸信息采集设备为一到多个不等，分布位置不限定，根据实际情况而定；该方式可全方位多角度地采集人脸信息，使整个环境处于立体式的布局之下，不仅可避免无法采集到处于视野死角的对象信息，而且还可更加精准的提高采集的准确度。

所述步骤2)中本地服务器用来进行对人脸数据进行处理。所述步骤2)中智能终端包括移动通信终端与非移动通信终端；移动通信终端包括顾客手机和服务人员手持pad；非移动通信终端包括收银台结账电脑。

所述步骤3)中云端数据库包括顾客的身份信息、人脸信息和历史消费记录；所述身份信息包括顾客的的姓氏、会员级别、姓名、电话号码、年龄、性别、付费类移动端应用软件账号中的一项或多项内容；所述人脸信息包括顾客的人脸特征值；所述历史消费记录包括顾客的消费时间、消费地点、消费产品、消费金额、消费次数中的一项或多项内容。所述消费次数用于判定顾客是新顾客、老顾客还是会员，从而针对性地给予顾客更优质的服务。所述消费时间、消费地点和消费产品用于获取顾客的喜好信息，从而更好地满足顾客的要求，同时可根据数据库已有的信息准确向顾客推送相关的喜好信息。

服务人员根据所述顾客的姓名，对来访的顾客打招呼，使服务更加人性化。

所述云端数据库分别与多个本地服务器相互通信，每个本地服务器又与其本地所在的人脸采集系统和智能终端相连接，多个本地服务器可以共享云端数据库的资源，实现资源共享。

实施例三：

本实施例与前述实施例基本相同，特别之处在于：

本实施例用来阐明如何使用本发明所述方法获取顾客数据，从而给顾客提供更优质的服务。本实施例中，人脸采集系统由多点式摄像头、人脸检测算法、活体检测算法和立体式图像处理技术组成。如图3，摄像头1位于门店大门的摄像头首先会对顾客人脸进行人脸检测，当检测到人脸时，会对光临的顾客进行活体检测，如果不是活体，则说明有人蓄意攻击人脸检测系统，可以进行后台警报；如果是活体，则采集顾客的人脸信息。人脸跟踪与特征提取2：将采集到的人脸数据交由本地服务器进行信息处理，信息处理可以是包括图像进行预处理、提取图像特征向量，预处理包括多点多视角人脸识别、眼镜去除，亮度处理。本地服务器5：将该特征向量上传至云端数据库，云端数据库包含了已消费顾客的人脸信息、身份信息和消费信息，将该特征向量与云端数据库中的所有人脸信息进行匹配，如果匹配失败，说明该顾客是第一次来，并将此人脸信息存入云端数据库中，作为下一次匹配的依据；数据匹配与分类处理4：如果匹配成功，则云端数据库将该顾客的姓名、消费次数、消费记录、会员等级等信息下载至服务人员的手持智能终端上，该终端可以是手持pad等设备。服务人员可根据云端数据库所下载的信息了解该顾客，并提供更好的服务。服务人员可根据姓氏跟顾客友好的打招呼，提高服务质量，当顾客进来时，可以说某某(姓氏)先生/女士您好，使顾客感到很亲切，获得很好的服务体验；服务人员可根据消费次数来判断该顾客是新顾客、老顾客还是会员，可以拟定一个值n，若消费次数大于n则可定义为老顾客，若小于n则可定义为新顾客，这样的目的是更好地为老顾客和会员提供优质的服务；服务人员可根据消费记录得知该顾客的消费喜好，如喜爱吃的菜或者喜爱坐的位置，从而为顾客提供个性化的服务；服务人员还可根据该顾客的会员等级来进行针对性的服务，比如给与一定的减免、打折、赠送菜品等等。总而言之，服务员可根据顾客的数据为顾客提供更优质的服务。

实施例四：

本实例用来阐明本发明所述多点式采集系统的优选应用方法与优势。本实例中，多点式采集系统由多个摄像头、人脸检测算法、活体检测算法和立体式图像处理技术组成，其中，多个摄像头分布于门口和店内；门口的一至多个摄像头负责记录进口和出口的顾客，能对顾客的进出行为进行详细记录；餐饮店内摄像头的布局可以是一定区域布置一定数量的摄像头，可对顾客在店内消费时的行为进行准确的记录。当顾客离桌或者进入桌子时，摄像头根据人脸检测算法可以对顾客行为做出相应判断并记录，将顾客位置与桌号进行绑定。此外，多点采集对于顾客的信息采集速度更快，精准度更高。多点采集相较于单点采集的优势在于：

1.多点采集布控范围更大，保证店内无死角，随时记录顾客行踪；

2.多点采集可以随时确认顾客身份信息，使得容错率更高；

3.多点采集使得顾客与桌号相绑定，可以支持传统消费模式，也可以支持移动端支付模式，兼容性更强，在下述实例会对此加以详细描述。

实施例五：

由于当今餐饮服务行业有移动点餐和移动支付的方式，考虑到这一点，本实施例方法对于传统消费模式和移动端消费模式具有良好的兼容性，商家可根据自己的喜好选择所经营餐饮店采用何种方式。本实施例用来阐明本发明所述方法既支持传统消费模式，又支持移动端消费模式。本实施例中，多点式采集系统由多个摄像头、人脸检测算法、活体检测算法和立体式图像处理技术组成，布局方式可以采用实施例四的方法。

一、阐明支持传统消费模式的实施方法：传统消费模式是指由服务员提供菜单给顾客，顾客根据菜单选择消费产品，再由服务人员进行结账；在此模式中，菜单采用服务人员的手持智能终端，顾客可以在该智能终端上进行选菜，同时在多点式采集系统下，顾客与其行为可以通过桌号进行绑定，该终端将顾客的消费数据上传至云端数据库，更新该顾客的消费记录，顾客支付时，既可选择现金支付，或银行卡支付，也可以选择移动端app支付，此为正常支付方法，在此不多阐述。

二、阐明支持移动端消费模式的实施方法：移动端消费模式是指点餐和付费都用顾客携带的移动端进行支付；在此模式中，顾客不需要服务员提供任何点餐和结账的人工服务，顾客可以扫描桌子上的二维码登录带有支付功能的app进行点餐，点餐完自动结账，桌子上的二维码记录有桌号信息，以此通过多点采集系统下与顾客进行绑定，移动端app自动将顾客的消费数据上传至云端数据库，更新该顾客的消费记录，同时可获取该顾客移动端app的账号，一般带有支付功能的app账号具有唯一性，因此可以将此录入数据库作为顾客的身份信息之一。商家也可设置专门的app或者小程序，root超级管理员可以授权每个顾客通过该app或小程序访问云端数据库，每个顾客可查看和编辑自己的相关信息。

实施例六：

本实施例用来阐明本发明所述临时数据库的建立。本实例中，多点式采集系统由多个摄像头、人脸检测算法、活体检测算法和立体式图像处理技术组成，其中位于店门口的一至多个摄像头称为前端摄像头，此概念已阐述，故在下文中不再指明。前端摄像头可以记录顾客的进出记录，临时数据库中记录着当前在店内的顾客，以此作为后续顾客在店内消费的匹配依据。临时数据库的添加顾客与删除顾客是根据前端摄像头记录顾客的信息来进行操作的：当顾客入店时，临时数据库就添加该顾客数据，当顾客出店时，临时数据库删除该顾客数据。临时数据库建立在本地服务器内，与云端数据库并没有直接通信，是本地服务器用来记录与匹配顾客信息的依据。

实施例七：

本实施例用来阐明本发明所述方法包括的四个模块之间的连接关系。本实施例中，所述方法包括人脸采集系统、本地服务器、云端数据库和智能终端四个模块，如图3所示。其中，云端数据库与本地服务器直接通信，本地服务器分别与人脸采集系统和智能终端相互通信。人脸采集系统将采集到的人脸数据上传至本地服务器进行处理，本地服务器将该信息处理结果返回一个特征向量给云端数据库进行检索，再将检索的顾客数据下载至智能终端上进行显示；另外，智能终端可通过本地服务器对人脸采集系统进行控制随时核实顾客信息，智能终端还可以请求本地服务器上传顾客数据至云端数据库对顾客信息进行更新。

实施例八：

本实施例用来简要地阐明本发明所述云端数据库的建立方法。下文若未有特指，云库代指云端数据库。建立云库的方法见图2。如图2中，云端数据库采用关系型数据库。该云库中有四张表，分别是顾客信息表、消费记录表、消费产品表和支付方式表，其中，顾客信息表包括faceid、姓名、性别、支付宝账号、手机号、消费次数、会员等级字段，其中，faceid为主键，用于存放特征向量，消费次数可用来判断该顾客是新顾客、老顾客还是会员，会员等级为会员制度表的编号字段的外键，其余字段不在此阐述；消费记录表包括编号、faceid、消费产品、消费地点、消费时间、消费额度、支付方式字段，其中，编号为主键，faceid为顾客信息表中faceid字段的外键，消费产品为消费产品表中编号字段的外键，其余字段不在此阐述；消费产品表包括编号、产品字段，其中，编号为主键，产品为该服务行业所拟定；会员制度表包括编号、会员级别字段，其中，编号为主键，会员级别可根据服务要求而设定，也可以不设此表；上述建表方法只为简要阐明建立云库的方法，并不代表这是建立云库的唯一方案。

实施例九：

本实施例用来阐明本发明所述资源共享实现方法与效果。如图4所示，所述云端数据库分别与多个本地服务器相互通信，每个本地服务器又与其本地所在的人脸采集系统和智能终端相连接，多个本地服务器可共享云端数据库的资源，实现资源共享。这可使得多家连锁店之间通过云库相互通信。该方法可用于酒店、旅馆、宾馆等行业，亦可用于餐饮行业。

本发明上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。