基于人脸识别的车辆智能响应方法与流程

本发明涉及车内电子系统，特别涉及基于人脸识别的车辆智能响应方法。

背景技术：

车载信息娱乐系统(in-vehicleinfotainmentsystem，ivisystem)是一种创新的车载电脑应用，同时也是汽车厂商作为未来汽车工业发展的关键应用之一，在传统的例如接听电话、看影片、听音乐以及通过导航系统提供实时路况与路径指引等功能的基础上，给用户提供进一步智慧驾乘的体验。

在车载信息娱乐系统中，车载高清大屏成了理所当然的标配，甚至成为了汽车厂商向用户推广的一大卖点。然而在实际驾驶过程中，由于车载信息娱乐系统集成了众多功能，用户在执行一个操作时，例如需要切换正在收听的某一频率的电台时，可能该操作被设置在二级甚至三级子菜单中，用户需要花费较多时间手动去完成这项操作，很不方便。

技术实现要素：

为了解决现有技术中存在的问题，本发明提供一种基于人脸识别的车辆智能响应方法，通过人脸识别技术，判定用户的行为状态，进而根据不同场景下用户的不同状态，做出智能化的响应。

为了解决上述问题，本发明提供一种基于人脸识别的车辆智能响应方法，包括：

检测并获取用户当前的人脸图像数据；

根据人脸图像数据获取用户所对应的用户状态，用户状态包括用户表情状态及用户行为状态；

根据人脸图像数据及用户状态，执行响应操作，响应操作包括切换播放内容或切换显示内容中的任意一种或其组合。

与现有技术相比，上述方案具有以下有益的技术效果：

通过人脸识别技术，记录用户的行为数据，并根据车载摄像设备采集的人脸图像判定用户的不同状态，并根据预设的规则对上述状态做出智能化的响应，进而避免了用户手动操作复杂的车载信息娱乐系统界面，在提升操作便捷性及用车安全性的基础上，进一步提高了用户的用车体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍。本发明的其他细节及优点将通过下文提供的详细描述而变得显而易见。对于本领域技术人员来讲，在不付出创造性劳动的基础上，还可以根据本发明描述的实施例附图获得其他的附图。

图1是本发明基于人脸识别的车辆智能响应方法的一种实现示意图；

图2是本发明基于人脸识别的车辆智能响应方法的一种响应操作实现示意图；

图3是本发明基于人脸识别的车辆智能响应方法的一种后台数据库示意图。

具体实施方式

在下面的描述中，阐述了许多具体细节以便使所属技术领域的技术人员更全面地了解本发明。但是，对于所属技术领域内的技术人员明显的是，本发明的实现可不具有这些具体细节中的一些。此外，应当理解的是，本发明并不限于所介绍的特定实施例。相反，可以考虑用下面的特征和要素的任意组合来实施本发明，而无论它们是否涉及不同的实施例。因此，下面的方面、特征、实施例和优点仅作说明之用而不应被看作是权利要求的要素或限定，除非在权利要求中明确提出。

根据本发明的一种实施方式，其包括：

检测并获取用户当前的人脸图像数据；

根据人脸图像数据获取用户所对应的用户状态，用户状态包括用户表情状态及用户行为状态；

根据人脸图像数据及用户状态，执行响应操作，响应操作包括切换播放内容或切换显示内容中的任意一种或其组合。

以下结合附图对本发明的基于人脸识别的车辆智能响应方法进一步举例说明。参照图1所示：

步骤s1：检测并获取用户当前的人脸图像数据。

为了采集用户图像的便利性，摄像设备通常安装于乘客的前方，摄像设备包括单独的摄像机，也可以是集成在某个设备内，例如车载信息娱乐系统对应的车载高清大屏内。摄像设备用于用户的面部信息的采集和捕捉。为了获得更加优质的人脸图像采集效果，例如五官的大小、形状及位置、面部运动情况、面部颜色等，优选地，采用高清视频摄像设备。

具体而言，人脸识别为现有技术中已知，其计算机通过特定的数学模型及核心算法程序提取摄像设备所采集的人脸图像中所包含的内容信息，以实现对人脸图像数据的理解，再通过规则的比对和判断，识别出人脸图像数据的特性，进而继续通过对个体行为进行分析，判断是否符合既定的规则，即所对应的情绪类型。

步骤s2：根据人脸图像数据获取用户所对应的用户状态。

具体而言，通过摄像设备采集人脸图像，并对其表情进行识别分析的方法属于人脸识别技术中广泛采用的区域特征分析算法，它融合了计算机人脸识别图像处理技术与生物统计学原理于一体，利用计算机图像处理技术从视频中提取人像特征点(具体地说，可以是与表情有关并且可以量化的脸部图像信息，例如五官的大小、形状及位置、面部运动情况、面部颜色等)，利用生物统计学的原理进行分析建立数学模型，即人脸特征模板。后台数据库中预先保存有常见的表情的人脸特征模板，也就是基准图像的基准点数据，因而，将摄像设备采集的人脸图像数据与后台数据库中保存的人脸特征模板进行比对，从而匹配到相似度最高的人脸特征模板，从而获得例如满意、不满意、闭眼、悲伤等的用户表情状态。另一方面，与上述方法类似，通过将用户的行为特征进行比对，例如在用户表情状态判断的基础上，结合用户在一定时间内的动作幅度变化，可以获得例如用户休息或醒来的用户行为状态。匹配的精确度随着用户的使用日益增多，后台数据库的日益修正而变得更加精确。

具体而言，用户状态包括用户表情状态及用户行为状态。用户表情状态包括满意或不满意中的任意一种。用户行为状态包括休息或醒来中的任意一种。

步骤s3：根据人脸图像数据及用户状态，执行响应操作。

具体而言，响应操作可以包括切换播放内容或切换显示内容中的任意一种或其组合。播放内容包括但不限于音乐、影片、广播、戏剧等。切换播放内容不局限于变换播放的曲目，也包括暂停播放当前正在播放的曲目。切换显示内容，包括在仪表上以文字或图片的形式向用户进行内容显示，也可以包括关闭仪表上的显示屏。

具体而言，结合图2及图3所示，车内摄像设备实时采集的图像数据以获取人脸图像数据，该人脸图像数据包括可用于人脸识别的面部基本特征以及人脸表情及行为状态数据。此外，后台数据库包括用户状态数据库，以及用于执行响应操作的用户数据以及响应操作数据库，其中，用户状态数据库及响应操作数据库为预设的按照一定规则设置的数据库，例如用户状态数据库根据预先制定的规则保存有各种人脸表情状态信息及行为状态信息，用户数据则根据不同用户而建立不同的用户数据，并根据用户的不同而有所不同，其保存用户在不同用户状态下偏好的响应操作。后台数据库可以预先设置在车内，也可以保存在云端服务器。保存在车内的后台数据库多用于私家车使用的业务场景，以家庭成员为主，而采用将后台数据库保存在云端服务器的方式，其优点在于可以对后台数据库的内容进行实时更新，进而更加精确且及时的对用户进行判断，另一方面，采用云端服务器的方式，也可以不局限于一个固定的车辆，由于后台数据库的数据保存在云端，因而只要在其他车辆登录用户的账号就可以从云端服务器获取后台数据库的数据以实现在其他车辆对用户进行基于人脸识别的智能化响应。获取人脸图像数据后，紧接着，将识别后的人脸图像数据首先与后台数据库中保存的用户进行匹配比对，判断是否是已知的用户，若是已知的用户，则可以根据之前后台数据库中保存的该用户的包括用户状态及响应操作的用户数据，调取用户在不同用户状态下的响应操作并执行该响应操作，从而更加智能化以及人性化的响应特定用户在不同用户状态下的不同感受，例如对于音乐的喜好选择等。也就是说，例如该用户在不满意的时候，将音乐切换为用户在满意的情况下播放的音乐，由于该用户在满意时候偏好的音乐有多种，可以通过对保存的用户数据进行智能化修正，可以更加精确的判定在不同用户状态下具体什么类型或者具体到某一首歌适合该用户在该用户状态下的心情。完成上述操作后，在用户数据中将用户在不同用户状态下的响应操作进行记录、保存和修正。另一方面，如果后台服务器将识别后的人脸图像与后台数据库中的保存的用户数据进行比对后，未发现有此用户，则判定该用户为新用户，为了在日后更好的适应该用户在不同用户状态下的喜好，为此用户新建用户数据，并根据用户响应操作数据库按照预定的规则执行响应操作，并在用户数据中将用户在不同用户状态下的响应操作进行记录、保存和修正。

具体而言，在检测到用户状态为满意时，则保存并记录当前的正在执行的响应操作数据于用户数据中，例如播放的音乐曲目等，而不做任何的切换播放内容或切换显示内容的操作。

具体而言，在检测到用户状态为不满意时，切换音乐。如果用户是已知的，也就是说，后台数据库中有用户相关的数据信息的话，在用户数据中查找该用户在该用户状态下对应的响应操作，例如可以将音乐切换为用户喜欢的音乐，或者根据用户喜欢的音乐，播放类似的音乐。如果用户的数据是刚刚建立的，也就是说是一个新的用户，则根据用户的播放历史进行音乐播放，或者在后台数据库中查找预设的一般用户在该用户状态下对应的响应操作，并根据预设的播放列表或播放顺序进行音乐切换。

具体而言，在检测到用户状态为休息时，暂停播放内容并关闭显示内容。在这种情况下，无论是新建立的用户，或者是后台数据库中已有的用户，如果不希望在休息的时候被打扰，则需要将播放内容暂停，同时关闭显示屏上的显示内容，并随机熄灭显示屏，达到节能的目的。当然，如果用户偏好在休息时候听音乐，例如舒缓的音乐有助于睡眠，也可以将该响应操作保存在该用户的用户数据中。

具体而言，在检测到用户状态为醒来时，显示当前温度、湿度、地理位置或时间中的一者或多者。当用户醒来时，如果用户是已知的，也就是说，后台数据库中有用户相关的数据信息的话，可以根据之前保存的用户数据进行智能化的显示用户想要显示的信息，包括以上信息中的一者或多者。如果用户的数据是刚刚建立的，也就是说是一个新的用户，可以根据预设的设置，在显示屏上显示相应的内容，例如当前地理位置信息及时间等，本发明在此不做限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本领域技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序指令由相关的硬件来完成，该程序可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，即rom)、随机存取存储器(randomaccessmemory，即ram)、磁碟或者光盘等各种可以存储程序代码的介质。

虽然本发明已以较佳实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内所作的各种更动与修改，均应纳入本发明的保护范围内，因此本发明的保护范围应当以权利要求所限定的范围为准。