一种智慧展厅的交互控制方法和系统与流程

本发明涉及人工智能领域，且更为具体地，涉及一种智慧展厅的交互控制方法和系统。

背景技术：

1、随着科技的飞速发展，在信息时代的背景下互联网技术的飞速发展，作为传统文化载体的实体展厅受到了冲击，智慧展厅的概念逐渐深入人心。智慧展厅的优势在于其展示屏幕可以实现与用户之间的交互控制，以生动、互动的形式展示展厅内容，带来不同的互动效果。

2、现有技术中的智慧展厅交互控制方案的缺陷在于，当同时有多个用户位于展厅屏幕前方时，难以识别出多个用户中的哪个用户为正确的交互控制对象，容易产生交互控制混乱、屏幕展示内容错误的情况。因此，需要一种新的应用于智慧展厅交互控制的技术方案，能够准确地识别出需要与智慧展厅进行交互控制的用户，从而通过屏幕展示正确的交互内容。

技术实现思路

1、为了解决上述技术问题，提出了本技术，以提供一种能够准确地识别出需要与智慧展厅进行交互控制的用户，从而通过屏幕展示正确的交互内容的智慧展厅的交互控制方法和系统。

2、第一方面，本发明提供了一种智慧展厅的交互控制方法，包括：在多个用户位于展厅中的屏幕前方时，通过安装在所述展厅上方的第一摄像头，按照从上向下的方向拍摄第一图像，所述第一图像的拍摄内容中包含所述多个用户；从所述第一图像中识别出所述多个用户，检测所述多个用户的眼睛注视的方向，根据所述多个用户的眼睛注视的方向在所述第一图像中绘制所述多个用户的视线；将所述第一图像划分为多个区域；统计所述多个区域中的每个区域中经过的视线的数量，从所述多个区域中选择经过视线数量最多的区域作为目标区域，将位于所述目标区域内的用户作为目标用户；通过安装在所述展厅中的所述屏幕处的第二摄像头，按照从所述屏幕的后方至前方的方向拍摄第二图像，所述第二图像的拍摄内容中包含所述多个用户；从所述第二图像中识别出所述多个用户，以及从所述多个用户中识别出所述目标用户；通过所述第二摄像头采集所述目标用户的行为；基于所述目标用户的行为分析所述目标用户的交互控制指令，基于所述目标用户的交互控制指令，控制所述屏幕显示对应的内容。

3、可选地，前述的智慧展厅的交互控制方法，“通过安装在所述展厅上方的第一摄像头，按从上向下的方向拍摄第一图像”还包括：获取所述第一摄像头拍摄的历史图像；识别所述历史图像中的每个像素的亮度，并计算所述历史图像中的所有像素的亮度的第一平均值；识别所述第一图像中的每个像素的亮度，并计算所述第一图像中的所有像素的亮度的第二平均值；对所述第一图像中的每个像素的亮度进行修正，其中，所述第一图像中第i个像素的亮度，为所述第一图像中第i个像素修正后的亮度，为所述第一图像中第i个像素未修正的亮度。

4、可选地，前述的智慧展厅的交互控制方法，“获取所述第一摄像头拍摄的历史图像”包括：在所述第一摄像头拍摄的所述历史图像为多张时，为多张历史图像中的每张历史图像设置标签，用于表示所述多张历史图像中的拍摄内容；通过预设的图像识别模型对所述多张历史图像的拍摄内容进行识别；从所述多张历史图像中，删除所述图像识别模型识别的拍摄内容与携带标签表示的拍摄内容不一致的历史图像。

5、可选地，前述的智慧展厅的交互控制方法，“对所述第一图像中的每个像素的亮度进行修正”还包括：将所述第一图像输入经过训练的神经网络，通过所述神经网络对所述第一图像的像素的亮度值进行修正，其中，所述神经网络基于预设的样本图像进行训练，所述神经网络训练时的损失函数为：

6、，

7、其中，为预设的权重系数，表示修正前的所述样本图像分解后得到的反射图的梯度，表示修正前的所述样本图像分解后得到的光照图的梯度，表示修正后的所述样本图像分解后得到的反射图的梯度，表示修正后的所述样本图像分解后得到的光照图的梯度。

8、可选地，前述的智慧展厅的交互控制方法，“将所述第一图像划分为多个区域”包括：检测所述第一图像中所述多个用户中每个用户占用的尺寸；根据所述多个用户占用尺寸中的最大尺寸，设置对所述第一图像进行划分的基准尺寸；按照所述基准尺寸将所述第一图像划分为多个区域。

9、可选地，前述的智慧展厅的交互控制方法，在“从所述多个区域中选择经过视线数量最多的区域作为目标区域”之前，还包括：判断所述经过视线数量最多的区域中的视线数量是否超过预设值；在所述经过视线数量最多的区域中的视线数量未超过所述预设值时，对所述基准尺寸进行增加，返回“将所述第一图像划分为多个区域”；在所述经过视线数量最多的区域中的视线数量超过所述预设值时，进入“从所述多个区域中选择经过视线数量最多的区域作为目标区域”。

10、可选地，前述的智慧展厅的交互控制方法，在“从所述多个区域中选择经过视线数量最多的区域作为目标区域”之前，还包括：在所述经过视线数量最多的区域为多个时，识别多个所述经过视线数量最多的区域中的用户的身份；判断识别出的用户的身份是否位于预设的身份记录中；将其身份是否位于预设的身份记录中的用户所在的区域，作为所述目标区域。

11、可选地，前述的智慧展厅的交互控制方法，“检测所述多个用户的眼睛注视的方向”包括：检测所述第一图像中所述多个用户的头部朝向的方向；根据所述多个用户的头部朝向的方向，确定所述多个用户的眼睛注视的方向。

12、第一方面，本发明提供了一种智慧展厅的交互控制系统，包括：第一拍摄模块，在多个用户位于展厅中的屏幕前方时，通过安装在所述展厅上方的第一摄像头，按照从上向下的方向拍摄第一图像，所述第一图像的拍摄内容中包含所述多个用户；视线绘制模块，从所述第一图像中识别出所述多个用户，检测所述多个用户的眼睛注视的方向，根据所述多个用户的眼睛注视的方向在所述第一图像中绘制所述多个用户的视线；区域划分模块，将所述第一图像划分为多个区域；用户选择模块，统计所述多个区域中的每个区域中经过的视线的数量，从所述多个区域中选择经过视线数量最多的区域作为目标区域，将位于所述目标区域内的用户作为目标用户；第二拍摄模块，通过安装在所述展厅中的所述屏幕处的第二摄像头，按照从所述屏幕的后方至前方的方向拍摄第二图像，所述第二图像的拍摄内容中包含所述多个用户；用户识别模块，从所述第二图像中识别出所述多个用户，以及从所述多个用户中识别出所述目标用户；行为采集模块，通过所述第二摄像头采集所述目标用户的行为；交互控制模块，基于所述目标用户的行为分析所述目标用户的交互控制指令，基于所述目标用户的交互控制指令，控制所述屏幕显示对应的内容。

13、本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

14、本发明的技术方案，相比于现有的技术方案，创新性地使用了两个摄像头来从多个用户中识别出需要与智慧展厅进行交互控制的用户，首先使用第一摄像头从上向下拍摄得到第一图像，从第一图像中识别出多个用户的视线，进而检测出视线经过最多的区域，本领域技术人员容易理解，当某一区域经过的视线最多时，说明多数用户的眼睛注视该区域，也即关注着该区域内的用户，而最受关注的用户往往是当前需要通过交互行为控制展厅屏幕向其他用户展示的目标用户，此时再通过第二摄像头按照从屏幕后方向前方的方向拍摄第二图像，从第二图像中的多个用户识别出目标用户，并基于目标用户的交互行为实施交互控制，从而通过屏幕展示正确的交互内容。