车辆中基于手势识别的图像处理方法、装置、存储介质与流程

本技术涉及车辆技术中的智能驾驶领域和人工智能，尤其涉及一种车辆中基于手势识别的图像处理方法、装置、存储介质。

背景技术：

1、在日常生活中看到想要拍摄的人或物时，使用手机拍摄图像进行分享。但是对于正在行驶的汽车上的用户，通过手机进行拍摄很容易错过合适的拍摄时机。

2、目前，车辆中大都集成了内部和外部拍摄系统，为用户提供了实时拍摄的硬件条件。用户可以通过按键或者指令触发拍摄系统进行拍摄，获取拍摄的车外的图像，用户基于拍摄的图像进行交流。但是，这种图像是车辆外部全范围、全场景的图像，基于全景的图像进行交流时，用户无法及时获取与其他乘员所要交流的对象。

3、综上所述，在车辆行驶中，如何及时获取车辆外部的对象是亟待解决的问题。

技术实现思路

1、本技术提供一种车辆中基于手势识别的图像处理方法、装置、存储介质，用以解决在车辆行驶中，无法及时获取车辆外部图像的问题。

2、第一方面，本技术提供一种车辆中基于手势识别的图像处理方法，所述方法包括：

3、检测到用户满足预设的条件时，获取所述用户在预设时间段内手势的轨迹信息；

4、确定所述轨迹信息形成的车外的目标区域，所述目标区域以所述用户的眼部位置为观察点；

5、根据车辆外部的图像，确定所述目标区域对应的目标图像；

6、显示所述目标图像。

7、可选的，所述预设的条件包括：所述用户的手部轮廓的形状符合预设形状和/或所述用户的声纹符合预设的声纹。

8、可选的，所述确定所述轨迹信息形成的车外的目标区域，包括：

9、判断所述轨迹信息是否形成封闭图形；

10、若所述轨迹信息形成封闭图形，则按照第一预设规则确定所述封闭图形对应的所述目标区域；

11、若所述轨迹信息没有形成封闭图形，则根据所述轨迹信息和第二预设规则生成封闭图形，并按照所述第一预设规则确定所述封闭图形对应的所述目标区域。

12、可选的，所述根据车辆外部的图像，确定所述目标区域对应的目标图像，包括：

13、根据车辆外部的图像和构建的车辆内外的三维场景数据确定所述目标区域的目标图像。

14、可选的，所述根据车辆外部的图像和构建的车辆内外的三维场景数据确定所述目标区域的目标图像，包括：

15、获取车辆内的所述用户的手势的轨迹信息以及所述用户的眼部的第一位置，所述第一位置用于表示所述眼部在车辆中的三维坐标；

16、根据车辆实时获取的数据构建车辆内外的3d点云数据，所述3d点云数据提供车辆周围环境和车辆内部的三维场景信息；

17、根据所述3d点云数据以及所述车辆外的摄像头拍摄的图像，确定所述用户的手势指向的所述目标区域的所述目标图像。

18、可选的，所述根据车辆实时获取的数据构建车辆内外的3d点云数据，包括：

19、根据所述车辆内摄像头实时拍摄的图像和所述车辆外摄像头实时拍摄的图像进行视差计算，分别获取所述车辆内摄像头所在视角的图像的第一深度信息和所述车辆外摄像头所在视角的图像的第二深度信息；

20、根据所述第一深度信息将所述车辆内摄像头拍摄的图像转换为第一点云数据，并根据所述第二深度信息将所述车辆外摄像头拍摄的图像转换为第二点云数据；

21、分别将所述第一点云数据和所述第二点云数据配准到同一坐标系中，得到车辆内外的所述3d点云数据。

22、可选的，所述根据车辆实时获取的数据构建车辆内外的3d点云数据，包括：

23、检测到用户满足预设的条件时，根据所述手势在空间中开始绘制图形时刻的车辆内摄像头和车辆外摄像头拍摄的图像构建车辆内外的3d点云数据；

24、或者，

25、检测到用户满足预设的条件时，根据所述手势在空间中结束绘制图形时刻的车辆内摄像头和车辆外摄像头拍摄的图像构建车辆内外的3d点云数据。

26、可选的，所述根据所述3d点云数据以及所述车辆外的摄像头拍摄的图像，确定所述用户的手势指向的所述目标区域的所述目标图像，包括：

27、从所述第一位置到绘制的图形的边界构建可延伸的视锥体，所述可延伸的视锥体表示从视点开始可见的所述3d点云数据范围；

28、从所述3d点云数据中获取所述可延伸的视锥体范围内的目标3d点云数据；

29、根据所述3d目标点云数据获取所述目标图像。

30、可选的，所述根据所述3d目标点云数据获取所述目标图像，包括：

31、将所述目标3d点云数据投影到所述图形的平面上，生成投影后的二维图像；

32、根据所述投影后的二维图像和所述3d点云数据中每个点的颜色数据渲染得到所述目标图像；

33、或者，

34、根据所述3d目标点云数据使用特征描述符从车辆外部摄像头拍摄的图像中获取所述目标图像。

35、可选的，在所述车辆的显示屏中显示所述目标图像，包括：

36、对所述目标区域的图像中的物体进行标注，得到目标图像。

37、可选的，所述对所述目标区域的图像中的物体进行标注，得到目标图像，包括：

38、通过图像识别模型识别所述目标区域的图像中的物体信息，所述图像识别模型预先经过多个标注的图像数据训练得到的深度学习模型；

39、将所述物体信息在目标区域的图像中对应的区域进行标注，得到所述目标图像；

40、或者，

41、通过目标检测算法从所述目标区域的图像中识别出图像中存在的至少一个目标物体；

42、在目标区域的图像中通过绘制工具标识出所述至少一个目标物体，得到所述目标图像。

43、可选的，所述对所述目标区域的图像中的物体进行标注，得到目标图像，包括：

44、获取所述第一位置视角下所述用户的手势的轨迹信息在空间中形成的视角图形；

45、将所述视角图形与预设图形进行比较，得到比较结果；

46、若比较结果一致时，在所述目标区域的图像中标注物体信息，得到目标图像；

47、若比较结果不一致时，在所述目标区域的图像中标识出所述至少一个目标物体，得到目标图像。

48、第二方面，本技术还提供一种车辆中基于手势识别的图像处理装置，所述装置包括：

49、获取模块，用于检测到用户满足预设的条件时，获取所述用户在预设时间段内手势的轨迹信息；

50、第一确定模块，用于确定所述轨迹信息形成的车外的目标区域，所述目标区域以所述用户的眼部位置为观察点；

51、第二确定模块，用于根据车辆外部的图像和车辆内部的图像，确定所述目标区域对应的目标图像；

52、显示模块，用于显示所述目标图像。

53、第三方面，本技术还提供一种车辆，所述车辆包括：

54、车辆主体，传感器，摄像头，处理器以及与其他设备交互的通信接口，所述处理器用于执行如第一方面任一项所述的车辆中基于手势识别的图像处理方法。

55、第四方面，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面任一项所述的车辆中基于手势识别的图像处理方法。

56、第五方面，本技术还提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行如第一方面任一项所述的车辆中基于手势识别的图像处理方法。

57、本技术提供的车辆中基于手势识别的图像处理方法、装置、存储介质，该方法包括：在检测到用户满足预设的条件时，获取所述用户在预设时间段内手势的轨迹信息；确定所述轨迹信息形成的车外的目标区域，所述目标区域以所述用户的眼部位置为观察点；根据车辆外部的图像和车辆内部的图像，确定所述目标区域对应的目标图像；显示所述目标图像。通过本方法用户只需要对着车外物体画图形就可以获取所需要的图形中的图像，操作便捷，提高了用户的驾驶体验。