图像处理方法及装置、电子设备及存储介质与流程

本公开涉及信息，尤其涉及一种图像处理方法及装置、电子设备及存储介质。

背景技术：

1、彩色摄像头和深度摄像头同时应用的场景越来越广泛。比如常见的rgb-d摄像头、自动驾驶领域的视觉导航等等。

2、但是彩色摄像头采集的彩色图像和深度摄像头采集的深度图像，用于同一个种功能， 就涉及图像所包含对象的特征点配准问题。

3、在相关技术中特征点配准具有精度低、效率低或者开销大的问题。

技术实现思路

1、本公开实施例提供一种图像处理方法及装置、电子设备及存储介质。

2、本公开实施例第一方面提供一种图像处理方法，所述方法包括：

3、根据拍摄场景，对同一个目标采集的第一彩色图像和第一深度图像进行视差校正，得 到视差校正后的图像；

4、对视差校正后的第一彩色图像进行所述目标的特征提取，得到第一特征集，其中，所 述第一特征集包括至少一个彩色图像的特征点；

5、对视差校正后的第一深度图像进行所述目标的特征提取，得到第二特征集，其中，所 述第二特征集包括至少一个深度图像的特征点；

6、根据所述第一特征集和所述第二特征集，执行预设操作。

7、基于上述方案，所述根据拍摄场景，对同一个目标的第一彩色图像和第一深度图像进 行视差校正得到视差校正后的图像，包括：

8、根据拍摄场景，确定待校正图像相对于参考图像的第一视差值；其中，若所述参考图 像为所述第一彩色图像，则所述待校正图像为所述第一深度图像；或者，若所述参考图像 为所述第一深度图像，则所述待校正图像为所述第一彩色图像；

9、根据所述第一视差值校正所述待校正图像，得到校正后的图像。

10、基于上述方案，所述根据拍摄场景，确定待校正图像相对于参考图像的第一视差值， 包括：

11、根据所述拍摄场景，查询所述待校正图像相对于所述参考图像的视差范围，其中，所 述视差范围包括：所述待校正图像相对于所述参考图像采集视差的最大值和最小值。

12、基于上述方案，所述根据所述第一视差值校正所述待校正图像，得到校正后的图像， 包括：

13、确定所述目标在所述参考图像上的第一感兴趣范围roi；根据所述视差范围，在所述 待校正图像确定第二roi并确定所述第二roi内像素值的均值；

14、根据所述第一彩色图像的图像传感器和所述第一深度图像的图像传感器之间的间距；

15、根据所述均值和所述距离，得到第二视差值；

16、根据所述第二视差值，在所述第二roi内确定第三roi；

17、根据所述第三roi得到校正后的图像。

18、基于上述方案，所述对视差校正后的第一彩色图像进行所述目标的特征提取，得到第 一特征集，包括：

19、按照特征检测算子对视差校正后的图像进行特征提取，得到第一特征集；

20、和/或，

21、所述对视差校正后的第一深度图像进行所述目标的特征提取，得到第二特征集，包括：

22、将所述视差校正后的第一深度图像输入到深度学习模型，得到所述深度学模型输出的 所述第二特征集。

23、基于上述方案，所述深度学习模型是按照预设模型输出的特征点与特征检测算子提取 的特征点之间的坐标差训练的。

24、基于上述方案，所述深度学习模型是按照如下函数训练的：

25、

26、其中，所述为损失值；

27、所述为所述深度学习模型提取出的特征点i的x坐标；

28、所述为基于所述特征检测算子提取出的特征点i的x坐标；

29、所述为所述深度学习模型提取出的特征点i的y坐标；

30、所述为基于所述特征检测算子提取出的特征点i的y坐标；

31、所述n为所述第一特征集和所述第二特征集包含的特性点总个数。

32、基于上述方案，所述方法还包括：

33、确定所述第一彩色图像和所述第一深度图像的拍摄参数，其中，所述拍照参数包括： 拍摄距离和/或拍摄光照状况；

34、根据所述拍摄参数，确定所述拍摄场景。

35、本公开实施例第二方面提供一种图像处理装置，所述装置包括：

36、校正模块，用于根据拍摄场景，对同一个目标采集的第一彩色图像和第一深度图像进 行视差校正得到视差校正后的图像；

37、第一提取模块，用于对视差校正后的第一彩色图像进行所述目标的特征提取，得到第 一特征集，其中，所述第一特征集包括至少一个彩色图像的特征点；

38、第二提取模块，用于对视差校正后的第一深度图像进行所述目标的特征提取，得到第 二特征集，其中，所述第二特征集包括至少一个深度图像的特征点；

39、执行模块，用于根据所述第一特征集和所述第二特征集，执行预设操作。

40、基于上述方案，所述校正模块，包括：

41、确定单元，用于根据拍摄场景，确定待校正图像相对于参考图像的第一视差值；其中，若所述参考图像为所述第一彩色图像，则所述待校正图像为所述第一深度图像；或者，若所述参考图像为所述第一深度图像，则所述待校正图像为所述第一彩色图像；

42、校正单元，用于根据所述第一视差值校正所述待校正图像，得到校正后的图像；

43、基于上述方案，所述校正单元，用于根据所述拍摄场景，查询所述待校正图像相对于 所述参考图像的视差范围，其中，所述视差范围包括：所述待校正图像相对于所述参考图 像采集视差的最大值和最小值。

44、基于上述方案，所述校正单元，用于确定所述目标在所述参考图像上的第一感兴趣范 围roi；根据所述视差范围，在所述待校正图像确定第二roi并确定所述第二roi内像素值的均值；根据所述第一彩色图像的图像传感器和所述第一深度图像的图像传感器之间的间距；根据所述均值和所述距离，得到第二视差值；根据所述第二视差值，在所述第二roi内确定第三roi；

45、根据所述第三roi得到校正后的图像。

46、基于上述方案，所述第一提取模块，用于按照特征检测算子对视差校正后的图像进行 特征提取，得到第一特征集；

47、和/或，

48、所述第二提取模块，用于将所述视差校正后的第一深度图像输入到深度学习模型，得 到所述深度学模型输出的所述第二特征集。

49、基于上述方案，所述深度学习模型是按照预设模型输出的特征点与特征检测算子提取 的特征点之间的坐标差训练的。

50、基于上述方案，所述深度学习模型是按照如下函数训练的：

51、

52、其中，所述为损失值；

53、所述为所述深度学习模型提取出的特征点i的x坐标；

54、所述为基于所述特征检测算子提取出的特征点i的x坐标；

55、所述为所述深度学习模型提取出的特征点i的y坐标；

56、所述为基于所述特征检测算子提取出的特征点i的y坐标；

57、所述n为所述第一特征集和所述第二特征集包含的特性点总个数。

58、基于上述方案，所述装置还包括：

59、第一确定模块，用于确定所述第一彩色图像和所述第一深度图像的拍摄参数，其中， 所述拍照参数包括：拍摄距离和/或拍摄光照状况；

60、第二确定模块，用于根据所述拍摄参数，确定所述拍摄场景。

61、本公开实施例第三方面提供一种电子设备，包括：

62、用于存储处理器可执行指令的存储器；

63、处理器，与所述存储器连接；

64、其中，所述处理器被配置为执行如前述第一方面任意技术方案提供的图像处理方法。

65、本公开实施例第四方面提供一种非临时性计算机可读存储介质，当所述存储介质中的 指令由计算机的处理器执行时，使得计算机能够执行前述第一方面任意技术方案提供的图 像处理方法。

66、本公开的实施例提供的技术方案可以包括以下有益效果：

67、该图像处理方法，会根据拍摄场景针对同一个目标采集的第一彩色图像和第一深度图 像，先进行视差校正，通过视差校正得到相对于目标具有相同采集视角的视差校正后的彩 色图像和深度图像，如此，就对图像进行特征点检测之前，实现了彩色图像和深度图像中 目标的精确匹配，后续从彩色图像和深度图像中分别提取的特征点自然是配准的，从而提 升了目标的特征点的检测效率、降低了目标的特征点配准的开销和/或提升了目标的特征 点的配置精度。