图像处理方法、装置、电子设备及存储介质

本申请涉及图像处理领域，具体而言，涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术：

1、随着科技的迅速发展，机器人在生活、工业和军事等场景中都发挥着非常重要的作用。为了使机器人能够像人类一样工作，需要在许多方面都进行研究。具体的，在视觉方面的研究，机器人通过视觉感知才能识别物体然后完成后续任务。

2、其中，自主机器人将要涉及操纵的物体的平移和方向估计为6自由度，即6d姿态，物体的6d姿态估计能够为机器人提供物体相对于自身在空间坐标系下的位置。随着物体的6d姿态估计技术的不断提高，该技术的精度和运行速度都在提高，但如何兼顾高精度和实时估计的问题，仍亟待解决。

技术实现思路

1、本申请实施例的目的在于一种图像处理方法、装置、电子设备及存储介质，通过实时获取包括目标对象的rgb图像和红外图像，并对图像进行融合处理和分割处理，用以解决对目标对象进行位姿估计的精度问题。

2、第一方面，本申请实施例提供了一种图像处理方法，该方法包括：获取包括目标对象的rgb图像和红外图像；对rgb图像和红外图像进行融合，得到融合图像；对融合图像进行分割，得到目标对象；对目标对象进行位姿估计，得到位姿估计结果。

3、上述图像处理方法，通过实时获取目标对象的rgb图像和红外图像，先将rgb图像和红外图像进行融合，可以解决物体遮挡的问题，再对融合后的图像进行分割，可以实现目标对象与周围背景分离，最后对目标对象进行位姿估计，可以获得高精度的位姿估计结果。

4、结合第一方面，可选地，其中，获取包括目标对象的rgb图像和红外图像，包括：对可见光摄像头和红外摄像头进行空间同步和时间同步；基于可见光摄像头获取rgb图像，以及基于红外摄像头获取红外图像。

5、上述图像处理方法，通过对可见光摄像头和红外摄像头进行空间同步和时间同步，可以同时获取目标对象的rgb图像和红外图像。其中，rgb图像具有分辨率高和场景信息丰富的优点，红外图像具有检测、识别能力强和外界环境影响较小的优点，由此可以结合rgb图像和红外图像的互补性优势，提高位姿估计结果的精度。

6、结合第一方面，可选地，其中，对rgb图像和红外图像进行融合，得到融合图像包括：基于卷积神经网络对rgb图像进行特征提取，得到第一特征图像；基于卷积神经网络对红外图像进行特征提取，得到第二特征图像；对第一特征图像和第二特征图像进行融合，得到第三特征图像；基于卷积神经网络对第三特征图像进行特征提取，得到融合图像。

7、上述图像处理方法，通过对rgb图像和红外图像进行融合，得到融合图像。其中，融合图像结合了rgb图像和红外图像的互补性优势，融合图像具有目标明亮和背景丰富的特点。另外，融合图像可以解决物体遮挡的物体。

8、结合第一方面，可选地，其中，对融合图像进行分割，得到目标对象，包括：基于卷积神经网络对融合图像进行卷积，得到多个卷积结果；对多个卷积结果进行叠加，得到目标对象。

9、上述图像处理方法，通过对融合图像进行分割，可以将目标对象与周围背景分割，可以解决融合图像中重要关注的部分被次要信息干扰的问题。

10、结合第一方面，可选地，其中，多个卷积结果包括依次得到的第一层卷积结果、第二层卷积结果、第三层卷积结果和第四层卷积结果，对多个卷积结果进行叠加，得到目标对象，包括：对第四层卷积结果和第三层卷积结果进行叠加，得到第四特征图像；对第四特征图像和第二层卷积结果进行叠加，得到第五特征图像；对第五特征图像和第一层卷积结果进行叠加，得到第六特征图像；基于卷积神经网络对第六特征图像进行全连接，得到目标对象。

11、上述图像处理方法，通过将每个层的输出结果与每个特征层的上采样结果进行堆叠，可以提高图片分辨率。

12、结合第一方面，可选地，其中，对目标像素进行位姿估计，得到位姿估计结果，包括：获得目标对象的多个特征点，并对目标对象的多个特征点进行特征点提取，得到目标对象的多个特征点的信息，特征点的信息包括位置信息、方向信息和热辐射强度信息；基于特征点的信息，得到多个特征向量；计算多个特征向量的欧式距离并排序，得到特征点匹配结果；基于pnp位姿估计算法对特征点匹配结果进行位姿估计，得到位姿估计结果。

13、上述图像处理方法，通过融合图像的热辐射强度信息，可以基于目标对象热辐射强度密集稀疏程度结合得到特征点，提高位姿估计结果的精度。

14、结合第一方面，可选地，其中，基于特征点的信息，得到多个特征向量，包括：对特征点的信息进行编码，并基于平均池化操作对编码后的特征点的信息进行映射，得到特征向量。

15、第二方面，本申请实施例还提供了一种图像处理装置，包括获取模块，用于获取包括目标对象的红绿蓝rgb图像和红外图像；融合模块，用于对rgb图像和红外图像进行融合，得到融合图像；分割模块，用于对融合图像进行分割，得到目标对象；估计模块，用于对目标对象进行位姿估计，得到位姿估计结果。

16、上述实施例，提供的图像处理装置具有与上述第一方面，或第一方面的任意一种可选地实施方式所提供的一种图像处理方法相同的有益效果，此处不作赘述。

17、第三方面，本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。

18、上述实施例，提供的电子设备具有与上述第一方面，或第一方面的任意一种可选地实施方式所提供的一种图像处理方法相同的有益效果，此处不作赘述。

19、第四方面，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上面描述的方法。

20、上述实施例，提供的计算机可读存储介质具有与上述第一方面，或第一方面的任意一种可选地实施方式所提供的一种图像处理装置相同的有益效果，此处不作赘述。

21、综上所述，本申请提供一种图像处理方法、装置、电子设备及存储介质，能够同时满足高精度估计、实时运行速度快、克服复杂环境以及无视遮挡，该图像处理方法充分利用可见光摄像头和红外摄像头的有点，在复杂环境(例如烟雾、火宅、燃爆、恶劣天气和能见度低的环境)，依然讷讷够对目标对象进行估计，同时构建轻量级的网络架构，实时精准对目标对象进行位姿估计。

技术特征：

1.一种图像处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取包括目标对象的rgb图像和红外图像，包括：

3.根据权利要求1所述的方法，其特征在于，所述对所述rgb图像和所述红外图像进行融合，得到融合图像包括：

4.根据权利要求1所述的方法，其特征在于，所述对所述融合图像进行分割，得到所述目标对象，包括：

5.根据权利要求4所述的方法，其特征在于，所述多个卷积结果包括依次得到的第一层卷积结果、第二层卷积结果、第三层卷积结果和第四层卷积结果，所述对所述多个卷积结果进行叠加，得到所述目标对象，包括：

6.根据权利要求1所述的方法，其特征在于，所述对所述目标对象进行位姿估计，得到位姿估计结果，包括：

7.根据权利要求6所述的方法，其特征在于，所述基于所述特征点的信息，得到多个特征向量，包括：

8.一种图像处理装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质包括计算机可读存储介质；所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的方法。

技术总结
本申请提供一种图像处理方法、装置、电子设备及存储介质，本申请涉及图像处理领域，解决了对目标图像进行位姿估计的实时性和精度的问题。具体方案为：获取包括目标对象的RGB图像和红外图像；对RGB图像和红外图像进行融合，得到融合图像；对融合图像进行分割，得到目标对象；对目标对象进行分割，得到位姿估计结果。本申请实施例用于对包括目标对象的RGB图像和红外图像的处理过程。

技术研发人员：蒋刚,郝兴安,高嵩,贾勇,孙玥,唐忠,易诗,姜杰,彭悦,王倩,王铖,程兴豪,陈文源,刘惠,张鏊婷
受保护的技术使用者：成都理工大学
技术研发日：
技术公布日：2024/1/13