使用双相机的眩光去除的制作方法

背景技术：

1、当相机被用于捕获视频或者拍摄照片时，任何主动光源的存在或者来自场景中的物体的高强度镜面反射的存在都会导致过度曝光区域，被称为眩光(glare)，这导致(一幅或多幅)图像中的像素的失真以及细节的丢失。解决该问题的一种方案涉及从两个或更多个不同的视角拍摄场景的图像，并且利用由给定光源或镜面反射引起的眩光将发生在图像中的不同位置处的事实，对图像进行后处理以创建从其中去除眩光的合成图像。可以利用多个相机同时拍摄不同的图像。替代地，如果要拍摄静止场景或物体的图像，则可以利用相同的相机移动到相对于场景的不同位置和/或取向来顺序地拍摄图像。在这种方案的变体中，在一些应用环境中，也能够利用相同的相机视角拍摄多幅图像，但是场景在来自不同角度的照明下。依赖于顺序拍摄的图像的解决方案通常不适用于从移动物体的视频中去除眩光。即使使用多个相机从多个角度同时地对场景进行成像，后续的图像处理在计算量上也是昂贵大，这严重限制了其在实时眩光去除应用中的可行性。

技术实现思路

技术特征：

1.一种用于生成无眩光图像的方法，所述方法包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求1所述的方法，其中，基于所述yuv图像的所述辉度分量识别所述眩光区域包括：生成二进制位图，所述二进制位图指示所述yuv图像中的每个像素是否是眩光像素。

4.根据权利要求3所述的方法，其中，所述位图是利用卷积神经网络(cnn)模型生成的。

5.根据权利要求3所述的方法，其中，识别所述ir图像中的所述对应区域包括：将所述ir图像与所述二进制位图相乘以创建第一中间图像。

6.根据权利要求5所述的方法，其中，利用所述ir图像中的所述对应区域的像素值替换所述yuv图像的所述辉度分量中的所述眩光区域中的像素值包括：将所述yuv图像的所述辉度分量乘以所述二进制位图的补码以创建第二中间图像，并且将所述第一中间图像与所述第二中间图像相加以创建所述无眩光图像。

7.根据权利要求1所述的方法，其中，所述rgb图像是利用rgb相机捕获的第一视频流的帧，并且所述ir图像是利用ir相机捕获的第二视频流的同步帧。

8.根据权利要求7所述的方法，还包括：实时地根据所述第一视频流和所述第二视频流的额外同步帧来生成无眩光图像。

9.根据权利要求1所述的方法，还包括在显示设备上显示所述无眩光图像。

10.一种用于生成无眩光图像的系统，包括：

11.根据权利要求10所述的系统，还包括：

12.根据权利要求10所述的系统，其中，所述一个或多个硬件处理器包括一个或多个通用处理器，所述一个或多个通用处理器由被存储在存储器中的指令配置为执行所述操作。

13.根据权利要求12所述的系统，其中，所述指令是与所述rgb相机和所述ir相机相关联的用户空间驱动器的一部分，并且是在操作系统的用户空间内执行的。

14.根据权利要求10所述的系统，其中，所述一个或多个硬件处理器包括与被配置为获取所述rgb图像和所述ir图像的rgb相机和ir相机相关联的硬件实现的图像信号处理器。

15.一种或多种存储处理器可执行指令的机器可读介质，所述处理器可执行指令用于处理同步获取的yuv图像和ir图像对以生成无眩光图像，所述指令当由硬件处理器运行时，使得所述硬件处理器执行包括以下的操作：

技术总结
能够使用同时地捕获场景的RGB和IR图像的双相机，通过利用所述IR图像的对应区域中的像素值替换YUV图像的辉度分量中的眩光区域，来从变换为YUV图像的RGB图像中去除眩光。此外，可以通过对周围区域中的颜色信息进行平均或者从周围区域中的颜色信息外推来调整眩光区域中的颜色信息。

技术研发人员：C·南叶高德,V·德索扎
受保护的技术使用者：微软技术许可有限责任公司
技术研发日：
技术公布日：2024/1/25