自动驾驶RGBIR图像重采样方法、系统、终端及介质与流程

自动驾驶rgbir图像重采样方法、系统、终端及介质
技术领域
1.本发明涉及自动驾驶和图像处理技术领域，具体地，涉及一种自动驾驶rgbir图像重采样方法、系统、终端及介质。


背景技术：

2.在自动驾驶的视觉环境感知中，为了能够同时感知光线充足场景和暗光的场景，rgbir滤波器阵列(color filter array，cfa)的传感器常常用来同时采集可见光图像与红外图像，其中一种比较常见的rgbir滤波器阵列设计如图1所示。
3.然而常规的图像信号处理器(image signal processor,isp)是为了传统的bayer滤波器阵列图像设计的，这就需要将rgbir滤波器阵列采集的图像进行重采样，将其重采样为bayer格式的图像数据和单通道的ir图像数据，在光线充足场景使用bayer格式数据进入isp处理得到可见光rgb图像，进行感知，辅助自动驾驶，在光线不充足场景，采用ir图像辅助自动驾驶，上述过程如图2所示，其中青蓝色虚线区域为本发明中的rgbir图像重采样过程。
4.针对rgbir图像，传统的技术方案中，对于ir图像直接按照rgbir滤波器阵列的排列方式，将ir数据进行抽样成一个低分辨率图像，或者直接利用ir图像进行插值得到一张和rgbir分辨率相同尺寸的图像，这样的方案中，ir图像或者分辨率降低，或者插值得到的图像质量较差；
5.对于rgbir中的rgb数据，传统的方案中将ir数据位置对应的数据直接进行插值，得到一个4x4 cfa排列的rgb图像，然后设计针对4x4 cfa排列的插值算法，得到rgb三通道图像，然后下采样成bayer数据，这样的技术方案得到的差值图像或者图像质量较差，或者没有充分利用isp。


技术实现要素：

6.本发明针对现有技术中存在的上述不足，提供了一种自动驾驶rgbir图像重采样方法、系统、终端及介质。
7.本发明是通过以下技术方案实现的。
8.根据本发明的一个方面，提供了一种自动驾驶rgbir图像重采样方法，包括：
9.对rgbir图像中的g通道进行插值，得到g通道图像；
10.在得到所述g通道图像后，以g通道为指引，分别对rgbir图像中的r、b和ir通道进行插值，得到相应的r通道图像、b通道图像和ir通道图像；其中，所述ir通道图像为与输入图像具有相同分辨率的ir图像；
11.根据给定的bayer格式，分别对所述g通道图像、所述r通道图像和所述b通道图像进行下采样，即得到相应的bayer图像，完成对rgbir图像的重采样。
12.可选地，所述对rgbir图像中的g通道进行插值，得到g通道图像，包括：
13.基于rgbir图像中r、g、b和ir各通道的光谱相关性，构建自适应光谱相关核函数；
14.根据所述自适应光谱相关核函数，对所述g通道中的r、b和ir点所在的位置进行高斯上采样，完成在rgbir图像的g通道中对r、b和ir点位的g像素进行插值，得到g通道图像。
15.可选地，所述基于rgbir图像中r、g、b和ir各通道的光谱相关性，构建自适应光谱相关核函数，包括：
16.设rgbir图像中各通道光谱的导数近似相等，则导数通过对角像素相减计算得到；利用计算得到的对角方向的导数，构建位置x
p
的自适应光谱相关核函数为：
17.其中，x为像素点的空间，为高斯核的协方差矩阵，h为用来控制核函数作用区域以及控制平滑程度的参数，h为旋转矩阵，用来对齐导数的方向；
18.所述高斯核的协方差矩阵通过在位置x
p
附近的对角方向的导数进行计算，则：
[0019][0020]
其中，zu和zv为对角方向的导数，表示x
p
位置邻域的像素点，表示的是邻域中像素点的个数。
[0021]
可选地，所述根据所述自适应光谱相关核函数，对所述g通道中的r、b和ir点所在的位置进行高斯上采样，包括：
[0022]
根据所述自适应光谱相关核函数，对g通道中的r、b和ir点位进行高斯上采样，设需要上采样的点为x
p
，其上采样的计算公式为：
[0023][0024]
其中，表示需要上采样的点x
p
位置邻域的像素点，为xi点重采样之后的值，为xi点二进制掩码矩阵，为权重归一化因子，通过自适应光谱相关核函数掩码点乘求和得到，为自适应光谱相关核函数；
[0025]
对g通道中的r、b和ir点位进行高斯上采样后即实现对g通道中的r、b和ir点位的g像素插值。
[0026]
可选地，所述以g通道为指引，分别对rgbir图像中的r、b和ir通道进行插值，得到相应的r通道图像、b通道图像和ir通道图像，包括：
[0027]
设x为：r、b或ir；
[0028]
以g通道作为指导图像，对x通道进行预插值，得到x通道预插值图像
[0029]
在rgbir图像的x通道中，选取x采样点，计算所述x通道预插值图像与x采样点图像之间的误差，得到误差图像δx；
[0030]
对所述误差图像δx进行插值，得到完整的误差平面图像δx
full
；
[0031]
采用所述误差平面图像δx
full
对x通道预插值图像进行点对点修正，得到最终的x通道插值图像x
final
，即为对应的完整的r通道图像、b通道图像或ir通道图像。
[0032]
可选地，所述以g通道作为指导图像，对x通道进行预插值，得到x通道预插值图像包括：
[0033]
采用导向滤波方法，将g通道作为指导图像，将x通道作为待处理图像，进行导向滤波，得到x通道预插值图像
[0034]
可选地，所述在rgbir图像的x通道中，选取x采样点，计算所述x通道预插值图像与x采样点图像之间的误差，得到误差图像δx，包括：
[0035][0036]
其中，mask为采样点选取二值矩阵，在x采样点取1，其他点取0，.*为矩阵点对点元素相乘。
[0037]
可选地，所述对所述误差图像进行插值，得到完整的误差平面图像δx
full
，包括：
[0038]
采用bicubic插值算法对所述误差图像δx平面进行插值，得到完整的误差平面图像δx
full
。
[0039]
可选地，采用所述误差平面图像δx
full
所述对x通道预插值图像进行点对点修正，得到最终的x通道插值图像x
final
，包括：
[0040]
在获得完整的误差图像平面δx
full
之后，采用如下方式对x通道预插值图像进行点对点修正：
[0041][0042]
得到最终的x通道插值图像x
final
。
[0043]
可选地，所述根据给定的bayer格式，分别对所述g通道图像、r通道图像和b通道图像进行下采样，即得到相应的bayer图像，包括：
[0044]
在每一个通道图像中，以2x2块区域为单位，在每个2x2块区域中，根据给定的bayer格式，按照左上角点、右上角点、左下角点和右下角点的顺序，分别对bayer格式中相应顺序所对应的通道予以保留，其他通道置零；
[0045]
将4个点中非零点按照其位置合并成单个通道的图像，得到给定格式的bayer图像。
[0046]
根据本发明的另一个方面，提供了一种自动驾驶rgbir图像重采样系统，包括：
[0047]
g通道插值模块，该模块对rgbir图像中的g通道进行插值，得到完整的g通道图像；
[0048]
r/b/ir通道插值模块，该模块在得到所述g通道图像后，以g通道为指引，分别对rgbir图像中的r、b和ir通道进行插值，得到相应的完整的r通道图像、b通道图像和ir通道图像；
[0049]
ir图像重构模块，该模块获取所述ir通道图像，该ir通道图像即为与输入图像具有相同分辨率的ir图像；
[0050]
bayer图像重构模块，该模块根据给定的bayer格式，分别对所述g通道图像、r通道图像和b通道图像进行下采样，即得到相应的bayer图像。
[0051]
根据本发明的第三个方面，提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述任一项
所述的方法，或，运行上述的系统。
[0052]
根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述任一项所述的方法，或，运行上述的系统。
[0053]
由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：
[0054]
本发明提供的自动驾驶rgbir图像重采样方法、系统、终端及介质，充分利用了可见光rgb光谱与ir光谱之间的相关性，能够高质量地将rgbir图像重建为传统的bayer图像和ir图像，然后充分利用isp对bayer图像处理，得到高质量地rgb图像；同时在重采样过程中，利用得到高质量的ir图像，辅助低亮场景的自动驾驶。
[0055]
本发明提供的自动驾驶rgbir图像重采样方法、系统、终端及介质，能够在不升级传感器分辨率的情况下，得到高分辨率高质量的ir图像，能够更好辅助夜间场景自动驾驶，从而节省自动驾驶解决方案成本。
[0056]
本发明提供的自动驾驶rgbir图像重采样方法、系统、终端及介质，能够将rgbir图像进行重采样，得到指定bayer格式的图像数据，从而能够充分利用现有的针对常规bayer格式设计的isp系统进行图像处理，得到高质量的可见光图像，辅助可见光图像视觉自动驾驶感知，而不用重新设计图像处理系统。
[0057]
本发明提供的自动驾驶rgbir图像重采样方法、系统、终端及介质，通过使用rgbir传感器获取自动驾驶rgbir图像，就能够得到高质量的适应白天/低亮/夜间场景的高质量图像，进而能够在节省成本的情况下适应不同场景的辅助视觉驾驶的图像采集需求。
附图说明
[0058]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0059]
图1为现有技术中4x4 rgbir颜色滤波器阵列示意图。
[0060]
图2为现有技术中rgbir图像重采样与后处理示意图。
[0061]
图3为本发明一实施例中自动驾驶rgbir图像重采样方法的工作流程图。
[0062]
图4为本发明一优选实施例中rgbir图像插值过程示意图。
[0063]
图5为本发明一优选实施例中rgbir图像重采样过程示意图。
[0064]
图6为本发明一优选实施例中g通道数据示意图。
[0065]
图7为本发明一实施例中自动驾驶rgbir图像重采样系统的组成模块示意图。
具体实施方式
[0066]
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
[0067]
图3为本发明一实施例提供的自动驾驶rgbir图像重采样方法的工作流程图。
[0068]
如图3所示，该实施例提供的本发明提供的自动驾驶rgbir图像重采样方法，可以包括：
[0069]
s1，对rgbir图像中的g通道进行插值，得到g通道图像；
[0070]
s2，在得到g通道图像后，以g通道为指引，分别对rgbir图像中的r、b和ir通道进行插值，得到相应的r通道图像、b通道图像和ir通道图像；其中，ir通道图像为与输入图像具有相同分辨率的ir图像；
[0071]
s3，根据给定的bayer格式，分别对g通道图像、r通道图像和b通道图像进行下采样，即得到相应的bayer图像，完成对rgbir图像的重采样。
[0072]
在s1的一优选实施例中，对rgbir图像中的g通道进行插值，得到g通道图像，可以包括：
[0073]
s11，基于rgbir图像中r、g、b和ir各通道的光谱相关性，构建自适应光谱相关核函数；
[0074]
s12，根据自适应光谱相关核函数，对g通道中的r、b和ir点所在的位置进行高斯上采样，完成在rgbir图像的g通道中对r、b和ir点位的g像素进行插值，得到g通道图像。
[0075]
在s11的一优选实施例中，基于rgbir图像中r、g、b和ir各通道的光谱相关性，构建自适应光谱相关核函数，可以包括：
[0076]
设rgbir图像中各通道光谱的导数近似相等，则导数通过对角像素相减计算得到；利用计算得到的对角方向的导数，构建位置x
p
的自适应光谱相关核函数为：
[0077]
其中，x为像素点的空间，为高斯核的协方差矩阵，h为用来控制核函数作用区域以及控制平滑程度的参数，h为旋转矩阵，用来对齐导数的方向；
[0078]
高斯核的协方差矩阵通过在位置x
p
附近的对角方向的导数进行计算，则：
[0079][0080]
其中，zu和zv为对角方向的导数，表示x
p
位置邻域的像素点，表示的是邻域中像素点的个数。
[0081]
在s12的一优选实施例中，根据自适应光谱相关核函数，对g通道中的r、b和ir点所在的位置进行高斯上采样，可以包括：
[0082]
根据自适应光谱相关核函数，对g通道中的r、b和ir点位进行高斯上采样，设需要上采样的点为x
p
，其上采样的计算公式为：
[0083][0084]
其中，表示需要上采样的点x
p
位置邻域的像素点，为xi点重采样之后的值，为xi点二进制掩码矩阵，为权重归一化因子，通过自适应光谱相关核函数掩码点乘
求和得到，为自适应光谱相关核函数；
[0085]
对g通道中的r、b和ir点位进行高斯上采样后即实现对g通道中的r、b和ir点位的g像素插值。
[0086]
在s2的一优选实施例中，以g通道为指引，分别对rgbir图像中的r、b和ir通道进行插值，得到相应的完整的r通道图像、完整的b通道图像和ir通道图像，可以包括：
[0087]
s20，设x为：r、b或ir；
[0088]
s21，以g通道作为指导图像，对x通道进行预插值，得到x通道预插值图像
[0089]
s22，在rgbir图像的x通道中，选取x采样点，计算x通道预插值图像与x采样点图像之间的误差，得到误差图像δx；
[0090]
s23，对误差图像δx进行插值，得到完整的误差平面图像δx
full
；
[0091]
s24，采用误差平面图像δx
full
对x通道预插值图像进行点对点修正，得到最终的x通道插值图像x
final
，即为对应的完整的r通道图像、b通道图像或ir通道图像。
[0092]
在s21的一优选实施例中，以g通道作为指导图像，对x通道进行预插值，得到x通道预插值图像可以包括：
[0093]
采用导向滤波方法，将g通道作为指导图像，将x通道作为待处理图像，进行导向滤波，得到x通道预插值图像
[0094]
在s22的一优选实施例中，在rgbir图像的x通道中，选取x采样点，计算x通道预插值图像与x采样点图像之间的误差，得到误差图像δx，可以包括：
[0095][0096]
其中，δx为误差图像，mask为采样点选取二值矩阵，在x采样点取1，其他点取0，.*为矩阵点对点元素相乘。
[0097]
在s23的一优选实施例中，对误差图像进行插值，得到完整的误差平面图像δx
full
，可以包括：
[0098]
采用bicubic插值算法对误差图像δx平面进行插值，得到完整的误差平面图像δx
full
。
[0099]
在s24的一优选实施例中，采用误差平面图像δx
full
对x通道预插值图像进行点对点修正，得到最终的x通道插值图像，可以包括：
[0100]
在获得完整的误差图像平面δx
full
之后，采用如下方式对x通道预插值图像进行点对点修正：
[0101][0102]
得到最终的x通道插值图像x
final
。
[0103]
在s3的一优选实施例中，根据给定的bayer格式，分别对g通道图像、r通道图像和b通道图像进行下采样，即得到相应的bayer图像，可以包括：
[0104]
s31，在每一个通道图像中，以2x2块区域为单位，在每个2x2块区域中，根据给定的bayer格式，按照左上角点、右上角点、左下角点和右下角点的顺序，分别对bayer格式中相应顺序所对应的通道予以保留，其他通道置零；
[0105]
s32，将4个点中非零点按照其位置合并成单个通道的图像，得到给定格式的bayer
图像。
[0106]
本发明上述实施例提供的自动驾驶rgbir图像重采样方法，其中最重要的是g通道插值，然后借助g通道以及通道光谱相关性理论，辅助r/b/ir通道插值；因此，本发明上述实施例提供的自动驾驶rgbir图像重采样方法，其整体框架可以分为插值过程和重采样过程，其中，插值过程如图4所示，重采样过程如图5所示。
[0107]
下面结合附图，对本发明上述实施例提供的技术方案进一步说明。
[0108]
本发明上述实施例提供的自动驾驶rgbir图像重采样方法，可以包括如下步骤：
[0109]
步骤1，g通道插值
[0110]
在rgbir阵列中，g通道的数据如图6所示，由于r/g/b/ir各通道的光谱具有相关性，因此在g通道的插值过程中，在rgbir图像中r点的g像素点，借助g与r的光谱相关性进行插值，同理，在rgbir图像中的b点的g像素以相似的方法进行插值，在rgbir图像中的ir点的g像素点也以相似的方法进行插值。
[0111]
进一步地：
[0112]
步骤1.1，计算自适应光谱相关核函数
[0113]
在本发明实施例所涉及的rgbir插值理论中，自适应光谱相关核函数的估计建立在各光谱通道的导数是近似相等的假设上的。基于此假设，导数可以从对角像素相减进行计算。利用这些对角方向的导数，在位置x
p
的自适应光谱相关核函数可以直接从原始数据中进行估计，其计算公式为：
[0114]
其中，x为像素点的空间，为高斯核的协方差矩阵，h为用来控制核函数作用区域以及控制平滑程度的参数，h矩阵用来对齐导数的方向，通常h为旋转矩阵，比如通过对角进行计算的导数时，它为旋转45度的旋转矩阵。协方差矩阵通过在位置x
p
附近的对角方向的导数来进行估计，其计算公式为：
[0115][0116]
其中，zu和zv为对角方向的导数，表示x
p
位置邻域的像素点，表示的是邻域中像素点的个数。
[0117]
通过上述计算，便可以估计出自适应光谱相关核函数。核函数估计可以对其他各向异性核函数进行建模与估计，从而得到更好的边缘重建结果。
[0118]
步骤1.2，自适应上采样
[0119]
根据步骤1.1中估计的自适应光谱相关核函数对g通道中的r、b、ir点所在的位置进行高斯上采样，设需要上采样的点为x
p
，其上采样的计算公式为：
[0120]
其中，表示需要上采样的点x
p
位置邻域
的像素点，为xi点重采样之后的值，为xi点二进制掩码矩阵，为权重归一化因子，它是核函数掩码点乘求和的结果。
[0121]
步骤2，r通道插值
[0122]
在步骤1完成之后，g通道通过插值完全恢复，接下来以g通道作为指引，辅助r通道预插值，在r采样点位置，预插值估计出来的数据与采样得到的r数据相减，得到插值误差，然后在插值误差平面进行全误差平面插值，最后点对点将预插值图像进行误差修正；
[0123]
进一步地：
[0124]
步骤2.1，r通道预插值
[0125]
r通道的预插值借助g通道信号进行辅助引导插值，常用的方法有导向滤波、联合双边滤波、逻辑函数预测等，为了方便起见，本发明实施例可以采用导向滤波方法做r通道预插值，将g通道作为指导图像，r通道作为待处理图像，进行导向滤波，得到r通道预插值图像
[0126]
步骤2.2，r通道预插值误差计算
[0127]
在rgbir图像的r采样点，计算预插值图像与r采样点图像的误差，得到误差图像δr，计算公式为：
[0128][0129]
其中，mask为采样点选取二值矩阵，在r采样点取1，其他点取0，.*为矩阵点对点元素相乘。
[0130]
步骤2.3，r误差平面插值
[0131]
由于误差图像δr只在r采样点有值，其他点均为0，接下来对误差图像δr进行插值，本发明实施例可以选用bicubic插值算法对误差图像δr平面进行插值，获得完整的误差图像平面δr
full
。
[0132]
步骤2.4，r通道插值结果修正
[0133]
在获得完整的误差图像δr
full
之后，对预插值图像进行点对点修正，计算公式为：
[0134][0135]
于是得到了最终的r通道插值图像r
final
。
[0136]
步骤3，b通道插值
[0137]
对于b通道的插值，可以采用与r通道相似的插值步骤进行插值，这里不再赘述。
[0138]
步骤4，ir通道插值
[0139]
对于ir通道的插值，可以采用与r通道相似的插值步骤进行插值，这里不再赘述。
[0140]
ir通道经过插值之后，得到高质量的与输入图像相同分辨率的ir图像，对于夜间场景以及白天低亮场景，ir图像直接传送给感知系统，辅助车辆的辅助驾驶系统进行自动驾驶；
[0141]
步骤5，rgb三通道重采样成标准bayer图像
[0142]
经过前面的插值过程，得到rgb的三通道真彩图像，为了能够充分利用isp系统对图像进行处理，然后进行视觉辅助驾驶，必须对rgb三通道图像进行重新下采样，采样过程
必须给定bayer格式，这里以bggr的bayer格式为例说明其重采样过程，重采样过程如图5所示。
[0143]
重采样过程以2x2块区域为单位，在每个2x2块区域里：左上角点，b通道保留，其他两个通道置零；右上角点，g通道保留，其他两个通道置零；左下角点，g通道保留，其他两个通道置零；右下角点，r通道保留，其他通道置零；将4个点中非零点按照其位置合并成单个通道的图像，就得到了bggr格式的bayer图像了；其他bayer格式的重采样过程与之类似，此处不再赘述。
[0144]
图7为本发明一实施例提供的自动驾驶rgbir图像重采样系统的组成模块示意图。
[0145]
如图7所示，该实施例提供的自动驾驶rgbir图像重采样系统，可以包括：
[0146]
g通道插值模块，该模块对rgbir图像中的g通道进行插值，得到完整的g通道图像；
[0147]
r/b/ir通道插值模块，该模块在得到g通道图像后，以g通道为指引，分别对rgbir图像中的r、b和ir通道进行插值，得到相应的完整的r通道图像、b通道图像和ir通道图像；
[0148]
ir图像重构模块，该模块获取ir通道图像，该ir通道图像即为与输入图像具有相同分辨率的ir图像；
[0149]
bayer图像重构模块，该模块根据给定的bayer格式，分别对g通道图像、r通道图像和b通道图像进行下采样，即得到相应的bayer图像。
[0150]
需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照方法的技术方案实现系统的组成，即，方法中的实施例可理解为构建系统的优选例，在此不予赘述。
[0151]
本发明一实施例提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时可用于执行上述实施例中任一项的方法，或，运行上述实施例中任一项的系统。
[0152]
可选地，存储器，用于存储程序；存储器，可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：ram)，如静态随机存取存储器(英文：static random-access memory，缩写：sram)，双倍数据率同步动态随机存取存储器(英文：double data rate synchronous dynamic random access memory，缩写：ddr sdram)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
[0153]
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
[0154]
处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
[0155]
处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。
[0156]
本发明一实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述实施例中任一项的方法，或，运行上述实施例中任一项的系统。
[0157]
本发明上述实施例提供的自动驾驶rgbir图像重采样方法、系统、终端及介质，充分利用了可见光rgb光谱与ir光谱之间的相关性，能够高质量地将rgbir图像重建为传统的bayer图像和ir图像，然后充分利用isp对bayer图像处理，得到高质量地rgb图像；同时在重采样过程中，利用得到高质量的ir图像，辅助低亮场景的自动驾驶。
[0158]
本发明上述实施例中未尽事宜均为本领域公知技术。
[0159]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。