一种高速相机的图像校正方法及系统与流程

本发明属于绕线控制领域，具体涉及一种高速相机的图像校正方法及系统。

背景技术：

高速cmos相机由于其高帧率、高分辨率的特点，已经成为科学研究领域的重要工具，不但能够对高速运动进行记录跟踪，还能对图像数据进行相应的在线处理。高速cmos相机伴随着超大数据量的采集和处理，其通常是将图像数据通过多通道lvds同时将图像数据传输出去，多个通道之间由于硬件设计以及软件接收会带来通道间不同步问题，给相机的数据恢复带来了很大的难题。而由于cmos传感器制造工艺、成像系统设计、工作环境等影响，高速相机采集的图像存在畸变现象，对图像处理造成很大的干扰。

现有技术cn103905728a公开了航天相机lvds数据可靠传输接收方法，涉及数据传输接收技术，解决现有航天相机在应用过程中，由于lvds数据传输通道上存在大量信号干扰，导致出现对数据有效性的误判断，影响数据的可靠传输接收的问题。先对lvds接收电路进行上下拉电阻，然后对航天相机成像单元加电，使控制器输出的门控信号和时钟信号处于高电平；最后采用异步fifo进行数据缓冲，通过检测异步fifo的empty信号，判断输入数据的有效性；实现数据的可靠传输。该发明对lvds数据传输通道的接收部分电路进行限定，降低干扰；并针对航天相机成像单元加电和时序信号输出产生的干扰，对相机设计进行限定，降低干扰；对数据接收部分接收到的数据，采用数据缓冲加延时判断的方法来进行数据有效性的甄别，提高数据传输的可靠性。现有技术cn105847714a公开了cmos输入图像数据的延时校正系统，该发明采用fpga内部的dcm模块产生各独立的采样时钟，可在线实时调整以获得各位数据的最佳相位，实现位校正通过内部可置位的移位寄存器进行输入数据的串并转换和字校正；主处理器在加电后进行上电初始化，初始化完毕后配置cmos图像传感器的train模式，并等待从处理器发出准备好的信号，当主处理器接收到从处理器发出的准备好的信号后，启动cmos图像传感器的train模式，同时所述主处理器向从处理器发出train模式开始命令；然后主处理器开始接收cmos图像传感器输出的train数据，直到train模式完成；所述主处理器等待接收从处理器的train模式完成信号，当接收到从处理器的train模式完成信号后，配置所述cmos图像传感器摄像模式，同时向从处理器发出摄像开始命令；所述主处理器接收cmos图像传感器输出的图像数据并进行处理。

技术实现要素：

本发明提出了一种高速相机的图像校正方法，解决高速相机系统中图像恢复错误及图像畸变问题。具体采用以下技术方案，一种高速相机的图像校正方法，包括以下步骤：

s1、多通道lvds自适应校准；

s2、多温度段畸变校正，具体包括以下步骤：

s21、采集传感器温度曲线，划分工作温度段；

s22、计算工作温度区间[n1,n2]下的畸变校正系数；

s23、循环步骤s22，计算出[n2,n3]，......，[nm,nm+1]温度区间下相应的校正系数；

s24、由电路板上的测温电路获取系统的工作温度，当工作温度发生变化时，依据当前的温度，调用相应温度区间下的校正系数对图像进行畸变矫正；

s3、图像数据输出：当图像数据校正完成后，按照图像数据的像素频率输出校正后的图像，并将图像数据传输到主机进行处理和显示。

具体地，所述步骤s1具体包括以下步骤：

s11、信号接收：首先接收前端cmos图像传感器输出的多通道lvds差分信号；所述多通道lvds差分信号包括同步信号、时钟信号及数据信号；

s12、延迟调整：自动计算步骤s11中同步信号和数据信号的信号窗口中心位置相对时钟信号边沿的初始延迟时间；根据初始延迟时间，调整同步和数据信号的相位延迟量，使各信号间的初始相位保持一致；

s13、串并转换：将延迟调整后的同步信号和数据信号按已知串并转换比例进行串并转换；其中，已知串并转换比例为可配置的系统参数，为任意值。

具体地，所述步骤s11多通道lvds发的信号速率、电平标准、通道数均为可配置的系统参数。

具体地，所述步骤s12中还包括初始相位确定后，在信号接收过程中持续监测各信号的相位延迟量的变化，对产生的偏移及时进行动态调整，保证时钟信号边沿位于图像同步信号和数据信号窗口中心位置。

具体地，所述步骤s13中还包括按照校准序列对转换后并行数据进行序列对齐操作，使并行数据与校准序列一致。

具体地，所述步骤s21中具体包括以下步骤：

a、相机系统在工作温度范围内，每隔5℃温差采集一组n帧相同强度入射光源下的原始图像，并计算出每组原始图像的平均图像得到各个温度点平均图像；

b、计算各个温度点平均图像的平均灰度值；

c、根据各温度点的平均灰度值，设置阈值对温度区间进行划分[n1,n2]，[n2,n3]，......，[nm,nm+1]，得到m个温度区间。

具体地，所述步骤s22中计算畸变校正系数的步骤为：

1)采集高强度入射光源xh下的原始图像，对获得的图像序列，以连续n帧为一组，获得的这组图像求取平均图像

2)采集低强度入射光源xl下的原始图像，对获得的图像序列，以连续n帧为一组，对获得的这组图像求取平均图像

3)由公式计算可得校正系数分别为

增益系数：

偏置系数：

具体地，所述步骤3)中采用的公式为

yij(xl)＝aijxl+bij

yij(xh)＝aijxh+bij

其中，yij(xl)为cmos传感器在低强度入射光源xl下的输出，yij(xh)为cmos传感器在高强度入射光源xh下的输出。

上述方法采用多通道lvds自适应校准与多温度段畸变校正算法相结合的方法，cmos传感器输出的多通道lvds图像，首先进入lvds自适应校准模块，动态调整各通道之间的延迟参数实现各通道数据同步，保证在系统工作温度与信号电压波动造成干扰的情况下，接收端能可靠地对数据进行正确恢复；同步后的图像数据进入多温度段畸变校正模块，依据不同的工作温度，调用相应的校正系数，对图像进行校正，消除成像系统缺陷及工作环境改变对图像造成的干扰。

本发明还提供了一种高速相机成像系统包括：

cmos传感器及其配置单元，对cmos工作模式进行配置，输出相应分辨率和帧率的图像；

图像采集和控制单元，包括图像采集模块、图像校正模块、图像缓存模块和数据处理模块；

温度控制单元，包括温度采集模块和校正系数调度模块；

图像传输单元，包括数据通讯模块和图像输出模块。

具体地，所述图像采集模块用于接收cmos传感器输出的多路lvds数据；所述图像校正模块包括多通道lvds自适应校准和多温度段畸变校正模块，完成对图像数据的恢复和校正；所述图像缓存模块用于校正后图像的缓存；所述数据处理模块用于对图像格式的整理及数据处理。

具体地，所述温度采集模块用于获取相机系统的工作温度；所述校正系数调度模块用于根据系统工作温度对校正系数进行调度，使之适应当前的温度范围。

具体地，所述数据通讯模块用于与上位机的通讯功能，实现对cmos传感器的配置；所述图像输出模块用于将图像数据传输到上位机进行显示和处理。

本发明具有以下有益效果：

本发明针对高速相机系统中图像恢复错误及图像畸变问题，采用多通道lvds自适应校准与多温度段畸变校正算法相结合的方法，动态调整系统的校正参数，使相机在不同硬件和工作环境下，都能自适应地获得正确的图像。

附图说明

图1为本发明中图像校正方法的步骤示意图。

具体实施方式

实施例1

本实施例以一10通道lvds数据输出的cmos传感器成像系统为例，说明如何基于fpga实现对cmos多通道输出图像的校正方法，实现多通道图像数据的自适应配准，并依据系统的工作温度来动态地调整系统的校正系数。

一种高速相机的图像校正方法，包括以下步骤：

s1、多通道lvds自适应校准：

s11、信号接收：cmos输出1通道lvds时钟信号、1通道lvds同步信号、10通道lvds数据信号。时钟信号频率为400mhz，同步信号和数据信号均使用ddr传输方式，数据率为800mbps。

s12、延迟调整：由于时钟信号周期为2.5ns，因此，同步信号和数据信号数据窗口宽度为1.25ns，进一步可计算出时钟信号边沿与数据窗口中心的相对延时值为0.675ns

在实施例中，延时调节的最小单位为58ps，因此，

675ps/58ps≈12,

12×58ps＝0.696ns，

将同步信号和数据信号的初始延时时间调整为0.696ns。在后续的信号接收过程中，实时监测该初始延时时间的变化，最小监测单位为58ps。例如，当同步信号延时时间变为0.8ns，14×58ps>0.8ns>13×58ps，则将延时值调整为0.8ns-58ps×2＝0.684ns。

s13、串并转换：在本实施例中，串并转换比为1:8，转换后的并行数据率为100mbps。本实施例中，校准序列为0x01011010，转换后的并行同步信号和数据信号的初始序列为0x10100101，将该初始序列向左循环移动4bit便与校准序列一致。

s2、多温度段畸变校正，具体包括以下步骤：

s21：获取传感器的温度响应曲线，根据不同的响应来划分不同的温度区间，在工作温度范围内，每隔5℃温差采集一组n帧相同强度入射光源下的原始图像，并计算出每组原始图像的平均图像；计算各个温度点平均图像的平均灰度值；根据各温度点的平均灰度值，设置合适的阈值对温度区间进行划分[n1,n2]，[n2,n3]，......，[nm,nm+1]，得到m个温度区间；

例如可以划分为5个温度区间，分别为：温度区间t1：[-40℃，-10℃]；温度区间t2：[-10℃，10℃]；温度区间t3：[10℃，30℃]；温度区间t4：[30℃，50℃]；温度区间t5：[50℃，60℃]。

s22、采用两点校正算法计算5个温度区间下的畸变校正系数

1)采集高强度入射光源xh下的原始图像，对获得的图像序列，以连续n帧为一组，对获得的这组图像求取平均图像

2)采集低强度入射光源xl下的原始图像，对获得的图像序列，以连续n帧为一组，对获得的这组图像求取平均图像

3)由以下公式计算可得校正系数

yij(xl)＝aijxl+bij

yij(xh)＝aijxh+bij

其中，yij(xl)为cmos传感器在低强度入射光源xl下的输出，yij(xh)为cmos传感器在高强度入射光源xh下的输出。

增益系数：

偏置系数：

s23、将5组校正系数存储到系统的片上flash内，每次上电时加载；

s24、温度控制单元实时采集系统的工作温度t，依据t所在的温度区间范围调用相应的校正系数。

s3、图像数据输出：当图像数据校正完成后，按照图像数据的像素频率输出校正后的图像，并将图像数据传输到主机进行处理和显示。

实现上述校正方法的高速相机成像系统包括：

cmos传感器及其配置单元：对cmos工作模式进行配置，输出相应分辨率和帧率的图像；

图像采集和控制单元包括：图像采集模块用于接收cmos传感器输出的多路lvds数据；图像校正模块包括多通道lvds自适应校准和多温度段畸变校正模块，完成对图像数据的恢复和校正；图像缓存模块用于校正后图像的缓存；数据处理模块用于对图像格式的整理及数据处理；

温度控制单元包括：温度采集模块用于获取相机系统的工作温度；校正系数调度模块用于根据系统工作温度对校正系数进行调度，使之适应当前的温度范围。

图像传输单元包括：数据通讯模块用于与上位机的通讯功能，实现对cmos传感器的配置；所述图像输出模块用于将图像数据传输到上位机进行显示和处理。

上述详细说明是针对本发明其中之一可行实施例的具体说明，该实施例并非用以限制本发明的专利范围，凡未脱离本发明所为的等效实施或变更，均应包含于本发明技术方案的范围内。