针对激光光条成像的HDR高动态范围处理方法及装置

本发明涉及嵌入式图像采集控制与处理领域，具体涉及针对激光光条成像的hdr高动态范围处理方法及装置。

背景技术：

1、三维测量技术中，线结构光技术由于精度高、数据重建便捷的优点，使得其在工业检测领域中被广泛使用。基于线结构光原理的扫描设备的主要部件为一字型激光器与图像传感器，其中一字型激光器产生的激光作为三维成像的光源，图像传感器用于激光光条成像的获取。激光光条的成像提取用于被扫描物体的轮廓提取，光条的提取情况将会直接影响最终的测量精度。

2、在实际工况环境中，被扫描工件的外观颜色多样，材质也不尽相同，不同材质的反光率不同，不同颜色的表面对光强的表现也不同，而传统常规意义上的激光光条提取算法受限于图像传感器的像素深度，仅能处理单色单一材质所反映的光强场景，对于多颜色多材质的场景则会出现轮廓信息丢失或区域亮度过曝带来的提取偏差，进而造成测量误差。

3、现实场景中最亮部分的亮度值与最暗部分的亮度值之比称为动态范围，自然世界的场景中包含极大的动态范围，从白天的阳光到晚上的星光，可达八个数量级。但对于图像传感器而言，由于硬件层面的限制，一般其灰度深度仅能存储8bit，能记录的动态范围远远低于自然场景的动态范围。因此数字成像系统无法呈现全部的图像信息。hdr（high-dynamic range，高动态范围）技术，即实现比标准动态范围更大的动态范围的技术。动态范围越大，则可探测的亮度值的范围就越宽，细节信息就越多，就更能反映拍摄物体的真实情况。对于三维测量而言，则更能适应不同颜色不同材质的扫描需求。

4、但是当前hdr技术的研究多数停留在软件算法层面，而对于扫描设备而言，其算法载体均为嵌入式控制平台，不同平台硬件特性不同，通常嵌入式平台主控芯片算力也远低于计算机，因此无法将现有hdr算法直接生搬硬套至三维扫描设备中。同时线结构光的激光光条成像特点与普通相机成像有较大差异，激光光条为灰度成像，而且对等比例放大的光斑可容忍，成像的差异也导致现有hdr算法无法直接借用，因此市场上极少有成熟的具备hdr功能的线结构光扫描设备，要么处理速度慢，适合场景少，要么价格昂贵无法推广。

技术实现思路

1、本发明提出针对激光光条成像的hdr高动态范围处理方法及装置，能够有效提高hdr在线结构光三维扫描成像中的可用性。

2、本发明通过以下技术方案实现：

3、针对激光光条成像的hdr高动态范围处理方法，包括如下步骤：

4、步骤s1、根据设置的工作参数采集图像并按照图像采集顺序将连续采集的多帧图像组成帧组；其中，工作参数包括每一组帧组包含的图像数、各帧曝光时间值及增益值和输出帧率；

5、步骤s2、提取各帧组图像中各帧图像的光条中心数据；

6、步骤s3、获取帧组中当前帧图像与前一帧图像光条中心数据的各个v轴坐标点的差值的均值△v、当前帧图像与前一帧图像曝光时间的差值△t，得到两者的比率r=△v/△t，若出现r大于设定的阈值p，则判定图像采集行为存在运动过快的情况，进入步骤s4，否则，进入步骤s5；

7、步骤s4、以帧组中的第一帧图像的光条中心数据作为输出；

8、步骤s5、对帧组中各帧图像的光条中心数据进行融合得到一帧hdr光条数据，hdr光条数据与帧组中各帧图像的光条中心数据的u轴坐标相同，对于各u轴坐标，均从帧组中第一帧图像至最后一帧图像进行判断，对于某一u轴坐标，若第一帧图像中对应的v轴坐标不为0，则将该v轴坐标作为对应于hdr光条数据中该u轴坐标对应的v轴坐标，若第一帧图像中对应的v轴坐标为0，则对第二帧图像进行判断，若该u轴坐标在各帧图像中对应的v轴坐标均为0，则hdr光条数据中该u轴坐标对应的v轴坐标为0，其中，u轴和v轴指像素坐标系中的两个轴，用来表示图像上每个像素点的位置。

9、进一步的，所述步骤s1中，利用图像传感器进行图像采集，所述帧组包括的图像数根据图像传感器所支持的最大参数预设组数确定。

10、进一步的，所述步骤s1中，提取所述各帧图像的光条中心数据之前对各帧图像进行预处理，包括高斯滤波、中值滤波、膨胀腐蚀滤波、阈值二值化操作，所述步骤s2中，采用灰度重心法对预处理后的图像进行光条中心数据的提取。

11、进一步的，所述图像传感器型号为mv-ca016-10umuc，所支持的最大帧率为249.1fps@1440×1080，各所述帧组包括的图像数为4帧。

12、本发明还通过以下技术方案实现：

13、针对激光光条成像的hdr高动态范围处理装置，包括图像传感器模块、图像采集控制与处理模块和激光器模块，图像传感器模块用于采集图像，图像采集控制与处理模块包括采集控制单元、图像处理单元和上位机通信单元，采集控制单元包括传感器控制单元和激光器控制单元，传感器控制单元通过上位机通信单元获取工作参数，并根据工作参数控制图像传感器模块的拍摄行为，激光器控制单元用于控制激光器模块的开关及亮度调节；图像处理单元包括光条提取单元、运动过快检测单元和分段融合单元，光条提取单元用于提取各帧组图像中各帧图像的光条中心数据，运动过快检测单元用于获取帧组中当前帧图像与前一帧图像光条中心数据的各个v轴坐标点的差值的均值△v、当前帧图像与前一帧图像曝光时间的差值△t，得到两者的比率r=△v/△t，若出现r大于设定的阈值p，则判定图像采集行为存在运动过快的情况，此时以帧组中的第一帧图像的光条中心数据作为输出，分段融合单元针对不存在运动过快的情况时，对帧组中各帧图像的光条中心数据进行融合得到一帧hdr光条数据，hdr光条数据与帧组中各帧图像的光条中心数据的u轴坐标相同，对于各u轴坐标，均从帧组中第一帧图像至最后一帧图像进行判断，对于某一u轴坐标，若第一帧图像中对应的v轴坐标不为0，则将该v轴坐标作为对应于hdr光条数据中该u轴坐标对应的v轴坐标，若第一帧图像中对应的v轴坐标为0，则对第二帧图像进行判断，若该u轴坐标在各帧图像中对应的v轴坐标均为0，则hdr光条数据中该u轴坐标对应的v轴坐标为0，其中，u轴和v轴指像素坐标系中的两个轴，用来表示图像上每个像素点的位置。

14、进一步的，所述图像采集控制与处理模块的控制核心采用zynq ultrascale+mpsocs eg系列的xczu3eg-1sfvc784i芯片，zynq ultrascale+ mpsoc芯片包含ps单元与pl单元，ps单元包括4个cortex-a53核和2个cortex-r5核，pl单元为可编程逻辑单元，4个cortex-a53核上搭载linux操作系统，运行上位机通信单元，2个cortex-r5核上搭载freertos实时操作系统，运行采集控制单元，fpga运行图像处理单元。

15、进一步的，所述工作参数包括帧组包含的图像数、各帧曝光时间值及增益值和输出帧率。

16、进一步的，所述图像处理单元获取帧组第一帧图像的光条中心数据或者hdr光条数据后，发送硬件中断至上位机通信单元，上位机通信单元则将接收到的数据上传至pc端。

17、进一步的，所述图像传感器模块包括图像传感器、参数轮询单元和硬件触发单元，参数轮询单元负责配置图像传感器的周期性曝光时间及增益变化值，硬件触发单元负责接收图像采集控制与处理模块的采集控制单元的触发信号，根据触发信号执行图像采集动作。

18、本发明具有如下有益效果：

19、1、本发明针对线结构光三维成像中，对于多种材质多种颜色的工件扫描时存在的高亮过爆或暗区细节不足的行业难题，利用不同曝光图像的光条中心数据进行分段融合，从而得到了高动态范围的光条信息，且通过辨别是否运动过快，有效地识别并处理了鬼影问题，保证了激光光条融合的精度，使得hdr在线结构光三维扫描成像中的可用性极大提高。

20、2、本发明基于arm+fpga的架构设计，arm中的r5核运行freertos实时系统，负责hdr各个合成帧的触发间隔控制，硬件层面的时间准确度极大地提高了hdr融合的位置精度。fpga中运行的图像处理单元则使激光光条多帧融合的实时性得到了保证，融合帧率可达90fps，极大地提高了线结构光扫描设备的产线应用能力。