一种图像校正方法及装置与流程

1.本技术涉及图像处理技术领域，具体地说，本技术涉及一种图像校正方法及装置。


背景技术：

2.在图像处理技术领域，随着工艺水平的提高以及应用需求的不断提升，图像传感器的分辨率不断提高。其中，对于高分辨率的图像传感器，往往利用两个读出电路分别输出奇数行和偶数行的像素值。
3.然而，即使两个读出电路使用的材料及电路设计均相同，受工艺、结构等等各方面的综合原因的影响，这两个读出电路的电路性能也仍然会存在一定的差异。
4.由此，图像传感器利用两个读出电路获得的图像数据中，会由于两个读出电路的电路性能差异而导致奇数行和偶数行存在像素值偏差，由此导致整幅图像中存在以相邻行之间的像素值梯度跳变，这种梯度跳变称之为横线噪声。
5.可见，传统的图像传感器在提高图像分辨率的同时，会由于产生横线噪声而导致图像质量不高。


技术实现要素：

6.有鉴于此，本技术旨在提供一种图像校正方法及装置，有助于通过消除横线噪声来提高图像质量。
7.本技术一方面提供了一种图像校正方法，包括：
8.获取待校正图像；
9.对所述待校正图像进行预校正处理，得到预校正图像，其中，
10.相邻行像素点在所述预校正图像中的像素值差异小于在所述待校正图像中的像素值差异；
11.基于所述预校正图像，确定各像素点的目标补偿值；
12.利用各像素点的所述目标补偿值，对所述待校正图像进行图像校正。
13.可选地，在一些示例中，所述获取待校正图像，包括：获取图像传感器产生的同一帧图像中的第一图像数据和第二图像数据，其中，所述第一图像数据和所述第二图像数据分别由第一读出电路和第二读出电路从所述图像传感器的不同行读取得到；利用所述第一图像数据和所述第二图像数据，生成所述待校正图像。
14.可选地，在一些示例中，像素点包括位于多个参考行中的参考行像素点、以及与多个所述参考行交替分布的多个非参考行中的非参考行像素点；所述对所述待校正图像进行预校正处理，得到预校正图像，包括：确定所述非参考行像素点的邻域范围内的所述参考行像素点，其中，对于每对所述参考行之间的所述非参考行中的所述非参考行像素点，所述邻域范围内包含该对所述参考行中的所述参考行像素点；基于所述非参考行像素点的所述邻域范围内位于不同所述参考行的所述参考行像素点在所述待校正图像中的像素值差异，确定所述非参考行像素点在所述预校正图像中的像素值。
15.可选地，在一些示例中，所述待校正图像是基于图像传感器的同一帧图像中的第一图像数据和第二图像数据生成的，其中，所述第一图像数据和所述第二图像数据分别由第一读出电路和第二读出电路从所述图像传感器的不同行读取得到；所述参考行为所述第一读出电路读取得到所述第一图像数据的行，并且，所述非参考行为所述第二读出电路读取得到所述第二图像数据的行。
16.可选地，在一些示例中，所述参考行为奇数行，所述非参考行为偶数行，所述参考行像素点包括奇数行像素点，所述非参考行像素点包括偶数行像素点；或者，所述参考行为偶数行，所述非参考行为奇数行，所述参考行像素点包括偶数行像素点，所述非参考行像素点包括奇数行像素点。
17.可选地，在一些示例中，对于每对所述参考行之间的所述非参考行中的所述非参考行像素点，所述邻域范围内包含：该对所述参考行中与所述非参考行像素点同列对位的所述参考行像素点；所述基于所述非参考行像素点的所述邻域范围内位于不同所述参考行的所述参考行像素点在所述待校正图像中的像素值差异，确定所述非参考行像素点在所述预校正图像中的像素值，包括：确定每对所述参考行中同列对位的所述参考行像素点在所述待校正图像中的第一像素值差值；基于同列对位的每对所述参考行像素点之间的所述第一像素值差值与预设的第一阈值的比较结果，确定该对所述参考行像素点之间同列对位的所述非参考行像素点在所述预校正图像中的像素值，其中，所述参考行像素点在所述预校正图像中的像素值，与所述参考行像素点在所述待校正图像中的像素值相同。
18.可选地，在一些示例中，所述基于同列对位的每对所述参考行像素点之间的所述第一像素值差值与预设的第一阈值的比较结果，确定该对所述参考行像素点之间同列对位的所述非参考行像素点在所述预校正图像中的像素值，包括：将同列对位的每对所述参考行像素点的所述第一像素值差值与所述第一阈值进行比较；若同列对位的任意一对所述参考行像素点的所述第一像素值差值小于所述第一阈值，则，将该对所述参考行像素点之间同列对位的所述非参考行像素点在所述预校正图像中的像素值，确定为该对所述参考行像素点在所述待校正图像中的像素值的平均值；若同列对位的任意一对所述参考行像素点的所述第一像素值差值等于所述第一阈值，则，将该对所述参考行像素点之间同列对位的所述非参考行像素点在所述预校正图像中的像素值，确定为该对所述参考行像素点之间的所述非参考行像素点在所述待校正图像中的像素值；若同列对位的任意一对所述参考行像素点的所述第一像素值差值大于所述第一阈值，则，将该对所述参考行像素点之间同列对位的所述非参考行像素点在所述预校正图像中的像素值，确定为该对所述参考行像素点之间的所述非参考行像素点在所述待校正图像中的像素值与预校正变量之和，其中，所述预校正变量为单帧待校正图像中的所述参考行像素点与所述非参考行像素点的像素值差值的均值，所述单帧待校正图像为当前帧的所述待校正图像、或者为当前帧的所述待校正图像的前一帧待校正图像。
19.可选地，在一些示例中，对于每对所述参考行之间的所述非参考行中的所述非参考行像素点，所述邻域范围内包含：该对所述参考行中与所述非参考行像素点同列对位的所述参考行像素点、以及该对所述参考行中位于所述非参考行像素点的相邻列的所述参考行像素点；所述基于所述非参考行像素点的所述邻域范围内位于不同所述参考行的所述参考行像素点在所述待校正图像中的像素值差异，确定所述非参考行像素点在所述预校正图
像中的像素值，包括：确定每对所述参考行中位于所述邻域范围内的至少两对所述参考行像素点在所述待校正图像中的第二像素值差值；基于所述第二像素值差值与预设的第二阈值的比较结果，确定该对所述参考行之间的所述非参考行中各所述非参考行像素点的预补偿值；确定每个所述非参考行中各所述非参考行像素点的所述预补偿值的平均值；利用所述非参考行的所述预补偿值的平均值、以及所述非参考行中各所述非参考行像素点在所述待校正图像中的像素值，确定所述非参考行中各所述非参考行像素点在所述预校正图像中的像素值。
20.可选地，在一些示例中，所述基于所述第二像素值差值与预设的第二阈值的比较结果，确定该对所述参考行之间的所述非参考行中各所述非参考行像素点的预补偿值，包括：将每个所述非参考行像素点的所述邻域范围内的至少两对所述参考行像素点的所述第二像素值差值与所述第二阈值进行比较，其中，对于每个所述非参考行像素点：若所述第二像素值差值均小于或等于所述第二阈值，则，从所述非参考行像素点的至少两个第一候选补偿值中选取一个作为所述预补偿值，其中，每个所述第一候选补偿值为所述预设邻域范围内的至少两对所述参考行像素点中的其中一对在所述待校正图像中的像素值均值，相比于所述非参考行像素点在所述待校正图像中的像素值的差值；若存在大于所述第二阈值的所述第二像素值差值，则，从所述非参考行像素点的各第二候选补偿值中选取一个作为所述预补偿值，其中，每个所述第二候选补偿值为与所述非参考行像素点的同列对位的一个所述参考行像素点在所述待校正图像中的像素值，相比于所述非参考行像素点在所述待校正图像中的像素值的差值。
21.可选地，在一些示例中，被选取作为所述预补偿值的所述第一候选补偿值所对应的一对所述参考行像素点的所述第二像素值差值，为至少两对所述参考行像素点的所述第二像素值差值中的最小值；被选取作为所述预补偿值的所述第二候选补偿值所对应的所述参考行像素点相比于所述非参考行像素点的第三像素值差值，为所述非参考行像素点与同列相邻的两个所述参考行像素点之间的两个所述第三像素值差值中的最小值。
22.可选地，在一些示例中，所述基于所述预校正图像，确定各像素点的目标补偿值，包括：通过对各像素点在所述预校正图像中的像素值进行第一滤波处理，确定各像素点的目标像素值；基于各像素点的所述目标像素值与各像素点在所述待校正图像中的像素值的差值，确定各像素点的所述目标补偿值。
23.可选地，在一些示例中，所述通过对各像素点在所述预校正图像中的像素值进行第一滤波处理，确定各像素点的目标像素值，包括：利用预先配置的多个滤波窗口，对每个像素点在所述预校正图像中的像素值进行窗口滤波，其中，多个所述滤波窗口的窗口方向互不相同，以使得每个像素点在所述预校正图像中的像素值经滤波后得到不同的多个滤波值；其中，每个像素点的所述目标像素值，为该像素点的多个所述滤波值中与该像素点在所述待校正图像中的像素值最接近的一个。
24.可选地，在一些示例中，多个所述滤波窗口包括第一滤波窗口、第二滤波窗口、第三滤波窗口以及第四滤波窗口，其中：所述第一滤波窗口的窗口方向被配置为用于：取任一像素点所在行的第一侧相邻两个像素点的像素值与该像素点的像素值进行均值滤波；所述第二滤波窗口的窗口方向被配置为用于：取任一像素点所在行的第二侧相邻两个像素点的像素值与该像素点的像素值进行均值滤波，所述第二侧为所述第一侧的相反侧；所述第三
滤波窗口的窗口方向被配置为用于：取任一像素点沿第一倾斜方向对角相邻的两个像素点的像素值与该像素点的像素值进行均值滤波；所述第四滤波窗口的窗口方向被配置为用于：取任一像素点沿第二倾斜方向对角相邻的两个像素点的像素值与该像素点的像素值进行均值滤波，所述第二倾斜方向为所述第一倾斜方向的对称镜像方向。
25.可选地，在一些示例中，所述利用各像素点的所述目标补偿值，对所述待校正图像进行图像校正，包括：对各像素点的所述目标补偿值进行第二滤波处理；利用各像素点的所述目标补偿值经所述第二滤波处理后的优化补偿值，对所述待校正图像进行图像校正。
26.本技术的另一方面还提供了一种图像校正装置，包括：
27.图像获取单元，被配置为获取待校正图像；
28.图像预校正单元，被配置为对所述待校正图像进行预校正处理，得到预校正图像，其中，相邻行像素点在所述预校正图像中的像素值差异小于在所述待校正图像中的像素值差异；
29.补偿值确定单元，被配置为基于所述预校正图像，确定各像素点的目标补偿值；
30.图像校正单元，被配置为利用各像素点的所述目标补偿值，对所述待校正图像进行图像校正。
31.可选地，在一些示例中，所述图像获取单元被具体配置为：获取图像传感器产生的同一帧图像中的第一图像数据和第二图像数据，其中，所述第一图像数据和所述第二图像数据分别由第一读出电路和第二读出电路从所述图像传感器的不同行读取得到；利用所述第一图像数据和所述第二图像数据，生成所述待校正图像。
32.可选地，在一些示例中，像素点包括位于多个参考行中的参考行像素点、以及与多个所述参考行交替分布的多个非参考行中的非参考行像素点；所述图像预校正单元被具体配置为：确定所述非参考行像素点的邻域范围内的所述参考行像素点，其中，对于每对所述参考行之间的所述非参考行中的所述非参考行像素点，所述邻域范围内包含该对所述参考行中的所述参考行像素点；基于所述非参考行像素点的所述邻域范围内位于不同所述参考行的所述参考行像素点在所述待校正图像中的像素值差异，确定所述非参考行像素点在所述预校正图像中的像素值，其中，所述参考行像素点在所述预校正图像中的像素值，与所述参考行像素点在所述待校正图像中的像素值相同。
33.可选地，在一些示例中，所述待校正图像是基于图像传感器的同一帧图像中的第一图像数据和第二图像数据生成的，其中，所述第一图像数据和所述第二图像数据分别由第一读出电路和第二读出电路从所述图像传感器的不同行读取得到；所述参考行为所述第一读出电路读取得到所述第一图像数据的行，并且，所述非参考行为所述第二读出电路读取得到所述第二图像数据的行。
34.可选地，在一些示例中，所述参考行为奇数行，所述非参考行为偶数行，所述参考行像素点包括奇数行像素点，所述非参考行像素点包括偶数行像素点；或者，所述参考行为偶数行，所述非参考行为奇数行，所述参考行像素点包括偶数行像素点，所述非参考行像素点包括奇数行像素点。
35.可选地，在一些示例中，对于每对所述参考行之间的所述非参考行中的所述非参考行像素点，所述邻域范围内包含：该对所述参考行中与所述非参考行像素点同列对位的所述参考行像素点；所述图像预校正单元被具体配置为：确定每对所述参考行中同列对位
的所述参考行像素点在所述待校正图像中的第一像素值差值；基于同列对位的每对所述参考行像素点之间的所述第一像素值差值与预设的第一阈值的比较结果，确定该对所述参考行像素点之间同列对位的所述非参考行像素点在所述预校正图像中的像素值。
36.可选地，在一些示例中，所述图像预校正单元被具体配置为：将同列对位的每对所述参考行像素点的所述第一像素值差值与所述第一阈值进行比较；若同列对位的任意一对所述参考行像素点的所述第一像素值差值小于所述第一阈值，则，将该对所述参考行像素点之间同列对位的所述非参考行像素点在所述预校正图像中的像素值，确定为该对所述参考行像素点在所述待校正图像中的像素值的平均值；若同列对位的任意一对所述参考行像素点的所述第一像素值差值等于所述第一阈值，则，将该对所述参考行像素点之间同列对位的所述非参考行像素点在所述预校正图像中的像素值，确定为该对所述参考行像素点之间的所述非参考行像素点在所述待校正图像中的像素值；若同列对位的任意一对所述参考行像素点的所述第一像素值差值大于所述第一阈值，则，将该对所述参考行像素点之间同列对位的所述非参考行像素点在所述预校正图像中的像素值，确定为该对所述参考行像素点之间的所述非参考行像素点在所述待校正图像中的像素值与预校正变量之和，其中，所述预校正变量为单帧待校正图像中的所述参考行像素点与所述非参考行像素点的像素值差值的均值，所述单帧待校正图像为当前帧的所述待校正图像、或者为当前帧的所述待校正图像的前一帧待校正图像。
37.可选地，在一些示例中，对于每对所述参考行之间的所述非参考行中的所述非参考行像素点，所述邻域范围内包含：该对所述参考行中与所述非参考行像素点同列对位的所述参考行像素点、以及该对所述参考行中位于所述非参考行像素点的相邻列的所述参考行像素点；所述图像预校正单元被具体配置为：确定每对所述参考行中位于所述邻域范围内的至少两对所述参考行像素点在所述待校正图像中的第二像素值差值；基于所述第二像素值差值与预设的第二阈值的比较结果，确定该对所述参考行之间的所述非参考行中各所述非参考行像素点的预补偿值；确定每个所述非参考行中各所述非参考行像素点的所述预补偿值的平均值；利用所述非参考行的所述预补偿值的平均值、以及所述非参考行中各所述非参考行像素点在所述待校正图像中的像素值，确定所述非参考行中各所述非参考行像素点在所述预校正图像中的像素值。
38.可选地，在一些示例中，所述图像预校正单元被具体配置为：将每个所述非参考行像素点的所述邻域范围内的至少两对所述参考行像素点的所述第二像素值差值与所述第二阈值进行比较，其中，对于每个所述非参考行像素点：若所述第二像素值差值均小于或等于所述第二阈值，则，从所述非参考行像素点的至少两个第一候选补偿值中选取一个作为所述预补偿值，其中，每个所述第一候选补偿值为所述预设邻域范围内的至少两对所述参考行像素点中的其中一对在所述待校正图像中的像素值均值，相比于所述非参考行像素点在所述待校正图像中的像素值的差值；若存在大于所述第二阈值的所述第二像素值差值，则，从所述非参考行像素点的各第二候选补偿值中选取一个作为所述预补偿值，其中，每个所述第二候选补偿值为与所述非参考行像素点的同列对位的一个所述参考行像素点在所述待校正图像中的像素值，相比于所述非参考行像素点在所述待校正图像中的像素值的差值。
39.可选地，在一些示例中，被选取作为所述预补偿值的所述第一候选补偿值所对应
的一对所述参考行像素点的所述第二像素值差值，为至少两对所述参考行像素点的所述第二像素值差值中的最小值；被选取作为所述预补偿值的所述第二候选补偿值所对应的所述参考行像素点相比于所述非参考行像素点的第三像素值差值，为所述非参考行像素点与同列相邻的两个所述参考行像素点之间的两个所述第三像素值差值中的最小值。
40.可选地，在一些示例中，所述补偿值确定单元被具体配置为：通过对各像素点在所述预校正图像中的像素值进行第一滤波处理，确定各像素点的目标像素值；基于各像素点的所述目标像素值与各像素点在所述待校正图像中的像素值的差值，确定各像素点的所述目标补偿值。
41.可选地，在一些示例中，所述补偿值确定单元被具体配置为：利用预先配置的多个滤波窗口，对每个像素点在所述预校正图像中的像素值进行窗口滤波，其中，多个所述滤波窗口的窗口方向互不相同，以使得每个像素点在所述预校正图像中的像素值经滤波后得到不同的多个滤波值；其中，每个像素点的所述目标像素值，为该像素点的多个所述滤波值中与该像素点在所述待校正图像中的像素值最接近的一个。
42.可选地，在一些示例中，多个所述滤波窗口包括第一滤波窗口、第二滤波窗口、第三滤波窗口以及第四滤波窗口，其中：所述第一滤波窗口的窗口方向被配置为用于：取任一像素点所在行的第一侧相邻两个像素点的像素值与该像素点的像素值进行均值滤波；所述第二滤波窗口的窗口方向被配置为用于：取任一像素点所在行的第二侧相邻两个像素点的像素值与该像素点的像素值进行均值滤波，所述第二侧为所述第一侧的相反侧；所述第三滤波窗口的窗口方向被配置为用于：取任一像素点沿第一倾斜方向对角相邻的两个像素点的像素值与该像素点的像素值进行均值滤波；所述第四滤波窗口的窗口方向被配置为用于：取任一像素点沿第二倾斜方向对角相邻的两个像素点的像素值与该像素点的像素值进行均值滤波，所述第二倾斜方向为所述第一倾斜方向的对称镜像方向。
43.可选地，在一些示例中，所述图像校正单元被具体配置为：对各像素点的所述目标补偿值进行第二滤波处理；利用各像素点的所述目标补偿值经所述第二滤波处理后的优化补偿值，对所述待校正图像进行图像校正。
44.本技术的另一方面还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的图像校正方法的步骤。
45.本技术的另一方面还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像校正方法的步骤。
46.由上面的技术方案可见，本技术可以先通过对待校正图像的预校正处理而减小相邻行间像素值差异，以实现对横线噪声的弱化，并且，本技术还可以基于横线噪声被弱化的预校正图像，确定各像素点在待校正图像中的像素值所需的目标补偿值，从而，可以在无需借助时域上相邻的其他帧图像的情况下，对待校正图像进行用于消除横线噪声的图像校正，进而有助于提高图像质量。
附图说明
47.以下附图仅对本技术做示意性说明和解释，并不限定本技术的范围：
48.图1是本技术提供的一种图像校正方法的实施例的流程示意图；
49.图2是本技术提供的一种图像校正装置的实施例的结构示意图；
50.图3是本技术提供的一种电子设备的结构示意图。
具体实施方式
51.为了使本技术的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本技术作进一步详细说明。
52.在附图中，为了便于说明，已稍微夸大了物体的厚度、尺寸和形状。附图仅为示例而并非严格按比例绘制。还应理解的是，用语“包括”、“包括有”、“具有”、“包含”和/或“包含有”，当在本说明书中使用时表示存在所陈述的特征、整体、步骤、操作、元件和/或部件，但不排除存在或附加有一个或多个其它特征、整体、步骤、操作、元件、部件和/或它们的组合。此外，当诸如“...中的至少一个”的表述出现在所列特征的列表之后时，修饰整个所列特征，而不是修饰列表中的单独元件。此外，当描述本技术的实施方式时，使用“可以”表示“本技术的一个或多个实施方式”。并且，用语“示例性的”旨在指代示例或举例说明。用于
″
第一阈值
″
也可以称作
″
第二阈值
″
，
″
第二阈值
″
也可以称作
″
第一阈值
″
。如在本文中使用的，用语“基本上”、“大约”以及类似的用语用作表近似的用语，而不用作表程度的用语，并且旨在说明将由本领域普通技术人员认识到的、测量值或计算值中的固有偏差。除非另外限定，否则本文中使用的所有用语(包括技术用语和科学用语)均具有与本技术所属领域普通技术人员的通常理解相同的含义。还应理解的是，用语(例如在常用词典中定义的用语)应被解释为具有与它们在相关技术的上下文中的含义一致的含义，并且将不被以理想化或过度正式意义解释，除非本文中明确如此限定。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
53.图1是本技术提供的一种图像校正方法的实施例的流程示意图，请参见图1，在本技术的一个实施例中，图像校正方法可以包括：
54.s1，获取待校正图像。
55.在图像传感器产生的每帧图像的不同行分别由不同读出电路读取的场景中，待校正图像可以是基于图像传感器产生的同一帧图像中(即在同一个帧周期内产生)的第一图像数据和第二图像数据生成的，其中，第一图像数据和所述第二图像数据可以分别由第一读出电路和第二读出电路从图像传感器的不同行读取得到。也就是，步骤s1可以先获取图像传感器产生的同一帧图像中的第一图像数据和第二图像数据，其中，该第一图像数据和该第二图像数据分别由第一读出电路和第二读出电路从图像传感器的不同行读取得到，例如，第一读出电路读取得到第一图像数据的行可以为奇数行和偶数行中的任意一类、第二读出电路读取得到第二图像数据的行可以为奇数行和偶数行中与第一读出电路所读取的行不同的另一类；然后，步骤s1可以再利用获取得到的第一图像数据和第二图像数据生成待校正图像，其中，该待校正图像可以包含图像传感器产生的同一帧图像中的信息。
56.但可以理解的是，待校正图像并不限于是由不同读出电路读取的图像数据的合成图像，其也可以是图像传感器被单个读出电路读取的完整图像，在此情况下，本技术实施例所要消除的横线噪声，可以是由图像传感器的感光阵列的行间性能差异引发的。
57.在本技术的一些实施方式中，待校正图像可以包括红外图像，在此情况下，图像传
感器可以包括红外探测器，并且，红外探测器可以包括用于产生待校正图像的像素信息的红外焦平面阵列(infrared focal plane array，irfpa)。但可以理解的是，待校正图像也可以是可见光图像，相应地，图像传感器可以不限于红外探测器，例如，作为红外探测器的一种替代方式，图像传感器也可以包括诸如cmos(complementary metal oxide semiconductor，互补金属氧化物半导体)等可见光图像探测器。
58.s2，对待校正图像进行预校正处理，得到预校正图像，其中，相邻行像素在点预校正图像中的像素值差异小于在待校正图像中的像素值差异。
59.在本实施例中，步骤s2通过预校正处理所降低的像素值差异是指：任意两个相邻行的像素点之间引发横线噪声的像素值差值、或呈现为横线噪声的像素值差值。具体地，引发横线噪声的像素值差值、或呈现为横线噪声的像素值差值，可以包括两个相邻行的同列像素点之间的像素值差值，和/或，包括两个相邻行中任意一行的某个像素点与其邻域范围内的另一行中的另一个像素点之间的像素值差值。
60.若图像传感器包括红外探测器，则，每个像素点的像素值都可以用于表征亮度信息，在此情况下，横线噪声可以是由相邻行像素之间的亮度差异引发，并且，步骤s2通过预校正处理所降低的相邻行像素之间的像素值差异，可以是相邻行像素之间的亮度差异。
61.若图像传感器包括诸如cmos等可见光图像探测器，则，根据布置在可见光图像探测器的感光面的滤光片配置，各像素点可以分别对应r(red，红色)、g(green，绿色)、b(blue，蓝色)中的不同色彩通道，并且，每个像素的像素值可以用于表示该像素值所对应的色彩通道的色彩信息。在此情况下，横线噪声可以是由属于同一个色彩通道的相邻行像素之间的亮度差异引发，并且，步骤s2通过预校正处理所降低的相邻行像素之间的像素值差异，可以是指同一个色彩通道的相邻行像素之间的亮度差异。
62.即，对待校正图像进行预校正处理后，得到的预校正图像中的相邻行像素点之间呈现为横线噪声的像素值差异会减小，以实现由行间像素值差异所引发的横线噪声的弱化。
63.在本技术的一些实施方式中，可以将所有行划分为多个参考行、以及与多个参考行交替分布的多个非参考行，相应地，像素点可以包括位于多个参考行中的参考行像素点、以及与多个参考行交替分布的多个非参考行中的非参考行像素点。例如，在图像传感器产生的每帧图像的不同行分别由不同读出电路读取的场景中，参考行可以为第一读出电路读取得到第一图像数据的行，并且，非参考行可以为第二读出电路读取得到第二图像数据的行。
64.为了便于理解参考行和非参考行，可以认为，参考行可以为奇数行和偶数行中的一类、非参考行可以为奇数行和偶数行中的另一类，即：
65.参考行为奇数行，非参考行为偶数行，参考行像素点包括奇数行像素点，非参考行像素点包括偶数行像素点；或者，
66.参考行为偶数行，非参考行为奇数行，参考行像素点包括偶数行像素点，非参考行像素点包括奇数行像素点。
67.如前文所述，待校正图像可以不限于由不同读出电路读取的图像数据的合成图像，因此，参考行和非参考行的设定方式也可以不以读出电路的读取行做区分，而可以根据预设的行间隔来确定，例如，从任意选定位置开始以n行为间隔设定参考行、并且每两个参
考行之间的n行为非参考行，n为大于或等于1的正整数。
68.无论参考行和非参考行的选择采用哪种方式，步骤s2对待校正图像的预处理过程都可以采用利用参考行像素点的像素值对非参考行像素点的像素值进行预补偿的方式，具体包括：
69.确定非参考行像素点的邻域范围内的参考行像素点，其中，对于每对参考行之间的非参考行中的非参考行像素点，邻域范围内包含该对参考行中的参考行像素点；
70.基于非参考行像素点的邻域范围内位于不同参考行的参考行像素点在待校正图像中的像素值差异，确定非参考行像素点在预校正图像中的像素值，并且，参考行像素点在预校正图像中的像素值与参考行像素点在待校正图像中的像素值相同。其中，区分参考行像素点和非参考行像素点，可以认为是对待校正图像中的像素点的分类，因此，在本文中：每个参考行像素点在预校正图像中的像素值，也可以表示预校正图像中与该参考行像素点对应(即行列位置相对应)的像素点的像素值；同理，每个非参考行像素点在预校正图像中的像素值，也可以表示为预校正图像中与该非参考行像素点对应(即行列位置相对应)的像素点的像素值。
71.从而，基于参考行像素点和非参考行像素点在预校正图像中的像素值，即可得到预校正图像，并且，步骤s2所确定的非参考行像素点在预校正图像中的像素值，能够使非参考行像素点与其相邻行像素点在预校正图像中的像素值差异，小于在待校正图像中的像素值差异。
72.s3，基于预校正图像，确定各像素点的目标补偿值。
73.在步骤s2采用利用参考行像素点的像素值对非参考行像素点的像素值进行预补偿的情况下，参考行像素点在预处理图像中的像素值与在待校正图像中的像素值是相同的，若将各像素点在预校正图像中的像素值直接作为目标像素值，则意味着参考行像素点在待校正图像中的像素值得不到预补偿，并且只有对非参考行像素点在待校正图像中的像素值存在对应的预补偿，这种局部化的预补偿方式容易导致预补偿的不均匀。
74.因此，步骤s3所确定的目标补偿值，可以用于对所有像素点在待校正图像中的像素值进行全局补偿。
75.在本技术的一些实施方式中，步骤s3可以通过对预处理图像进行滤波，而使局限于非参考行像素点的像素值的预补偿量，可以被全局化至所有像素点。即，对于步骤s3所执行的滤波处理，可以不像步骤s2进行的预校正过程那样区分参考行和非参考行，而是对所有像素点中的每一个都进行窗口滤波。例如，步骤s3可以具体包括：
76.通过对各像素点在预校正图像中的像素值进行第一滤波处理，确定各像素点的目标像素值，其中，第一滤波处理可以用于使每个像素点在预校正图像中的像素值，被更新为预设滤波窗口内的各像素点的像素值的均值，以使得各像素点的目标像素值为非参考行的预补偿量被全局化后的像素值；
77.基于各像素点的目标像素值与各像素点在待校正图像中的像素值的差值，确定各像素点的目标补偿值，其中，由于各像素点的目标像素值是预补偿量被全局化后的像素值，因此，所有像素点的目标补偿值可以全部或基本上全部不为0。
78.s4，利用各像素点的目标补偿值，对待校正图像进行图像校正。
79.若步骤s2采用利用参考行像素点的像素值对非参考行像素点的像素值进行预补
偿，则，通过步骤s3对预校正图像进行滤波后确定的用于全局补偿的目标补偿值，仍可能在相邻行的参考行像素点与非参考行像素点之间存在预补偿值的落差，该落差容易引发校正后的图像中存在横线噪声的残留噪声。在此情况下，步骤s4在进行图像校正时，对各像素点在待校正图像的像素值的补偿，可以不直接使用对应像素点的目标补偿值，而是可以先进一步对各像素点的目标补偿值进行进一步的平滑处理，并利用目标补偿值经平滑处理后的优化值，对各像素点在待校正图像的像素值进行补偿，以实现待校正图像的图像校正。
80.例如，步骤s4对目标补偿值的平滑处理可以采用滤波方式，即，步骤s4可以具体包括：
81.对各像素点的目标补偿值进行第二滤波处理，其中，第二滤波处理可以用于使各像素点的目标补偿值，被更新为该像素点与预设滤波窗口内的选定像素点的目标补偿值的均值，以实现对各像素点的目标补偿值的平滑处理；
82.利用各像素点的目标补偿值经第二滤波处理后的优化补偿值，对待校正图像进行图像校正。
83.基于上述流程可见，本技术实施例中的图像校正方法可以先通过对待校正图像的预校正处理而减小相邻行间像素值差异，以实现对奇偶行横线噪声的弱化，并且，本技术实施例中的图像校正方法还可以基于横线噪声被弱化的预校正图像，确定各像素点在待校正图像中的像素值所需的目标补偿值，从而，可以在无需借助时域上相邻的其他帧图像的情况下，对待校正图像进行用于消除横线噪声的图像校正，进而有助于提高图像质量。
84.为了更好地理解上述流程中的步骤s2利用参考行像素点的像素值对非参考行像素点的像素值进行预补偿的预校正处理，以下对该步骤进行详细举例说明。
85.对于如图1所示流程中的步骤s2利用参考行像素点的像素值对非参考行像素点的像素值进行预补偿的预校正处理，本技术实施例可以提供两种预补偿方式，并且，步骤s2可以择一地选用其中的一种。
86.在第一方式中，可以采用同列对位的方式逐列修正非参考行像素点的方式，即，对于每对参考行之间的非参考行中的任意非参考行像素点，该非参考行像素点的邻域范围内可以包含：该对参考行中与该非参考行像素点同列对位的一对参考行像素点；相应地，步骤s2在确定非参考行像素点在预校正图像中的像素值时，可以具体包括：
87.确定每对参考行中同列对位的参考行像素点(即非参考行像素点的邻域范围内的一对参考行像素点)在待校正图像中的第一像素值差值；
88.基于同列对位的每对参考行像素点之间的第一像素值差值与预设的第一阈值的比较结果，确定该对参考行像素点之间同列对位的非参考行像素点在预校正图像中的像素值，其中，参考行像素点在预校正图像中的像素值，与参考行像素点在待校正图像中的像素值相同。
89.在第二种方式中，可以采用对每个非参考行中的各非参考行像素点采用等幅修正的方式，即，对于每对参考行之间的非参考行中的任意非参考行像素点，该非参考行像素点的邻域范围内可以包含：该对参考行中与非参考行像素点同列对位的参考行像素点、以及该对参考行中位于非参考行像素点的相邻列的参考行像素点，即，至少两对参考行像素点、且每对参考行像素点分别位于不同参考行；相应地，步骤s2在确定非参考行像素点在预校正图像中的像素值时，可以具体包括：
90.确定每对参考行中位于任意非参考行像素点的邻域范围内的至少两对参考行像素点在待校正图像中的第二像素值差值；
91.基于第二像素值差值与预设的第二阈值的比较结果，确定该对参考行之间的非参考行中各非参考行像素点的预补偿值；
92.确定每个非参考行中各非参考行像素点的预补偿值的平均值；
93.利用非参考行中各非参考行像素点的预补偿值的平均值、以及该非参考行中各非参考行像素点在待校正图像中的像素值，确定该非参考行中各非参考行像素点在预校正图像中的像素值。
94.其中，无论是哪一种方式，参考行像素点在预校正图像中的像素值与参考行像素点在待校正图像中的像素值相同，也就是，无论上述哪一种方式，对横线噪声的弱化处理的对象都是非参考行像素点。
95.具体地，对于上述第一种方式，如图1所示流程中的步骤s2在基于同列对位的每对参考行像素点之间的第一像素值差值与预设的第一阈值的比较结果，确定该对参考行像素点之间同列对位的非参考行像素点在预校正图像中的像素值时，可以具体包括：
96.将同列对位的每对参考行像素点的第一像素值差值与前述的第一阈值进行比较；
97.若同列对位的任意一对参考行像素点的第一像素值差值小于第一阈值，则，将该对参考行像素点之间同列对位的非参考行像素点在预校正图像中的像素值，确定为该对参考行像素点在待校正图像中的像素值的平均值；
98.若同列对位的任意一对参考行像素点的第一像素值差值等于第一阈值，则，将该对参考行像素点之间同列对位的非参考行像素点在预校正图像中的像素值，确定为该对参考行像素点之间的非参考行像素点在待校正图像中的像素值；
99.若同列对位的任意一对参考行像素点的第一像素值差值大于第一阈值，则，将该对参考行像素点之间同列对位的非参考行像素点在预校正图像中的像素值，确定为该对参考行像素点之间的非参考行像素点在待校正图像中的像素值与预校正变量之和，其中，预校正变量为单帧待校正图像中的参考行像素点与非参考行像素点的像素值差值的均值，单帧待校正图像为当前帧的待校正图像、或者为当前帧的待校正图像的前一帧待校正图像。
100.示例性地，假设将待校正图像中的每个像素点的像素值表示为img(i，j)，并且将其中的任一非参考行像素点的像素值表示为img(i1，j1)，其中1≤i≤imgh；1≤j≤imgw；其中，imgh为待校正图像的高度(即行数)，例如，imgh的取值可以为1024，imgw为待校正图像的宽度(即列数)，例如，imgw的取值可以为1280，第一阈值表示为maxdifline，例如，maxdifline的取值可以为8，并且，第一像素值差值可以表示为abs(img(i1+1，j1)-img(i
1-1，j1))，则，步骤s2将同列对位的每对参考行像素点的第一像素值差值与预先设置进行比较的过程可以表示为如下式(1)所示出的基于第一像素值差值的绝对值的判定方式。
101.abs(img(i1+1，j1)-img(i
1-1，j1))＜maxdifline
ꢀꢀꢀ
(1)
102.若满足式(1)的条件，即，该非参考行像素点在上下相邻的参考行中同列对位的一对参考行像素点的第一像素值差值abs(img(i1+1，j1)-img(i
1-1，j1))小于第一阈值，则，该非参考行像素点在预校正图像中的像素值可以被确定为与之同列对位的一对参考行像素点在待校正图像中的像素值的均值，即，该非参考行像素点在预校正图像中的像素值img(i1，j1)
′
可以如下式(2)表示：
[0103][0104]
若未满足式(1)的条件，并且，第一像素值差值abs(img(i1+1，j1)-img(i
1-1，j1))等于第一阈值maxdifline，则，可以将位于该对同列对位的参考行像素点之间的非参考行像素点在预校正图像中的像素值img(i1，j1)
′
，确定为该非参考行像素点在待校正图像中的像素值img(i1，j1)，即，不对该非参考行像素点在待校正图像中的像素值img(i1，j1)做处理，而是将其赋值给该非参考行像素点在预校正图像中的像素值img(i1，j1)
′
。
[0105]
若未满足式(1)的条件，并且，第一像素值差值的绝对值abs(img(i1+1，j1)-img(i
1-1，j1))大于第一阈值maxdifline，则，可以将位于该对同列对位的参考行像素点之间的非参考行的非参考行像素点在预校正图像中的像素值img(i1，j1)
′
，确定为该非参考行像素点在待校正图像中的像素值与预校正变量之和，其中，预校正变量可以为当前帧待校正图像中，各参考行像素点的像素值与各非参考行像素点的像素值的差值的均值，或者，预校正变量为当前帧的上一帧待校正图像中，各参考行像素点的像素值与各非参考行像素点的像素值的差值的均值，该过程的触发条件可以具体如下式(3)所表示、该过程中确定非参考行像素点在预校正图像中的像素值img(i1，j1)
′
的方式可以具体如以偶数行为非参考行为例的下式(4)所表示、该过程中使用的预校正变量可以具体如以偶数行为非参考行为例的下式(5)所表示。
[0106]
abs(img(i1+1，j1)-img(i
1-1，j1))＞maxdifline
ꢀꢀ
(3)
[0107]
img(i1，j1)
′
＝img(i1，j1)+fixedcorrectcoef；i1＝2，4，6...1024
ꢀꢀ
(4)
[0108]
fixedcorrectcoef＝mean(img(1：2：1024，1：1280)-img(2：2：1024，1：1280))
ꢀꢀ
(5)
[0109]
其中，fixedcorrectcoef为预校正变量，需要说明的是，式(5)示出的预校正变量fixedcorrectcoef为当前帧的待校正图像中，各参考行像素点的像素值与各非参考行像素点的像素值的差值的均值，如上文中提到的，该预校正变量也可以为当前帧的上一帧待校正图像中，各参考行像素点的像素值与各非参考行像素点的像素值的差值的均值，需要进一步说明的是，在式(5)中，示例性地将待校正图像中的所有奇数行作为参考行，所有偶数行即为非参考行，img(1：2：1024，1：1280)表示所有奇数行像素点在当前帧的待校正图像中的像素值，img(2：2：1024，1：1280)表示所有偶数行像素点在当前帧的待校正图像中的像素值。
[0110]
在对待校正图像做如上处理后，即可确定参考行像素点和非参考行像素点在预校正图像中的像素值，从而可以得到预校正图像。
[0111]
在步骤s2采用前文的第二种方式的情况下，确定非参考行中各非参考行像素点的预补偿值的平均值的过程可以如下式(6)表示，并且，利用每个非参考行中各非参考行像素点的预补偿值的平均值summeanline(i1)、以及该非参考行中的各非参考行像素点在待校正图像中的像素值img(i1，1：1280)，确定该非参考行中的各非参考行像素点在预校正图像中的像素值img(i1，1：1280)
′
的过程，可以如以偶数行为非参考行为例的下式(7)表示。
[0112]
summeanline(i1)＝mean(correctmidcoef(i1，j1))，j1＝1：1280
ꢀꢀ
(6)
[0113]
img(i1，1：1280)
′
＝img(i1，1：1280)+summeanline(i1)；i1＝2，4，6...1024
ꢀꢀ
(7)
[0114]
其中，式(6)中的correctmidcoef(i1，j1)表示该非参考行中的每个非参考行像素
点的预补偿值，并且，在式(6)和式(7)中，summeanline(i1)表示该非参考行中各非参考行像素点的预补偿值correctmidcoef(i1，j1)的平均值，参考式(7)，该非参考行中各非参考行像素点在待校正图像中的像素值，均可以与该非参考行中各非参考行像素点的预补偿值的平均值相加，以得到该非参考行中的所有非参考行像素点在预校正图像中的像素值。
[0115]
为了基于每对参考行中的至少两对参考行像素点在待校正图像中的第二像素值差值，确定该对参考行之间的非参考行中的每个非参考行像素点的预补偿值，步骤s2可以具体包括：
[0116]
将每个非参考行像素点的预设邻域范围内的至少两对参考行像素点的第二像素值差值与预设的第二阈值进行比较，其中，对于每个非参考行像素点：
[0117]
若第二像素值差值均小于或等于第二阈值，则，从该非参考行像素点的第一候选组中的各第一候选补偿值中选取一个作为该非参考行像素点的预补偿值，其中，每个第一候选补偿值可以为该非参考行像素点的预设邻域范围内的一对参考行像素点在待校正图像中的像素值均值，相比于非参考行像素点在待校正图像中的像素值的差值；
[0118]
若存在大于第二阈值的第二像素值差值，则，从该非参考行像素点的第二候选组中的各第二候选补偿值中选取一个作为该非参考行像素点的预补偿值，其中，每个第二候选补偿值可以为与该非参考行像素点的同列对位的一个参考行像素点在待校正图像中的像素值，相比于该非参考行像素点在待校正图像中的像素值的差值。
[0119]
示例性地，对于任一非参考行的任意非参考行像素点，其预设邻域范围可以为以该非参考行像素点所在列为中心的三列，取其相邻的3对参考行像素点，即，第一对参考行像素点a1与a2、第二对参考行像素点a3与a4、以及第三对参考行像素点a5与a6，其中，这三对参考行像素点的像素值可以分别表示为：
[0120]
a1＝img(i
1-1，j
1-1)
[0121]
a2＝img(i1+1，j1+1)
[0122]
a3＝img(i
1-1，j1)
[0123]
a4＝img(i1+1，j1)
[0124]
a5＝img(i
1-1，j1+1)
[0125]
a6＝img(i1+1，j
1-1)
[0126]
通过上述表达方式中表示行和列的字符可知，第一对参考行像素点a1与a2为相对于该非参考行像素点的对角相对的一对参考行像素点，第二对参考行像素点a3与a4为与该非参考行像素点同列对位的一对参考行像素点，第三对参考行像素点a5与a6为相对于该非参考行像素点的对角相对(对角方向与第一对参考行像素点a1与a2的对角方向相反)的另一对参考行像素点，也就是，预设邻域范围内的至少两对参考行像素点可以包括同列对位的一对参考行像素点、以及至少一对对角相邻的参考行像素点。
[0127]
若以每个非参考行像素点的上述3对参考行像素点为例，则，每个非参考行像素点的多个第二像素值差值，可由下式(8)、(9)、(10)所示。
[0128]
anbflatpixel1＝abs(a
1-a2)
ꢀꢀ
(8)
[0129]
anbflatpixel2＝abs(a
3-a4)
ꢀꢀ
(9)
[0130]
anbflatpxel3＝abs(a
5-a6)
ꢀꢀ
(10)
[0131]
将多个第二像素值差值anbflatpixel1、anbflatpixel2以及anbflatpixel3与预先
设置的第二阈值作比较，则：
[0132]
当任一非参考行像素点的多个第二像素值差值anbflatpixel1、anbflatpixel2以及anbflatpixel3均小于或等于该第二阈值时，从该非参考行像素点的第一候选组中如下式(11)、(12)、(13)所示的三个第一候选补偿值anbdifpixel1、anbdifpixel2以及anbdifpixel3中选取一个作为该非参考行像素点的预补偿值。
[0133][0134][0135][0136]
参考上式(11)、(12)、(13)，每个第一候选补偿值都可以为该非参考行像素点的预设邻域范围内的一对参考行像素点在待校正图像中的像素值均值，相比于非参考行像素点在待校正图像中的像素值的差值。
[0137]
并且，从第一候选组中选取的作为预补偿值的第一候选补偿值所对应的一对参考行像素点的第二像素值差值，为至少两对(本示例中为三对)参考行像素点的第二像素值差值中的最小值，即：
[0138]
当anbflatpixel1为分别对应三对参考行像素点的三个第二像素值差值中的最小值时，该非参考行像素点的预补偿值correctmidcoef(i1，j1)被确定为anbdifpixel1；
[0139]
当anbflatpixel2为分别对应三对参考行像素点的三个第二像素值差值中的最小值时，该非参考行像素点的预补偿值correctmidcoef(i1，j1)被确定为anbdifpixel2；
[0140]
当anbflatpixel3为分别对应三对参考行像素点的三个第二像素值差值中的最小值时，该非参考行像素点的预补偿值correctmidcoef(i1，j1)被确定为anbdifpixel3。
[0141]
当任一非参考行像素点的多个第二像素值差值anbflatpixel1、anbflatpixel2以及anbflatpixel3其中任一个大于该第二阈值时，则表示该非参考行像素点可能为横线噪声的边缘的像素点，此时可以从包含两个第二候选补偿值anbdifpixel4以及anbdifpixel5的第二候选组中选取预补偿值correctmidcoef(i1，j1)，以达到更好的校正效果。
[0142]
例如，每个非参考行像素点的两个第二候选补偿值anbdifpixel4以及anbdifpixel5可以如下式(14)、(15)表示。
[0143]
anbdifpixel4＝a
3-img(i1，j1)
ꢀꢀ
(14)
[0144]
anbdifpixel5＝a
4-img(i1，j1)
ꢀꢀ
(15)
[0145]
从任一非参考行像素点的第二候选组中选取的作为预补偿值的第二候选补偿值所对应的参考行像素点相比于非参考行像素点的第三像素值差值，为该非参考行像素点与同列相邻的两个参考行像素点之间的两个第三像素值差值中的最小值。
[0146]
例如，可以确定该非参考行像素点相比于同列相邻的每个参考行像素点的第三像素值差值anbflatpixel4以及anbflatpixel5，此时的两个第三像素值差值anbflatpixel4以及anbflatpixel5可以由式(16)、(17)所表示。
[0147]
anbflatpixel4＝abs(img(i1，j1)-a3)
ꢀꢀꢀ
(16)
[0148]
anbflatpixel5＝abs(img(i1，j1)-a4)
ꢀꢀꢀꢀ
(17)
[0149]
从而：
[0150]
当anbflatpixel4为该非参考行像素点分别与同列相邻的两个参考行像素点之间的两个第三像素值差值中的最小值时，该非参考行像素点的预补偿值correctmidcoef(i1，j1)可以被确定为anbdifpixel4；
[0151]
当anbflatpixel5为该非参考行像素点分别与同列相邻的两个参考行像素点之间的两个第三像素值差值中的最小值时，该非参考行像素点的预补偿值correctmidcoef(i1，j1)可以被确定为anbdifpixel5。
[0152]
在确定非参考行中的每一个非参考行像素点的预补偿值后，即可参考上式(6)、(7)所示的方式，得到该非参考行的所有非参考行像素点预校正后的像素值，得到预校正图像。
[0153]
下面，再对如图1所示流程中的步骤s3在确定目标补偿值时执行的第一滤波处理进行举例说明。
[0154]
步骤s3执行的第一滤波处理，可以在对每个像素点的像素值进行窗口滤波时都使用预先配置的配置多个滤波窗口，多个滤波窗口可以具有相同的窗口规格、但可以在窗口方向上有所不同。
[0155]
例如，步骤s3通过对各像素点在预校正图像中的像素值进行第一滤波处理，确定各像素点的目标像素值时，可以具体包括：
[0156]
利用预先配置的多个滤波窗口，对每个像素点在预校正图像中的像素值进行窗口滤波；
[0157]
其中，多个滤波窗口的窗口方向互不相同，以使得每个像素点在预校正图像中的像素值经滤波后得到不同的多个滤波值；
[0158]
并且，每个像素点的目标像素值，可以被确定为该像素点的多个滤波值中与该像素点在待校正图像中的像素值最接近的一个。
[0159]
示例性地，以窗口滤波包括第一滤波窗口w1、第二滤波窗口w2、第三滤波窗口w3以及第四滤波窗口w4共四个滤波窗口为例，四个滤波窗口的规格大小均为2
×
1。
[0160]
第一滤波窗口w1的窗口方向可以被配置为用于：取任一像素点所在行的第一侧相邻两个像素点的像素值与该像素点的像素值进行均值滤波；
[0161]
第二滤波窗口w2的窗口方向被配置为用于：取任一像素点所在行的第二侧相邻两个像素点的像素值与该像素点的像素值进行均值滤波，该第二侧为前述第一侧的相反侧；
[0162]
第三滤波窗口w3的窗口方向被配置为用于：取任一像素点沿第一倾斜方向对角相邻的两个像素点的像素值与该像素点的像素值进行均值滤波；
[0163]
第四滤波窗口的窗口方向被配置为用于：取任一像素点沿第二倾斜方向对角相邻的两个像素点的像素值与该像素点的像素值进行均值滤波，该第二倾斜方向为前述的第一倾斜方向的对称镜像方向。
[0164]
按照以被执行滤波的像素点为中心的窗口表示，则第一滤波窗口w1、第二滤波窗口w2、第三滤波窗口w3以及第四滤波窗口w4可分别表示为：
[0165][0166]
[0167][0168][0169]
假设任一像素点在待校正图像中的像素值为img(i1，j1)，每个像素点在预校正图像中的像素值img(i1，j1)
′
经过第一滤波窗口w1、第二滤波窗口w2、第三滤波窗口w3以及第四滤波窗口w4共四个滤波窗口的滤波后，对应得到的滤波值分别为i1、i2、i3、i4，则，该像素点的目标像素值为dstimg(i1，j1)，如下式(18)：
[0170]
dstimg(i1，j1)＝ij，j＝argminj＝1：4||img(i1，j1)-ij||
ꢀꢀꢀꢀ
(18)
[0171]
其中，j＝argminj＝1：4||img(i1，j1)-ij||表示该像素点的目标像素值dstimg(i1，j1)为：该像素点在预校正图像中的像素值img(i1，j1)
′
经上述滤波处理后得到的四个滤波值i1、i2、i3、i4中，与该像素点在待校正图像中的像素值img(i1，j1)最接近的一个滤波结果。
[0172]
此后，步骤s3即可利用每个像素点经第一滤波处理确定的目标像素值dstimg(i1，j1)、以及该像素点在待校正图像中的像素值img(i1，j1)的像素值的差值，确定该像素点的目标补偿值。
[0173]
示例性地，任一像素点的目标像素值为dstimg(i1，j1)，该像素点该像素点在待校正图像中的像素值为img(i1，j1)，则，该像素点的目标补偿值为correctcoef(i1，j1)，如下式(19)。
[0174]
correctcoef(i1，j1)＝img(i1，j1)-dstimg(i1，j1)
ꢀꢀꢀꢀ
(19)
[0175]
另外，如前文所述，为了优化各像素点的目标补偿值correctcoef(i1，j1)，步骤s4可以对各像素点的目标补偿值correctcoef(i1，j1)进行第二滤波处理，例如，该第二滤波处理可以利用预先配置的单滤波窗口对各像素点进行逐行滤波，第二滤波处理使用的滤波窗口的窗口规格可以大于第一滤波处理所使用的滤波窗口的窗口规格。
[0176]
示例性地，以第二滤波处理使用的滤波窗口的窗口规格大小为具有32个像素点的覆盖范围(例如1
×
32)为例，对目标补偿值correctcoef(i1，j1)进行第二滤波处理后的优化补偿值correctcoef(i1，j1)
′
可以如下式(20)。
[0177]
correctcoef(i1，j1)
′
＝mean(correctcoef(i1，j))，j＝j
1-16：j1+15
ꢀꢀꢀ
(20)
[0178]
在此情况下，利用每个像素点在待校正图像中的像素值img(i1，j1)与优化补偿值correctcoef(i1，j1)
′
求和，即可得到各像素点在校正图像中的像素值经校正后的最终像素值，从而实现对待校正图像的图像校正，其中，每个像素点利用经平滑处理后的优化补偿值correctcoef(i1，j1)
′
进行图像校正后得到的最终像素值dstimg(i1，j1)
′
可以如下式(21)所表示：
[0179]
dstimg(i1，j1)
′
＝img(i1，j1)-correctcoef(i1，j1)
ꢀꢀꢀ
(21)
[0180]
图2是本技术提供的一种图像校正装置的实施例的结构示意图。参考图2，在本技术的另一个实施例中，提供的一种图像校正装置可以包括：图像获取单元、图像预校正单元、补偿值确定单元、以及图像校正单元。
[0181]
图像获取单元可以被配置为获取待校正图像。在图像传感器产生的每帧图像的不
同行分别由不同读出电路读取的场景中，待校正图像可以是基于图像传感器产生的同一帧图像中(即在同一个帧周期内产生)的第一图像数据和第二图像数据生成的，其中，第一图像数据和所述第二图像数据可以分别由第一读出电路和第二读出电路从图像传感器的不同行读取得到。也就是，图像获取单元可以先获取图像传感器产生的同一帧图像中的第一图像数据和第二图像数据，其中，该第一图像数据和该第二图像数据分别由第一读出电路和第二读出电路从图像传感器的不同行读取得到，例如，第一读出电路读取得到第一图像数据的行可以为奇数行和偶数行中的任意一类、第二读出电路读取得到第二图像数据的行可以为奇数行和偶数行中与第一读出电路所读取的行不同的另一类；然后，图像获取单元可以再利用获取得到的第一图像数据和第二图像数据生成待校正图像，其中，该待校正图像可以包含图像传感器产生的同一帧图像中的信息。但可以理解的是，待校正图像并不限于是由不同读出电路读取的图像数据的合成图像，其也可以是图像传感器被单个读出电路读取的完整图像，在此情况下，本技术实施例所要消除的横线噪声，可以是由图像传感器的感光阵列的行间性能差异引发的。
[0182]
图像预校正单元可以被配置为对待校正图像进行预校正处理，得到预校正图像，其中，相邻行像素点在预校正图像中的像素值差异小于在待校正图像中的像素值差异。对于此处提及的像素差异，具体可以参见前述实施例中的图像校正方法对于步骤s2的描述，此处不再赘述。即，对待校正图像进行预校正处理后，得到的预校正图像中的相邻行同列像素点之间的像素值差异会减小，以实现由行间像素值差异所引发的横线噪声的弱化。
[0183]
在本技术的一些实施方式中，可以将所有行划分为多个参考行、以及与多个参考行交替分布的多个非参考行，具体可以参见前述实施例中的图像校正方法对于步骤s2的描述，此处不再赘述。并且，无论参考行和非参考行的选择采用哪种方式，图像预校正单元对待校正图像的预处理过程都可以采用利用参考行像素点的像素值对非参考行像素点的像素值进行预补偿的方式，具体包括：
[0184]
确定非参考行像素点的邻域范围内的参考行像素点，其中，对于每对参考行之间的非参考行中的非参考行像素点，邻域范围内包含该对参考行中的参考行像素点；
[0185]
基于非参考行像素点的邻域范围内位于不同参考行的参考行像素点在待校正图像中的像素值差异，确定非参考行像素点在预校正图像中的像素值，并且，参考行像素点在预校正图像中的像素值与参考行像素点在待校正图像中的像素值相同；
[0186]
从而，基于参考行像素点和非参考行像素点在预校正图像中的像素值，即可得到预校正图像，并且，步骤s2所确定的非参考行像素点在预校正图像中的像素值，能够使非参考行像素点与其相邻行中同列像素点在预校正图像中的像素值差异，小于在待校正图像中的像素值差异。
[0187]
在一些实施方式中，图像预校正单元可以采用同列对位的方式逐列修正非参考行像素点的方式，得到预校正图像。即，对于每对参考行之间的非参考行中的任意非参考行像素点，该非参考行像素点的邻域范围内可以包含：该对参考行中与该非参考行像素点同列对位的一对参考行像素点；相应地，为了确定非参考行像素点在预校正图像中的像素值，该图像预校正单元可以被具体配置为：
[0188]
确定每对参考行中同列对位的参考行像素点(即非参考行像素点的邻域范围内的一对参考行像素点)在待校正图像中的第一像素值差值；
[0189]
基于同列对位的每对参考行像素点之间的第一像素值差值与预设的第一阈值的比较结果，确定该对参考行像素点之间同列对位的非参考行像素点在预校正图像中的像素值。
[0190]
例如，为了基于同列对位的每对参考行像素点之间的第一像素值差值与预设的第一阈值的比较结果，确定该对参考行像素点之间同列对位的非参考行像素点在预校正图像中的像素值，该图像预校正单元可以被具体配置为：
[0191]
将同列对位的每对参考行像素点的第一像素值差值与前述的第一阈值进行比较；
[0192]
若同列对位的任意一对参考行像素点的第一像素值差值小于第一阈值，则，将该对参考行像素点之间同列对位的非参考行像素点在预校正图像中的像素值，确定为该对参考行像素点在待校正图像中的像素值的平均值；
[0193]
若同列对位的任意一对参考行像素点的第一像素值差值等于第一阈值，则，将该对参考行像素点之间同列对位的非参考行像素点在预校正图像中的像素值，确定为该对参考行像素点之间的非参考行像素点在待校正图像中的像素值；
[0194]
若同列对位的任意一对参考行像素点的第一像素值差值大于第一阈值，则，将该对参考行像素点之间同列对位的非参考行像素点在预校正图像中的像素值，确定为该对参考行像素点之间的非参考行像素点在待校正图像中的像素值与预校正变量之和，其中，预校正变量为单帧待校正图像中的参考行像素点与非参考行像素点的像素值差值的均值，单帧待校正图像为当前帧的待校正图像、或者为当前帧的待校正图像的前一帧待校正图像。
[0195]
在另一些实施方式中，作为得到预处理图像的替代方式，图像预校正单元也可以采用对每个非参考行中的各非参考行像素点采用等幅修正的方式。即，对于每对参考行之间的非参考行中的任意非参考行像素点，该非参考行像素点的邻域范围内可以包含：该对参考行中与非参考行像素点同列对位的参考行像素点、以及该对参考行中位于非参考行像素点的相邻列的参考行像素点，即，至少两对参考行像素点、且每对参考行像素点分别位于不同参考行；相应地，为确定非参考行像素点在预校正图像中的像素值，该图像预校正单元可以被具体配置为：
[0196]
确定每对参考行中位于任意非参考行像素点的邻域范围内的至少两对参考行像素点在待校正图像中的第二像素值差值；
[0197]
基于第二像素值差值与预设的第二阈值的比较结果，确定该对参考行之间的非参考行中各非参考行像素点的预补偿值；
[0198]
确定每个非参考行中各非参考行像素点的预补偿值的平均值；
[0199]
利用非参考行中各非参考行像素点的预补偿值的平均值、以及该非参考行中各非参考行像素点在待校正图像中的像素值，确定该非参考行中各非参考行像素点在预校正图像中的像素值。
[0200]
例如，为了基于每对参考行中的至少两对参考行像素点在待校正图像中的第二像素值差值，确定该对参考行之间的非参考行中的每个非参考行像素点的预补偿值，该图像预校正单元可以被具体配置为：
[0201]
将每个非参考行像素点的所述预设邻域范围内的至少两对参考行像素点的第二像素值差值与预设的第二阈值进行比较，其中，对于每个非参考行像素点：
[0202]
若第二像素值差值均小于或等于第二阈值，则，从该非参考行像素点的第一候选
组中的各第一候选补偿值中选取一个作为该非参考行像素点的预补偿值，其中，每个第一候选补偿值可以为该非参考行像素点的预设邻域范围内的一对参考行像素点在待校正图像中的像素值均值，相比于非参考行像素点在待校正图像中的像素值的差值；
[0203]
若存在大于第二阈值的第二像素值差值，则，从该非参考行像素点的第二候选组中的各第二候选补偿值中选取一个作为该非参考行像素点的预补偿值，其中，每个第二候选补偿值可以为与该非参考行像素点的同列对位的一个参考行像素点在待校正图像中的像素值，相比于该非参考行像素点在待校正图像中的像素值的差值。
[0204]
其中，被选取作为预补偿值的第一候选补偿值所对应的一对参考行像素点的第二像素值差值，可以为至少两对参考行像素点的第二像素值差值中的最小值；被选取作为预补偿值的第二候选补偿值所对应的参考行像素点相比于二者之间的非参考行像素点的第三像素值差值，可以为该非参考行像素点与同列相邻的两个参考行像素点之间的两个第三像素值差值中的最小值。
[0205]
补偿值确定单元可以被配置为基于预校正图像，确定各像素点的目标补偿值。
[0206]
在图像预校正单元采用利用参考行像素点的像素值对非参考行像素点的像素值进行预补偿的情况下，参考行像素点在预处理图像中的像素值与在待校正图像中的像素值是相同的，若将各像素点在预校正图像中的像素值直接作为目标像素值，则意味着参考行像素点在待校正图像中的像素值得不到预补偿，并且只有对非参考行像素点在待校正图像中的像素值存在对应的预补偿，这种局部化的预补偿方式容易导致预补偿的不均匀。因此，补偿值确定单元所确定的目标补偿值，可以用于对所有像素点在待校正图像中的像素值进行全局补偿。
[0207]
在本技术的一些实施方式中，补偿值确定单元可以通过对预处理图像进行滤波，而使局限于非参考行像素点的像素值的预补偿量，可以被全局化至所有像素点。即，对于补偿值确定单元所执行的滤波处理，可以不像图像预校正单元那样区分参考行和非参考行，而是对所有像素点中的每一个都进行窗口滤波。例如，补偿值确定单元可以被具体配置为：
[0208]
通过对各像素点在预校正图像中的像素值进行第一滤波处理，确定各像素点的目标像素值，其中，第一滤波处理可以用于使每个像素点在预校正图像中的像素值，被更新为预设滤波窗口内的各像素点的像素值的均值，以使得各像素点的目标像素值为非参考行的预补偿量被全局化后的像素值；
[0209]
基于各像素点的目标像素值与各像素点在待校正图像中的像素值的差值，确定各像素点的目标补偿值，其中，由于各像素点的目标像素值是预补偿量被全局化后的像素值，因此，所有像素点的目标补偿值可以全部或基本上全部不为0。
[0210]
补偿值确定单元可以被具体配置为：利用预先配置的多个滤波窗口，对每个像素点在预校正图像中的像素值进行窗口滤波，其中，多个滤波窗口的窗口方向互不相同，以使得每个像素点在预校正图像中的像素值经滤波后得到不同的多个滤波值；并且，每个像素点的目标像素值，可以为该像素点的多个滤波值中与该像素点在待校正图像中的像素值最接近的一个。在一些示例中，多个滤波窗口可以包括前述实施例中的图像校正方法部分所提及的第一滤波窗口w1、第二滤波窗口w2、第三滤波窗口w3以及第四滤波窗口w4共四个滤波窗口，此处不再赘述。
[0211]
图像校正单元可以被配置为利用各像素点的目标补偿值，对待校正图像进行图像
校正。
[0212]
若图像预校正单元采用利用参考行像素点的像素值对非参考行像素点的像素值进行预补偿，则，通过补偿值确定单元对预校正图像进行滤波后确定的用于全局补偿的目标补偿值，仍可能在相邻行的参考行像素点与非参考行像素点之间存在预补偿值的落差，该落差容易引发校正后的图像中存在横线噪声的残留噪声。在此情况下，步骤s4在进行图像校正时，对各像素点在待校正图像的像素值的补偿，可以不直接使用对应像素点的目标补偿值，而是可以先进一步对各像素点的目标补偿值进行进一步的平滑处理，并利用目标补偿值经平滑处理后的优化值，对各像素点在待校正图像的像素值进行补偿，以实现待校正图像的图像校正。
[0213]
例如，图像校正单元对目标补偿值的平滑处理可以采用滤波方式，即，图像校正单元可以被具体配置为：
[0214]
对各像素点的目标补偿值进行第二滤波处理，其中，第二滤波处理可以用于使各像素点的目标补偿值，被更新为该像素点与预设滤波窗口内的选定像素点的目标补偿值的均值，以实现对各像素点的目标补偿值的平滑处理；
[0215]
利用各像素点的目标补偿值经第二滤波处理后的优化补偿值，对待校正图像进行图像校正。
[0216]
图3是本技术提供的一种电子设备的结构示意图。请参考图3，本技术的另一个实施例还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上任一项的图像校正方法的步骤。并且，该电子设备还可以进一步包括图像传感器、以及用于从图像传感器读取图像数据的读出电路(例如第一读出电路和第二读出电路)。例如，若电子设备进一步包括图像传感器、并且该图像传感器具有红外焦平面阵列，则，该电子设备可以是热成像仪。
[0217]
本技术的另一方面还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上的图像校正方法的步骤。
[0218]
以上仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术保护的范围之内。