一种镜头畸变校正方法、装置、设备及存储介质与流程

1.本发明涉及光学测量技术领域，尤其涉及一种镜头畸变校正方法、装置、电子设备及存储介质。


背景技术：

2.飞行时间（time of flight，tof）技术是一种利用光的飞行时间来测量场景深度的技术。在实际应用中，由于tof相机镜头存在镜头畸变，直接得到的tof深度图像是畸变图像。现有技术对畸变图像进行镜头畸变校正时，为了避免校正后图像在场景边缘处出现锯齿现象，通常采用双线性插值或双三次插值法来确定校正后图像像素坐标处的像素值，具体是根据映射坐标的附近像素确定映射坐标处的像素值，作为校正后图像中与映射坐标相对应的目标像素坐标处的像素值。
3.然而，当畸变图像存在像素值剧烈波动的区域时，由于现有双线性插值或双三次插值法在映射坐标处的像素值时，仅考虑附近像素的距离权重，导致得到的处于波动区域的映射坐标处的像素值与附近像素的像素值存在明显差异。当畸变图像中像素值剧烈波动的区域达到一定面积时，会导致在校正后图像上存在异常的网状或环形波纹现象，校正效果较差。


技术实现要素：

4.为解决上述技术问题，本技术实施例期望提供一种镜头畸变校正方法、装置、电子设备及存储介质。
5.本技术的技术方案是这样实现的：第一方面，提供了一种镜头畸变校正方法，所述方法包括：获取镜头的内部参数及畸变图像；基于所述镜头的内部参数进行坐标映射，将校正后图像中目标像素的坐标映射到所述畸变图像中得到映射坐标；从所述畸变图像中确定所述映射坐标周围的多个邻域像素的坐标，以及所述多个邻域像素的像素值；基于所述多个邻域像素的坐标和所述映射坐标，确定出与所述映射坐标距离最近的最近邻域像素；基于所述多个邻域像素的像素值和所述最近邻域像素的像素值，确定所述多个邻域像素和所述最近邻域像素的像素值差异程度；基于所述像素值差异程度和所述多个邻域像素的像素值，确定所述目标像素的像素值。
6.上述方案中，所述像素值差异程度包括：每个邻域像素对应的像素差权重；所述基于所述像素值差异程度和所述多个邻域像素的像素值，确定所述目标像素的像素值，包括：基于所述多个邻域像素的坐标和所述映射坐标，确定各个邻域像素对应的距离权重；基于
所述距离权重、所述像素差权重和所述多个邻域像素的像素值，确定所述目标像素的像素值。
7.上述方案中，所述像素值差异程度包括：每个邻域像素对应的像素差权重；所述基于所述多个邻域像素的像素值和所述最近邻域像素的像素值，确定所述多个邻域像素和所述最近邻域像素的像素值差异程度，包括：基于预设归类策略从所述多个邻域像素中确定出与所述最近邻域像素为同一类的像素，作为第一邻域像素；确定所述第一邻域像素对应的像素差权重为1；从所述多个邻域像素中确定出与所述最近邻域像素不为同一类的像素，作为第二邻域像素；确定所述第二邻域像素对应的像素差权重为0。
8.上述方案中，所述预设归类策略，包括至少以下之一：目标邻域像素对应的像素值与所述最近邻域像素对应的像素值之差小于第一预设阈值时，确定所述目标邻域像素与所述最近邻域像素为同一类；计算所述多个邻域像素的像素梯度方向；所述目标邻域像素与所述最近邻域像素落在垂直于所述像素梯度方向的同一条法线上时，确定所述目标邻域像素与所述最近邻域像素为同一类；基于图像阈值分割法确定所述多个邻域像素的像素值对应的分类阈值，所述目标邻域像素与所述最近邻域像素同大于或同小于所述分类阈值时，确定所述目标邻域像素与所述最近邻域像素为同一类。
9.上述方案中，所述像素值差异程度包括：每个邻域像素对应的像素差权重；所述基于所述多个邻域像素的像素值和所述最近邻域像素的像素值，确定所述多个邻域像素和所述最近邻域像素的像素值差异程度，包括：计算每个邻域像素的像素值和所述最近邻域像素的像素值的差值，作为每个邻域像素对应的像素差；将所述多个邻域像素对应的像素差代入像素差权重计算公式，得到每个邻域像素对应的像素差权重。
10.上述方案中，所述基于所述多个邻域像素的像素值和所述最近邻域像素的像素值，确定所述多个邻域像素和所述最近邻域像素的像素值差异程度，包括：基于所述多个邻域像素的像素值和第一图像插值法，计算所述映射坐标处的第一像素值，其中，所述第一图像插值法为基于距离加权的图像插值法；计算所述第一像素值与所述最近邻域像素的像素值的差值绝对值，作为所述多个邻域像素和所述最近邻域像素的像素值差异程度。
11.上述方案中，所述基于所述像素值差异程度和所述多个邻域像素的像素值，确定所述目标像素的像素值，包括：确定所述差值绝对值大于或等于第二预设阈值时，将所述最近邻域像素的像素值作为所述目标像素的像素值；确定所述差值绝对值小于所述第二预设阈值时，将所述第一像素值作为所述目标像素的像素值。
12.上述方案中，所述基于所述多个邻域像素的坐标和所述映射坐标，确定出与所述映射坐标距离最近的最近邻域像素，包括：基于所述多个邻域像素的像素值确定所述映射坐标处于预设区域时，基于所述多个邻域像素的坐标和所述映射坐标，确定出与所述映射坐标距离最近的最近邻域像素。
13.上述方案中，所述方法还包括：基于所述多个邻域像素的像素值确定所述映射坐标不处于所述预设区域时，基于所述多个邻域像素的像素值和坐标，确定所述目标像素的像素值。
14.上述方案中，所述基于所述多个邻域像素的像素值确定所述映射坐标处于预设区域，包括以下至少之一：所述多个邻域像素的像素值对应的极差、方差、或标准差大于或等于第三预设阈值，确定所述映射坐标处于所述预设区域；所述多个邻域像素的像素值对应
的像素梯度大于或等于第四预设阈值，确定所述映射坐标处于所述预设区域；所述多个邻域像素的像素值对应的强度均值或强度最小值小于或等于第五预设阈值，确定所述映射坐标处于所述预设区域；基于所述多个邻域像素的像素值和第二图像插值法，计算所述映射坐标处的第二像素值，其中，所述第二图像插值法为基于距离加权的图像插值法；所述第二像素值与所述最近邻域像素的像素值的差值绝对值大于或等于第六预设阈值时，确定所述映射坐标处于所述预设区域。
15.第二方面，提供了一种镜头畸变校正装置，所述装置包括：获取模块，用于获取镜头的内部参数及畸变图像；处理模块，用于基于所述镜头的内部参数进行坐标映射，将校正后图像中目标像素的坐标映射到所述畸变图像中得到映射坐标；所述处理模块，还用于从所述畸变图像中确定所述映射坐标周围的多个邻域像素的坐标，以及所述多个邻域像素的像素值；基于所述多个邻域像素的坐标和所述映射坐标，确定出与所述映射坐标距离最近的最近邻域像素；基于所述多个邻域像素的像素值和所述最近邻域像素的像素值，确定所述多个邻域像素和所述最近邻域像素的像素值差异程度；基于所述像素值差异程度和所述多个邻域像素的像素值，确定所述目标像素的像素值。
16.第三方面，提供了一种电子设备，所述电子设备包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器配置为运行所述计算机程序时，执行前述方法的步骤。
17.第四方面，提供了一种计算机存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现前述方法的步骤。
18.本技术公开一种镜头畸变校正方法、装置、电子设备及存储介质，在对畸变图像进行校正时，即确定目标像素的像素值时，考虑畸变图像中映射坐标的邻域像素与最近邻域像素之间的像素值差异，可以使得得到的目标像素的像素值更准确，在校正后图像中不会出现目标像素的像素值与畸变图像中映射坐标上对应像素值差异过大的情况，避免畸变图像上像素值波动较大的区域在校正后图像上出现异常的网状或环状波纹，改善校正后图像上物体边缘的模糊现象。
附图说明
19.图1为本技术实施例中镜头畸变校正方法的第一流程示意图；图2为本技术实施例中映射坐标p的邻域像素示意图；图3为本技术实施例中镜头畸变校正方法的第二流程示意图；图4（a）为基于双线性插值方法得到的畸变校正后图像；图4（b）为基于本技术畸变校正方法得到的畸变校正后图像；图5为本技术实施例中镜头畸变校正装置的组成结构示意图；图6为本技术实施例中电子设备的组成结构示意图。
具体实施方式
20.为了能够更加详尽地了解本技术实施例的特点与技术内容，下面结合附图对本技术实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本技术实施例。
21.本技术实施例提出一种镜头畸变校正方法。图1为本技术实施例中镜头畸变校正方法的第一流程示意图，如图1所示，该镜头畸变校正方法具体可以包括：步骤101：获取镜头的内部参数及畸变图像。
22.这里，畸变图像为由相机直接生成的，未经过畸变校正的图像。
23.这里，镜头的内部参数至少包括：焦距参数、主点、畸变参数等内部参数。实际应用中，这些镜头的内部参数可以对在镜头标定过程中得到。示例性的，在一些实施例中，所述方法还包括：基于镜头标定方法对相机进行镜头标定，得到所述镜头的内部参数。这里，镜头标定方法包括但不限于：传统摄像机标定方法、主动视觉相机标定方法、相机自标定法等。其中，传统摄像机标定方法，包括但不限于：张正友棋盘格标定方法、圆形标定板标定方法等。通过镜头标定方法除了能得到本技术中使用的内部参数外，还能得到镜头的外部参数。
24.步骤102：基于所述镜头的内部参数进行坐标映射，将校正后图像中目标像素的坐标映射到所述畸变图像中得到映射坐标。
25.实际应用中，可以将镜头的内部参数代入镜头畸变校正公式，求解畸变校正后图像（即无畸变图像）上每个像素坐标到畸变图像上的映射坐标。
26.示例性的，在实际应用中，求解过程的一个具体实施例为：将畸变校正后图像中坐标映射到相机坐标系坐标：：径向畸变：径向畸变：切向畸变：切向畸变：将畸变后的相机坐标系坐标映射回图像坐标系，得到畸变图像上的映射坐标，为：，为：上式中，、为焦距参数，、为主点。为坐标到成像中心的距离，。、、为径向畸变参数，、为切向畸变参数。
27.步骤103：从所述畸变图像中确定所述映射坐标周围的多个邻域像素的坐标，以及所述多个邻域像素的像素值。
28.这里，邻域像素可以为畸变图像中映射坐标周围距离该映射坐标最近的m*n邻域内的像素。实际应用中，m、n为大于1的正整数，具体数值可根据实际需求进行设定。
29.步骤104：基于所述多个邻域像素的坐标和所述映射坐标，确定出与所述映射坐标距离最近的最近邻域像素。
30.这里，与其他邻域像素相比，最近邻域像素与映射坐标的距离最近，其像素值更接近映射坐标处的像素值。
31.步骤105：基于所述多个邻域像素的像素值和所述最近邻域像素的像素值，确定所述多个邻域像素和所述最近邻域像素的像素值差异程度。
32.步骤106：基于所述像素值差异程度和所述多个邻域像素的像素值，确定所述目标像素的像素值。
33.示例性的，基于所述像素值差异程度和所述多个邻域像素的像素值，确定所述目标像素的像素值，包括：基于所述像素值差异程度和所述多个邻域像素的像素值，得到映射坐标处的像素值，作为所述目标像素的像素值。
34.示例性的，多个邻域像素和所述最近邻域像素的像素值差异程度，可以由各个邻域像素和最近邻域像素的像素差权重表示。某一邻域像素对应的像素差权重越大，表征与其他邻域像素相比，该邻域像素的像素值与最近邻域像素的像素值间的差异越小。
35.示例性的，在一些实施例中，所述像素值差异程度包括：各个邻域像素对应的像素差权重；所述基于所述像素值差异程度和所述多个邻域像素的像素值，确定所述目标像素的像素值，包括：基于所述多个邻域像素的坐标和所述映射坐标，确定各个邻域像素对应的距离权重；基于所述距离权重、所述像素差权重和所述多个邻域像素的像素值，确定所述目标像素的像素值。
36.这里，各个邻域像素对应的距离权重，用于表征各个邻域像素距离映射坐标的远近程度，某一邻域像素对应的距离权重越大，表征与其他邻域像素对应的像素差相比，该邻域像素的坐标与映射坐标的间的距离越近。
37.通过结合像素差权重和距离权重对多个邻域像素的像素值进行加权，得到的目标像素的像素值（等于映射坐标处的像素值）更准确，且不会出现目标像素的像素值与邻域像素的像素值差异过大的情况，避免校正后图像出现异常的网状或环形波纹的现象，提高校正效果。
38.下面对像素值差异程度包括各个邻域像素对应的像素差权重时，步骤105和步骤106的具体方法进行进一步举例说明。
39.示例性的，在一些实施例中，所述基于所述多个邻域像素的像素值和所述最近邻域像素的像素值，确定所述多个邻域像素和所述最近邻域像素的像素值差异程度，包括：基于预设归类策略从所述多个邻域像素中确定出与所述最近邻域像素为同一类的像素，作为第一邻域像素；确定所述第一邻域像素对应的像素差权重为1；从所述多个邻域像素中确定出与所述最近邻域像素不为同一类的像素，作为第二邻域像素；确定所述第二邻域像素对应的像素差权重为0。
40.这里，确定与最近邻域像素为同一类的第一邻域像素的像素差权重为1；确定第二邻域像素对应的像素差权重为0，相当于在后续的基于所述距离权重、像素差权重和多个邻域像素的像素值，确定所述目标像素的像素值时，只基于第一邻域像素的对应的像素值，确
定目标像素的像素值。也就是说，仅根据与最近邻域像素为同一类的像素来确定目标像素的像素值。
41.示例性的，图2为本技术实施例中映射坐标p的邻域像素示意图。如图2所示，映射坐标p的邻域像素包括：邻域像素a、b、c、d，其对应的坐标分别为：，，，，映射坐标p的坐标为。
42.目标像素的像素值，可通过下式计算得到：下式计算得到：下式计算得到：下式计算得到：下式计算得到：式中，为映射坐标p处的像素值（作为目标像素的像素值），、、、分别为邻域像素a、b、c、d的像素值；、、、分别为邻域像素a、b、c、d对应的距离权重，、、、分别为邻域像素a、b、c、d对应的像素差权重。示例性的，邻域像素a、b为第一邻域像素，邻域像素c、d为第二邻域像素时，、均为1，、均为0。
43.示例性的，在一些实施例中，所述预设归类策略，包括至少以下之一：目标邻域像素对应的像素值与所述最近邻域像素对应的像素值之差小于第一预设阈值时，确定所述目标邻域像素与所述最近邻域像素为同一类；计算所述多个邻域像素的像素梯度方向；所述目标邻域像素与所述最近邻域像素落在垂直于所述像素梯度方向的同一条法线上时，确定所述目标邻域像素与所述最近邻域像素为同一类；基于图像阈值分割法确定所述多个邻域像素的像素值对应的分类阈值，所述目标邻域像素与所述最近邻域像素同大于或同小于所述分类阈值时，确定所述目标邻域像素与所述最近邻域像素为同一类。
44.示例性的，实际应用中，计算所述多个邻域像素的像素梯度方向，可以为计算以映射坐标为中心的m*n邻域像素的梯度方向。实际应用中，图像阈值分割法可以为最大类间方差法、直方图阈值法等阈值分割方法，根据该图像阈值分割法和邻域像素，可以确定出用于
对邻域像素进行分类的分类阈值。
45.示例性的，在一些实施例中，所述像素值差异程度包括：每个邻域像素对应的像素差权重时，所述基于所述多个邻域像素的像素值和所述最近邻域像素的像素值，确定所述多个邻域像素和所述最近邻域像素的像素值差异程度，包括：计算每个邻域像素的像素值和所述最近邻域像素的像素值的差值，作为每个邻域像素对应的像素差；将所述多个邻域像素对应的像素差代入像素差权重计算公式，得到每个邻域像素对应的像素差权重。
46.示例性的，像素a为最近邻域像素时，邻域像素x对应的像素差权重计算公式可以为：式中，、分别为邻域像素x和最近邻域像素m对应的像素值。
47.示例性的，如图2所示的邻域像素示意图中，目标像素的像素值，可通过下式计算得到：式中，为映射坐标p处的像素值（作为目标像素的像素值），、、、分别为邻域像素a、b、c、d的像素值；式中分别为邻域像素a、b、c、d的像素值；式中分别为邻域像素a、b、c、d的像素值；式中分别为邻域像素a、b、c、d的像素值；式中以邻域像素a对应的系数为例，对上式进行说明，、分别为邻域像素a对应的距离权重和像素差权重；为像素差权重系数，可根据实际需求进行预设。邻域像素b、c、d分别对应系数、、。
48.示例性的，如图2所示的邻域像素示意图中，目标像素的像素值，可通过下式计算得到：
以邻域像素a对应的系数为例，对上式进行说明，、分别为邻域像素a对应的距离权重和像素差权重；为距离权重系数，为像素差权重系数，均可根据实际需求进行预设。邻域像素b、c、d分别对应系数、、。
49.示例性的，多个邻域像素和所述最近邻域像素的像素值差异程度，可以由采用第一图像插值法得到的映射坐标点的像素值和最近邻域像素的像素值的差值绝对值表示。其中，第一图像插值法为基于距离加权的图像插值法，如双线性插值法、双三次插值法等。
50.示例性的，在一些实施例中，所述基于所述多个邻域像素的像素值和所述最近邻域像素的像素值，确定所述多个邻域像素和所述最近邻域像素的像素值差异程度，包括：基于所述多个邻域像素的像素值和第一图像插值法，计算所述映射坐标处的第一像素值，其中，所述第一图像插值法为基于距离加权的图像插值法；计算所述第一像素值与所述最近邻域像素的像素值的差值绝对值，作为所述多个邻域像素和所述最近邻域像素的像素值差异程度。
51.示例性的，在一些实施例中，所述基于所述像素值差异程度和所述多个邻域像素的像素值，确定所述目标像素的像素值，包括：确定所述差值绝对值大于或等于第二预设阈值时，将所述最近邻域像素的像素值作为所述目标像素的像素值；确定所述差值绝对值小于所述第二预设阈值时，将所述第一像素值作为所述目标像素的像素值。
52.这里，第一像素值与所述最近邻域像素的像素值的差值绝对值超过预设阈值时，表征通过距离加权得到的像素值与最近邻域像素的像素值差异程度较大，若采用第一像素值作为目标像素的像素值时，会导致在校正后图像上存在异常的网状或环形波纹现象。通过在该差值绝对值过大时，采用最近邻域像素的像素值可以避免该异常现象的产生。
53.另外，采用现有的基于距离加权的图像插值方法来确定处于深度图像中边缘区域（特别是前景和后景的深度差较大的区域）的像素值时，由于只对邻域像素的像素值进行距离加权平均，会出现飞点（或混合像素）的现象。本技术的考虑了邻域像素与最近邻域像素的像素值差异程度来确定映射坐标（插值点）处像素值的方法还能用来确定处于边缘区域的像素值，且采用本方法确定插值点处像素值时，可以减少新的飞点（混合像素）的产生。
54.示例性的，在一些实施例中，所述基于所述多个邻域像素的坐标和所述映射坐标，确定出与所述映射坐标距离最近的最近邻域像素，包括：基于所述多个邻域像素的像素值确定所述映射坐标处于预设区域时，基于所述多个邻域像素的坐标和所述映射坐标，确定出与所述映射坐标距离最近的最近邻域像素。
55.这里，预设区域为像素值剧烈波动的区域，即预设区域内各个像素的差异程度较大。映射坐标处于所述预设区域时，表征映射坐标周围的各个像素的像素值差异程度较大，在确定目标像素的像素值时，需要考虑邻域像素与最近邻域像素的像素值差异程度，若不考虑，会导致目标像素的准确度较低，在校正后图像中出现异常的网状或环形波纹，或导致在校正后图像中产生新的飞点（混合像素）。
56.示例性的，在一些实施例中，所述方法还包括：基于所述多个邻域像素的像素值确定所述映射坐标不处于所述预设区域时，基于所述多个邻域像素的像素值和坐标，确定所述目标像素的像素值。
57.这里，映射坐标不处于所述预设区域时，表征映射坐标周围的各个像素的像素值差异程度较小，在确定目标像素的像素值时，可以不考虑邻域像素与最近邻域像素的像素值差异程度。这里，基于所述多个邻域像素的像素值和坐标，确定所述目标像素的像素值，可以为采用现有的双线性插值法或三次插值等基于距离加权的图像插值法，确定目标像素坐标处的像素值。
58.通过针对不同的区域采用不同的目标像素值确定方法，在映射坐标处于非像素值剧烈波动的区域时，基于常规方法确定目标像素的像素值；在映射坐标处于像素值剧烈波动的区域时，确定出邻域像素和最近邻域像素的像素值差异程度，并将其用于目标像素的像素值的确定，可以在避免校正后图像上出现异常的网状或环形波纹现象的同时提高校正效率，另外，还能避免在校正后图像中产生新的飞点（混合像素）。
59.需要说明的是，在实际应用中，无论映射坐标是否处于所述预设区域，都可以采用本技术中101到106中的方法来确定目标像素坐标处的像素值。
60.这里，步骤101至步骤106的执行主体可以为实现本技术实施例镜头畸变校正方法的电子设备的处理器。
61.本技术实施例的技术方案，在对畸变图像进行校正时，即确定目标像素的像素值时，考虑畸变图像中映射坐标的邻域像素与最近邻域像素之间的像素值差异，可以使得得到的目标像素的像素值更准确，在校正后图像中不会出现目标像素的像素值与畸变图像中映射坐标上对应像素值差异过大的情况，避免畸变图像上像素值波动较大的区域在校正后图像上出现异常的网状或环状波纹，改善校正后图像上物体边缘的模糊现象。
62.为了能更加体现本技术的目的，在本技术上实施例的基础上，进行进一步的举例说明。图3为本技术实施例中镜头畸变校正方法的第二流程示意图。如图3所示，该镜头畸变校正方法包括：步骤301：获取镜头的内部参数及畸变图像。
63.步骤302：基于所述镜头的内部参数进行坐标映射，将校正后图像中目标像素的坐标映射到所述畸变图像中得到映射坐标。
64.步骤303：从所述畸变图像中确定所述映射坐标周围的多个邻域像素的坐标，以及所述多个邻域像素的像素值。
65.步骤304：基于所述多个邻域像素的像素值确定所述映射坐标是否处于预设区域；若是，执行步骤305；若否，执行步骤308。
66.这里，预设区域为像素值剧烈波动的区域，即预设区域内，各个像素的像素值差异程度较大。映射坐标处于所述预设区域时，表征映射坐标周围的各个像素的像素值差异程度较大，在确定目标像素的像素值时，需要考虑邻域像素与最近邻域像素的像素值差异程度，若不考虑，会导致目标像素的准确度较差，在校正后图像中出现异常的网状或环形波纹。映射坐标不处于所述预设区域时，表征映射坐标周围的各个像素的像素值差异程度较小，在确定目标像素的像素值时，可以不考虑邻域像素与最近邻域像素的像素值差异程度。
67.示例性的，基于所述多个邻域像素的像素值确定所述映射坐标处于预设区域，包括以下至少之一：所述多个邻域像素的像素值对应的极差、方差、或标准差大于或等于第三预设阈值，确定所述映射坐标处于所述预设区域；所述多个邻域像素的像素值对应的像素梯度大于或等于第四预设阈值，确定所述映射坐标处于所述预设区域；所述多个邻域像素的像素值对应的强度均值或强度最小值小于或等于第五预设阈值，确定所述映射坐标处于所述预设区域；基于所述多个邻域像素的像素值和第二图像插值法，计算所述映射坐标处的第二像素值，其中，所述第二图像插值法为基于距离加权的图像插值法；所述第二像素值与所述最近邻域像素的像素值的差值绝对值大于或等于第六预设阈值时，确定所述映射坐标处于所述预设区域。
68.这里，多个邻域像素的像素值对应的极差，即为多个邻域像素对应的多个像素值中的最大值与最小值之差。示例性的，第二图像插值法为基于距离加权的图像插值法，如双线性插值法、双三次插值法等。
69.示例性的，待处理图像为深度图像时，深度图对应的强度图中每个像素的强度值，可以反应像素的置信度。通常，像素的强度越小，即该点接收到的信号强度越低，代表这个像素的置信度越低。信噪比snr=信号（强度）/噪声，其中，噪声是一定的。当像素接收信号强度低时，snr就低，解算的深度值受噪声干扰比较大，特别是信号（强度）小到0附近时，很容易出现深度值解算异常的现象。从而导致在一片信号（强度）都很低的区域，解算的深度值波动非常剧烈。因此，可以基于信号强度来确定映射坐标是否处于像素值剧烈波动的预设区域。
70.需要说明的是，上述确定所述映射坐标处于预设区域的多个方法可以单独使用，也可以结合使用。基于多个邻域像素的像素值确定所述映射坐标处于预设区域失败时，确定映射坐标不处于预设区域。
71.步骤305：基于所述多个邻域像素的坐标和所述映射坐标，确定出与所述映射坐标距离最近的最近邻域像素。
72.步骤306：基于所述多个邻域像素的像素值和所述最近邻域像素的像素值，确定所述多个邻域像素和所述最近邻域像素的像素值差异程度。
73.步骤307：基于所述像素值差异程度和所述多个邻域像素的像素值，确定所述目标像素的像素值。
74.步骤308：基于所述多个邻域像素的像素值和坐标，确定所述目标像素的像素值。
75.这里，映射坐标不处于所述预设区域时，表征映射坐标周围的各个像素的像素值差异程度较小，在确定目标像素的像素值时，可以不考虑邻域像素与最近邻域像素的像素
值差异程度。基于所述多个邻域像素的像素值和坐标，确定所述目标像素的像素值，可以为采用现有的双线性插值法或三次插值等基于距离加权的图像插值法，确定目标像素坐标处的像素值。示例性的，采用双线性插值法时，邻域像素为映射坐标周围最近的4个像素。
76.示例性的，在一些实施例中，所述基于所述多个邻域像素的像素值和坐标，确定所述目标像素的像素值，包括：基于所述多个邻域像素的坐标和所述映射坐标，确定各个邻域像素对应的距离权重；基于所述距离权重和所述多个邻域像素的像素值，确定所述目标像素的像素值。
77.示例性的，如图2所示的邻域像素示意图中，基于所述距离权重和所述多个邻域像素的像素值，确定所述目标像素的像素值，可通过下式计算得到：下式计算得到：下式计算得到：下式计算得到：下式计算得到：式中，为映射坐标p处的像素值（作为目标像素的像素值），、、、分别为邻域像素a、b、c、d的像素值。、、、分别为邻域像素a、b、c、d的距离权重。
78.示例性的，图4（a）为基于双线性插值方法得到的畸变校正后图像，图4（b）为基于本技术畸变校正方法得到的畸变校正后图像。如图4（a）和图4（b）所示，采用常规双线性插值方法得到的畸变校正后图像中存在异常的网状或环形波纹的现象，而采用本技术技术方案得到的校正后图像中不会出现异常的网状或环形波纹的现象。
79.这里，步骤301至步骤308的执行主体可以为实现本技术实施例镜头畸变校正方法的电子设备的处理器。
80.本技术实施例的技术方案，通过针对不同的区域采用不同的目标像素值确定方法，在映射坐标处于非像素值剧烈波动的区域时，基于常规方法确定目标像素的像素值；在映射坐标处于像素值剧烈波动的区域时，基于邻域像素和最近邻域像素的像素值差异程度确定目标像素的像素值的确定，可以在避免校正后图像上出现异常的网状或环形波纹现象的同时，提高校正效率。
81.图5为本技术实施例中镜头畸变校正装置的组成结构示意图，展示了一种镜头畸变校正方法的实现装置，该镜头畸变校正装置50具体包括：获取模块501，用于获取镜头的内部参数及畸变图像；
处理模块502，用于基于所述镜头的内部参数进行坐标映射，将校正后图像中目标像素的坐标映射到所述畸变图像中得到映射坐标；所述处理模块502，还用于从所述畸变图像中确定所述映射坐标周围的多个邻域像素的坐标，以及所述多个邻域像素的像素值；基于所述多个邻域像素的坐标和所述映射坐标，确定出与所述映射坐标距离最近的最近邻域像素；基于所述多个邻域像素的像素值和所述最近邻域像素的像素值，确定所述多个邻域像素和所述最近邻域像素的像素值差异程度；基于所述像素值差异程度和所述多个邻域像素的像素值，确定所述目标像素的像素值。
82.在一些实施例中，所述像素值差异程度包括：每个邻域像素对应的像素差权重；所述处理模块502，用于基于所述多个邻域像素的坐标和所述映射坐标，确定各个邻域像素对应的距离权重；基于所述距离权重、所述像素差权重和所述多个邻域像素的像素值，确定所述目标像素的像素值。
83.在一些实施例中，所述像素值差异程度包括：每个邻域像素对应的像素差权重，所述处理模块502，用于基于预设归类策略从所述多个邻域像素中确定出与所述最近邻域像素为同一类的像素，作为第一邻域像素；确定所述第一邻域像素对应的像素差权重为1；从所述多个邻域像素中确定出与所述最近邻域像素不为同一类的像素，作为第二邻域像素；确定所述第二邻域像素对应的像素差权重为0。
84.在一些实施例中，所述预设归类策略，包括至少以下之一：目标邻域像素对应的像素值与所述最近邻域像素对应的像素值之差小于第一预设阈值时，确定所述目标邻域像素与所述最近邻域像素为同一类；计算所述多个邻域像素的像素梯度方向；所述目标邻域像素与所述最近邻域像素落在垂直于所述像素梯度方向的同一条法线上时，确定所述目标邻域像素与所述最近邻域像素为同一类；基于图像阈值分割法确定所述多个邻域像素的像素值对应的分类阈值，所述目标邻域像素与所述最近邻域像素同大于或同小于所述分类阈值时，确定所述目标邻域像素与所述最近邻域像素为同一类。
85.在一些实施例中，所述像素值差异程度包括：每个邻域像素对应的像素差权重，所述处理模块502，用于计算每个邻域像素的像素值和所述最近邻域像素的像素值的差值，作为每个邻域像素对应的像素差；将所述多个邻域像素对应的像素差代入像素差权重计算公式，得到每个邻域像素对应的像素差权重。
86.在一些实施例中，所述处理模块502，用于基于所述多个邻域像素的像素值和第一图像插值法，计算所述映射坐标处的第一像素值，其中，所述第一图像插值法为基于距离加权的图像插值法；计算所述第一像素值与所述最近邻域像素的像素值的差值绝对值，作为所述多个邻域像素和所述最近邻域像素的像素值差异程度。
87.在一些实施例中，所述处理模块502，用于确定所述差值绝对值大于或等于第二预设阈值时，将所述最近邻域像素的像素值作为所述目标像素的像素值；确定所述差值绝对值小于所述第二预设阈值时，将所述第一像素值作为所述目标像素的像素值。
88.在一些实施例中，所述处理模块502，用于基于所述多个邻域像素的像素值确定所述映射坐标处于预设区域时，基于所述多个邻域像素的坐标和所述映射坐标，确定出与所述映射坐标距离最近的最近邻域像素。
89.在一些实施例中，所述处理模块502，还用于基于所述多个邻域像素的像素值确定
所述映射坐标不处于所述预设区域时，基于所述多个邻域像素的像素值和坐标，确定所述目标像素的像素值。
90.在一些实施例中，所述基于所述多个邻域像素的像素值确定所述映射坐标处于预设区域，包括以下至少之一：所述多个邻域像素的像素值对应的极差、方差、或标准差大于或等于第三预设阈值，确定所述映射坐标处于所述预设区域；所述多个邻域像素的像素值对应的像素梯度大于或等于第四预设阈值，确定所述映射坐标处于所述预设区域；所述多个邻域像素的像素值对应的强度均值或强度最小值小于或等于第五预设阈值，确定所述映射坐标处于所述预设区域；基于所述多个邻域像素的像素值和第二图像插值法，计算所述映射坐标处的第二像素值，其中，所述第二图像插值法为基于距离加权的图像插值法；所述第二像素值与所述最近邻域像素的像素值的差值绝对值大于或等于第六预设阈值时，确定所述映射坐标处于所述预设区域。
91.基于上述镜头畸变校正装置中各单元的硬件实现，本技术实施例还提供了一种电子设备。图6为本技术实施例中电子设备的组成结构示意图。如图6所示，该电子设备60包括：处理器601和配置为存储能够在处理器上运行的计算机程序的存储器602；其中，处理器601配置为运行计算机程序时，执行前述实施例中的方法的步骤。当然，实际应用时，如图6所示，该电子设备中的各个组件通过总线系统603耦合在一起。可理解，总线系统603用于实现这些组件之间的连接通信。总线系统603除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统603。
92.在实际应用中，上述处理器可以为特定用途集成电路（asic，application specific integrated circuit）、数字信号处理装置（dspd，digital signal processing device）、可编程逻辑装置（pld，programmable logic device）、现场可编程门阵列（field－programmable gate array，fpga）、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本技术实施例不作具体限定。上述存储器可以是易失性存储器（volatile memory），例如随机存取存储器（ram，random-access memory）；或者非易失性存储器（non-volatile memory），例如只读存储器（rom，read-only memory），快闪存储器（flash memory），硬盘（hdd，hard disk drive）或固态硬盘（ssd，solid-state drive）；或者上述种类的存储器的组合，并向处理器提供指令和数据。
93.在示例性实施例中，本技术实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器，计算机程序可由电子设备的处理器执行，以完成前述方法的步骤。
94.应当理解，在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。本技术中表述“具有”、“可以具有”、“包括”和“包含”、或者“可以包括”和“可以包含”在本文中可以用于指示存在对应的特征(例如，诸如数值、功能、操作或组件等元素)，但不排除附加特征的存在。
95.应当理解，尽管在本技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，不必用于描述特定的顺序或先后次序。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二
信息，类似地，第二信息也可以被称为第一信息。本技术实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。在本技术所提供的几个实施例中，应该理解到，所揭露的方法、装置和设备，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
96.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。另外，在本技术各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
97.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。