一种曲面屏图像中点阵坐标修正与填补的方法及相关装置

1.本技术涉及显示屏检测领域，尤其涉及一种曲面屏图像中点阵坐标修正与填补的方法及相关装置。


背景技术：

2.随着信息显示技术的不断发展，显示屏（organic electroluminescence display，oled）凭借其自发光、可弯曲、视角广泛、响应速度快、制程简单等优势，正逐步取代传统的lcd，快速深入的应用到现代社会的各个领域。
3.但随着市场对显示屏的显示品质的要求越来越高，对外观设计要求也越来越多样化，手机屏幕、平板电脑屏幕、笔记本电脑屏幕和台式电脑屏幕等电子产品显示屏的出货量和外观设计要求也同样越来越高，例如：刘海屏、水滴屏、大曲率oled显示屏（曲面屏）等。在曲面屏的aoi检测及de-mura系统中，由于屏体的发光像素已经延展到了曲面部分，在拍摄的曲面屏图像中，曲面部分的图像会叠加透镜畸变、透视形变、旋转、仿射等因素引起的畸变。在进行像素点缺陷检查时，会存在像素定位难度大，精度低的问题；同时，由于形变的原因，其对应区域的像素光学亮度的修正也存在对齐不准的问题，也因此产生了很多衍生问题。当前，可以通过展平算法将曲面屏图像中的点阵点进行展平处理，需要确定曲面屏图像中一个目标点阵点及其周围点阵点，以此计算目标点阵点的质心坐标，并且计算对应的畸变系数，畸变系数用于对目标点阵点进行坐标校正。
4.但是，当点阵点出现残缺（不完备点阵点）时，点阵点的质心坐标计算会出现偏差，导致计算其局部畸变模型时出现误差。或者是当点阵点出现丢失（缺失点阵点）时，局部畸变模型计算时会缺少已知条件，导致畸变模型系数求解失败。
5.目前对不完备点阵点和缺失点阵点进行调整或填补，是通过人为调整不完备点阵点的坐标和人为填充缺失点阵点的坐标，该方式调整的不完备点阵点和缺失点阵点与实际位置相差较大，即定位精度差，无法实现点阵点的精准定位，会使得后续的灰度补偿环节增加难度。


技术实现要素：

6.为解决上述技术问题，本技术第一方面提供了一种曲面屏图像中点阵坐标修正与填补的方法，包括：确定曲面屏直接成像图上的水平样本点集，使用水平样本点集进行水平方向的曲线拟合，生成水平曲线集合，曲面屏的曲面部分位于直接成像图的上区域和下区域；确定曲面屏直接成像图上的竖直样本点集，构造分段函数表达式，根据分段函数表达式和竖直样本点集生成优化函数，优化函数用于拟合直接成像图上竖直样本点集的分段函数模型；在竖直样本点集中选取一组竖直点阵点集并选取分段位置x1和x2，使得竖直点阵点集从上到下将依次分为子集p1、子集p2和子集p3；
根据分段函数表达式对子集p1、子集p2和子集p3分别进行曲线拟合，生成第一分段函数；根据第一分段函数、竖直点阵点集和优化函数优化分段位置x1和x2，并计算优化目标函数值l1；使用优化的分段位置x1和x2、分段函数表达式、竖直点阵点集和优化函数生成第二分段函数，并计算优化目标函数值l2；当优化目标函数值l1和优化目标函数值l2的差值的绝对值小于预设阈值时，确定第二分段函数为竖直点阵点集的竖直曲线，并根据上述方式生成竖直曲线集合；当优化目标函数值l1和优化目标函数值l2的差值的绝对值不小于预设阈值时，重新优化分段位置x1和x2，对点集p重新划分为p1、p2和p3，分段函数重新拟合，重新计算优化目标函数值，重新对比优化目标函数值，直到迭代完成；根据水平曲线集合和竖直曲线集合生成第一平滑网格，并通过第一平滑网格对直接成像图上的缺失点阵点和不完备点阵点进行填补修正处理。
7.可选的，根据分段函数表达式对子集p1、子集p2和子集p3分别进行曲线拟合，生成第一分段函数，包括：根据分段函数表达式对子集p2进行线性拟合，得到第一中部函数；计算子集p2中每一个点阵点与第一中部函数的距离与距离总和d1；根据子集p2中距离小于阈值t1的内点和分段函数表达式生成第二中部函数；计算子集p2中每一个点阵点与第二中部函数的距离总和d2；当d2与d1的差值的绝对值小于阈值t2时，确定第二中部函数为目标中部函数，并根据上述方式计算子集p1的目标上部函数以及子集p3的目标下部函数，得到第一分段函数。
8.可选的，在计算子集p2中每一个点阵点与第二中部函数的距离总和d2之后，方法还包括：当d2与d1的差值的绝对值不小于阈值t2时，确定子集p2中与第二中部函数距离小于阈值t1的内点，并通过新的内点和分段函数表达式构造新的中部函数进行距离总和的验证。
9.可选的，在根据水平曲线集合和竖直曲线集合生成第一平滑网格，并通过第一平滑网格对直接成像图上的缺失点阵点和不完备点阵点进行填补修正处理之后，方法还包括：确定曲面屏反射成像图上的样本点集，对样本点集的点阵点进行水平方向和竖直方向的曲线拟合，生成第二平滑网格；通过第二平滑网格对反射成像图上的缺失点阵点和不完备点阵点进行填补修正处理。
10.可选的，根据水平曲线集合和竖直曲线集合生成第一平滑网格，并通过第一平滑网格对直接成像图上的缺失点阵点和不完备点阵点进行填补修正处理，包括：在直接成像图上将水平曲线集合和竖直曲线集合进行标注；通过目标平面水平曲线和目标竖直曲线的交点对缺失点阵点和不完备点阵点进行填补修正处理。
11.可选的，在定曲面屏直接成像图上的水平样本点集，使用水平样本点集进行水平方向的曲线拟合，生成水平曲线集合之前，方法还包括：构造标定图像，将标定图像输入曲面屏，标定图像上设置有点阵点；对成像系统的相机进行固有畸变校正，通过成像系统获取直接成像图和反射成像图，直接成像图为成像系统通过垂直曲面屏的拍摄方式来拍摄的图像，反射成像图为成像系统拍摄放置于曲面屏侧面的棱镜得到的图像。
12.可选的，根据第一分段函数、竖直点阵点集和优化函数优化分段位置x1和x2，并计算优化目标函数值l1，包括：将第一分段函数和竖直点阵点集代入优化函数中，计算优化目标函数值l1和优化函数的梯度；根据梯度对分段位置x1和x2进行反梯度更新优化。
13.本技术第二方面提供了一种曲面屏图像中点阵坐标修正与填补的装置，包括：第一确定单元，用于确定曲面屏直接成像图上的水平样本点集，使用水平样本点集进行水平方向的曲线拟合，生成水平曲线集合，曲面屏的曲面部分位于直接成像图的上区域和下区域；第二确定单元，用于确定曲面屏直接成像图上的竖直样本点集，构造分段函数表达式，根据分段函数表达式和竖直样本点集生成优化函数，优化函数用于拟合直接成像图上竖直样本点集的分段函数模型；选取单元，用于在竖直样本点集中选取一组竖直点阵点集并选取分段位置x1和x2，使得竖直点阵点集从上到下将依次分为子集p1、子集p2和子集p3；第一生成单元，用于根据分段函数表达式对子集p1、子集p2和子集p3分别进行曲线拟合，生成第一分段函数；第一计算单元，用于根据第一分段函数、竖直点阵点集和优化函数优化分段位置x1和x2，并计算优化目标函数值l1；第二计算单元，用于使用优化的分段位置x1和x2、分段函数表达式、竖直点阵点集和优化函数生成第二分段函数，并计算优化目标函数值l2；第二生成单元，用于当优化目标函数值l1和优化目标函数值l2的差值的绝对值小于预设阈值时，确定第二分段函数为竖直点阵点集的竖直曲线，并根据上述方式生成竖直曲线集合；迭代单元，用于当优化目标函数值l1和优化目标函数值l2的差值的绝对值不小于预设阈值时，重新优化分段位置x1和x2，对点集p重新划分为p1、p2和p3，分段函数重新拟合，重新计算优化目标函数值，重新对比优化目标函数值，直到迭代完成；第三生成单元，用于根据水平曲线集合和竖直曲线集合生成第一平滑网格，并通过第一平滑网格对直接成像图上的缺失点阵点和不完备点阵点进行填补修正处理。
14.可选的，第一生成单元，包括：根据分段函数表达式对子集p2进行线性拟合，得到第一中部函数；计算子集p2中每一个点阵点与第一中部函数的距离与距离总和d1；根据子集p2中距离小于阈值t1的内点和分段函数表达式生成第二中部函数；计算子集p2中每一个点阵点与第二中部函数的距离总和d2；
当d2与d1的差值的绝对值小于阈值t2时，确定第二中部函数为目标中部函数，并根据上述方式计算子集p1的目标上部函数以及子集p3的目标下部函数，得到第一分段函数。
15.可选的，第一生成单元还包括：当d2与d1的差值的绝对值不小于阈值t2时，确定子集p2中与第二中部函数距离小于阈值t1的内点，并通过新的内点和分段函数表达式构造新的中部函数进行距离总和的验证。
16.可选的，装置还包括：第三确定单元，用于确定曲面屏反射成像图上的样本点集，对样本点集的点阵点进行水平方向和竖直方向的曲线拟合，生成第二平滑网格；处理单元，用于通过第二平滑网格对反射成像图上的缺失点阵点和不完备点阵点进行填补修正处理。
17.可选的，第三生成单元，包括：在直接成像图上将水平曲线集合和竖直曲线集合进行标注；通过目标平面水平曲线和目标竖直曲线的交点对缺失点阵点和不完备点阵点进行填补修正处理。
18.可选的，装置还包括：构造单元，用于构造标定图像，将标定图像输入曲面屏，标定图像上设置有点阵点；畸变校正单元，用于对成像系统的相机进行固有畸变校正，通过成像系统获取直接成像图和反射成像图，直接成像图为成像系统通过垂直曲面屏的拍摄方式来拍摄的图像，反射成像图为成像系统拍摄放置于曲面屏侧面的棱镜得到的图像。
19.可选的，第一计算单元，包括：将第一分段函数和竖直点阵点集代入优化函数中，计算优化目标函数值l1和优化函数的梯度；根据梯度对分段位置x1和x2进行反梯度更新优化。
20.本技术第三方面提供了一种电子设备，包括：处理器、存储器、输入输出单元以及总线；处理器与存储器、输入输出单元以及总线相连；存储器保存有程序，处理器调用程序以执行如第一方面以及第一方面的任意可选的方法。
21.本技术第四方面提供了一种计算机可读存储介质，计算机可读存储介质上保存有程序，程序在计算机上执行时执行如第一方面以及第一方面的任意可选的方法。
22.从以上技术方案可以看出，本技术实施例具有以下优点：本技术中，首先确定曲面屏直接成像图上的水平样本点集，使用水平样本点集进行水平方向的曲线拟合，生成水平曲线集合，水平曲线集合是每一行点阵点坐标拟合出来的曲线，能够极大程度表征每一行点阵点的位置，其中，曲面屏的曲面部分位于直接成像图的上区域和下区域。接着确定曲面屏直接成像图上的竖直样本点集，用于竖直样本点集中存在位于曲面部分的点阵点，并不是位于同一竖直线上，是存在分段的，故需要构造分段函
数表达式，根据分段函数表达式和竖直样本点集生成优化函数，优化函数用于拟合直接成像图上竖直样本点集的分段函数模型，用于分段函数需要选择分段位置，并且需要针对不断优化分段位置，故需要根据预先设置的分段函数表达式来构造优化函数，优化函数可以根据点阵点的坐标计算出分段函数与点阵点之间的匹配程度。这时，在竖直样本点集中选取一组竖直点阵点集并选取分段位置x1和x2，使得竖直点阵点集从上到下将依次分为子集p1、子集p2和子集p3。再根据分段函数表达式对子集p1、子集p2和子集p3分别进行曲线拟合，生成第一分段函数，第一分段函数包含了三条分段函数。根据第一分段函数、竖直点阵点集和优化函数优化分段位置x1和x2，并将第一分段函数、竖直点阵点集代入优化函数计算优化目标函数值l1。使用优化的分段位置x1和x2、分段函数表达式、竖直点阵点集和优化函数生成第二分段函数，并计算优化目标函数值l2，第二分段函数相对于第一分段函数的匹配程度更高。当优化目标函数值l1和优化目标函数值l2的差值的绝对值小于预设阈值时，确定第二分段函数达到了迭代结束的条件，确定第二分段函数为竖直点阵点集的竖直曲线，并根据上述方式为每一组竖直点阵点集生成竖直曲线集合。当优化目标函数值l1和优化目标函数值l2的差值的绝对值不小于预设阈值时，重新优化分段位置x1和x2，对点集p重新划分为p1、p2和p3，分段函数重新拟合，重新计算优化目标函数值，重新对比优化目标函数值，直到迭代完成。根据水平曲线集合和竖直曲线集合生成第一平滑网格，并通过第一平滑网格对直接成像图上的缺失点阵点和不完备点阵点进行填补修正处理。综上所述，通过已知的点阵点对直接成像图进行曲线拟合，在存在曲面的部分进行分段函数的曲线拟合，并且不断优化分段位置，使得分段函数更加符合竖直点阵点集的位置，最后根据水平曲线集合和竖直曲线集合生成第一平滑网格，并通过第一平滑网格对直接成像图上的缺失点阵点和不完备点阵点进行填补修正处理，能够提高生成的点阵点和调整的点阵点的关联性，以此实现点阵点的精准定位。
附图说明
23.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
24.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
25.图1为本技术中曲面屏图像中点阵坐标修正与填补的方法的一个实施例示意图；图2为本技术中直接成像图的平滑网格的一个实施例示意图；图3-1为本技术曲面屏图像中点阵坐标修正与填补的方法的另一个实施例第一阶段示意图；图3-2为本技术曲面屏图像中点阵坐标修正与填补的方法的另一个实施例第二阶段示意图；图3-3为本技术曲面屏图像中点阵坐标修正与填补的方法的另一个实施例第三阶
段示意图；图4为本技术中曲面屏拍摄的一个场景示意图；图5为本技术中曲面屏拍摄的另一个场景示意图；图6为本技术中曲面屏拍摄的另一个场景示意图；图7为本技术中曲面屏图像中点阵坐标修正与填补的装置的一个实施例示意图；图8为本技术电子设备的一个实施例示意图。
具体实施方式
26.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
27.应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
28.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
29.如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0030]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0031]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0032]
在现有的曲面屏点阵点灰度补偿中，通过展平算法将曲面屏图像中的点阵点进行展平处理，需要确定曲面屏图像中一个目标点阵点及其周围点阵点，以此计算目标点阵点的质心坐标，并且计算对应的畸变系数，畸变系数用于对目标点阵点进行坐标校正。但是，当点阵点出现残缺（不完备点阵点）时，点阵点的质心坐标计算会出现偏差，导致计算其局部畸变模型时出现误差。或者是当点阵点出现丢失（缺失点阵点）时，局部畸变模型计算时会缺少已知条件，导致畸变模型系数求解失败。目前对不完备点阵点和缺失点阵点进行调整或填补，是通过人为调整不完备点阵点的坐标和人为填充缺失点阵点的坐标，该方式调整的不完备点阵点和缺失点阵点与实际位置相差较大，即定位精度差，无法实现点阵点的精准定位，会使得后续的灰度补偿环节增加难度。
[0033]
基于此，本技术公开了一种曲面屏图像中点阵坐标修正与填补的方法及相关装
置，用于实现点阵点的精准定位。
[0034]
下面将结合本技术实施例中的附图，对本技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0035]
本技术的方法可以应用于服务器、设备、终端或者其它具备逻辑处理能力的设备，对此，本技术不作限定。为方便描述，下面以执行主体为终端为例进行描述。
[0036]
请参阅图1，本技术提供了一种曲面屏图像中点阵坐标修正与填补的方法的一个实施例，包括：101、确定曲面屏直接成像图上的水平样本点集，使用水平样本点集进行水平方向的曲线拟合，生成水平曲线集合，曲面屏的曲面部分位于直接成像图的上区域和下区域；直接成像图是成像系统通过垂直于曲面屏的角度拍摄的图像，并且曲面屏上的曲面部分位于上区域和下区域。终端首先通过点屏设备在曲面屏上显示点阵点图像，使得曲面屏的平面部分和曲面部分都显示出规则且对应的点阵点。点阵点图像上最少有9个点阵点（3*3），具体根据曲面屏的规格确定点阵点数量。并且在点阵点图像上可以分别在水平方向上和竖直方向上找到一组对应的点阵点，而输入曲面屏之后，直接成像图上可能会产生不完备点阵点和缺失点阵点，但是依旧可以在直接成像图上确定出同一水平的点阵点集合，以及同一竖直的点阵点集合。这里将直接成像图上显示的完备点阵点和不完备点阵点统称为总样本点集，总样本点集通过水平分组后生成水平样本点集。
[0037]
点阵点是由多个像素点组成的，点阵点图像上点阵点由至少2个像素点组成，直接成像图上，点阵点中的像素点完整的成为完备点阵点，点阵点中的像素点存在部分缺失的成为不完备点阵点，而点阵点中的像素点完全缺失的成为缺失点阵点。在平面拍摄区域中，质心坐标是通过点阵点内部的多个像素点共同决定的，完备点阵点由于像素点完整，在点阵点图像上的坐标位置与直接成像图上相同，而不完备点阵点由于部分像素点缺失，不可避免的造成质心坐标偏移，通常缺失的像素点越多，其质心坐标的偏差就越大，缺失点阵点由于没有像素点，无法计算其质心坐标，故只取直接成像图中能找到质心坐标的完备点阵点和不完备点阵点作为第一样本点集。
[0038]
终端确定曲面屏直接成像图上的点阵点生成水平样本点集，水平样本点集中根据水平方向对每一行点阵点进行分组，同一排的点阵点归为一组。由于曲面部分位于上区域和下区域，则水平方向上的点阵点在水平位置的差异较小，故只需要对点阵点进行曲线拟合，即可为每一组水平方向的点阵点生成水平曲线集合。
[0039]
为了方便说明，本实施例中，选择的曲面屏具有两处曲面部分，分别位于直接成像图像的上区域和下区域，类似曲面屏手机横摆，曲面部分位于上去和下区域。
[0040]
由于本实施例中，选择的曲面屏具有两处曲面部分，分别位于直接成像图像的上区域和下区域，以直接成像图建立一个坐标系，水平方向上的完备点阵点和不完备点阵点的质心坐标在y轴上的位置相似，故可以采用线性拟合直接构造平面水平曲线集合，无需分段构造。首先确定点阵点图像上同一水平上的一组点阵点，在直接成像图上找到对应的点阵点并确定其质心坐标，使用1阶或2阶多项式函数构造水平方向的平滑曲线。
[0041]
下面对平面水平曲线集合的构造进行举例：
从第一样本点集中选取一组水平样本点，为该组水平样本点构造平面水平曲线。首先确定一个2阶多项式函数，2阶多项式函数存在3个未知的系数，从该组水平样本点中随机选取3个点阵点的质心坐标，代入存在未知系数的2阶多项式函数中计算出系数，得到一个确定的2阶多项式函数。计算该组水平样本点中每一个点阵点与2阶多项式函数的距离，设置一个阈值，将距离小于该阈值的点阵点确定为内点，使用的内点统称一致集，将该2阶多项式函数与一致集关联。然后再随机选取3个点阵点的质心坐标，代入存在未知系数2阶多项式函数中计算出系数，得到另一个确定的2阶多项式函数，再计算该组水平样本点中每一个点阵点与该2阶多项式函数的距离，再确定这个2阶多项式函数的一致集。以此类推，计算多个2阶多项式函数和一致集，最后选取一致集中内点数量最多的2阶多项式函数，作为该组水平样本点的平面水平曲线。
[0042]
根据上述方法，计算直接成像图上每一组水平样本点的平面水平曲线，以生成平面水平曲线集合。
[0043]
需要说明的是，此时并不能确定哪一些点是完备点阵点，哪一些点是不完备点阵点，只要能计算出质心坐标的点阵点，都纳入第一样本点集。
[0044]
102、确定曲面屏直接成像图上的竖直样本点集，构造分段函数表达式，根据分段函数表达式和竖直样本点集生成优化函数，优化函数用于拟合直接成像图上竖直样本点集的分段函数模型；终端确定曲面屏直接成像图上的竖直样本点集，竖直样本点集中根据竖直方向对每一列点阵点进行分组，同一列的点阵点归为一组。由于曲面部分位于上区域和下区域，则竖直方向上的点阵点在竖直位置的差异较大，主要在曲面部分和平面部分上存在较大的位置差异，故不能只对点阵点进行简单的曲线拟合，需要为竖直样本点集构造分段函数表达式，由于具有两个曲面部分，故每一列竖直点阵点需要分为三个区域进行拟合。构造的分段函数表达式表达式可以为高阶多项式函数，也可以为低阶多项式函数，需要根据曲面屏的尺寸大小以及曲面部分的大小来决定，本实施例中，对于竖直样本点集的曲线拟合，使用一阶多项式函数、二阶多项式和三阶多项式函数作为分段函数表达式。该步骤的分段函数表达式中存在未知系数，需要根据具体的分段位置来确定对应的样本点集，再代入样本点集中的点阵点坐标计算出位置系数，从而得到具体的分段函数。
[0045]
并且，终端根据分段函数表达式和竖直样本点集生成优化函数，优化函数用于拟合直接成像图上竖直样本点集的分段函数模型。优化函数时根据分段函数表达式和竖直样本点集构造的，此时的优化函数存在分段函数表达式的未知数，当解出分段函数之后，优化函数即可计算出当前分段函数与竖直样本点集的匹配程度，并且可以根据优化函数优化分段位置x1和x2的位置，使得下一个分段函数更加匹配竖直样本点集。
[0046]
本实施例中，优化函数l具体如下：。
[0047]
其中，n为竖直样本点集中点阵点的总数，为第i个点阵点的横坐标，
为第i个点阵点在分段函数表达式中的纵坐标取值，为第i个点阵点在直接成像图中的纵坐标取值。此时的分段函数还是未知的，需要后续的不走求取出分段函数表达式中的未知系数之后才能运用优化函数计算。
[0048]
103、在竖直样本点集中选取一组竖直点阵点集并选取分段位置x1和x2，使得竖直点阵点集从上到下将依次分为子集p1、子集p2和子集p3；终端需要分别对每一组竖直点阵点集进行曲线拟合，具体的，终端在竖直样本点集中选取一组竖直点阵点集，由于具有两个曲面部分，故每一列竖直点阵点需要分为三个区域进行拟合，故终端可以选取分段位置x1和x2，分段位置x1和x2为两个不相等的位置。竖直点阵点集从上到下将依次分为子集p1、子集p2和子集p3，需要针对子集p1、子集p2和子集p3分别构造多项式函数，并且三个多项式函数之间在分段位置x1和x2上需要满足连续且可导的条件。
[0049]
需要说明的是，当曲面屏拥有一个曲面区域时，可以只取一个分段位置，当曲面屏在某一方向上拥有2个以上的曲面部分时，则需要确定更多的分段位置。
[0050]
由于本实施例中，选择的曲面屏具有两处曲面部分，分别位于直接成像图像的上区域和下区域，以直接成像图建立一个坐标系，竖直方向上的完备点阵点和不完备点阵点的质心坐标在x轴上的位置存在一定差异，尤其是两个曲面区域上的点阵点，故不可以像步骤101一样采用不分段的曲线拟合直接构造竖直曲线集合。
[0051]
首先确定点阵点图像上同一竖直上的一组点阵点，在直接成像图上找到对应的点阵点并确定其质心坐标，将其确定为一组竖直点阵点集。接下来随机确定两个分段位置x1和x2，可以直接从竖直点阵点集中选取两个不同的点阵点作为分段位置x1和x2的参考物。根据分段位置x1和x2将竖直样本点集分成子集p1、子集p2和子集p3，分别求出三条拟合曲线，并检验这三条拟合曲线是否在分段位置x1和x2处连续可导。
[0052]
104、根据分段函数表达式对子集p1、子集p2和子集p3分别进行曲线拟合，生成第一分段函数；终端根据分段函数表达式对子集p1、子集p2和子集p3分别进行曲线拟合，生成第一分段函数，具体是从子集p1、子集p2和子集p3中选取的点阵点坐标，代入分段函数表达式中，具体选取的点阵点个数需要根据分段函数表达式中未知数的个数决定。
[0053]
105、根据第一分段函数、竖直点阵点集和优化函数优化分段位置x1和x2，并计算优化目标函数值l1；当确定了第一分段函数之后，即可得到不包含未知系数的优化函数，优化函数可以代入竖直点阵点集计算，生成目标函数值l1，目标函数值l1用于后续判断分段函数是否满足预设条件。并且优化函数还可以对分段位置x1和x2进行优化，以使得生产新的子集p1、子集p2和子集p3，并且根据上述方式生成新的分段函数以及新的优化函数。
[0054]
106、使用优化的分段位置x1和x2、分段函数表达式、竖直点阵点集和优化函数生成第二分段函数，并计算优化目标函数值l2；107、当优化目标函数值l1和优化目标函数值l2的差值的绝对值不小于预设阈值时，重新优化分段位置x1和x2，对点集p重新划分为p1、p2和p3，分段函数重新拟合，重新计算优化目标函数值，重新对比优化目标函数值，直到迭代完成；
108、当优化目标函数值l1和优化目标函数值l2的差值的绝对值小于预设阈值时，确定第二分段函数为竖直点阵点集的竖直曲线，并根据上述方式生成竖直曲线集合；当终端优化了分段位置x1和x2之后，终端使用优化的分段位置x1和x2和竖直点阵点集生成新的子集p1、子集p2和子集p3，再通过分段函数表达式和计算新的子集p1、子集p2和子集p3计算第二分段函数。再通过第二分段函数代入优化函数，生成新的不带有未知系数的优化函数，并再次通过优化函数计算优化目标函数值l2。此时可以比较优化目标函数值l1和优化目标函数值l2来确定当前的第二分段函数是否满足迭代条件。当优化目标函数值l1和优化目标函数值l2的差值的绝对值小于预设阈值时，则表示第一分段函数和第二分段函数之间的变化程度足够小，表征分段位置x1和x2的变化程度已经达到迭代完成的条件，则可以确定第二分段函数为竖直点阵点集的竖直曲线，并根据上述方式为其他的数值点阵点集生成各自的竖直曲线，最终生成竖直曲线集合。当优化目标函数值l1和优化目标函数值l2的差值的绝对值不小于预设阈值时，则表示第一分段函数和第二分段函数之间的变化程度还达不到迭代完成条件，表征分段位置x1和x2的变化程度尚未达到迭代完成的条件，重新优化分段位置x1和x2，对点集p重新划分为p1、p2和p3，分段函数重新拟合，重新计算优化目标函数值，重新对比优化目标函数值，直到迭代完成。
[0055]
109、根据水平曲线集合和竖直曲线集合生成第一平滑网格，并通过第一平滑网格对直接成像图上的缺失点阵点和不完备点阵点进行填补修正处理。
[0056]
最后，终端根据水平曲线集合和竖直曲线集合生成第一平滑网格，并通过第一平滑网格对直接成像图上的缺失点阵点和不完备点阵点进行填补修正处理。请参考图2，图2为根据水平曲线集合和竖直曲线集合生成的第一平滑网格的示意图。图2中水平方向的曲线即为水平曲线集合，竖直方向的曲线即为分段的竖直曲线集合，在直接成像图上标注出这些缺陷的位置，其中直接成像图上还包括点阵点，黑点为可以计算质心坐标的点阵点。第一平滑网格上交点附近如果不存在黑点，则表示这个位置的点阵点缺失，标记为缺失点阵点。第一平滑网格上交点附近如果存在黑点，但是点阵点与交点的距离相差大于预设距离，则表示该点阵点标记为不完备点阵点。接下来即可对不完备点阵点和缺失点阵点进行位置调整和点阵点的填补。
[0057]
本技术实施例中，首先确定曲面屏直接成像图上的水平样本点集，使用水平样本点集进行水平方向的曲线拟合，生成水平曲线集合，水平曲线集合是每一行点阵点坐标拟合出来的曲线，能够极大程度表征每一行点阵点的位置，其中，曲面屏的曲面部分位于直接成像图的上区域和下区域。接着确定曲面屏直接成像图上的竖直样本点集，用于竖直样本点集中存在位于曲面部分的点阵点，并不是位于同一竖直线上，是存在分段的，故需要构造分段函数表达式，根据分段函数表达式和竖直样本点集生成优化函数，优化函数用于拟合直接成像图上竖直样本点集的分段函数模型，用于分段函数需要选择分段位置，并且需要针对不断优化分段位置，故需要根据预先设置的分段函数表达式来构造优化函数，优化函数可以根据点阵点的坐标计算出分段函数与点阵点之间的匹配程度。这时，在竖直样本点集中选取一组竖直点阵点集并选取分段位置x1和x2，使得竖直点阵点集从上到下将依次分为子集p1、子集p2和子集p3。再根据分段函数表达式对子集p1、子集p2和子集p3分别进行曲线拟合，生成第一分段函数，第一分段函数包含了三条分段函数。根据第一分段函数、竖直点阵点集和优化函数优化分段位置x1和x2，并将第一分段函数、竖直点阵点集代入优化函
数计算优化目标函数值l1。使用优化的分段位置x1和x2、分段函数表达式、竖直点阵点集和优化函数生成第二分段函数，并计算优化目标函数值l2，第二分段函数相对于第一分段函数的匹配程度更高。当优化目标函数值l1和优化目标函数值l2的差值的绝对值小于预设阈值时，确定第二分段函数达到了迭代结束的条件，确定第二分段函数为竖直点阵点集的竖直曲线，并根据上述方式为每一组竖直点阵点集生成竖直曲线集合。当优化目标函数值l1和优化目标函数值l2的差值的绝对值不小于预设阈值时，重新优化分段位置x1和x2，对点集p重新划分为p1、p2和p3，分段函数重新拟合，重新计算优化目标函数值，重新对比优化目标函数值，直到迭代完成。根据水平曲线集合和竖直曲线集合生成第一平滑网格，并通过第一平滑网格对直接成像图上的缺失点阵点和不完备点阵点进行填补修正处理。综上所述，通过已知的点阵点对直接成像图进行曲线拟合，在存在曲面的部分进行分段函数的曲线拟合，并且不断优化分段位置，使得分段函数更加符合竖直点阵点集的位置，最后根据水平曲线集合和竖直曲线集合生成第一平滑网格，并通过第一平滑网格对直接成像图上的缺失点阵点和不完备点阵点进行填补修正处理，能够提高生成的点阵点和调整的点阵点的关联性，以此提高点阵点的精准定位。
[0058]
请参阅图3-1、图3-2和图3-3，本技术提供了一种曲面屏图像中点阵坐标修正与填补的方法的另一个实施例，包括：301、构造标定图像，将标定图像输入曲面屏，标定图像上设置有点阵点；终端首先构造标定图像，标定图像上具有至少一个点阵点，点阵点组成了像素点阵，以使得在标定图像输入曲面屏时，使得曲面屏显示出预设的像素点阵。标定图像，是指根据曲面显示屏分辨率信息构造出来的bmp图像。标定图像：是指将标定图像显示在曲面屏上的显示屏画面，而拍摄曲面屏得到的图像，就是拍摄标定图像。下面对构造标定图像的方式进行举例说明：若一块曲面屏的逻辑分辨率为height（长边）
×
width（短边），其中曲面部分的像素宽度为w，不考虑挖孔、刘海等异形因素对实际显示画面的影响，在要显示的标定图像上构造m行
×
n列的像素点阵（m和n通常都是奇数），点阵采用l
×
l的正方形像素方阵（其中l通常为奇数，本实施例中，l为3~15之间的奇数），图像的边缘部分必须均匀分布一行或一列点阵，边缘部分的点阵宽度或高度是其他区域点阵的一半。
[0059]
终端构造至少一张颜色不相同的标定图像，例如：构造点阵为白色、绿色、红色和蓝色的四个不同颜色但拍摄位置相同的4张标定图像。生成不同颜色的标定图像，原则上，使用绿色画面下的标定图像进行绿色曲面屏图像拍图的展平和像素位置对齐；使用红色画面下的标定图像进行红色曲面屏图像拍图的展平和像素位置对齐；使用蓝色画面下的标定图像进行蓝色曲面屏图像拍图的展平和像素位置对齐；使用白色画面下的标定图像进行白色曲面屏图像拍图的展平和像素位置对齐。如果后续的曲面屏图像处理操作仅实现展平，而不需要精确的像素对齐的话，可以只使用一种颜色的标定图像计算出来的畸变校正系数对曲面屏图像进行后续的展平操作。每种颜色画面下的畸变校正系数计算，主要针对的是每种颜色下曲面屏子像素的排列可能不同。所以分颜色通道进行计算，可以得到更精确的曲面屏像素对齐效果。
[0060]
构造完成后，即可将至少一张颜色不相同的标定图像输入曲面屏。
[0061]
302、对成像系统的相机进行固有畸变校正，通过成像系统获取直接成像图和反射
成像图，直接成像图为成像系统通过垂直曲面屏的拍摄方式来拍摄的图像，反射成像图为成像系统拍摄放置于曲面屏侧面的棱镜得到的图像；终端首先对成像系统的相机进行固有畸变校正，畸变校正主要针对成像系统中的相机镜头，通过固有畸变校正可以降低构造多项式函数的次数，起到简化计算难度的作用。
[0062]
在对焦良好的情况下，对显示了标定图像的曲面屏进行拍摄，获取直接成像图和反射成像图，以得到具有像素点阵的直接成像图和反射成像图。在对实际的目标曲面屏进行拍摄时，是将曲面屏从流水线上进行移动，移动到相机的拍摄区域中，对焦良好的情况下进行拍摄。
[0063]
直接成像图为成像系统通过垂直曲面屏的拍摄方式来拍摄的图像，反射成像图为成像系统拍摄放置于曲面屏侧面的棱镜得到的图像。
[0064]
请参考图4至图6，正面拍摄方式为成像系统从目标曲面屏正面进行取像拍摄，当曲面屏的曲率较小时，可以通过成像系统拍摄目标曲面屏后，通过展平算法校正曲面屏图像，以此降低缺陷补偿难度。但是对于曲率较大的曲面屏，例如曲率大于70
°
的曲面屏，成像系统拍摄的曲面屏图像在曲面部分的点阵点会过度密集，使得难以确定点阵点坐标，进而增加了校正难度。所以，当需要缺陷补偿的曲面屏的曲率过大时，通常会使用棱镜反射方式进行拍摄。如图6中所示，本实施例中，同时使用正面拍摄方式和棱镜反射拍摄方式拍摄输入标定图像的曲面屏，成像系统通过平面反射、曲面反射和棱镜反射获取直接成像图和反射成像图。
[0065]
303、确定曲面屏直接成像图上的水平样本点集，使用水平样本点集进行水平方向的曲线拟合，生成水平曲线集合，曲面屏的曲面部分位于直接成像图的上区域和下区域；304、确定曲面屏直接成像图上的竖直样本点集，构造分段函数表达式，根据分段函数表达式和竖直样本点集生成优化函数，优化函数用于拟合直接成像图上竖直样本点集的分段函数模型；305、在竖直样本点集中选取一组竖直点阵点集并选取分段位置x1和x2，使得竖直点阵点集从上到下将依次分为子集p1、子集p2和子集p3；本实施例中的步骤303至305与前述实施例中步骤101至103类似，此处不再赘述。
[0066]
306、根据分段函数表达式对子集p2进行线性拟合，得到第一中部函数；307、计算子集p2中每一个点阵点与第一中部函数的距离与距离总和d1；308、根据子集p2中距离小于阈值t1的内点和分段函数表达式生成第二中部函数；309、计算子集p2中每一个点阵点与第二中部函数的距离总和d2；310、当d2与d1的差值的绝对值不小于阈值t2时，确定子集p2中与第二中部函数距离小于阈值t1的内点，并通过新的内点和分段函数表达式构造新的中部函数进行距离总和的验证；311、当d2与d1的差值的绝对值小于阈值t2时，确定第二中部函数为目标中部函数，并根据上述方式计算子集p1的目标上部函数以及子集p3的目标下部函数，得到第一分段函数；首先确定点阵点图像上同一竖直上的一组点阵点，在直接成像图上找到对应的点阵点并确定其质心坐标，将其确定为一组竖直点阵点集。接下来随机确定两个分段位置x1和x2，可以直接从竖直点阵点集中选取两个不同的点阵点作为分段位置x1和x2的参考物。
根据分段位置x1和x2将竖直点阵点集分成子集p1、子集p2和子集p3，分别求出三条拟合曲线，并检验这三条拟合曲线是否在分段位置x1和x2处连续可导。
[0067]
子集p1、子集p2和子集p3的分段函数表达式构造有多种方式，现在对构造子集p1、子集p2和子集p3的分段函数表达式进行举例说明。
[0068]
方式1是使用二阶多项式构建子集p1和子集p3的曲线，一阶多项式构建平坦区域子集p2的曲线，以此组成分段函数表达式。
[0069]
。
[0070]
其一阶导数为。
[0071]
。
[0072]
由于需要分段函数表达式在分段位置x1和x2连续可导，则有：由于需要分段函数表达式在分段位置x1和x2连续可导，则有：由于需要分段函数表达式在分段位置x1和x2连续可导，则有：。
[0073]
根据上述公式进行转换，有：根据上述公式进行转换，有：根据上述公式进行转换，有：。
[0074]
此时有：
。
[0075]
方式2是使用三阶多项式构建子集p1和子集p3的曲线，二阶多项式构建平坦区域子集p2的曲线，以此组成分段函数表达式。
[0076]
。
[0077]
其一阶导数为。
[0078]
。
[0079]
由于需要分段函数在分段位置x1和x2连续可导，则有：由于需要分段函数在分段位置x1和x2连续可导，则有：。
[0080]
根据上述公式进行转换，有：。
[0081]
。
[0082]
将上述式子代入y(x)的表达式，在时，得：。
[0083]
在时，得：。
[0084]
在时，得：。
[0085]
在时，一阶导数有：。
[0086]
在时，一阶导数有：。
[0087]
在时，一阶导数有：。
[0088]
由此可知，可以首先计算子集p2的目标中部函数，确定了系数后，再代入子集p1的目标上部函数和子集p3的目标下部函数。
[0089]
需要说明的是，本实施例不限于3阶多项式构造分段函数，上述举例只是为了简单了解多项式函数的构造过程。
[0090]
本实施例中，当成像系统的镜头采用了固有畸变校正时，采取方式1构造分段函数表达式即可，如果成像系统的镜头未采用了固有畸变校正，则需要采取方式2构造分段函数表达式。
[0091]
构造好分段函数表达式之后，终端首先为子集p2进行曲线拟合，首先确定未知系数的个数，从子集p2中随机选出与未知系数数量相同的点阵点，使用它们的坐标代入多项式函数中计算未知系数，以生成子集p2的首个第一中部函数，这时，计算子集p2中每一个点阵点的质心坐标与第一中部函数的距离，并且将这些距离相加得到距离总和d1。
[0092]
终端计算出子集p2中每一个点阵点的质心坐标与首个第一中部函数的距离之后，确定距离小于阈值t1的点阵点作为内点，构造新的多项式函数，多项式函数的项数和未知系数个数与前述为子集p2构造的多项式函数相同，并使用内点计算未知数系数，其方法同上，得到第二中部函数。并且再计算子集p2中每一个点阵点与第二中部函数的距离，生成距离总和d2。
[0093]
当d2与d1的差值的绝对值不小于阈值t2时，终端确定子集p2中与第二中部函数距离小于阈值t1的内点，并通过新的内点和分段函数表达式构造新的中部函数进行距离总和的验证。
[0094]
当d2与d1的差值的绝对值小于阈值t2时，终端确定第二中部函数为目标中部函数，并根据上述方式计算子集p1的目标上部函数以及子集p3的目标下部函数，得到第一分
段函数。
[0095]
312、将第一分段函数和竖直点阵点集代入优化函数中，计算优化目标函数值l1和优化函数的梯度；313、根据梯度对分段位置x1和x2进行反梯度更新优化；当计算出第一分段函数之后，终端将第一分段函数和竖直点阵点集代入优化函数l中，得到优化目标函数值l1，由于优化函数l不存在未知系数，这时可以计算优化函数l的梯度：其中,为分段位置x1的优化步长，为分段位置x2的优化步长，为优化函数l1在分段位置x1设置优化步长时的变化量，为优化函数l1在分段位置x2设置优化步长时的变化量。
[0096]
此时根据优化函数l1的梯度反向更新分段位置x1和x2：此时根据优化函数l1的梯度反向更新分段位置x1和x2：其中，为首次确定的分段位置x1,为第二次的分段位置x1，为学习率，为首次确定的分段位置x2,为第二次的分段位置x2。当需要多次迭代时，有：有：其中为第n-1次迭代得到分段位置x1，为第n次迭代得到的分段位置x1。其中为第n-1次迭代得到分段位置x2，为第n次迭代得到的分段位置x2。
[0097]
314、使用优化的分段位置x1和x2、分段函数表达式、竖直点阵点集和优化函数生成第二分段函数，并计算优化目标函数值l2；315、当优化目标函数值l1和优化目标函数值l2的差值的绝对值不小于预设阈值
时，重新优化分段位置x1和x2，对点集p重新划分为p1、p2和p3，分段函数重新拟合，重新计算优化目标函数值，重新对比优化目标函数值，直到迭代完成；316、当优化目标函数值l1和优化目标函数值l2的差值的绝对值小于预设阈值时，确定第二分段函数为竖直点阵点集的竖直曲线，并根据上述方式生成竖直曲线集合；本实施例中的步骤314至316与前述实施例中步骤107至108类似，此处不再赘述。
[0098]
317、在直接成像图上将水平曲线集合和竖直曲线集合进行标注；318、通过目标平面水平曲线和目标竖直曲线的交点对缺失点阵点和不完备点阵点进行填补修正处理；在直接成像图上，每一个点阵点都会对应一条平面水平曲线和一条竖直曲线，故可以在直接成像图上将平面水平曲线集合和竖直曲线集合进行标注，当点阵点的质心坐标与对应的平面水平曲线和竖直曲线的交点位置距离不超过预设距离值，则可以确定该点阵点无需调整，当点阵点的质心坐标与对应的平面水平曲线和竖直曲线的交点位置距离超过预设距离值时，则可以确定该点阵点调整进行调整，并且该点阵点可能为不完备点阵点，导致质心坐标偏移。当平面水平曲线和竖直曲线的交点处不存在点阵点时，则表示该处的点阵点为缺失点阵点，则在交点处生成一个点阵点进行填补。
[0099]
319、确定曲面屏反射成像图上的样本点集，对样本点集的点阵点进行水平方向和竖直方向的曲线拟合，生成第二平滑网格；320、通过第二平滑网格对反射成像图上的缺失点阵点和不完备点阵点进行填补修正处理。
[0100]
除了有直接成像图，当曲面屏的曲率较大时，例如曲率大于70
°
的曲面屏，成像系统拍摄的曲面屏直接成像图在曲面部分的点阵点会过度密集，使得难以确定点阵点坐标，进而增加了校正难度。所以，当需要缺陷补偿的曲面屏的曲率过大时，通常会使用棱镜反射方式进行拍摄，得到反射成像图。反射成像图的曲面水平曲线生成方法以及曲面竖直曲线的生成方法均与平面水平曲线的方式相同，此处不做赘述。
[0101]
本技术实施例中，首先构造标定图像，将标定图像输入曲面屏，其中，标定图像上设置有点阵点。接着，终端对成像系统的相机进行固有畸变校正，通过成像系统获取直接成像图和反射成像图，直接成像图为成像系统通过垂直曲面屏的拍摄方式来拍摄的图像，反射成像图为成像系统拍摄放置于曲面屏侧面的棱镜得到的图像。
[0102]
确定曲面屏直接成像图上的水平样本点集，使用水平样本点集进行水平方向的曲线拟合，生成水平曲线集合，水平曲线集合是每一行点阵点坐标拟合出来的曲线，能够极大程度表征每一行点阵点的位置，其中，曲面屏的曲面部分位于直接成像图的上区域和下区域。接着确定曲面屏直接成像图上的竖直样本点集，用于竖直样本点集中存在位于曲面部分的点阵点，并不是位于同一竖直线上，是存在分段的，故需要构造分段函数表达式，根据分段函数表达式和竖直样本点集生成优化函数，优化函数用于拟合直接成像图上竖直样本点集的分段函数模型，用于分段函数需要选择分段位置，并且需要针对不断优化分段位置，故需要根据预先设置的分段函数表达式来构造优化函数，优化函数可以根据点阵点的坐标计算出分段函数与点阵点之间的匹配程度。这时，在竖直样本点集中选取一组竖直点阵点集并选取分段位置x1和x2，使得竖直点阵点集从上到下将依次分为子集p1、子集p2和子集p3。终端根据分段函数表达式对子集p2进行线性拟合，得到第一中部函数，计算子集p2中每
一个点阵点与第一中部函数的距离与距离总和d1，再根据子集p2中距离小于阈值t1的内点和分段函数表达式生成第二中部函数，计算子集p2中每一个点阵点与第二中部函数的距离总和d2，当d2与d1的差值的绝对值不小于阈值t2时，确定子集p2中与第二中部函数距离小于阈值t1的内点，并通过新的内点和分段函数表达式构造新的中部函数进行距离总和的验证，当d2与d1的差值的绝对值小于阈值t2时，确定第二中部函数为目标中部函数，并根据上述方式计算子集p1的目标上部函数以及子集p3的目标下部函数，得到第一分段函数。终端将第一分段函数和竖直点阵点集代入优化函数中，计算优化目标函数值l1和优化函数的梯度，再根据梯度对分段位置x1和x2进行反梯度更新优化，并将第一分段函数、竖直点阵点集代入优化函数计算优化目标函数值l1。使用优化的分段位置x1和x2、分段函数表达式、竖直点阵点集和优化函数生成第二分段函数，并计算优化目标函数值l2，第二分段函数相对于第一分段函数的匹配程度更高。当优化目标函数值l1和优化目标函数值l2的差值的绝对值小于预设阈值时，确定第二分段函数达到了迭代结束的条件，确定第二分段函数为竖直点阵点集的竖直曲线，并根据上述方式为每一组竖直点阵点集生成竖直曲线集合。当优化目标函数值l1和优化目标函数值l2的差值的绝对值不小于预设阈值时，重新优化分段位置x1和x2，对点集p重新划分为p1、p2和p3，分段函数重新拟合，重新计算优化目标函数值，重新对比优化目标函数值，直到迭代完成。在直接成像图上将水平曲线集合和竖直曲线集合进行标注，通过目标平面水平曲线和目标竖直曲线的交点对缺失点阵点和不完备点阵点进行填补修正处理。接下来，终端确定曲面屏反射成像图上的样本点集，对样本点集的点阵点进行水平方向和竖直方向的曲线拟合，生成第二平滑网格，通过第二平滑网格对反射成像图上的缺失点阵点和不完备点阵点进行填补修正处理。综上所述，通过已知的点阵点对直接成像图进行曲线拟合，在存在曲面的部分进行分段函数的曲线拟合，并且不断优化分段位置，使得分段函数更加符合竖直点阵点集的位置，最后根据水平曲线集合和竖直曲线集合生成第一平滑网格，并通过第一平滑网格对直接成像图上的缺失点阵点和不完备点阵点进行填补修正处理，能够提高生成的点阵点和调整的点阵点的关联性，以此实现点阵点的精准定位。
[0103]
其次，通过成像系统的固有畸变校正，可以降低构造多项式函数的次数，起到简化计算难度的作用。
[0104]
其次，当曲面屏的曲面部分较大时，可以通过棱镜反射的方式拍摄曲面屏反射成像图，再使用相同的方式构造平滑网格，能够降低曲面屏后续灰度补偿的难度。
[0105]
请参阅图7，本技术提供了一种曲面屏图像中点阵坐标修正与填补的装置的一个实施例，包括：构造单元701，用于构造标定图像，将标定图像输入曲面屏，标定图像上设置有点阵点；畸变校正单元702，用于对成像系统的相机进行固有畸变校正，通过成像系统获取直接成像图和反射成像图，直接成像图为成像系统通过垂直曲面屏的拍摄方式来拍摄的图像，反射成像图为成像系统拍摄放置于曲面屏侧面的棱镜得到的图像；第一确定单元703，用于确定曲面屏直接成像图上的水平样本点集，使用水平样本点集进行水平方向的曲线拟合，生成水平曲线集合，曲面屏的曲面部分位于直接成像图的上区域和下区域；
第二确定单元704，用于确定曲面屏直接成像图上的竖直样本点集，构造分段函数表达式，根据分段函数表达式和竖直样本点集生成优化函数，优化函数用于拟合直接成像图上竖直样本点集的分段函数模型；选取单元705，用于在竖直样本点集中选取一组竖直点阵点集并选取分段位置x1和x2，使得竖直点阵点集从上到下将依次分为子集p1、子集p2和子集p3；第一生成单元706，用于根据分段函数表达式对子集p1、子集p2和子集p3分别进行曲线拟合，生成第一分段函数；可选的，第一生成单元706，包括：根据分段函数表达式对子集p2进行线性拟合，得到第一中部函数；计算子集p2中每一个点阵点与第一中部函数的距离与距离总和d1；根据子集p2中距离小于阈值t1的内点和分段函数表达式生成第二中部函数；计算子集p2中每一个点阵点与第二中部函数的距离总和d2；当d2与d1的差值的绝对值小于阈值t2时，确定第二中部函数为目标中部函数，并根据上述方式计算子集p1的目标上部函数以及子集p3的目标下部函数，得到第一分段函数。
[0106]
可选的，第一生成单元706还包括：当d2与d1的差值的绝对值不小于阈值t2时，确定子集p2中与第二中部函数距离小于阈值t1的内点，并通过新的内点和分段函数表达式构造新的中部函数进行距离总和的验证。
[0107]
第一计算单元707，用于根据第一分段函数、竖直点阵点集和优化函数优化分段位置x1和x2，并计算优化目标函数值l1；可选的，第一计算单元707，包括：将第一分段函数和竖直点阵点集代入优化函数中，计算优化目标函数值l1和优化函数的梯度；根据梯度对分段位置x1和x2进行反梯度更新优化。
[0108]
第二计算单元708，用于使用优化的分段位置x1和x2、分段函数表达式、竖直点阵点集和优化函数生成第二分段函数，并计算优化目标函数值l2；迭代单元709，用于当优化目标函数值l1和优化目标函数值l2的差值的绝对值不小于预设阈值时，重新优化分段位置x1和x2，对点集p重新划分为p1、p2和p3，分段函数重新拟合，重新计算优化目标函数值，重新对比优化目标函数值，直到迭代完成；第二生成单元710，用于当优化目标函数值l1和优化目标函数值l2的差值的绝对值小于预设阈值时，确定第二分段函数为竖直点阵点集的竖直曲线，并根据上述方式生成竖直曲线集合；第三生成单元711，用于根据水平曲线集合和竖直曲线集合生成第一平滑网格，并通过第一平滑网格对直接成像图上的缺失点阵点和不完备点阵点进行填补修正处理；可选的，第三生成单元711，包括：在直接成像图上将水平曲线集合和竖直曲线集合进行标注；通过目标平面水平曲线和目标竖直曲线的交点对缺失点阵点和不完备点阵点进行填补修正处理。
[0109]
第三确定单元712，用于确定曲面屏反射成像图上的样本点集，对样本点集的点阵点进行水平方向和竖直方向的曲线拟合，生成第二平滑网格；处理单元713，用于通过第二平滑网格对反射成像图上的缺失点阵点和不完备点阵点进行填补修正处理。
[0110]
请参阅图8，本技术提供了一种电子设备，包括：处理器801、存储器802、输入输出单元803以及总线804。
[0111]
处理器801与存储器802、输入输出单元803以及总线804相连。
[0112]
存储器802保存有程序，处理器801调用程序以执行如图1、图3-1、图3-2和图3-3中的方法。
[0113]
本技术提供了一种计算机可读存储介质，计算机可读存储介质上保存有程序，程序在计算机上执行时执行如图1、图3-1、图3-2和图3-3中的方法。
[0114]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0115]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0116]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0117]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0118]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。