一种图像处理方法和装置与流程

1.本公开涉及人工智能领域，尤其涉及智能交通领域，具体为一种图像处理方法和装置。


背景技术：

2.在摄影和电影拍摄中，透视变形指的是一个物体及其周围区域与标准镜头中看到的相比完全不同，由于远近特征的相对比例变化，发生了弯曲或变形。
3.地图数据是导航系统中基础且重要的部分，而俯视图是地图数据生产的关键资料。高清俯视图一般由全景照片投影生成，受到镜头畸变、路面坡度、设备移动等等因素影响，俯视图往往会有很大的形变，即透视变形。地图要素由它在俯视图中的位置进行gps经纬度预估，所以俯视图透视变形严重影响地面要素定位精度。


技术实现要素：

4.本公开提供了一种图像处理方法、装置、设备、存储介质以及计算机程序产品。
5.根据本公开的第一方面，提供了一种图像处理方法，包括：获取道路的俯视图；从所述俯视图中识别出车道线的位置；将所述俯视图切分成至少2个区域，并根据每个区域中车道线的位置确定出每个区域中车道的宽度以及所述俯视图中车道的平均宽度；通过优化第一损失函数计算出第一透视校正矩阵，其中，所述第一损失函数用于表征每个区域中车道的宽度与所述俯视图中车道的平均宽度之间的差异；将所述俯视图通过所述第一透视校正矩阵进行横向校正，得到第一校正图像。
6.根据本公开的第二方面，提供了一种图像处理装置，包括：获取单元，被配置成获取道路的俯视图；识别单元，被配置成从所述俯视图中识别出车道线的位置；确定单元，被配置成将所述俯视图切分成至少2个区域，并根据每个区域中车道线的位置确定出每个区域中车道的宽度以及所述俯视图中车道的平均宽度；计算单元，被配置成通过优化第一损失函数计算出第一透视校正矩阵，其中，所述第一损失函数用于表征每个区域中车道的宽度与所述俯视图中车道的平均宽度之间的差异；校正单元，被配置成将所述俯视图通过所述第一透视校正矩阵进行横向校正，得到第一校正图像。
7.根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。
8.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法。
9.根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面所述的方法。
10.本公开的实施例提供的图像处理方法和装置，基于车道线识别结果，通过控制同
一车道的宽度在俯视图中各处相等的方式，校准俯视图的形变，大幅提升俯视图中要素定位的精度。
11.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
12.附图用于更好地理解本方案，不构成对本公开的限定。其中：
13.图1是本公开的一个实施例可以应用于其中的示例性系统架构图；
14.图2是根据本公开的图像处理方法的一个实施例的流程图；
15.图3是根据本公开的图像处理方法的车道线提取与矢量化结果示意图；
16.图4是根据本公开的图像处理方法的一个应用场景的示意图；
17.图5是根据本公开的图像处理方法的又一个实施例的流程图；
18.图6是根据本公开的图像处理装置的一个实施例的结构示意图；
19.图7是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。
具体实施方式
20.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
21.图1示出了可以应用本技术的图像处理方法或图像处理装置的实施例的示例性系统架构100。
22.如图1所示，系统架构100可以包括无人驾驶车辆101(简称无人车)。
23.无人驾驶车辆101中安装有驾驶控制设备1011、网络1012和传感器1013，服务器102。网络1012用以在驾驶控制设备1011和传感器1013之间提供通信链路的介质。网络1012可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
24.驾驶控制设备(又称为车载大脑)1011负责无人驾驶车辆101的智能控制。驾驶控制设备1011可以是单独设置的控制器，例如可编程逻辑控制器(programmable logic controller，plc)、单片机、工业控制机等；也可以是由其他具有输入/输出端口，并具有运算控制功能的电子器件组成的设备；还可以是安装有车辆驾驶控制类应用的计算机设备。
25.需要说明的是，实践中无人驾驶车辆101中可以安装有至少一个传感器，例如，激光雷达、摄像头、重力传感器、轮速传感器等。某些情况下，无人驾驶车辆101中还可以安装有gnss(global navigation satellite s7stem，全球导航卫星系统)设备和sins(strap-down inertial navigation s7stem，捷联惯性导航系统)等等。
26.无人车的摄像头采集道路图像，然后发送给服务器进行分析处理。服务器将道路的识别结果进行透视校正。使俯视图中地面物体的成像比例与真实世界相同，消除近大远小的透视变形。使所有现实中的平行线在图象中都显示为平行。将透视校正后的图像反馈给无人车。透视校正后的图像贴近现实世界投影成像比例，无人车根据透视校正后的图像精准计算地面要素的位置。
27.透视校正或者称为透视控制是对照片进行合成或者编辑，以得到符合大众对于透视失真理解的结果的过程。这个校正过程包括：
28.使所有现实中的竖直线在图像中都显示为竖直方向。这些竖直线包括立柱、墙面的竖直边、灯柱等。需要注意的是这就是人们普遍接受的对于透视结果的理解；这样的透视结果的依据就是越远的物体在图像中就越小。由于竖直方向距离的存在，建筑物顶端要比基座离地面观察者的距离要远，但是，通常建立透视过程只考虑水平方向的距离，而不考虑竖直方向的距离，即认为建筑物顶端与基座的距离是一样远的。
29.如方形房间中，四条水平边这样的所有平行线交于一点。
30.需要说明的是，本技术实施例所提供的图像处理方法一般由服务器102执行，相应地，图像处理装置一般设置于驾服务器102中。
31.应该理解，图1中的驾驶控制设备、网络、传感器、服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的驾驶控制设备、网络、传感器、服务器。
32.继续参考图2，其示出了根据本技术的图像处理方法的一个实施例的流程200。该图像处理方法，包括以下步骤：
33.步骤201，获取道路的俯视图。
34.在本实施例中，图像处理方法的执行主体(例如图1所示的服务器)可以从摄像头获取道路的俯视图。高清俯视图一般由全景照片投影生成，受到镜头畸变、路面坡度、设备移动等等因素影响，俯视图往往会有很大的形变，即透视变形。
35.步骤202，从俯视图中识别出车道线的位置。
36.在本实施例中，可利用深度学习模型(包括但不限于fcn，unet，segnet，deeplab系列，pspnet等)对俯视图进行语义分割，分割出车道线。还可以利用图像处理手段分割车道线。不仅可识别出车道线的位置还可识别出车道线的类型，例如，单线、双线、实线、虚线等。本文中可将双线合并当作单线处理，将双线之间的中心线作为车道线。
37.步骤203，将俯视图切分成至少2个区域，并根据每个区域中车道线的位置确定出每个区域中车道的宽度以及俯视图中车道的平均宽度。
38.在本实施例中，可按照将车道线切段的方式将俯视图切分成至少2个区域。可以平均切分，也可将变形严重的区域(例如远处的车道线区域)进行细粒度的切分。可选地，可按车道线虚线的间隔切分，以保证每个区域都有完整的车道线虚线。
39.对步骤202中识别到的车道线进行近邻搜索，两两配对，可以得到若干个匹配对集合p＝{＜ii,ij》,＜im,ij》
……
＜im,in》}，其中的每个匹配对＜ii,ij》为一个车道，ii,ij分别为该车道的左、右车道线。
40.计算每个车道＜ii,ij》在图像不同区域的宽度w
p
＝{w1,w2,
…
,wk}。
41.比如，从俯视图中识别出从上到下的3条车道线i1，i2，i3则可组合成三个车道{＜i1,i2》,＜i1,i3》，＜i2,i3》}，车道＜i1,i2》和＜i2,i3》的宽度的理论值应该一样，并且是车道＜i1,i3》宽度的理论值的一半。
42.由于透视变形的原因，车道的宽度在图中不是恒定值。可将每个区域的中间位置对应的车道宽度作为该区域的车道宽度。也可将车道在该区域中的平均宽度作为该区域中车道的宽度。
43.将每个区域中车道的宽度的平均值作为俯视图中车道的平均宽度。
44.步骤204，通过优化第一损失函数计算出第一透视校正矩阵。
45.在本实施例中，其中，第一损失函数用于表征每个区域中车道的宽度与俯视图中车道的平均宽度之间的差异。
46.受到透视变形影响，同一车道在图像不同区域的宽度不同。为了消除透视变形，需让同一车道在图像不同区域的宽度尽可能相等，则有损失函数:
[0047][0048]
其中m1为3*3透视校正矩阵，wi为每个车道在图像k个不同区域的宽度，为该车道在图像不同区域的平均宽度。
[0049]
通过优化损失函数求解出最佳的透视校正矩阵m1。目标函数是让l(m1)最小。
[0050]
如果有多条车道，则有多个损失函数，例如，l1(m1),l2(m1),
…
ln(m1)。将多个损失函数的和作为总的损失函数。优化的目标是让总损失函数最小。
[0051]
可通过数学方法求解第一透视校正矩阵，也可通过梯度下降的方式求解第一透视校正矩阵。
[0052]
步骤205，将俯视图通过第一透视校正矩阵进行横向校正，得到第一校正图像。
[0053]
在本实施例中，图像t的透视校正结果
[0054]
t
′
＝m1*t
[0055]
其中，m1是第一透视校正矩阵，t是俯视图，t
′
是第一校正图像。
[0056]
本公开的上述实施例提供的方法，仅依靠图像中的车道线校正透视，不依赖惯性传感器，不依赖相机标定。车载相机如果因为路面颠簸发生位移或者旋转，也不影响效果。解决了低成本相机的精度问题、标定成本很高问题。与现有方案相比，具有更高的精度。作业人员参考透视校正后的俯视图进行地图数据生产作业，更加直观、准确。提升作业效率，以及数据成果质量。
[0057]
在本实施例的一些可选的实现方式中，从俯视图中识别出车道线的位置，包括：通过语义分割模型从俯视图中识别出车道线像素及类型，生成语义分割图；从语义分割图中提取出车道线的位置。语义分割模型输出图像分割结果的掩膜图，该掩膜图上每一个像素的值是一个类别编号，0代表背景，1代表白实线，2代表白虚线，3代表黄实线，等等。由于分割结果常会产生一些噪点，可利用图像膨胀和腐蚀处理，去除了噪点的影响，然后利用轮廓跟踪算法，获得每一根车道线的外轮廓。基于外轮廓的中心线确定出车道线的位置。该方式可以快速、准确地提取出车道线的位置，减少图像处理时间，从而保证无人车行驶的安全性。
[0058]
在本实施例的一些可选的实现方式中，从语义分割图中提取出车道线的位置，包括：将语义分割图转换成二值图；对二值图进行轮廓检测，得到矩形轮廓；沿矩形轮廓长边方向将矩形轮廓拆分成多段，对每段再次进行轮廓检测，生成多个子轮廓；提取每个子轮廓矩形的中心线作为车道线矢量线形；通过二次曲线拟合车道线矢量线形，预测补充车道线缺失部分。
[0059]
从语义分割图中提取与矢量化车道线主要包括4个步骤：
[0060]
1、二值化：从语义分割图中提取车道线类型像素，将其转换为二值图。
[0061]
2、轮廓检测：对车道线二值图做轮廓检测，如cv2库的findcontours方法。
[0062]
3、轮廓拆分：如图3所示，沿矩形轮廓长边方向将其打断为m个小段。再次进行轮廓检测，生成m个子轮廓。提取子轮廓矩形的中心线为车道线矢量线形。
[0063]
4、通过二次曲线拟合上个步骤生成的车道线矢量线形，预测补充车道线缺失部分。
[0064]
f(y)＝ay2+by+c
[0065]
通过上述步骤可以在图像清晰度不够，车道线不完整的情况下，仍能拟合出完整的车道线，能够准确计算出车道宽度和车道线虚线长度。从而提高地图的精度，保障行车安全。
[0066]
在本实施例的一些可选的实现方式中，根据每个区域中车道线的位置确定出每个区域中车道的宽度以及俯视图中车道的平均宽度，包括：对识别出的车道线进行近邻搜索，两两配对得到匹配对集合，其中，每个匹配对对应一个车道；对于每个车道，计算每个区域的中间位置的车道宽度作为该车道的每个区域的宽度；基于每个区域中车道的宽度计算出俯视图中车道的平均宽度。
[0067]
对步骤202中识别到的车道线进行近邻搜索，两两配对，可以得到若干个匹配对集合p＝{＜ii,ij》,＜im,ij》
……
＜im,in》}，其中的每个匹配对＜ii,ij》为一个车道，ii,ij分别为该车道的左、右车道线。
[0068]
计算每个车道＜ii,ij》在图像不同区域的宽度w
p
＝{w1,w2,
…
,wk}。
[0069]
比如，从俯视图中识别出从上到下的3条车道线i1，i2，i3则可组合成三个车道{＜i1,i2》,＜i1,i3》，＜i2,i3》}，车道＜i1,i2》和＜i2,i3》的宽度的理论值应该一样，并且是车道＜i1,i3》宽度的理论值的一半。
[0070]
由于透视变形的原因，车道的宽度在图中不是恒定值。可将每个区域的中间位置对应的车道宽度作为该区域的车道宽度。也可将车道在该区域中的平均宽度作为该区域中车道的宽度。
[0071]
用每个区域的中间位置的车道宽度作为该车道的每个区域的宽度，可以减少计算量，加快图像处理速度，从而减少时延，保障行车安全。
[0072]
在本实施例的一些可选的实现方式中，获取道路的俯视图，包括：获取道路的全景图；将全景图通过透视投影方法转换成俯视图。无人车采集的图像通常是全景图，可将全景图通过透视投影方法转换成俯视图。可采用现有的常规软件进行转换，例如opencv。从而可以通过校正俯视图形变，贴近现实世界投影成像比例，基于俯视图精准计算地面要素的位置，实现全景图中目标对象的定位。
[0073]
继续参见图4，图4是根据本实施例的图像处理方法的应用场景的一个示意图。在图4的应用场景中，无人车在行驶的过程中采集全景图。通过图像透视转换算法将全景图转换成全景俯视图。通过语义分割模型从全景俯视图中识别出车道线，并确定出车道的宽度。根据车道宽度在俯视图中各处相等的方式，校准俯视图中的形变，得到修正后的全景俯视图。然后针对全景俯视图中的像素点，可以精准地gps定位。
[0074]
进一步参考图5，其示出了图像处理方法的又一个实施例的流程500。该图像处理方法的流程500，包括以下步骤：
[0075]
步骤501，获取道路的俯视图。
[0076]
步骤502，从俯视图中识别出车道线的位置。
[0077]
步骤503，将俯视图切分成至少2个区域，并根据每个区域中车道线的位置确定出每个区域中车道的宽度以及俯视图中车道的平均宽度。
[0078]
步骤504，通过优化第一损失函数计算出第一透视校正矩阵。
[0079]
步骤505，将俯视图通过第一透视校正矩阵进行横向校正，得到第一校正图像。
[0080]
步骤501-505与步骤201-205基本相同，因此不再赘述。
[0081]
步骤506，从俯视图中识别出车道线虚线。
[0082]
在本实施例中，可通过语义分割模型俯视图中识别出车道线虚线，即分割结果中有像素的类型，可以识别出虚线。
[0083]
可选地，如果当前俯视图中没有识别出车道线虚线，则可继续获取无人车采集的多个全景图，转换成多个俯视图，从中识别出车道线虚线。相同相机，相同坡度下采集的全景图像具有相同的透视变形，因此根据一张全景图计算出的透视校正矩阵可由这些全景图像共享。
[0084]
步骤507，确定出每个区域中车道线虚线的长度以及俯视图中车道线虚线的平均长度。
[0085]
在本实施例中，如果没有透视变形，理论上车道线虚线的长度是一致的。切分出的区域中包括至少一条车道线虚线。可在每个区域中任选除头尾之外的一条车道线虚线的长度作为该区域中车道线虚线的长度。并将所有区域中车道线虚线的长度的平均值作为俯视图中车道线虚线的平均长度。车道线虚线长度可以表示为l
p
＝{l1,l2,
…
,lk}。
[0086]
可选地，在进行区域切分时，就按照车道线虚线的长度切分，使得每个区域只有一根车道线虚线。
[0087]
步骤508，通过优化第二损失函数计算出第二透视校正矩阵。
[0088]
在本实施例中，其中，第二损失函数用于表征每个区域中车道线虚线的长度与俯视图中车道线虚线的平均长度之间的差异。
[0089]
同理，受到透视变形影响，同一条虚线车道线在图像不同区域的长度不同。为了消除透视变形，需让同一车道在图像不同区域的长度尽可能相等，则有损失函数:
[0090][0091]
其中m2为3*3透视校正矩阵，li为每个车道在俯视图中k个不同区域的长度，λ为该车道在俯视图中不同区域的平均长度。
[0092]
可通过数学方法求解第二透视校正矩阵，也可通过梯度下降的方式求解第二透视校正矩阵。
[0093]
步骤509，将第一校正图像通过第二透视校正矩阵进行纵向校正，得到第二校正图像。
[0094]
在本实施例中，通过优化损失函数求解出最佳的第二透视校正矩阵m2，图像t的最终第二校正图像t
″
为：
[0095]
t
″
＝m2*t
′
[0096]
从图5中可以看出，与图2对应的实施例相比，本实施例中的图像处理方法的流程500体现了对俯视图进行纵向校正的步骤。由此，本实施例描述的方案可以进一步校正图像，实现全面的透视校正。
[0097]
在本实施例的一些可选的实现方式中，确定出每个区域中车道线虚线的长度以及俯视图中车道线虚线的平均长度，包括：对于每个区域，将该区域中中间完整的车道线虚线的长度作为该区域中车道线虚线的长度；基于每个区域中车道线虚线的长度计算出车道线虚线的平均长度。这种方式能够加快计算速度，减少时延，从而保障行车安全。
[0098]
进一步参考图6，作为对上述各图所示方法的实现，本公开提供了一种图像处理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0099]
如图6所示，本实施例的图像处理装置600包括：获取单元601、识别单元602、确定单元603、计算单元604和校正单元605。其中，获取单元601，被配置成获取道路的俯视图；识别单元602，被配置成从俯视图中识别出车道线的位置；确定单元603，被配置成将俯视图切分成至少2个区域，并根据每个区域中车道线的位置确定出每个区域中车道的宽度以及俯视图中车道的平均宽度；计算单元604，被配置成通过优化第一损失函数计算出第一透视校正矩阵，其中，第一损失函数用于表征每个区域中车道的宽度与俯视图中车道的平均宽度之间的差异；校正单元605，被配置成将俯视图通过第一透视校正矩阵进行横向校正，得到第一校正图像。
[0100]
在本实施例中，图像处理装置600的获取单元601、识别单元602、确定单元603、计算单元604和校正单元605的具体处理可以参考图2对应实施例中的步骤201、步骤202、步骤203、步骤204和步骤205。
[0101]
在本实施例的一些可选的实现方式中，识别单元602进一步被配置成：从俯视图中识别出车道线虚线；确定单元603进一步被配置成：确定出每个区域中车道线虚线的长度以及俯视图中车道线虚线的平均长度；计算单元604进一步被配置成：通过优化第二损失函数计算出第二透视校正矩阵，其中，第二损失函数用于表征每个区域中车道线虚线的长度与俯视图中车道线虚线的平均长度之间的差异；校正单元605进一步被配置成：将第一校正图像通过第二透视校正矩阵进行纵向校正，得到第二校正图像。
[0102]
在本实施例的一些可选的实现方式中，识别单元602进一步被配置成：通过语义分割模型从俯视图中识别出车道线像素及类型，生成语义分割图；从语义分割图中提取出车道线的位置。
[0103]
在本实施例的一些可选的实现方式中，识别单元602进一步被配置成：将语义分割图转换成二值图；对二值图进行轮廓检测，得到矩形轮廓；沿矩形轮廓长边方向将矩形轮廓拆分成多段，对每段再次进行轮廓检测，生成多个子轮廓；提取每个子轮廓矩形的中心线作为车道线矢量线形；通过二次曲线拟合车道线矢量线形，预测补充车道线缺失部分。
[0104]
在本实施例的一些可选的实现方式中，计算单元604进一步被配置成：对识别出的车道线进行近邻搜索，两两配对得到匹配对集合，其中，每个匹配对对应一个车道；对于每个车道，计算每个区域的中间位置的车道宽度作为该车道的每个区域的宽度；基于每个区域中车道的宽度计算出俯视图中车道的平均宽度。
[0105]
在本实施例的一些可选的实现方式中，确定单元603进一步被配置成：对于每个区域，将该区域中中间完整的车道线虚线的长度作为该区域中车道线虚线的长度；基于每个区域中车道线虚线的长度计算出车道线虚线的平均长度。
[0106]
在本实施例的一些可选的实现方式中，获取单元601进一步被配置成：获取道路的
全景图；将全景图通过透视投影装置转换成俯视图。
[0107]
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0108]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0109]
一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行流程200或500所述的方法。
[0110]
一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行流程200或500所述的方法。
[0111]
一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现流程200或500所述的方法。
[0112]
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0113]
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序，来执行各种适当的动作和处理。在ram 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
[0114]
设备700中的多个部件连接至i/o接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0115]
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如图像处理方法。例如，在一些实施例中，图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到ram 703并由计算单元701执行时，可以执行上文描述的图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法。
[0116]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统
的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0117]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0118]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0119]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0120]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0121]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0122]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0123]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。