用于双目畸变校正的显示系统、显示方法及车载系统与流程

1.本技术涉及图像处理领域，更具体地，涉及一种用于双目畸变校正的显示系统、显示方法及车载系统。


背景技术：

2.已知的视觉显示系统一般包括图像生成器(picture generation unit，pgu)、投影仪和光学镜组。其中，投影仪接收从图像生成器供应的图像并进行投影，然后光路通过精密设计的光学镜组，最终成像反射到观察者的可视区间-眼盒范围。
3.然而，由于显示系统里的元件设计限制如反射镜的曲面不规则或组装工艺偏差等因素，导致成像形成不同程度的畸变；再由于观察者的双目位于眼盒不同的位置，进而导致双目同时接收不同畸变的成像而不重合，最终使得整体的视觉感受大打折扣。
4.因此，如何提高整体视觉感受是亟需解决的问题。


技术实现要素：

5.本技术提供一种用于双目畸变校正的显示系统、显示方法及车载系统，能够提高整体视觉感受。
6.第一方面，提供了一种用于双目畸变校正的显示系统，包括：图像生成器、双目视差生成器和光学镜组；该图像生成器用于，生成左目预畸变图像和右目预畸变图像，并将该左目预畸变图像中的像素与该右目预畸变图像中的像素进行交织生成像素交织合成图；该双目视差生成器使得该像素交织合成图经过该光学镜组被推送到观察者的双目，其中，该像素交织合成图中的左目预畸变图像的像素被推送到该观察者的左目，该像素交织合成图中的右目预畸变图像的像素被推送到该观察者的右目。
7.本技术实施例所提供的双目畸变校正的显示系统，包括图像生成器、双目视差生成器和光学镜组。其中，图像生成器能够生成左目预畸变图像和右目预畸变图像，并能够将左目预畸变图像中的像素与右目预畸变图像中的像素进行交织生成像素交织合成图；双目视差生成器能够使得像素交织合成图中的左目预畸变图像的像素和右目预畸变图像的像素经过光学镜组分别推送到观察者的左目和右目。本技术方案使得双目能够同时接收到无畸变的成像而重合，从而能够提高整体的视觉感受。
8.结合第一方面，在第一方面的某些实现方式中，该图像生成器还用于，将该左目预畸变图像和该右目预畸变图像重叠；确定包络范围，该包络范围涵盖该左目预畸变图像和该右目预畸变图像中的有效像素；将该左目预畸变图像中的像素与该右目预畸变图像中的像素在该包络范围内进行交织生成像素交织合成图。
9.结合第一方面，在第一方面的某些实现方式中，该显示系统还包括：畸变校正器；该畸变校正器用于，获取左目畸变模型和右目畸变模型，该左目畸变模型是根据目标源图像样本和未经校正的左目畸变成像样本生成的，该右目畸变模型是根据目标源图像样本和未经校正的右目畸变成像样本生成的；该图像生成器还用于，获取目标源图像；根据该目标
源图像、该左目畸变模型和该右目畸变模型生成该左目预畸变图像和该右目预畸变图像。
10.结合第一方面，在第一方面的某些实现方式中，该目标源图像为目标视角处拍摄的源图像；该图像生成器还用于，根据该目标源图像和该左目畸变模型生成该左目预畸变图像，根据该目标源图像和该右目畸变模型生成该右目预畸变图像。
11.可选地，目标视角可以为左目和右目之间的一个视角，也可以为其他视角，本技术对此不做限定。
12.在本技术实施例中，目标源图像为目标视角处拍摄的源图像，并且根据同一源图像(即目标源图像)进行预畸变处理得到左目预畸变图像和右目预畸变图像，从而使得双目处所观察到的成像为无畸变的二维2d成像。
13.结合第一方面，在第一方面的某些实现方式中，该目标源图像包括左目视角目标源图像和右目视角目标源图像；该图像生成器还用于，根据该左目视角目标源图像和该左目畸变模型生成该左目预畸变图像，根据该右目视角目标源图像和该右目畸变模型生成该右目预畸变图像。
14.在本技术实施例中，目标源图像包括左目视角目标源图像和右目视角目标源图像，并且将不同视角的图像(即左目视角目标源图像和右目视角目标源图像)分别进行预畸变处理得到左目预畸变图像和右目预畸变图像，从而使得双目处所观察到的成像为无畸变的三维3d成像。
15.结合第一方面，在第一方面的某些实现方式中，该显示系统还包括：眼动追踪器；该眼动追踪器用于，检测该观察者双目的坐标；该畸变校正器还用于，根据该观察者双目的坐标获取该左目畸变模型和该右目畸变模型。
16.在本技术实施例中，显示系统还可以包括：眼动追踪器，能够用于检测观察者双目的坐标，以便根据双目的坐标位置获取该左目畸变模型和该右目畸变模型，使得左目畸变模型和右目畸变模型能够根据双目的坐标进行实时更新，进而使得观察者于眼盒里不同位置始终看到无畸变成像，能够进一步提高整体的视觉感受。
17.结合第一方面，在第一方面的某些实现方式中，该未经校正的左目畸变成像样本和该未经校正的右目畸变成像样本是根据该观察者双目的坐标与最终成像面上的目标位置的坐标之间的空间转换关系获取的，该目标位置为左目视线与右目视线延长线的交点。
18.结合第一方面，在第一方面的某些实现方式中，该光学镜组包括平面反射镜和自由曲面镜。
19.在本技术实施例中，光学镜组中还可以包括自有曲面镜，该自有曲面镜具有成像放大和扩大眼盒范围作用，使得观察者能够享受更佳观看体验。
20.结合第一方面，在第一方面的某些实现方式中，该双目视差生成器为视差屏障或指向性光源部件。
21.结合第一方面，在第一方面的某些实现方式中，该视差屏障为光阑或柱状透镜。
22.结合第一方面，在第一方面的某些实现方式中，该显示系统为办公娱乐显示系统或车载抬头显示系统。
23.第二方面，提供了一种用于双目畸变校正的显示方法，包括：生成左目预畸变图像和右目预畸变图像；将该左目预畸变图像中的像素与该右目预畸变图像中的像素进行交织生成像素交织合成图；在双目视差生成器的作用下，将该像素交织合成图经过光学镜组推
送到观察者的双目，其中，该像素交织合成图中的左目预畸变图像的像素被推送到该观察者的左目，该像素交织合成图中的右目预畸变图像的像素被推送到该观察者的右目。
24.结合第二方面，在第二方面的某些实现方式中，该将该左目预畸变图像中的像素与该右目预畸变图像中的像素进行交织生成像素交织合成图包括：将该左目预畸变图像和该右目预畸变图像重叠；确定包络范围，该包络范围涵盖该左目预畸变图像和该右目预畸变图像中的有效像素；将该左目预畸变图像中的像素与该右目预畸变图像中的像素在该包络范围内进行交织生成像素交织合成图。
25.结合第二方面，在第二方面的某些实现方式中，该方法还包括：获取左目畸变模型和右目畸变模型，该左目畸变模型是根据目标源图像样本和未经校正的左目畸变成像样本生成的，该右目畸变模型是根据目标源图像样本和未经校正的右目畸变成像样本生成的；该生成左目预畸变图像和右目预畸变图像包括：获取目标源图像；根据该目标源图像、该左目畸变模型和该右目畸变模型生成该左目预畸变图像和该右目预畸变图像。
26.结合第二方面，在第二方面的某些实现方式中，该目标源图像为目标视角处拍摄的源图像；该根据该目标源图像、该左目畸变模型和该右目畸变模型生成该左目预畸变图像和该右目预畸变图像包括：根据该目标源图像和该左目畸变模型生成该左目预畸变图像，根据该目标源图像和该右目畸变模型生成该右目预畸变图像。
27.结合第二方面，在第二方面的某些实现方式中，该目标源图像包括左目视角目标源图像和右目视角目标源图像；该根据该目标源图像、该左目畸变模型和该右目畸变模型生成该左目预畸变图像和该右目预畸变图像包括：根据该左目视角目标源图像和该左目畸变模型生成该左目预畸变图像，根据该右目视角目标源图像和该右目畸变模型生成该右目预畸变图像。
28.结合第二方面，在第二方面的某些实现方式中，该方法还包括：检测该观察者双目的坐标；该获取左目畸变模型和右目畸变模型包括：根据该观察者双目的坐标获取该左目畸变模型和该右目畸变模型。
29.结合第二方面，在第二方面的某些实现方式中，该未经校正的左目畸变成像样本和该未经校正的右目畸变成像样本是根据该观察者双目的坐标与最终成像面上的目标位置的坐标之间的空间转换关系获取的，该目标位置为左目视线与右目视线延长线的交点。
30.结合第二方面，在第二方面的某些实现方式中，该光学镜组包括平面反射镜和自由曲面镜。
31.结合第二方面，在第二方面的某些实现方式中，该双目视差生成器为视差屏障或指向性光源部件。
32.结合第二方面，在第二方面的某些实现方式中，该视差屏障为光阑或柱状透镜。
33.第三方面，提供了一种控制器，包括输入输出接口、处理器和存储器，所述处理器用于控制输入输出接口收发信号或信息，所述存储器用于存储计算机程序，所述处理器用于从存储器中调用并运行所述计算机程序，使得该所述控制器执行如第二方面或者第二方面的任一可能的实现方式中的用于双目畸变校正的显示方法。
34.第四方面，提供了一种车载系统，包括如第一方面或者第一方面的任一可能的实现方式中的用于双目畸变校正的显示系统。
35.第五方面，提供了一种桌面显示系统，包括如第一方面或者第一方面的任一可能
的实现方式中的用于双目畸变校正的显示系统。
36.第六方面，提供了一种车辆，包括如第一方面或者第一方面的任一可能的实现方式中的用于双目畸变校正的显示系统。
37.第七方面，提供了一种计算设备，包括：至少一个处理器和存储器，所述至少一个处理器与所述存储器耦合，用于读取并执行所述存储器中的指令，以执行如第二方面或者第二方面的任一可能的实现方式中的用于双目畸变校正的显示方法。
38.第八方面，提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第二方面或者第二方面的任一可能的实现方式中的用于双目畸变校正的显示方法。
39.第九方面，提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序包括用于执行第二方面或者第二方面的任一可能的实现方式中的用于双目畸变校正的显示方法的指令。
40.第十方面，提供了一种计算机程序，该计算机程序包括用于执行第二方面或者第二方面的任一可能的实现方式中的用于双目畸变校正的显示方法的指令。
41.第十一方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行第二方面或者第二方面的任一可能的实现方式中的用于双目畸变校正的显示方法。
42.可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第二方面或者第二方面的任一可能的实现方式中的用于双目畸变校正的显示方法。
43.第十二方面，提供了一种芯片系统，该芯片系统包括至少一个处理器，用于支持实现上述第二方面或第二方面的某些实现中所涉及的功能，例如，例如接收或处理上述方法中所涉及的数据和/或信息。
44.在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存程序指令和数据，存储器位于处理器之内或处理器之外。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。
附图说明
45.图1是本技术实施例提供的一种单张图像进行畸变校正的原理示例图；
46.图2是本技术实施例提供的一种用于双目畸变校正的显示系统的示例图；
47.图3是本技术实施例提供的一种生成像素交织合成图的示例图；
48.图4是本技术实施例提供的一种双目视差生成器的工作原理示例图；
49.图5是本技术实施例提供的一种系统架构示例图；
50.图6是本技术实施例提供的一种用于办公娱乐显示场景中的系统架构示例图；
51.图7是本技术实施例提供的一种用于车载抬头显示场景的系统架构示例图；
52.图8是本技术实施例提供的一种双目畸变校正方式的示例图；
53.图9是本技术实施例提供的一种用于双目畸变校正的显示方法的示例图；
54.图10是本技术实施例提供的一种装置的硬件结构示例性框图。
具体实施方式
55.为便于理解，首先对本技术实施例涉及的背景技术进行详细介绍。
56.已知的视觉显示系统一般包括图像生成器(picture generation unit，pgu)、投影仪和光学镜组。其中，投影仪接收从图像生成器供应的图像并进行投影，然后光路通过精密设计的光学镜组，最终成像反射到观察者的可视区间-眼盒范围。
57.然而，由于显示系统里的元件设计限制如反射镜的曲面不规则或组装工艺偏差等因素，导致成像形成不同程度的畸变；又由于观察者的左右眼位于眼盒的不同位置，进而导致双眼同时接收不同畸变的成像而不重合。最终使得整体的视觉感受大打折扣。
58.为了解决上述成像原理限制所带来的图像畸变问题，当前主流的图像处理方法为对一只眼睛看到的整幅图像进行畸变校正，而另一只眼睛所看见的图像，则是本身的畸变效果和针对第一只眼睛处理的预畸变校正的叠加。但是这种校正方案在双目成像畸变差异较大时，对图像畸变的校正效果较差。
59.图1是本技术实施例提供的一种单张图像进行畸变校正的原理示例图。如图1所示，首先定义i为投影仪的原图，j为观察者处接收到的成像。那么便可以通过原图i与成像j上所对应的像素点对，建立成像j上像素点到原图i上的像素点的映射模型m。于是有：
60.i＝m(j)
ꢀꢀꢀ
(1)
61.若原图i为无畸变图像，j为带有畸变的成像，那么映射模型m可记为畸变模型m。则从公式(1)可获取畸变模型m的具体表示方式。接着针对映射模型m进行反映射处理，得到从原图到最终成像的反映射模型m-1
。
62.最后，根据公式(1)获取的映射模型m计算投影仪内的预畸变图像i’。使得在实际操作中如果想要观察到无畸变的成像，便可以对预畸变图像i’进行投影，经过反映射模型m-1
成像得到无畸变最终成像j’。即：
63.j’＝m-1
(i’)
ꢀꢀꢀ
(2)
64.由于观察者的左右目位于眼盒的不同位置，会导致双目同时接收不同畸变的成像而不重合。为此，可以针对左、右视图各自获取所对应的畸变模型，并根据畸变模型预备左、右两张预畸变图像，然后分别将左、右两张预畸变图像推送至双目精准位置，使其最终图像重合，以提升用户视觉体验。
65.但是，现有技术通常在得到左、右两张预畸变图像后，主要通过图像生成器高速地周期性切换左、右目预畸变图像，然后采用视差屏障技术或者指向性光源技术配合，分时地将左目预畸变图像经过光学镜组分别输送至观察者的左目，将右目预畸变图像经过光学镜组分别输送至观察者的右目。
66.然而，由于人眼对画面切换的帧率要求需达到60fps或以上，才察觉不出来左、右图交替，达到无感的效果。这就意味着上述现有方案需在1帧以内完成切换左、右两张视图，因此图像生成器的切换速度需达到2*60hz＝120hz或以上。高切换率要求对于数据读取系统会造成一定的计算压力，尤其处理高清图像更甚。
67.基于此，本技术提供了一种用于双目畸变校正的显示系统，该显示系统通过将左目预畸变图像中的像素与右目预畸变图像中的像素进行交织生成像素交织合成图，然后像素交织合成图在双目视差生成器的作用下，以空分复用的方式被推至双目，从而能够在提升用户视觉体验的同时，降低数据读取系统的计算压力。
68.下面将结合附图，对本技术的技术方案进行描述。
69.图2是本技术实施例提供的一种用于双目畸变校正的显示系统的示例图。可选地，显示系统可以为办公娱乐显示系统，也可以为车载抬头显示系统，本技术对此不做限定。如图2所示，该显示系统200包括图像生成器210、双目视差生成器220和光学镜组230。
70.其中，图像生成器210用于，生成左目预畸变图像和右目预畸变图像。
71.图像生成器210还用于，将左目预畸变图像中的像素与右目预畸变图像中的像素进行交织生成像素交织合成图。
72.双目视差生成器220用于使得像素交织合成图经过光学镜组230被推送到观察者的双目，其中，像素交织合成图中的左目预畸变图像的像素被推送到观察者的左目，像素交织合成图中的右目预畸变图像的像素被推送到观察者的右目。
73.可选地，双目视差生成器为视差屏障或指向性光源部件。可选地，双目视差生成器可以安装于图像生成器也可以独立于图像生成器。可选地，视差屏障为光阑或柱状透镜。
74.可选地，图像生成器220可以通过如下过程生成像素交织合成图：将左目预畸变图像和右目预畸变图像重叠；确定包络范围，包络范围涵盖左目预畸变图像和右目预畸变图像中的有效像素；将左目预畸变图像中的像素与右目预畸变图像中的像素在包络范围内进行交织生成像素交织合成图。
75.可选地，左目预畸变图像和右目预畸变图像重叠时可以是基于左目预畸变图像和右目预畸变图像的中心重叠；也可以是基于左目预畸变图像和右目预畸变图像的显示内容对齐进行重叠；还可以基于其他位置重叠，本技术对该重叠方式不做具体限定。但为便于描述，在下文图3中将以中心重叠为例进行描述。
76.可选地，左目预畸变图像中的像素与右目预畸变图像中的像素可以是按照lrlr
…
(其中，l为左目预畸变图像中的像素，r为右目预畸变图像中的像素)的方式进行交织，也可以是按照llrrllrr
…
的方式进行交织，或者可以按照lrllr
…
等其他无规则的方式进行交织，本技术对此不做限定，只有能够在与其匹配的双目视差生成器的作用下，将像素交织合成图中的左目预畸变图像中的像素推送到观察者的左目，将像素交织合成图中的右目预畸变图像中的像素推送到观察者的右目即可。为便于描述，在下文图3中将以上述第一种交织方式为例进行描述。
77.应理解，定义包络范围的目的是为确保没有因左、右两张预畸变图像形状不重合而导致最终成像有任何像素的丢失。可选地，包络范围可以为矩形，也可以为其他形状，本技术对此不做限定。
78.示例性地，图3是本技术实施例提供的一种生成像素交织合成图的示例图。应理解，图3仅为示例，不构成本技术的限定。具体地，先将左目预畸变图像202和右目预畸变图像203的中心重叠。其次，确定矩形包络范围201，该矩形包络范围201能够涵盖左目预畸变图像202和右目预畸变图像203中的全部有效像素，如图3中的(a)所示。最后，图像生成器210在包络范围201里，分别取左目预畸变图像202和右目预畸变图像203的有效像素，并如图3中的(b)所示，按照lrlr
…
的交织方式将左目预畸变图像202的像素与右目预畸变图像203的像素进行交织，生成一张新的像素交织合成图301。在得到像素交织合成图301后，在与该像素交织合成图301匹配的视差屏障302的作用下将像素交织合成图301经过推送到观察者的双目，其中，像素交织合成图301中的左目预畸变图像的像素被推送到观察者的左
目，像素交织合成图301中的右目预畸变图像的像素被推送到观察者的右目，如图4所示。
79.在本技术实施例中，通过将左目预畸变图像中的像素与右目预畸变图像中的像素进行交织生成像素交织合成图，然后在双目视差生成器的作用下，以空分复用方式，将像素交织合成图中的左目预畸变图像和右目预畸变图像的像素分别推送到观察者的双目，从而能够提高整体视觉感受。而且，有效避免了现有技术中时分复用方式高频切换左、右预畸变图像所导致对数据读取系统的计算压力。
80.可选地，图像生成器210也可以同时生成多个(大于2个)预畸变图像，并对多个预畸变图像中的像素进行交织生成像素交织合成图，本技术不限定多个预畸变图像中的像素进行交织的方式。其中，多个预畸变图像可以对应多个不同视角下的预畸变图像。然后在双目视差生成器230的配合下，使得多个预畸变图像中的两个预畸变图像对应的像素分别被推送至观察者的双目。并且随着观察者双目的移动，能够投射至双目的两个预畸变图像不断发生改变。例如，图像生成器可以同时生成预畸变图像1、预畸变图像2、预畸变图像3和预畸变图像4，并对上述4张预畸变图像中的像素进行交织生成像素交织合成图。若当前双目处于位置1，则在双目视差生成器230的配合下，会使得像素交织合成图中的预畸变图像1和预畸变图像2对应的像素分别被推送至观察者的双目；若观察者双目移动至位置2，则在双目视差生成器230的配合下，会使得像素交织合成图中的预畸变图像3和预畸变图像4对应的像素分别被推送至观察者的双目。但为便于描述，在下文中均以图像生成器生成左目预畸变图像和右目预畸变图像为例进行介绍。
81.可选地，光学镜组230可以包括平面反射镜和自由曲面镜，具体可参见下文系统架构500至700中对于光学镜组的描述，此处先不做赘述。
82.可选地，显示系统200还可以包括畸变校正器，该畸变校正器可以存在于图像生成器210中，也可以独立于图像生成器210存在，本技术对此不做限定。该畸变校正器可以用于，获取左目畸变模型和右目畸变模型。其中，左目畸变模型是根据目标源图像样本和未经校正的左目畸变成像样本生成的，右目畸变模型是根据目标源图像样本和未经校正的右目畸变成像样本生成的。
83.应理解，未经校正的左目畸变成像样本和未经校正的右目畸变成像样本可以统称为未经校正的畸变成像样本，未经校正的左目畸变成像样本为在左目坐标位置处所观察到的未经校正的畸变成像样本，未经校正的右目畸变成像样本为在右目坐标位置处所观察到的未经校正的畸变成像样本。左目坐标位置和右目坐标位置也可以理解为眼盒内不同坐标位置。
84.可选地，畸变校正器获取左目畸变模型和右目畸变模型可以是直接从显示系统中读取左目畸变模型和右目畸变模型。应理解，在这种情况下，显示系统在出厂或使用之前需要事先生成双目对应的左畸变模型和右畸变模型，并存储在系统中，以便在实际使用过程中，可以直接进行模型的读取。具体需要事先根据目标源图像样本和未经校正的左目畸变成像样本生成左目畸变模型，根据目标源图像样本和未经校正的右目畸变成像样本生成右目畸变模型(利用公式(1)实现)。
85.可选地，畸变校正器获取畸变模型也可以是获取自身生成的畸变模型。应理解，在这种情况下，畸变校正器可以先获取目标源图像样本、未经校正的左目畸变成像样本和未经校正的右目畸变成像样本，然后畸变校正器再根据左目所对应的目标源图像样本和未经
校正的左目畸变成像样本生成左目畸变模型，根据右目所对应的目标源图像样本和未经校正的右目畸变成像样本生成右目畸变模型(利用公式(1)实现)。
86.可选地，在获取到左目畸变模型和右目畸变模型后，图像生成器210便可以获取目标源图像，并根据目标源图像、左目畸变模型和右目畸变模型生成左目预畸变图像和右目预畸变图像。
87.应理解，目标源图像为显示系统在实际使用过程中需要显示的源图像，即需要为用户显示的图像。
88.可选地，目标源图像可以为目标视角处拍摄的源图像。图像生成器210可以根据目标源图像和左目畸变模型生成左目预畸变图像，根据目标源图像和右目畸变模型生成右目预畸变图像(利用公式(2)实现)。
89.可选地，目标视角可以为左目和右目中间的一个视角，也可以为其他视角，本技术对此不做限定。在本技术实施例中，目标源图像为目标视角处拍摄的源图像，并且在这种情况下，根据同一源图像(即目标源图像)进行预畸变处理得到左目预畸变图像和右目预畸变图像，从而使得双目处所观察到的成像为无畸变的2d成像。
90.可选地，目标源图像可以包括左目视角目标源图像和右目视角目标源图像。图像生成器210可以根据左目视角目标源图像和左目畸变模型生成左目预畸变图像，根据右目视角目标源图像和右目畸变模型生成右目预畸变图像(利用公式(2)实现)。
91.可选地，左目视角目标源图像和右目视角目标源图像可以是根据左目和右目视角分别对目标源图像进行拍摄得到的；也可以是根据左目视角或右目视角中的一个视角对目标源图像进行拍摄得到左目视角或右目视角的视图，然后再根据已得到视角的视图配合图像处理算法生成另一个视角的视图；还可以是根据其他视角进行拍摄得到视图后，再根据所拍摄的视图生成左目视角和右目视角的视图，本技术对左目视角目标源图像和右目视角目标源图像的获取方式不做限定。
92.在本技术实施例中，将不同视角的图像(即左目视角目标源图像和右目视角目标源图像)分别进行预畸变处理得到左目预畸变图像和右目预畸变图像，从而使得双目处所观察到的成像为无畸变的3d成像。
93.由于在实际应用中，观察者的双目位置是动态变化的，而不是固定不变的。如果采用固定的左目畸变模型和右目畸变模型，会无法满足观察者于眼盒里始终看到无畸变图像的需求。因而，可选地，显示系统200还可以包括：眼动追踪器。眼动追踪器可以用于检测观察者双目的坐标。
94.此时，畸变校正器还可以用于，根据观察者双目的坐标获取左目畸变模型和右目畸变模型。
95.可选地，畸变校正器可以直接根据双目当前的坐标信息从系统中的参数表中分别读取当前左目和右目的坐标对应的左目畸变模型和右目畸变模型。应理解，在这种情况下，显示系统在出厂或使用之前需要事先生成眼盒不同坐标位置处所对应的畸变模型，并存储在系统中，以便在实际使用过程中，可以直接根据左目坐标位置读取对应的左目畸变模型和根据右目坐标位置读取对应的右目畸变模型。这意味着显示系统在出厂或使用之前需要事先根据眼盒不同坐标位置处所对应的目标源图像样本和未经校正的畸变成像样本生成不同坐标位置处所对应的畸变模型(利用公式(1)实现)。
96.可选地，畸变校正器获取畸变模型也可以是获取自身生成的畸变模型。应理解，在这种情况下，畸变校正器可以先获取左目当前的坐标位置所对应的目标源图像样本和未经校正的左目畸变成像样本，以及右目当前的坐标位置所对应的目标源图像样本和未经校正的右目畸变成像样本，然后畸变校正器再根据左目当前的坐标位置所对应的目标源图像样本和未经校正的左目畸变成像样本生成左目畸变模型，根据右目当前的坐标位置所对应的目标源图像样本和未经校正的右目畸变成像样本生成右目畸变模型(利用公式(1)实现)。应理解，在这种情况下，系统需要事先保存眼盒不同坐标位置下对应的目标源图像样本和未经校正的畸变成像样本；或者事先保存相机在眼盒中不同坐标位置下对位于成像区域处的各个未经校正的畸变成像样本的拍摄图，然后在实际操作中再根据双目当前的坐标位置分别获取双目当前的坐标位置所对应的相机拍摄图，然后再结合双目当前的坐标位置与最终成像面上的目标位置的坐标之间的空间转换关系将相机拍摄图转化为上述所需的样本图。
97.应理解，未经校正的畸变成像样本可以是根据眼盒不同坐标位置与最终成像面上的目标位置的坐标之间的空间转换关系获取的，该目标位置为左目视线与右目视线延长线的交点。该空间转换关系的确定方式可参见下文的描述。应理解，本技术实施例中的空间转化关系可以通过畸变校正器生成，也可以通过眼动追踪器生成，或者也可以由系统事先生成并存储在系统中，以便在使用时可以直接从系统获取，本技术对此不做限定。
98.下面对目标源图像样本、未经校正的左目畸变成像样本和未经校正的右目畸变成像样本的获取方式进行简单的介绍。
99.首先应理解，从公式(1)可见，畸变模型m的获取依赖于无畸变原图i与有畸变成像j的比较。其中，无畸变原图i即为投影仪投出的无畸变原图，本技术将其记为目标源图像样本；有畸变成像j即为在眼盒目标位置处接收到的有畸变的成像，对应地，本技术将其记为未经校正的畸变成像样本，具体眼盒左目坐标位置处接收到的为未经校正的左目畸变成像样本，眼盒右目坐标位置处接收到的为未经校正的右目畸变成像样本。
100.那么，在实际操作中，在确定未经校正的畸变成像样本的成像位置后，需要对未经校正的畸变成像样本进行获取。应理解，本技术不限定未经校正的畸变成像样本的获取方式。可选地，可以通过相机拍摄的方式进行获取。具体地，可以采用相机在眼盒目标位置处对未经校正的畸变成像样本进行获取。但由于从照相机拍摄到的世界三维信息(包括图像信息)投影映射到二维成像平面存在几何关系。因而未经校正的畸变成像样本无法直接通过放置照相机于眼盒目标位置分别进行拍摄而获取。又由于该此几何关系(即空间转换关系)可以通过相机标定来获取。因而可以通过该几何关系和照相机所拍摄的图像获取到上述未经校正的畸变成像样本，具体可以通过左目坐标位置与最终成像面上的目标位置之间的几何关系和相机在左目位置处所拍摄的图像获取到未经校正的左目畸变成像样本，通过右目坐标位置与最终成像面上的目标位置之间的几何关系和相机在右目位置处所拍摄的图像获取到未经校正的右目畸变成像样本。
101.具体地，几何关系的确定方式如下：定义显示系统的眼盒范围内任意位置三维坐标向量[x,y,z]
t
，以及定义最终成像面(即二维坐标系)上的目标位置的坐标为[u,v]
t
，则通过针孔相机模型可得到：
[0102]
w[u,v,1]
t
＝k[x,y,z,1]
t
ꢀꢀꢀꢀꢀꢀ
(3)
[0103]
其中，k为相机内参矩阵，其取决于相机的焦距以及像素位移，相机内参矩阵k可通过配置相机规格获得。其中，w为尺度因子，为图像平面与像素平面的尺度伸缩比例，可以从图像实际大小与相机拍摄图像大小运算获取。
[0104]
应理解，由于人眼大小尺寸远小于成像距离，因此针孔相机模型适用于本实施例的计算。
[0105]
应理解，在实际操作中，上述几何关系可以直接使用标定图进行相机标定确定：其中标定图可为实体或者虚拟的无畸变标准图案。具体，放置实体标定图或者投放虚拟标定图于显示系统成像距离处。由于标定图的图案尺寸和排序标准化，因此可于显示系统的观察位置放置照相机，并对该标定图进行拍摄，求w和k参数。若于眼盒多个位置进行标定，可获取在眼盒不同位置对应的w和k参数。继而获取眼盒不同位置与最终成像面坐标的转换关系。
[0106]
应理解，在获取到未经校正的左目畸变成像样本和未经校正的右目畸变成像样本后，便可以根据目标源图像样本、未经校正的左目畸变成像样本和未经校正的右目畸变成像样本构建畸变模型。
[0107]
应理解，本技术不限定畸变模型的构建方式。可选地，可以通过光学设计软件或物理建模形式，获取图像生成器投影的目标源图像样本与最终成像的未经校正的左目畸变成像样本的关联，并构建左目畸变模型；获取图像生成器投影的目标源图像样本与最终成像的未经校正的右目畸变成像样本的关联，并构建右目畸变模型。
[0108]
可选地，为便于将目标源图像样本与标定图与未经校正的畸变成像样本进行比较以确定畸变模型。还可以采用畸变成像与基准图比较的方式构建畸变模型。具体地，导入无畸变标定图(即目标源图像样本)于显示系统的图像生成器，经过光学成像，所投放的最终成像为畸变图像(即未经校正的畸变成像样本)。同时于该显示系统的成像位置放置一实体或虚拟无畸变标定图(即目标源图像样本)，其形状、大小与尺寸需要跟图像生成器显示的标定图成比例匹配。接着于眼盒不同位置放置照相机，同时拍摄标定图与显示系统成像的畸变图案，然后结合上文提到的空间转换关系对所拍摄的标定图与显示系统成像的畸变图案进行转化，再将转化后的图案进行比较，从而获取眼盒多个位置的畸变模型m。此畸变模型形式可以是参数表或者数学模型等，本技术实施例不对畸变模型形式进行任何限定。
[0109]
下面将结合图5至图7对本技术实施例的系统架构进行简单的描述，以便更好的理解本技术的方案。
[0110]
图5是本技术实施例提供的一种系统架构示例图。如图5所示，该系统架构500包括：眼动追踪器510、图像生成器520、双目视差生成器530和光学镜组540。应理解，系统架构500仅作为示例，不能构成对本技术的限定。可选地，在实际系统架构中，还可以不包括上述眼动追踪器510，本技术对此不做限定。下面将对上述各个部件进行介绍。
[0111]
其中，眼动追踪器510，用于检测观察者双目的坐标信息。
[0112]
图像生成器520，包括从外界获取目标源图像的接口和畸变校正器。其中，畸变校正器用于获取或生成左目畸变模型和右目畸变模型。然后图像生成器520根据畸变校正器所生成左目畸变模型和右目畸变模型，对目标源图像进行预畸变处理，以生成左目预畸变图像和右目预畸变图像。并将左目预畸变图像中的像素与右目预畸变图像中的像素进行交织生成像素交织合成图，具体可参见上文显示系统200部分的描述。应理解，图5仅作为示
例，在实际系统架构中，上述畸变校正器也可以独立于图像生成器520存在，本技术对此不进行限制。
[0113]
双目视差生成器530，其安装于图像生成器520，用于以空分复用方式，引导像素交织合成图中的左目预畸变图像的像素被推送到观察者的左目，同时引导像素交织合成图中的右目预畸变图像的像素被推送到观察者的右目，以使得双目同时观察到无畸变的图像。可选地，双目视差生成器530还可以独立于图像生成器520，本技术对此不做限定。可选地，双目视差生成器530可以是视差屏障，例如，光阑或柱状透镜；也可以是指向性光源部件，本技术不做限定。
[0114]
光学镜组540，也可以称为成像组合器，主要用于将图像生成器520生成的图像进行成像并传输至观察者的双目。优选地，在本技术中，光学镜组540包括平面反射镜和自由曲面镜，且图像生成器520生成的图像先通过平面反射镜，再通过自由曲面镜传输到双目。但应理解，本技术对光学镜组的设计并不限于此。
[0115]
应理解，针对不同的应用场景，对光学镜组540的设计也有不同的要求。
[0116]
作为一个示例，图6是本技术实施例提供的一种用于办公娱乐显示场景中的系统架构示例图。如图6所示，该系统架构600中的光学镜组540包括平面反射镜541和自由曲面镜542。在该系统架构600中，图像生成器520配合双目视差生成器530以空分复用方式投影像素交织合成图中的左目预畸变图像中的像素与右目预畸变图像中的像素，并分别通过光学镜组540中的平面反射镜541和自由曲面镜542传输到双目。应理解，其中，自由曲面镜542具有光路延展和光路折叠的功能，使得光学镜组540体积设计更具弹性。且该示例中采用的是自由曲面镜542而没有使用凹面反射镜，这是因为自由曲面镜可以根据工艺要求打造，使得左目预畸变图像中的像素与右目预畸变图像中的像素精准的被推送到观察者的双目，并具有成像放大的功能，使观察者享受更佳观看体验。但应理解，在实际操作中，也可以使用凹面反射镜或其他光学镜，本技术对此不做限定，且光学镜的数目也不限于此。另外，该系统架构600中的眼动追踪器510使得当观察者有明显移动时候，可以侦测到双目坐标动态变化并反馈予图像生成器520，使得图像生成器520可以根据坐标变化而实时刷新左目预畸变图像中与右目预畸变图像。进而使得观察者始终在眼盒范围里看到无畸变图像，无损观看感观。
[0117]
作为另一个示例，图7是本技术实施例提供的一种用于车载抬头显示场景的系统架构示例图。可选地，车载抬头显示场景的系统架构700可以是在图6所示的系统架构600的基础上稍微进行调整得到。如图7所示，系统架构700中的光学镜组540可以在系统架构600光学镜组540的基础上再加上一个汽车反光元件543(如挡风玻璃)，使得成像精准呈现于驾驶员(即观察者)双目，避免左、右视图不重合而干扰驾驶。而且系统架构700中眼动追踪器510可保证驾驶员始终观看无畸变图像，尤其在汽车抖动等动态变化频繁的场景。
[0118]
另外，容易看出，本技术方案只需要一个图像生成器即可，具有系统架构体积更小的优势，使其更适用于车载安装的应用场景，或适用于体积受限的其他场景。
[0119]
下面结合上述系统架构500至700，以图8为例对本技术的双目畸变校正的具体实现方式进行介绍。
[0120]
图8是本技术实施例提供的一种双目畸变校正方式的示例图。如图8所示，该方式800包括步骤s810至s850。应理解，本技术实施例对以上步骤的先后顺序不做限定，凡是能
够通过以上各个步骤的任意顺序实现本技术的方案，均落在本技术的保护范围内。还应理解，图8仅作为一个可选示例，不构成对本技术的限定。下面对这些步骤进行详细描述。
[0121]
s810，眼动追踪器检测观察者双目的坐标信息。
[0122]
s820，畸变校正器获取畸变模型。
[0123]
可选地，畸变校正器可以直接根据双目当前的坐标信息从系统中的参数表中分别读取当前左目和右目的坐标对应的左目畸变模型和右目畸变模型，可参见上文描述。
[0124]
可选地，畸变校正器获取畸变模型也可以是获取自身生成的畸变模型，可参见上文描述。
[0125]
应理解，在实施例中，畸变校正器可以存在于图像生成器内，如图5至图7所示，也可以独立于图像生成器而存在，本技术对此不做限定。
[0126]
s830，图像生成器生成左目预畸变图像和右目预畸变图像。
[0127]
具体地，图像生成器需要根据目标源图像、左目畸变模型和右目畸变模型生成左目预畸变图像和右目预畸变图像。应理解，目标源图像为显示系统在实际使用过程中需要显示的目标源图像，即需要为用户显示的图像。
[0128]
在一种实现方式中，目标源图像为目标视角处拍摄的源图像，本技术对目标视角不做限定。可以根据目标源图像和左目畸变模型生成左目预畸变图像，根据目标源图像和右目畸变模型生成右目预畸变图像(利用公式(2)实现)。
[0129]
在这种情况下，根据同一源图像(即目标源图像)进行预畸变处理得到左目预畸变图像和右目预畸变图像，从而使得双目处所观察到的成像为无畸变的2d成像。
[0130]
在另一种实现方式中，目标源图像包括左目视角目标源图像和右目视角目标源图像，左目视角目标源图像和右目视角目标源图像的获取方式不做限定，可参见上文描述。可以根据左目视角目标源图像和左目畸变模型生成左目预畸变图像，根据右目视角目标源图像和右目畸变模型生成右目预畸变图像(利用公式(2)实现)。
[0131]
在这种情况下，将不同视角的图像(即左目视角目标源图像和右目视角目标源图像)分别进行预畸变处理得到左目预畸变图像和右目预畸变图像，从而使得双目处所观察到的成像为无畸变的3d成像。
[0132]
s840，图像生成器生成像素交织合成图。
[0133]
具体地，可参见上文图3部分的描述，此处不再赘述。
[0134]
s850，以空分复用方式投影像素交织合成图，并经过光学镜组推送到观察者的双目。
[0135]
应理解，该空分复用方式是在双目视差生成器的配合下实现的，可参见上文图4部分的描述。
[0136]
具体地，在双目视差生成器的配合下，图像生成器所生成的像素交织合成图中的左目预畸变图像的像素经过光学镜组被推送到观察者的左目，同时像素交织合成图中的右目预畸变图像的像素经过光学镜组被推送到观察者的右目，从而使得观察者的双目观看到无畸变的图像。
[0137]
在本技术实施例中，通过将左目预畸变图像中的像素与右目预畸变图像中的像素进行交织生成像素交织合成图，然后像素交织合成图在双目视差生成器的作用下，以空分复用的方式被推至双目，从而能够在提升用户视觉体验的同时，降低数据读取系统的计算
压力。
[0138]
图9是本技术实施例提供的一种用于双目畸变校正的显示方法的示例图。如图9所示，该方法900包括步骤s910至s930，下面对这些步骤进行详细的描述。
[0139]
s910，生成左目预畸变图像和右目预畸变图像。
[0140]
可选地，在生成左目预畸变图像和右目预畸变图像之前，该方法900还可以包括：获取左目畸变模型和右目畸变模型。其中，左目畸变模型是根据目标源图像样本和未经校正的左目畸变成像样本生成的，右目畸变模型是根据目标源图像样本和未经校正的右目畸变成像样本生成的。
[0141]
可选地，生成左目预畸变图像和右目预畸变图像包括：获取目标源图像；根据目标源图像、左目畸变模型和右目畸变模型生成左目预畸变图像和右目预畸变图像。
[0142]
可选地，目标源图像为目标视角处拍摄的源图像。那么根据目标源图像、左目畸变模型和右目畸变模型生成左目预畸变图像和右目预畸变图像包括：根据目标源图像和左目畸变模型生成左目预畸变图像，根据目标源图像和右目畸变模型生成右目预畸变图像。
[0143]
可选地，目标源图像包括左目视角目标源图像和右目视角目标源图像。那么根据目标源图像、左目畸变模型和右目畸变模型生成左目预畸变图像和右目预畸变图像包括：根据左目视角目标源图像和左目畸变模型生成左目预畸变图像，根据右目视角目标源图像和右目畸变模型生成右目预畸变图像。
[0144]
可选地，在获取左目畸变模型和右目畸变模型之前，方法900还可以包括：检测观察者双目的坐标。那么获取左目畸变模型和右目畸变模型包括：根据观察者双目的坐标获取左目畸变模型和右目畸变模型。
[0145]
可选地，未经校正的左目畸变成像样本和未经校正的右目畸变成像样本是根据观察者双目的坐标与最终成像面上的目标位置的坐标之间的空间转换关系获取的，目标位置为左目视线与右目视线延长线的交点。
[0146]
s920，将左目预畸变图像中的像素与右目预畸变图像中的像素进行交织生成像素交织合成图。
[0147]
可选地，将左目预畸变图像中的像素与右目预畸变图像中的像素进行交织生成像素交织合成图包括：将左目预畸变图像和右目预畸变图像重叠；确定包络范围，包络范围涵盖左目预畸变图像和右目预畸变图像中的有效像素；将左目预畸变图像中的像素与右目预畸变图像中的像素在包络范围内进行交织生成像素交织合成图。
[0148]
s930，在双目视差生成器的作用下，将像素交织合成图经过光学镜组推送到观察者的双目。
[0149]
其中，像素交织合成图中的左目预畸变图像的像素被推送到观察者的左目，像素交织合成图中的右目预畸变图像的像素被推送到观察者的右目。
[0150]
可选地，光学镜组可以包括平面反射镜和自由曲面镜。
[0151]
可选地，双目视差生成器可以为视差屏障或指向性光源部件。
[0152]
可选地，视差屏障可以为光阑或柱状透镜。
[0153]
图10是本技术实施例提供的一种装置的硬件结构示例性框图。该装置1000(该装置1000具体可以是一种计算机设备)包括存储器1010、处理器1020、通信接口1030以及总线1040。其中，存储器1010、处理器1020、通信接口1030通过总线1040实现彼此之间的通信连
接。
[0154]
存储器1010可以是只读存储器(read only memory，rom)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，ram)。存储器1010可以存储程序，当存储器1010中存储的程序被处理器1020执行时，处理器1020用于执行本技术实施例的显示方法的各个步骤。
[0155]
处理器1020可以采用通用的中央处理器(central processing unit，cpu)，微处理器，应用专用集成电路(application specific integrated circuit，asic)，图形处理器(graphics processing unit，gpu)或者一个或多个集成电路，用于执行相关程序，以实现本技术方法实施例的显示方法。
[0156]
处理器1020还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本技术的显示方法可以通过处理器1020中的硬件的集成逻辑电路或者软件形式的指令完成。
[0157]
上述处理器1020还可以是通用处理器、数字信号处理器(digital signal processing，dsp)、专用集成电路(asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1010，处理器1020读取存储器1010中的信息，结合其硬件完成本技术实施例的装置中包括的模块所需执行的功能，或者执行本技术方法实施例的显示方法。
[0158]
通信接口1030使用例如但不限于收发器一类的收发装置，来实现装置1100与其他设备或通信网络之间的通信。
[0159]
总线1040可包括在装置1000各个部件(例如，存储器1010、处理器1020、通信接口1030)之间传送信息的通路。
[0160]
本技术实施例还提供了一种控制器，包括输入输出接口、处理器和存储器，所述处理器用于控制输入输出接口收发信号或信息，所述存储器用于存储计算机程序，所述处理器用于从存储器中调用并运行所述计算机程序，使得该所述控制器执行本技术方法实施例的用于双目畸变校正的显示方法。
[0161]
本技术实施例还提供了一种车载系统，包括本技术装置实施例的用于双目畸变校正的显示系统。
[0162]
本技术实施例还提供了一种桌面显示系统，包括本技术装置实施例的用于双目畸变校正的显示系统。
[0163]
本技术实施例还提供了一种车辆，包括本技术装置实施例的用于双目畸变校正的显示系统。可选地，本技术所涉及的车辆可以是传统内燃机汽车、混合动力汽车、纯电动汽车、集中式驱动汽车和分布式驱动汽车等，本技术对此不做限定。
[0164]
本技术实施例还提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述方法实施例的用于双目畸变校正的显示方法。
[0165]
本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于
存储计算机程序，所述计算机程序包括用于执行本技术方法实施例的用于双目畸变校正的显示方法的指令。
[0166]
本技术实施例还提供了一种计算机程序，该计算机程序包括用于执行本技术方法实施例的用于双目畸变校正的显示方法的指令。
[0167]
本技术实施例还提供了一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行本技术方法实施例的用于双目畸变校正的显示方法。
[0168]
可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行本技术方法实施例的用于双目畸变校正的显示方法。
[0169]
本技术实施例还提供了一种芯片系统，该芯片系统包括至少一个处理器，用于支持实现上述方法实施例的用于双目畸变校正的显示方法的某些实现中所涉及的功能，例如，例如接收或处理上述方法中所涉及的数据和/或信息。
[0170]
在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存程序指令和数据，存储器位于处理器之内或处理器之外。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。
[0171]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0172]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0173]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0174]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0175]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0176]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个
人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0177]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。