图像处理方法、装置、设备、存储介质和云VR系统与流程

图像处理方法、装置、设备、存储介质和云vr系统
技术领域
1.本公开涉及计算机技术领域，尤其涉及云计算和计算机视觉领域，可以用于云vr系统和vr设备等场景。具体涉及一种图像处理方法、装置、设备、存储介质和云vr系统、vr设备。


背景技术：

2.随着虚拟现实(virtual reality，简称vr)、5g等技术的发展，建立一套云端虚拟现实系统(cloud vr)变得越来越具有可行性与价值。通过本系统，用户可以使用轻量级vr终端设备，通过云vr系统实现在远端使用各种云vr应用。对一套典型的cloud vr系统而言，用户体验的优劣可以用多种参数来衡量，比较重要的参数有整体延时、视场角、图像分辨率等。


技术实现要素：

3.本公开提供了一种一种图像处理方法、装置、设备、存储介质、云vr系统、vr设备以及计算机程序产品。
4.根据本公开的一方面，提供了一种图像处理方法，包括：获取终端设备上传的设备位姿信息；基于获取的设备位姿信息进行图像渲染，以获得第一图像，其中，所述第一图像包括第一图像区域和第二图像区域；对所述第一图像进行畸变处理，以使所述第一图像区域的图像分辨率保持不变，且使所述第二图像区域的图像分辨率缩小，从而得到第二图像；对所述第二图像进行编码，得到对应的编码信息；以及将所述编码信息传输至所述终端设备，以便所述终端设备基于所述编码信息进行图像显示。
5.根据本公开的另一方面，提供了一种图像处理方法，包括：获取终端设备的设备位姿信息；将获取的设备位姿信息上传给服务端，使得所述服务端执行以下操作：基于获取的设备位姿信息进行图像渲染，以获得第一图像，其中，所述第一图像包括第一图像区域和第二图像区域；对所述第一图像进行第一畸变处理，以使所述第一图像区域的图像分辨率保持不变，且使所述第二图像区域的图像分辨率缩小，从而得到第二图像；对所述第二图像进行编码，得到对应的编码信息并传输至所述终端设备；以及基于所述服务端传回的所述编码信息进行图像显示。
6.根据本公开的另一方面，提供了一种图像处理装置，包括：获取模块，用于获取终端设备上传的设备位姿信息；图像渲染模块，用于基于获取的设备位姿信息进行图像渲染，以获得第一图像，其中，所述第一图像包括第一图像区域和第二图像区域；图像畸变模块，用于对所述第一图像进行畸变处理，以使所述第一图像区域的图像分辨率保持不变，且使所述第二图像区域的图像分辨率缩小，从而得到第二图像；图像编码模块，用于对所述第二图像进行编码，得到对应的编码信息；以及编码传输模块，用于将所述编码信息传输至所述终端设备，以便所述终端设备基于所述编码信息进行图像显示。
7.根据本公开的另一方面，提供了一种图像处理装置，包括：获取模块，用于获取终
端设备的设备位姿信息；传输模块，用于将获取的设备位姿信息上传给服务端，使得所述服务端执行以下操作：基于获取的设备位姿信息进行图像渲染，以获得第一图像，其中，所述第一图像包括第一图像区域和第二图像区域；对所述第一图像进行第一畸变处理，以使所述第一图像区域的图像分辨率保持不变，且使所述第二图像区域的图像分辨率缩小，从而得到第二图像；对所述第二图像进行编码，得到对应的编码信息并传输至所述终端设备；以及显示模块，用于基于所述服务端传回的所述编码信息进行图像显示。
8.根据本公开的另一方面，提供了一种云vr系统，包括：本公开实施例所述的装置。
9.根据本公开的另一方面，提供了一种vr设备，包括：本公开实施例所述的装置。
10.根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例所述的方法。
11.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开实施例所述的方法。
12.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开实施例所述的方法。
13.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
14.附图用于更好地理解本方案，不构成对本公开的限定。其中：
15.图1示例性示出了适于本公开实施例的系统架构；
16.图2示例性示出了根据本公开实施例的图像处理方法的流程图；
17.图3a和图3b示例性示出了根据本公开实施例图像畸变的示意图；
18.图4a和图4b示例性示出了根据本公开实施例像素坐标映射关系的示意图；
19.图5a示例性示出了根据本公开实施例原始图像的示意图；
20.图5b示例性示出了基于图5a进行线性畸变的效果图；
21.图5c示例性示出了基于图5b进行线性畸变还原的效果图；
22.图5d示例性示出了基于图5a进行二次方程畸变的效果图；
23.图5e示例性示出了基于图5d进行二次方程畸变还原的效果图；
24.图6示例性示出了根据本公开另一实施例的图像处理方法的流程图；
25.图7示例性示出了根据本公开实施例的图像处理装置的框图；
26.图8示例性示出了根据本公开另一实施例的图像处理装置的框图；以及
27.图9示例性示出了用来实现本公开实施例的电子设备的框图。
具体实施方式
28.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同
样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
29.应该理解，在cloud vr项目中，图像主要在云端完成渲染。由于从云端完成图像渲染到用户端通过vr终端设备显示图像之间存在一定的延时，因而在此过程中，如果用户佩戴的vr终端设备发生转动，则可能导致图像产生黑边。
30.对此，在一些实施例中，可以通过如下操作来避免图像产生黑边。即，在云端进行图像渲染时，扩大视场角，使得做atw(异步时间扭曲)时，图像四周可以有更多的冗余空间来在填充可能产生黑边的部分，由此可以改善黑边问题。
31.此外，在另一些实施例中，除了扩大视场角，在图像渲染后，还可以通过降低图像分辨率来降低图像的编、解码延时，从而降低整体延时，进一步降低图像出现黑边的可能性。
32.然而，发明人在实际使用中可以发现：当图像分辨率降低到一定程度之后，用户能够明显感受到图像变得更加模糊了；而如果不降低图像分辨率，则会使整体延时居高不下，导致无法克服图像产生黑边的问题。
33.对此，本公开实施例提供了一种在较低的图像分辨率下大致保证图像清晰度的方案。
34.本公开实施例的主要发明构思在于：考虑到在cloud vr系统实际运行时，用户主要关注的是画面中间的部分，而画面四周特别是超出原始视场角的部分则很少被关注到，因此，本案采用图像畸变的思路，即对图像进行不均匀的缩放，使得画面中间的部分尽量不进行缩放，而画面四周的部分按一定的规则进行缩放，以此可以降低编、解码时图像的分辨率，避免图像出现黑边，同时还可以保证画面中间的部分尽可能清晰。
35.以下将结合附图和具体实施例详细阐述本公开。
36.适于本公开实施例的图像处理方法和装置的系统架构介绍如下。
37.图1示例性示出了适于本公开实施例的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他环境或场景。
38.如图1所示，系统架构100可以包括：vr设备101(vr终端设备)、vr设备102、vr设备103和云vr 104(云vr系统)。
39.在本公开实施例中，上述vr设备可以实时记录其位姿信息并上传至云vr 104。云vr 104可以根据每个vr设备上传的设备位姿信息进行图像渲染，并在图像渲染后对图像进行畸变处理，如，使图像中间部分的图像分辨率保持不变，并使图像四周部分的图像分辨率缩小，在得到畸变图像之后，再进行图像编码，得到对应的编码信息并将该编码信息传输至对应的vr设备，以便进行图像显示。
40.应该理解，在本公开实施例中，由于与原始图像相比，畸变图像的图像分辨率降低了，因而可以减少图像编、解码延时和图像传输延时，进而可以避免vr设备端的图像产生黑边。
41.还应该理解，在本公开实施例中，与原始图像相比，畸变图像只是降低了画面四周部分的图像分辨率，没有改变画面中间部分的图像分辨率，因而可以保证图像中间部分的清晰度。而图像中间的部分通常是用户重点关注的部分，图像四周的部分通常是不被用户关注的部分，因此本方案可以改善用户体验。
42.此外，在本公开实施例中，每个vr设备接收到云vr 104返回的编码信息后，可以先解码得到对应的畸变图像，再对畸变图像执行对应的畸变处理，以还原出与原始图像具有相同图像尺寸的目标图像并显示该目标图像。
43.需要说明的是，在本公开实施例中，云vr 104执行的图像畸变处理与vr设备端执行的图像畸变处理互为逆运算。
44.应该理解，图1中的vr设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的vr设备。
45.适于本公开实施例的图像处理方法和装置的应用场景介绍如下。
46.本公开实施例提供的图像清晰度优化方案，可以用于任意云vr系统和vr设备等应用场景中，可以对图像和视频流中的图像帧进行图像清晰度优化。
47.根据本公开的实施例，本公开提供了一种图像处理方法。
48.图2示例性示出了根据本公开实施例的图像处理方法的流程图。
49.如图2所示，图像处理方法200可以包括：操作s210～s250。
50.在操作s210，获取终端设备上传的设备位姿信息。
51.在操作s220，基于获取的设备位姿信息进行图像渲染，以获得第一图像，其中，第一图像包括第一图像区域和第二图像区域。
52.在操作s230，对第一图像进行畸变处理，以使第一图像区域的图像分辨率保持不变，且使第二图像区域的图像分辨率缩小，从而得到第二图像。
53.在操作s240，对第二图像进行编码，得到对应的编码信息。
54.在操作s250，将编码信息传输至终端设备，以便终端设备基于编码信息进行图像显示。
55.应该理解，本公开实施例中，终端设备可以是vr终端设备。并且，本公开实施例中，图像处理方法200可以应用于云端，如云vr系统侧，以实现优化图像清晰度的目的。
56.本公开实施例中，终端设备可以实时记录其位姿信息并上传至云端。云端可以根据每个终端设备上传的设备位姿信息进行图像渲染，并在图像渲染后对图像进行畸变处理，即，使图像中特定部分的图像分辨率保持不变，并使图像中除该特定部分之外的图像部分的图像分辨率缩小，在得到畸变图像之后，再进行图像编码，得到对应的编码信息并将该编码信息传输至终端设备，以便在终端设备上完成图像显示。
57.应该理解，在本公开实施例中，由于与原始图像(即通过图像渲染得到的图像)相比，畸变图像(即，通过对原始图像进行畸变处理得到的图像)的图像分辨率降低了，因而可以减少图像编、解码延时和图像传输延时，进而可以避免终端设备上显示的图像出现黑边。
58.还应该理解，在本公开实施例中，与原始图像相比，畸变图像只是降低了除特定图像部分之外的图像画面的分辨率，没有改变图像画面中特定图像部分的图像分辨率，因而可以保证该特定图像部分的清晰度。而图像中的特定图像部分通常是用户重点关注的部分，其他部分通常是不被用户关注的部分，因此本方案可以改善用户体验。
59.此外，在本公开实施例中，终端设备接收到云端返回的编码信息后，可以先解码得到对应的畸变图像，再对畸变图像执行对应的畸变处理，以还原出与原始图像具有相同图像尺寸的目标图像并显示该目标图像。
60.需要说明的是，在本公开实施例中，云端执行的图像畸变处理与终端设备上执行
的图像畸变处理互为逆运算。具体实施时，可以在云端和终端设备侧均加入相应的图像畸变算法，以实现对图像进行畸变处理。
61.应该理解，从三维实体场景的表示转换为二维光栅化和点阵化的表示就是图像渲染。图像分辨率的单位为ppi(像素每英寸)。图像分辨率可以表达为水平像素数
×
垂直像素数。图像分辨率又称为图像尺寸、图像大小、像素尺寸、记录分辨率等。
62.通过本公开实施例，在图像渲染后，先对图像执行畸变处理操作，再执行图像编码操作，即，使用户关注的图像部分保持图像分辨率不变，使用户不关注的图像部分的图像分辨率缩小。由此既可以避免图像出现黑边，又可以保障图像中用户关注的部分具有较高的清晰度，因而可以改善用户体验。
63.本方案是基于cloud vr项目中遇到的用户体验优化的实际需求，结合vr项目的实际情况，提出的一种优化图像清晰度的方案，能够避免图像出现黑边，同时能够显著提升图像清晰度，改善用户体验。
64.换言之，本方案能够在有效降低图像分辨率的情况下保证大多数用户的体验不变。使用本技术方案后，由于图像分辨率降低了，因而能够降低cloud vr系统的整体延迟。经测算表明，整体延迟可以从110ms降低至50ms。同时，使用本技术方案后，由于图像中用户关注的画面部分没有改变图像分辨率，因而能够保证这部分画面的清晰度，从显著改善用户体验。
65.作为一种可选的实施例，其中：上述的第一图像中的第一图像区域位于第一图像的中间位置；以及对应的第二图像区域包围着该第一图像区域，即，该第二图像区域位于第一图像的周边位置。
66.应该理解，实际使用中，位于图像中间位置的画面部分通常是用户重点关注的部分，位于图像周边位置的画面部分通常不是用户重点关注的部分，甚至是用户关注不到的画面部分。
67.因此，本公开实施例中，在对图像进行畸变处理时，可以使图像中间位置的画面保持图像分辨率不变，使图像四周位置的画面的图像分辨率缩小，以此来达到减小图像编、解码延时和图像传输延时，进而可以避免终端设备上显示的图像出现黑边。并且，本方案可以保证图像中间位置的画面部分具有较高的清晰度，因而可以改善用户体验。
68.进一步，作为一种可选的实施例，在对第一图像进行畸变处理的过程中，通过以下操作使第一图像区域的图像分辨率保持不变，以获得第二图像中的第一图像区域。
69.获取第一图像中的第一图像区域内的每个第一像素坐标(u1，v1)，其中，u
11
≤u1≤u
12
，v
11
≤v1≤v
12
。
70.获取第一线性映射关系和第二线性映射关系。
71.按照第一线性映射关系对每个第一像素坐标(u1，v1)中的u坐标进行映射，并按照第二线性映射关系对每个第一像素坐标(u1，v1)中的v坐标进行映射，得到对应的每个第一像素坐标(u2，v2)，其中，u
21
≤u2≤u
22
，v
21
≤v2≤v
22
。
72.由每个第一像素坐标(u2，v2)对应的像素点构成第二图像中的第一图像区域。
73.在本公开实施例中，对于第一图像中的第一图像区域，可以采用对应的线性映射关系，将其中的每个像素坐标中的u坐标和v坐标分别映射至第二图像中的第一图像区域内。
74.应该理解，在本公开实施例中，针对u坐标和v坐标采用的线性映射关系可以相同或不同。即，第一线性映射关系和第二线性映射关系可以相同或不同。
75.更进一步，作为一种可选的实施例，在对所述第一图像进行畸变处理的过程中，通过以下操作使所述第一图像中的第二图像区域的图像分辨率缩小，以获得所述第二图像中的第二图像区域。
76.获取所述第一图像中的第二图像区域内的每个第二像素坐标(u1，v1)，其中，0≤u1＜u
11
，0≤v1＜v
11
。
77.获取所述第一图像中的第二图像区域内的每个第三像素坐标(u1，v1)，其中，u
12
＜u1≤1，v
12
＜v1≤1。
78.获取第三线性映射关系和第四线性映射关系，以及第五线性映射关系和第六线性映射关系。
79.按照所述第三线性映射关系对所述每个第二像素坐标(u1，v1)中的u坐标进行映射，并按照所述第四线性映射关系对所述每个第二像素坐标(u1，v1)中的v坐标进行映射，得到对应的每个第二像素坐标(u2，v2)，其中，0≤u2＜u
21
，0≤v2＜v
21
。
80.按照所述第五线性映射关系对所述每个第三像素坐标(u1，v1)中的u坐标进行映射，并按照所述第六线性映射关系对所述每个第三像素坐标(u1，v1)中的v坐标进行映射，得到对应的每个第三像素坐标(u2，v2)，其中，u
22
＜u2≤1，v
22
＜v2≤1。
81.由所述每个第二像素坐标(u2，v2)和该每个第三像素坐标(u2，v2)对应的像素点构成所述第二图像中的第二图像区域。
82.或者，更进一步，作为一种可选的实施例，在对所述第一图像进行畸变处理的过程中，通过以下操作使所述第一图像中的第二图像区域的图像分辨率缩小，以获得所述第二图像中的第二图像区域。
83.获取所述第一图像中的第二图像区域内的每个第二像素坐标(u1，v1)，其中，0≤u1＜u
11
，0≤v1＜v
11
。
84.获取所述第一图像中的第二图像区域内的每个第三像素坐标(u1，v1)，其中，u
12
＜u1≤1，v
12
＜v1≤1。
85.获取第一非线性映射关系和第二非线性映射关系，以及第三非线性映射关系和第四非线性映射关系。
86.按照所述第一非线性映射关系对所述每个第二像素坐标(u1，v1)中的u坐标进行映射，并按照所述第二非线性映射关系对所述每个第二像素坐标(u1，v1)中的v坐标进行映射，得到对应的每个第二像素坐标(u2，v2)，其中，0≤u2＜u
21
，0≤v2＜v
21
。
87.按照所述第三非线性映射关系对所述每个第三像素坐标(u1，v1)中的u坐标进行映射，并按照所述第四非线性映射关系对所述每个第三像素坐标(u1，v1)中的v坐标进行映射，得到对应的每个第三像素坐标(u2，v2)，其中，u
22
＜u2≤1，v
22
＜v2≤1。
88.由所述每个第二像素坐标(u2，v2)和该每个第三像素坐标(u2，v2)对应的像素点构成所述第二图像中的第二图像区域。
89.在本公开实施例中，对于第一图像中的第二图像区域，可以采用对应的线性映射关系或者非线性映射关系(如一元二次映射关系)，将其中的每个像素坐标中的u坐标和v坐标分别映射至第二图像中的第二图像区域内。
90.应该理解，在本公开实施例中，针对u坐标和v坐标采用的线性映射关系可以相同或不同。
91.还应该理解，在本公开实施例中，采用线性映射关系进行映射时，可能导致最终还原出的图像中具有明显的质量分界线；采用非线性映射关系进行映射时，则最终还原出的图像中没有明显的质量分界线；
92.示例性的，如图3a和图3b所示，可以将图3a中带灰度的图像部分中的各像素坐标按照本公开实施例提供的上述方法进行映射，得到图3b中带灰度的图像部分中的各像素坐标。
93.如图3a所示，可以将其中示意的图像记为图像p1；如图3b所示，可以将其中示意的图像记为图像p2。
94.其中，如图所示，图像p1为服务端渲染得到的图像，w1、h1分别表示其图像分辨率的宽度和高度。图像p2为编、解码时的图像(即由图像p1畸变得到图像)，w2、h2分别表示其图像分辨率的宽度和高度。x0、y0分别表示图像中间部分(即阴影图像部分)，即，图像分辨率不进行缩放部分的图像分辨率的宽度和高度。x1、y1分别表示图像中四周进行缩放部分在图像p1上的图像分辨率的宽度和高度。x2、y2分别表示图像中四周进行缩放部分在图像p2上的图像分辨率的宽度和高度。
95.应该理解，上述变量满足以下逻辑关系：
96.w1＞w2＞x0；
97.h1＞h2＞y0；
98.x1＞x2；
99.y1＞y2。
100.则有：x1*2+x0＝w1，x2*2+x0＝w2。
101.设u1、v1为图像p1上任意一像素点的uv坐标，u1、v1所属的区间范围均为[0，1]。
[0102]
设u2、v2为图像p2上任意一像素点的uv坐标，u2、v2所属的区间范围也均为[0，1]。
[0103]
对于图像p1和图像p2这两张图像上中间画面部分和四周画面部分的uv坐标的分界线，设它们分别为u
11
、u
12
、u
21
、u
22
，且满足以下逻辑关系：
[0104]
u
11
＝x1/w1；
[0105]
u
12
＝(x1+x0)/w1；
[0106]
u
21
＝x2/w2；
[0107]
u
22
＝(x2+x0)/w2。
[0108]
在本公开实施例中，将图像p1压缩为图像p2时，可以考虑u2如何转换到u1(即，如何用u2表示u1)，即求方程u1＝f(u2)。参考图4a和图4b，这里需要分3个区间来考虑：
[0109]
如果u
21
＜＝u2＜＝u
22
，则f为线性方程(可以使图像中间部分的图像分辨率大小不变)，且过(u
21
，u
11
)，(u
22
，u
12
)点。
[0110]
则可求得该方程为：
[0111]
u1＝(u
11
‑
u
12
)/(u
21
‑
u
22
)*u2+(u
12
*u
21
‑
u
11
*u
22
)/(u
21
‑
u
22
)
[0112]
该方程的斜率：
[0113]
k0＝(u
11
‑
u
12
)/(u
21
‑
u
22
)。
[0114]
如果0＜＝u2＜u
21
，则可以将图像p1中左边边缘部分的像素点按某种方式(如线性
方程或一元二次方程)进行坐标映射。
[0115]
(1)如果采用线性方程，则f过点(0，0)，(u
21
，u
11
)，则可求得该方程为：
[0116]
u1＝u2*(u
11
/u
21
)；
[0117]
但采用这种方式的话，由于在点(u
21
，u
11
)处和在区间[u
21
，u
22
]内的方程不可导，因而最终还原出的图像可能会有明显的图像质量分界线。
[0118]
(2)如果采用一元二次方程，则可以让像素点尽量集中在靠近中间的部分，即，可以避免最终还原出的图像有明显的图像质量分界线，且f过点(u
21
，u
11
)，(0，0)，且在点(u
21
，u
11
)处的斜率为k0(由此可以保证和区间[u
21
，u
22
]的方程在点(u
21
，u
11
)处可导)，则可求出该一元二次方程为：
[0119]
a＝(u
21
*k0‑
u
11
)/(u
21∧
2)；
[0120]
b＝k0‑
2*u
21
*a；
[0121]
c＝0；
[0122]
u1＝a*u
2∧
2+b*u2+c。
[0123]
如果u
22
＜u2＜＝1，则是和0＜＝u2＜u
21
的情况对称的方程组，则有两种方式推导(即线性方程和一元二次方程)：
[0124]
(1)如果采用线性方程，则f过点(u
22
，u
12
)，(1，1)，则可求得该方程为：
[0125]
u1＝u2*((u
12
‑
1)/(u
22
‑
1))+(1
‑
(u
12
‑
1)/(u
22
‑
1))。
[0126]
(2)如果采用一元二次方程，则f过点(u
22
，u
12
)，(1，1)，且在点(u
22
，u
12
)处的斜率为k0(由此可以保证和区间[u
21
，u
22
]的方程在点(u
22
，u
12
)处可导)，则可求出该一元二次方程为：
[0127]
a＝((u
22
‑
1)*k0+1
‑
u
12
)/((u
22
‑
1)
∧
2)；
[0128]
b＝k0‑
2*a*u
22
；
[0129]
c＝1
‑
a
‑
b；
[0130]
u1＝a*u
2∧
2+b*u2+c。
[0131]
综上，可以得到u2转换到u1的方程u1＝f(u2)。
[0132]
至于v2转换到v1的方程则采用类似的方式即可，本实施例在此不再赘述。
[0133]
线性方程与一元二次方程对比如下。
[0134]
如图4a和图4b所示，图4a为线性方程，可见在各区间交界处不可导，这样会导致还原得到的图像存在明显的质量分界线。而图4b为一元二次方程，可见在各区间交界处是可导的，这样还原得到的图像没有明显的质量分界线。
[0135]
进一步，将图像p2还原为与图像p1具有相同的图像尺度的图像时，则考虑u1如何转换到u2，即u2＝g(u1)，g为f的逆函数，则有：
[0136]
如果u
11
＜＝u1＜＝u12，则：
[0137]
u2＝(u1*(u
21
‑
u
22
)
‑
(u
12
*u
21
‑
u
11
*u
22
))/(u
11
‑
u
12
)。
[0138]
如果0＜＝u1＜u
11
，则：
[0139]
a＝(u
21
*k0‑
u
11
)/u
21∧
2；
[0140]
b＝k0‑
2*u
21
*a；
[0141]
c＝
‑
u1；
[0142]
u2＝(
‑
b+sqrt(b
∧2‑
4ac))/2a。
[0143]
如果u
12
＜u1＜＝1，则：
[0144]
a＝((u
22
‑
1)*k0+1
‑
u
12
)/((u
22
‑
1)
∧
2)；
[0145]
b＝k0‑
2*a*u
22
；
[0146]
c＝1
‑
a
‑
b
‑
u1；
[0147]
u2＝(
‑
b+sqrt(b
∧2‑
4ac))/2a。
[0148]
通过上述计算，可以得到u1和u2之间互相转换的公式。类似地，可以得到v1和v2之间互相转换的公式。通过该公式即可实现正常图像与畸变图像之间的互相转换。
[0149]
如图5a～图5e所示，图5a为原始图像；图5b为使用线性方程畸变算法缩小后得到的小分辨率图像；图5c为将图5b还原后得到的图像；图5d为使用一元二次方程畸变算法缩小后得到的小分辨率图像；图5e为将图5d还原后得到的图像。
[0150]
可以看出，图5c和图5a相比，整体内容没有变化，而清晰度上中间部分清晰，四周较为模糊；图5e和图5a相比，效果也是如此。不同的是，图5c中有明显的图像质量分界线；图5e中没有明显的图像质量分界线。
[0151]
根据本公开的实施例，本公开提供了另一种图像处理方法。
[0152]
图6示例性示出了根据本公开另一实施例的图像处理方法的流程图。
[0153]
如图6所示，图像处理方法600可以包括：操作s610～s630。
[0154]
在操作s610，获取终端设备的设备位姿信息。
[0155]
在操作s620，将获取的设备位姿信息上传给服务端，使得服务端执行以下操作：基于获取的设备位姿信息进行图像渲染，以获得第一图像，其中，第一图像包括第一图像区域和第二图像区域；对第一图像进行第一畸变处理，以使第一图像区域的图像分辨率保持不变，且使第二图像区域的图像分辨率缩小，从而得到第二图像；对第二图像进行编码，得到对应的编码信息并传输至终端设备。
[0156]
在操作s630，基于服务端传回的编码信息进行图像显示。
[0157]
应该理解，本公开实施例中，终端设备可以是vr终端设备(简称vr设备)。并且，本公开实施例中，图像处理方法600可以应用于终端设备侧，如vr终端设备上，以实现优化图像清晰度的目的。
[0158]
还应该理解，本公开实施例中，服务端(即云端)执行的上述操作，可以参考本公开中前述相关实施例中的具体描述，本公开在此不再赘述。
[0159]
此外，本公开实施例中，终端设备执行的上述操作，也可以参考本公开中前述相关实施例中的具体描述，本公开在此也不再赘述。
[0160]
通过本公开实施例，在图像渲染后，先对图像执行畸变处理操作，再执行图像编码操作，即，使用户关注的图像部分保持图像分辨率不变，使用户不关注的图像部分的图像分辨率缩小。由此既可以避免图像出现黑边，又可以保障图像中用户关注的部分具有较高的清晰度，因而可以改善用户体验。
[0161]
作为一种可选的实施例，基于服务端传回的编码信息进行图像显示，可以包括，通过终端设备执行以下操作。
[0162]
对服务端传回的编码信息进行解码，以获得第三图像。
[0163]
对第三图像进行第二畸变处理，以获得第四图像，其中，第二畸变处理与所述第一畸变处理互为逆运算。
[0164]
显示第四图像。
[0165]
在本公开实施例中，进行图像渲染时，对解码得到的图像，采用与编码前采用的畸变处理相反的操作，可以将当前解码得到的图像还原成与原始图像(即服务端通过图像渲染得到的图像)具有相同图像尺寸的图像。并且，最终得到的图像(即，最终显示的图像)可以是一幅能够保证用户关注的画面部分比较清晰、其他画面部分相对模糊的图像。如可以是一幅中间清晰、四周模糊的图像。
[0166]
需要说明的是，在其他实施例中，还可以通过修改视频编解码器的实现方式，使其针对特定视频流或图像降低延时，防止图像出现黑边，同时保证图像中被重点关注的画面部分的清晰度。由此也可以完成本公开的发明目的。本公开对此方案不做详细阐述。
[0167]
根据本公开的实施例，本公开还提供了一种图像处理装置。
[0168]
图7示例性示出了根据本公开实施例的图像处理装置的框图。
[0169]
如图7所示，图像处理装置700可以包括：获取模块710、图像渲染模块720、图像畸变模块730、图像编码模块740和编码传输模块750。
[0170]
获取模块710，用于获取终端设备上传的设备位姿信息。
[0171]
图像渲染模块720，用于基于获取的设备位姿信息进行图像渲染，以获得第一图像，其中，该第一图像包括第一图像区域和第二图像区域。
[0172]
图像畸变模块730，用于对该第一图像进行畸变处理，以使该第一图像区域的图像分辨率保持不变，且使该第二图像区域的图像分辨率缩小，从而得到第二图像。
[0173]
图像编码模块740，用于对该第二图像进行编码，得到对应的编码信息。
[0174]
编码传输模块750，用于将该编码信息传输至该终端设备，以便该终端设备基于该编码信息进行图像显示。
[0175]
作为一种可选的实施例，其中：该第一图像区域位于该第一图像的中间位置；以及该第二图像区域包围着该第一图像区域，位于该第一图像的周边位置。
[0176]
作为一种可选的实施例，该图像畸变模块，包括第一图像畸变模块，用于在对该第一图像进行畸变处理的过程中，通过以下单元执行对应操作来使该第一图像区域的图像分辨率保持不变，以获得该第二图像中的第一图像区域：第一像素坐标获取单元，用于获取该第一图像中的第一图像区域内的每个第一像素坐标(u1，v1)，其中，u
11
≤u1≤u
12
，v
11
≤v1≤v
12
；第一映射关系获取单元，用于获取第一线性映射关系和第二线性映射关系；第一像素坐标映射单元，用于按照该第一线性映射关系对该每个第一像素坐标(u1，v1)中的u坐标进行映射，并按照该第二线性映射关系对该每个第一像素坐标(u1，v1)中的v坐标进行映射，得到对应的每个第一像素坐标(u2，v2)，其中，u
21
≤u2≤u
22
，v
21
≤v2≤v
22
；以及第一图像区域构成单元，用于由该每个第一像素坐标(u2，v2)对应的像素点构成该第二图像中的第一图像区域。
[0177]
作为一种可选的实施例，该图像畸变模块，还包括第二图像畸变模块，用于在对该第一图像进行畸变处理的过程中，通过以下单元执行对应操作来使该第一图像中的第二图像区域的图像分辨率缩小，以获得该第二图像中的第二图像区域：第二像素坐标获取单元，用于获取该第一图像中的第二图像区域内的每个第二像素坐标(u1，v1)，其中，0≤u1＜u
11
，0≤v1＜v
11
；第三像素坐标获取单元，用于获取该第一图像中的第二图像区域内的每个第三像素坐标(u1，v1)，其中，u
12
＜u1≤1，v
12
＜v1≤1；第二映射关系获取单元，用于获取第三线性
映射关系和第四线性映射关系，以及第五线性映射关系和第六线性映射关系；第二像素坐标映射单元，用于按照该第三线性映射关系对该每个第二像素坐标(u1，v1)中的u坐标进行映射，并按照该第四线性映射关系对该每个第二像素坐标(u1，v1)中的v坐标进行映射，得到对应的每个第二像素坐标(u2，v2)，其中，0≤u2＜u
21
，0≤v2＜v
21
；第三像素坐标映射单元，用于按照该第五线性映射关系对该每个第三像素坐标(u1，v1)中的u坐标进行映射，并按照该第六线性映射关系对该每个第三像素坐标(u1，v1)中的v坐标进行映射，得到对应的每个第三像素坐标(u2，v2)，其中，u
22
＜u2≤1，v
22
＜v2≤1；以及第二图像区域构成单元，用于由该每个第二像素坐标(u2，v2)和该每个第三像素坐标(u2，v2)对应的像素点构成该第二图像中的第二图像区域。
[0178]
作为一种可选的实施例，该图像畸变模块，还包括第三图像畸变模块，用于在对该第一图像进行畸变处理的过程中，通过以下单元执行对应操作来使该第一图像中的第二图像区域的图像分辨率缩小，以获得该第二图像中的第二图像区域：第四像素坐标获取单元，用于获取该第一图像中的第二图像区域内的每个第二像素坐标(u1，v1)，其中，0≤u1＜u
11
，0≤v1＜v
11
；第五像素坐标获取单元，用于获取该第一图像中的第二图像区域内的每个第三像素坐标(u1，v1)，其中，u
12
＜u1≤1，v
12
＜v1≤1；第三映射关系获取单元，用于获取第一非线性映射关系和第二非线性映射关系，以及第三非线性映射关系和第四非线性映射关系；第四像素坐标映射单元，用于按照该第一非线性映射关系对该每个第二像素坐标(u1，v1)中的u坐标进行映射，并按照该第二非线性映射关系对该每个第二像素坐标(u1，v1)中的v坐标进行映射，得到对应的每个第二像素坐标(u2，v2)，其中，o≤u2＜u
21
，0≤v2＜v
21
；第五像素坐标映射单元，用于按照该第三非线性映射关系对该每个第三像素坐标(u1，v1)中的u坐标进行映射，并按照该第四非线性映射关系对该每个第三像素坐标(u1，v1)中的v坐标进行映射，得到对应的每个第三像素坐标(u2，v2)，其中，u
22
＜u2≤1，v
22
＜v2≤1；以及第三图像区域构成单元，用于由该每个第二像素坐标(u2，v2)和该每个第三像素坐标(u2，v2)对应的像素点构成该第二图像中的第二图像区域。
[0179]
根据本公开的实施例，本公开还提供了另一种图像处理装置。
[0180]
图8示例性示出了根据本公开另一实施例的图像处理装置的框图。
[0181]
如图8所示，图像处理装置800可以包括：获取模块810、传输模块820和显示模块830。
[0182]
获取模块810，用于获取终端设备的设备位姿信息。
[0183]
传输模块820，用于将获取的设备位姿信息上传给服务端，使得该服务端执行以下操作：基于获取的设备位姿信息进行图像渲染，以获得第一图像，其中，该第一图像包括第一图像区域和第二图像区域；对该第一图像进行第一畸变处理，以使该第一图像区域的图像分辨率保持不变，且使该第二图像区域的图像分辨率缩小，从而得到第二图像；对该第二图像进行编码，得到对应的编码信息并传输至该终端设备。
[0184]
显示模块830，用于基于该服务端传回的该编码信息进行图像显示。
[0185]
作为一种可选的实施例，该显示模块包括：解码单元，用于对该编码信息进行解码，以获得第三图像；图像畸变单元，用于对该第三图像进行第二畸变处理，以获得第四图像，其中，该第二畸变处理与该第一畸变处理互为逆运算；以及图像显示单元，用于显示该第四图像。
[0186]
应该理解，本公开各装置部分的实施例与本公开各方法部分的实施例对应相同或类似，所解决的技术问题和所达到的技术效果也对应相同或类似，本公开在此不再赘述。
[0187]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0188]
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0189]
如图9所示，电子设备900包括计算单元901，其可以根据存储在只读存储器(rom)902中的计算机程序或者从存储单元908加载到随机访问存储器(ram)903中的计算机程序，来执行各种适当的动作和处理。在ram 903中，还可存储电子设备900操作所需的各种程序和数据。计算单元901、rom 902以及ram 903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
[0190]
电子设备900中的多个部件连接至i/o接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0191]
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如图像处理方法。例如，在一些实施例中，图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由rom 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到ram 903并由计算单元901执行时，可以执行上文描述的图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法。
[0192]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0193]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处
理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0194]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0195]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0196]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0197]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务(
″
virtual private server
″
，或简称
″
vps
″
)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0198]
本公开的技术方案中，所涉及的用户数据的记录，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
[0199]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0200]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。