直播方法、装置、头戴显示设备和可读存储介质与流程

本发明涉及视频直播
技术领域：
，尤其涉及一种直播方法、装置、头戴显示设备和可读存储介质。
背景技术：
：目前头戴显示产品技术原理大致分为虚拟现实简称vr，增强现实简称ar，以及混合现实简称mr等。随着头戴显示产品的广泛流行，利用头戴显示产品进行视频直播越来越受到欢迎，尤其是在赛事直播方面，能够给观众带来身临其境的体验。但是，这种利用头戴显示产品进行视频直播的方式对画质要求较高，因此需要传输大量的直播数据，通常来说目前的网络带宽难以满足使用需要，大量的直播画面数据的传输容易导致传输通道堵塞，致使数据传输不通畅，进而导致用户在观看视频直播时出现画面卡顿。上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。技术实现要素：基于此，针对利用头戴显示产品进行视频直播时，有数据传输量较大，导致出现画面卡顿的问题，有必要提供一种直播方法、装置、头戴显示设备和可读存储介质，能够有效减少直播画面的数据传输量，避免因数据传输量较大，导致画面卡顿的情况。为实现上述目的，本发明提出的一种直播方法，所述直播方法用于头戴显示设备，所述方法包括：实时获取用户的可视区域；依据所述可视区域，截取直播画面对应的显示画面；接收所述显示画面，并依据所述显示画面进行直播显示。可选地，所述实时获取用户的可视区域的步骤，包括：实时获取用户的位姿信息和视场角度；依据所述位姿信息和所述视场角度，确定用户的可视区域。可选地，所述依据所述可视区域，截取直播画面对应的显示画面的步骤之前，包括：获取直播现场的直播画面，将所述直播画面存储至服务器。可选地，所述直播画面包括球形全景图像；所述获取直播现场的直播画面，将所述直播画面存储至服务器的步骤，包括：控制摄像头采集直播现场画面，获取所述球形全景图像；将所述球形全景图像转化为二维平面画面，将所述二维平面画面存储至服务器。可选地，所述接收所述显示画面，并依据所述显示画面进行直播显示的步骤，包括：对所述显示画面进行数据压缩，接收压缩后的所述显示画面，将所述显示画面在显示屏幕上直播显示。此外，为了实现上述目的，本发明还提供一种直播装置，所述直播装置用于头戴显示设备，所述直播装置包括：获取模块，用于实时获取用户的可视区域；截取模块，用于依据所述可视区域，截取直播画面对应的显示画面；显示模块，用于接收所述显示画面，并依据所述显示画面进行直播显示。可选地，所述获取模块还用于实时获取用户的位姿信息和视场角度；所述获取模块还用于依据所述位姿信息和所述视场角度，确定用户的可视区域。可选地，所述直播装置包括：存储模块，用于获取直播现场的直播画面，将所述直播画面存储至服务器。此外，为了实现上述目的，本发明还提供一种头戴显示设备，所述头戴显示设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的直播程序；所述直播程序被所述处理器执行时实现如上文所述的直播方法的步骤。此外，为了实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有直播程序，所述直播程序被处理器执行时实现如上文所述的直播方法的步骤。本发明提出的技术方案中，用户利用穿戴头戴显示设备进行观看直播时，用户观察的视角是持续变化的，实时获取用户在观看画面时的可视区域，依据可视区域截取直播画面对应的显示画面，就是说，不需要获取到整个的直播画面，而是获取用户视角对应观看的画面，将获取到的显示画面传输给头戴显示设备进行直播显示，避免将整个直播画面传输给头戴显示设备，进而避免传输数据量过大，保证数据传输流畅，避免引起画面卡顿，有效提高了头戴显示设备观看直播的体验效果。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为本发明直播方法第一实施例的流程示意图；图2为本发明直播方法第二实施例的流程示意图；图3为用户穿戴头戴显示设备的左右视角示意图；图4为用户穿戴头戴显示设备的上下视角示意图；图5为本发明直播方法第三实施例的流程示意图；图6为本发明直播方法第四实施例的流程示意图；图7为本发明可视区域的四个角点在坐标系中示意图；图8为本发明直播方法第五实施例的流程示意图；图9为本发明直播装置的示意图。附图标号说明：标号名称标号名称10穿戴头戴显示设备的用户300显示模块20直播画面310压缩单元100获取模块400存储模块200截取模块本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。参阅图1所示，本发明提出的第一实施例，一种直播方法，直播方法用于头戴显示设备，头戴显示产品技术原理大致分为虚拟现实(virtualreality)简称vr，增强现实(augmentedreality)简称ar，以及混合现实(mixedreality)简称mr，上述显示技术均可应用于画面直播显示，例如vr，通过将比赛现场的画面输出至相应的头戴显示设备上进行显示，用户有一种身临其境的体验，所述方法包括：步骤s10，实时获取用户的可视区域。其中，用户在佩戴头戴显示设备的过程中，用户观看的画面的位置是实时变化的，即用户时常需要转动头部，以此来观看不同方位的画面，由此通过实时获取用户观看位置和角度等信息，确定用户的可视区域，通常来说可视区域的面积大小与头戴显示设备的视场角有关，视场角越大，头戴显示设备的显示画面越大，相应的可视区域的面积越大。也就是说，可视区域的面积一般不变，但是可视区域随着用户观看位置和角度而定。比如用户观看左侧位置画面，可视区域位置则在左侧，用户观看右侧位置画面，可视区域位置则在右侧。步骤s20，依据可视区域，截取直播画面对应的显示画面。具体地，直播画面通常包括直播现场整体画面，而用户在观看时不需要观看整体画面，只需要观看一定范围的画面就可以，也就是说，用户只要观看可视区域内的画面。由此，依据可视区域，截取直播画面的部分画面，即显示画面，避免获取整个直播画面，整个直播画面数据传输量过大，易导致通信数据不畅，引起画面卡顿，通过获取直播画面中的部分画面，由此数据的传输量较小，不会导致通信数据传输堵塞，保证画面的流畅。步骤s30，接收显示画面，并依据显示画面进行直播显示。将获取的显示画面传输给头戴显示设备，头戴显示设备接收到显示画面的数据，经过数据转换，将显示画面呈现在用户眼前。当用户的观看位置和角度等信息发生变化时，依据这些变化信息，再次获取用户的可视区域，并依据新生成的可视区域截取直播画面对应的显示画面，再将相应的显示画面传输给头戴显示设备进行显示，由此持续的依据用户的观看位置和角度等信息，获取相应的显示画面，完成用户观看直播。另外，头戴带显示设备包括处理器，处理器用于控制获取用户的可视区域，并依据可视区域，截取直播画面对应的显示画面，再将显示画面传输给头戴显示设备进行直播显示，其中处理器可以设置在直播现场的直播设备中，也可以设置在用户端的头戴显示设备中。本实施例技术方案中，用户利用穿戴头戴显示设备进行观看直播时，用户观察的视角是持续变化的，实时获取用户在观看画面时的可视区域，依据可视区域截取直播画面对应的显示画面，就是说，不需要获取到整个的直播画面，而是获取用户视角对应观看的画面，将获取到的显示画面传输给头戴显示设备进行直播显示，避免将整个直播画面传输给头戴显示设备，进而避免传输数据量过大，保证数据传输流畅，避免引起画面卡顿，有效提高了头戴显示设备观看直播的体验效果。参阅图2-图4所示，在本发明提出的第一实施例的基础上，提出本发明的第二实施例，其中图3是用户穿戴头戴显示设备的左右视角示意图，图4是用户穿戴头戴显示设备上下视角示意图，获取用户的可视区域的步骤s10包括：步骤s110，实时获取用户的位姿信息和视场角度。其中，用户的位姿信息包括用户所处位置信息，以及用户头部的摆动角度，还包括用户的人眼观看方向，也包括用户的身体姿势。视场角度是指，用户在穿戴头戴显示设备时，用户能够观察到的视场范围。例如，穿戴头戴显示设备的用户10左右视场角范围在(-47°，+47°)之间，上下视场角度范围在(-12°，+20°)之间。不同的头戴显示设备的视场角度参数可能不同，而视场角度能够确定可视区域面积大小。步骤s120，依据位姿信息和视场角度，确定用户的可视区域。具体地，由于用户在观看直播时，用户的位置和观看的角度是持续变化的，而不同的头戴显示设备的视场角又不同，因此需要实时获取用户的位姿信息和视场角，进一步以此确定出用户的可视区域，例如穿戴头戴显示设备的用户10在直播画面20上的可视区域在左右视场角范围在(-47°，+47°)之间和上下视场角度范围在(-12°，+20°)之间的区域内。用户观看可视区域内的画面就可以满足观看需要，而不需要传输整个显示画面，减少传输的数据量。参阅图5所示，在本发明提出的第一实施例的基础上，提出本发明的第三实施例，获取用户的可视区域的步骤s10之前包括：步骤s40，获取直播现场的直播画面，将直播画面存储至服务器。具体地，用户在观看直播时，画面是实时变动的，通常需要对直播画面进行一定的处理，且同时观看直播的用户可能有多个，每个人观看到方向不同，需要从直播画面截图的显示画面内容也不同。通过将直播画面存储至服务器，便于处理直播画面，例如，检查画面是不是清晰，和声音是否同步等。另外，在观看直播时，通常是众多用户同时观看，将直播画面存储至服务器，也便于分别提取直播画面，便于对直播画面的后续截取。另外，在截取直播画面前，还需要从服务器提取直播画面。也就是说，在获取相应的显示画面之前，需要将直播画面从服务器内提取出，服务器内可包括有存储器和处理器，存储器用于保存直播画面，处理器用于控制提取直播画面，服务器通常设置在直播现场，也可以设置在用户端。参阅图6所示，在本发明提出的第三实施例的基础上，提出本发明的第四实施例，直播画面包括球形全景图像。获取直播现场的直播画面，将直播画面存储至服务器的步骤s40，包括：步骤s410，控制摄像头采集直播现场画面，获取球形全景图像。摄像头是一种设置在直播现场的画面摄取装置，通过摄像头采集的直播画面是一种球形的立体画面，球形画面在头戴显示设备端进行显示，能够使用户获得更好的沉浸式观看效果。另外通过获取球形全景图像还可以依据用户的需要，能够选取360度景象中的任一处图像。步骤s420，将球形全景图像转化为二维平面画面，将二维平面画面存储至服务器。在图像保存的过程中，是以二维平面画面进行存储保存的。在画面显示时，是通过头戴显示设备显示的图像，将二维平面画面的数据提取出来，解压转换获取到相应的显示信号，进行画面显示。另外，将二维平面画面提取出来，参阅图7所示，四个坐标在坐标系中示意图。显示画面提取出，进行读取显示的过程包括，所述显示画面的平面坐标包括四个坐标值，记录为(x1，y1)、(x2，y2)、(x3，y3)和(x4，y4)，其中x代表横坐标，y代表纵坐标。依据平面坐标读取可视区域对应的显示像素，依据显示像素生成显示画面。具体地，定义读取可视区域对应显示像素起始点为p0则p0＝x1+y1×width其中，width表示直播画面宽度，连续取点个数为pnum，则pnum＝x2-x1读取一行后，开始进行下一行读取，定义下一行读取点为p1则p1＝x1+(y1+1)×width直至读取完可视区域内的最后一行，通常读取的行数为x3-x1，通过读取每个像素点的数值获取到相应的显示画面。参阅图8所示，在本发明提出的第一实施例至第四实施例的基础上，提出本发明的第五实施例，接收所述显示画面，并依据所述显示画面进行直播显示的步骤s30包括：步骤s310，对显示画面进行数据压缩，接收压缩后的显示画面，将显示画面在显示屏幕上直播显示。其中，对显示画面进行数据压缩，能够保证压缩后的数据字节数减少，便于传输，也就是说，经过数据压缩能够进一步减少通信传输的数据量，头戴显示设备接收到经过压缩后的显示画面，进行解压处理，将显示画面在头戴显示设备上进行显示。进一步的减少数据传输量，保证数据通道畅通。参阅图9所示，本发明还提供一种直播装置，直播装置用于头戴显示设备，头戴显示产品技术原理大致分为虚拟现实简称vr，增强现实简称ar，以及混合现实简称mr，上述显示技术均可应用于画面直播显示，例如vr，通过将比赛现场的画面输出至相应的头戴显示设备上进行显示，用户有一种身临其境的体验，所述直播装置包括：获取模块100、截取模块200和显示模块300。获取模块100用于实时获取用户的可视区域；其中，用户在佩戴头戴显示设备的过程中，用户观看的画面的位置是实时变化的，即用户时常需要转动头部，以此来观看不同方位的画面，由此通过实时获取用户观看位置和角度等信息，确定用户的可视区域，通常来说可视区域的面积大小与头戴显示设备的视场角有关，视场角越大，头戴显示设备的显示画面越大，相应的可视区域的面积越大。也就是说，可视区域的面积一般不变，但是可视区域随着用户观看位置和角度而定。比如用户观看左侧位置画面，可视区域位置则在左侧，用户观看右侧位置画面，可视区域位置则在右侧。截取模块200用于依据所述可视区域，截取直播画面对应的显示画面；具体地，直播画面通常包括直播现场整体画面，而用户在观看时不需要观看整体画面，只需要观看一定范围的画面就可以，也就是说，用户只要观看可视区域内的画面。由此，依据可视区域，截取直播画面的部分画面，即显示画面，避免获取整个直播画面，整个直播画面数据传输量过大，易导致通信数据不畅，引起画面卡顿，通过获取直播画面中的部分画面，由此数据的传输量较小，不会导致通信数据传输堵塞，保证画面的流畅。显示模块300用于接收显示画面，并依据显示画面进行直播显示。将获取的显示画面传输给头戴显示设备，头戴显示设备接收到显示画面的数据，经过数据转换，将显示画面呈现在用户眼前。当用户的观看位置和角度等信息发生变化时，依据这些变化信息，再次获取用户的可视区域，并依据新生成的可视区域截取直播画面对应的显示画面，再将相应的显示画面传输给头戴显示设备进行显示，由此持续的依据用户的观看位置和角度等信息，获取相应的显示画面，完成用户观看直播。另外，头戴显示设备包括处理器，处理器用于控制获取用户的可视区域，并依据可视区域，截取直播画面对应的显示画面，再将显示画面传输给头戴显示设备进行直播显示，其中处理器可以设置在直播现场的直播设备中，也可以设置在用户端的头戴显示设备中。本实施例技术方案中，用户利用穿戴头戴显示设备进行观看直播时，用户观察的视角是持续变化的，实时获取用户在观看画面时的可视区域，依据可视区域截取直播画面对应的显示画面，就是说，不需要获取到整个的直播画面，而是获取用户视角对应观看的画面，将获取到的显示画面传输给头戴显示设备进行直播显示，避免将整个直播画面传输给头戴显示设备，进而避免传输数据量过大，保证数据传输流畅，避免引起画面卡顿，有效提高了头戴显示设备观看直播的体验效果。进一步地，获取模块100用于实时获取用户的位姿信息和视场角度；确定用户的可视区域。其中，用户的位姿信息包括用户所处位置信息，以及用户头部的摆动角度，还包括用户的人眼观看方向，也包括用户的身体姿势。视场角度是指，用户在穿戴头戴显示设备时，用户能够观察到的视场范围。例如，穿戴头戴显示设备的用户10左右视场角范围在(-47°，+47°)之间，上下视场角度范围在(-12°，+20°)之间。不同的头戴显示设备的视场角度参数可能不同，而视场角度能够确定可视区域面积大小。获取模块100还用于依据所述位姿信息和所述视场角度，由于用户在观看直播时，用户的位置和观看的角度是持续变化的，而不同的头戴显示设备的视场角度又不同，因此需要实时获取用户的位姿信息和视场角度，进一步以此确定出用户的可视区域，例如穿戴头戴显示设备的用户10在直播画面20上的可视区域在左右视场角范围在(-47°，+47°)之间和上下视场角度范围在(-12°，+20°)之间的区域内。用户观看可视区域内的画面就可以满足观看需要，而不需要传输整个显示画面，减少传输的数据量。进一步地，所述直播装置包括：存储模块400。存储模块400用于获取直播现场的直播画面，将所述直播画面存储至服务器；具体地，用户在观看直播时，画面是需要实时变动的，通常需要对直播画面进行一定的处理，且同时观看直播的用户可能有多个，每个人观看到方向不同，需要从直播画面截图的显示画面内容也不同。通过将直播画面存储至服务器，便于处理直播画面，例如，检查画面是不是清晰，和声音是否同步等。另外，在观看直播时，通常是众多用户同时观看，将直播画面存储至服务器，也便于分别提取直播画面，便于对直播画面的后续截取。另外，在截取直播画面前，还需要从服务器提取直播画面。也就是说，在获取相应的显示画面之前，需要将直播画面从服务器内提取出，服务器内可包括有存储器和处理器，存储器用于保存直播画面，处理器用于控制提取直播画面，服务器通常设置在直播现场，也可以设置在用户端。进一步地，存储模块400用于控制摄像头采集直播现场画面，获取球形全景图像。摄像头是一种设置在直播现场的画面摄取装置，通过摄像头采集的直播画面是一种球形的立体画面，球形画面在头戴显示设备端进行显示，能够使用户获得更好的沉浸式观看效果。另外通过获取球形全景图像还可以依据用户的需要，能够选取360度景象中的任一处图像。存储模块400还用于将球形全景图像转化为二维平面画面，将二维平面画面存储至服务器。在图像保存的过程中，是以二维平面画面进行存储保存的。在画面显示时，是通过头戴显示设备显示的图像，将二维平面画面的数据提取出来，解压转换获取到相应的显示信号，进行画面显示。另外，将二维平面画面提取出来，参阅图7所示，四个坐标在坐标系中示意图。显示画面提取出，进行读取显示的过程包括，所述显示画面的，同样的，所述平面坐标包括四个坐标值，记录为(x1，y1)、(x2，y2)、(x3，y3)和(x4，y4)，其中x代表横坐标，y代表纵坐标。依据平面坐标读取可视区域对应的显示像素，依据显示像素生成显示画面。具体地，定义读取可视区域对应显示像素起始点为p0则p0＝x1+y1×width其中，width表示直播画面宽度，连续取点个数为pnum，则pnum＝x2-x1读取一行后，开始进行下一行读取，定义下一行读取点为p1则p1＝x1+(y1+1)×width直至读取完可视区域内的最后一行，通常读取的行数为x3-x1，通过读取每个像素点的数值获取到相应的显示画面。进一步地，显示模块300包括压缩单元310。压缩单元310用于对显示画面进行数据压缩，接收压缩后的所述显示画面，将所述显示画面在显示屏幕上直播显示。其中，对显示画面进行数据压缩，能够保证压缩后的数据字节数减少，便于传输，也就是说，经过数据压缩能够进一步减少通信传输的数据量，头戴显示设备接收到经过压缩后的显示画面，进行解压处理，将显示画面在头戴显示设备上进行显示。进一步的减少数据传输量，保证数据通道畅通。本发明还提供一种头戴显示设备，所述头戴显示设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的直播程序；所述直播程序被所述处理器执行时实现如上文所述的直播方法的步骤。本发明头戴显示设备具体实施方式可以参照上述直播方法各实施例，在此不再赘述。本发明还提供一种可读存储介质，所述可读存储介质上存储有直播程序，所直播程序被处理器执行时实现如上文所述的直播方法的步骤。本发明存储介质具体实施方式可以参照上述直播方法各实施例，在此不再赘述。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的
技术领域：
均包括在本发明的专利保护范围内。当前第1页12