一种显示设备及基于分屏播放的字幕显示方法与流程

本技术涉及显示设备，尤其涉及一种显示设备及基于分屏播放的字幕显示方法。

背景技术：

1、显示设备可以通过分屏技术，在同一屏幕中显示多个分屏窗口，以在不同的分屏窗口中，显示不同的媒资数据。但是，在多个分屏窗口播放不同的媒资数据时，多个媒资数据的音频部分会相互影响，导致用户无法听清媒资数据的音频部分。

2、为此，显示设备可以将分屏窗口分为主窗口和副窗口，在进行分屏显示的过程中，显示设备播放主窗口对应媒资数据的音频部分，副窗口仅显示画面，不播放音频部分，从而避免媒资音频的播放冲突。但是，这样用户仅可以观看副窗口，而无法知晓副窗口所播放的媒资数据的音频部分理解副窗口画面的含义，降低用户观看体验。

技术实现思路

1、为了解决显示设备在分屏播放不同媒资时，仅显示主窗口的媒资音频，导致用户无法根据副窗口中的音频部分理解画面含义的问题。

2、第一方面，本技术提供一种显示设备，包括：

3、显示器，被配置为显示用户界面；

4、音频输出装置，被配置为播放音频数据；

5、控制器，被配置为：

6、响应于分屏控制指令，在所述用户界面显示第一窗口和第二窗口；

7、在两个分屏窗口中选择第一窗口的情况下，获取第一媒资数据和第二媒资数据，所述第一媒资数据为所述第一窗口播放的媒资数据，所述第二媒资数据为第二窗口播放的媒资数据；

8、获取第一字幕数据，所述第一字幕数据由所述第二媒资数据经语义理解处理后得到；

9、控制所述显示器在所述第一窗口中显示所述第一媒资数据对应的媒资画面，以及，在所述第二窗口中显示所述第二媒资数据对应的媒资画面和所述第一字幕数据；

10、在所述显示器显示所述第一媒资数据对应的媒资画面的过程中，控制所述音频输出装置播放所述第一媒资数据的媒资音频。

11、上述技术方案中，显示设备在分屏播放不同的媒资数据时，在第一窗口中显示第一媒资数据的媒资画面，并播放第一媒资数据的媒资音频，在第二窗口中显示第二媒资数据的媒资画面和由第二媒资数据对应的媒资音频执行语义理解得到的第一字幕数据，使用户可以通过第一字幕数据了解第二窗口中所显示的第二媒资数据的画面含义，提高分屏播放的画面体验。

12、在一些实施例中，当所述第二窗口的窗口数量为一个时，所述控制器还被配置为：

13、响应于用户输入的窗口切换指令，语义理解所述第一媒资数据的媒资音频，得到第二字幕数据；

14、控制所述显示器在所述第一窗口中显示所述第二字幕数据，以及，控制所述音频输出装置停止播放所述第一媒资数据的媒资音频，并播放所述第二媒资数据的媒资音频。

15、上述技术方案中，当用户界面中包括一个第二窗口时，用户可以通过窗口切换指令切换将第二窗口为切换主窗口，显示设备可以停止播放第一窗口中第一媒资数据的媒资音频，并显示设备播放第二媒资数据的媒资音频。同时，根据第一媒资数据的媒资音频生成第二字幕数据，使用户通过第二字幕数据了解第一窗口中第一媒资数据的画面含义。

16、在一些实施例中，所述控制器执行获取第一字幕数据的步骤前，还被配置为：

17、检测所述第二媒资数据的媒资字幕数据；

18、若检测到所述媒资字幕数据，则根据所述媒资字幕数据生成所述第一媒资数据。

19、上述技术方案中，在对媒资音频执行语义理解前，显示设备检测第二媒资数据中是否包含媒资字幕数据。若包含媒资字幕数据，则可以直接在第二窗口中显示第一字幕数据，从而节省对媒资音频执行语义理解的时间，提高字幕显示效率。

20、在一些实施例中，所述控制器执行获取第一字幕数据的步骤，具体被配置为：

21、获取用户输入的目标语种信息；

22、获取语音文本数据，所述语音文本数据为根据所述第二媒资数据对应的媒资音频执行语义理解得到；

23、若所述语音文本数据的语种信息与所述目标语种信息不同，则根据所述目标语种信息对所述语音文本数据执行语种翻译，得到第一字幕数据。

24、上述技术方案中，显示设备在第二窗口显示第一字幕数据时，用户可以选择对应的目标语种信息。显示设备可以对第二媒资数据的媒资音频执行语义理解，并根据目标语种信息对得到的语音文本数据执行语种翻译，得到不同语种语言的字幕数据，以适应于不同语种语言为母语的用户。

25、在一些实施例中，还包括存储器，所述存储器被配置为存储语义理解模型，所述控制器执行获取语音文本数据的步骤，具体被配置为：

26、将所述第二媒资数据的媒资音频输入所述语义理解模型，以提取所述第二媒资数据的媒资音频的语音特征和语义特征；

27、获取根据所述语音特征和所述语义特征生成所述语音文本数据。

28、上述技术方案中，显示设备在语义理解第二媒资数据时，可以将第二媒资数据的媒资音频输出语义理解模型，语义理解模型可以提取媒资音频的语音特征和语义特征，从而根据语音特征和语义特征生成语音文本数据，实现文本提取。

29、在一些实施例中，所述控制器执行在所述第一窗口中显示所述第一媒资数据对应的媒资画面的步骤后，还被配置为：

30、响应于用户基于所述第一窗口输入的第一缩放指令，对所述第一窗口执行等比例缩放；

31、根据用户界面的显示区域和执行缩放后的第一窗口，计算剩余显示区域；

32、对所述第二窗口执行等比例缩放，以填充所述剩余显示区域。

33、上述技术方案中，显示设备在缩放第一窗口时，第二窗口会根据第一窗口的缩放而适应性缩放。通过用户界面的显示区域和缩放后的第一窗口计算剩余显示区域，并对第二窗口执行等比例缩放，以填充剩余显示区域，提高用户界面的显示区域使用率。

34、在一些实施例中，所述控制器执行对所述第二窗口执行等比例缩放，以填充所述剩余显示区域的步骤，具体被配置为：

35、计算所述第二窗口与所述剩余显示区域的显示比例；

36、根据所述显示比例对所述第二窗口执行等比例缩放，以及，在等比例缩放所述第二窗口的过程中，根据所述显示比例等比例缩放所述第一字幕数据。

37、上述技术方案中，第一字幕数据可以根据第二窗口的缩放而缩放，使第二窗口中的画面内容与第一字幕数据同步缩放，提高第二窗口与第一字幕数据的缩放同步率。

38、在一些实施例中，所述执行根据所述显示比例等比例缩放所述第一字幕数据的步骤，所述控制器还包括：

39、计算所述第二窗口的显示面积；

40、若所述显示面积小于或等于所述预设面积阈值，则通过所述语义理解模型对所述第一字幕数据对应的文本内容执行语义概括，得到字幕简介数据；

41、控制所述显示器取消显示所述第一字幕数据，以及，在所述第二窗口中显示所述字幕简介数据。

42、上述技术方案中，当第二窗口的显示面积小于预设面积阈值时，字幕数据的显示会遮挡第二窗口的画面内容，因此，显示设备可以对第一字幕数据执行语义概括，从而简化第一字幕数据的数据内容，减少第一字幕数据对第二窗口的遮挡。

43、在一些实施例中，所述控制器执行在所述第二窗口中显示所述第二媒资数据对应的媒资画面和所述第一字幕数据的步骤，具体被配置为：

44、检测所述第二媒资数据的媒资音频中语音时间戳，所述语音时间戳为所述媒资音频中语音数据的时间戳；

45、根据所述语音时间戳，在所述第二窗口中显示第一字幕数据。

46、上述技术方案中，可以检测媒资音频中语音时间戳，获取第二媒资数据中语音数据的播放时间，从而根据语音时间戳显示对应语音内容的第一字幕数据，保持语音时间戳与第一字幕数据的显示同步性，保证第二媒资数据的音画同步效果。

47、第二方面，本技术部分实施例提供一种基于分屏播放的字幕显示方法，应用于第一方面所述的显示设备，所述显示设备包括显示器，被配置为显示用户界面；音频输出装置，被配置为播放音频数据；控制器；所述方法包括：

48、应于分屏控制指令，在所述用户界面显示第一窗口和第二窗口；

49、在两个分屏窗口中选择第一窗口的情况下，获取第一媒资数据和第二媒资数据，所述第一媒资数据为所述第一窗口播放的媒资数据，所述第二媒资数据为第二窗口播放的媒资数据；

50、获取第一字幕数据，所述第一字幕数据由所述第二媒资数据经语义理解处理后得到；

51、控制所述显示器在所述第一窗口中显示所述第一媒资数据对应的媒资画面，以及，在所述第二窗口中显示所述第二媒资数据对应的媒资画面和所述第一字幕数据；

52、在所述显示器显示所述第一媒资数据对应的媒资画面的过程中，控制所述音频输出装置播放所述第一媒资数据的媒资音频。

53、由以上技术方案可知，本技术提供一种显示设备及基于分屏播放的字幕显示方法，所述方法通过响应于分屏控制指令，在所述用户界面显示第一窗口和第二窗口，并在两个分屏窗口中选择第一窗口的情况下，获取第一媒资数据和第二媒资数据，并语义理解第二媒资数据的媒资音频，得到第一字幕数据。控制显示器在第一窗口中显示第一媒资数据对应的媒资画面，在第二窗口中显示第二媒资数据对应的媒资画面和第一字幕数据，并控制音频输出装置播放第一媒资数据的媒资音频。本技术通过对第二窗口中的媒资音频语义理解，得到第一字幕数据，使用户可以通过第一媒资数据的媒资音频和画面了解第一窗口的画面含义，并根据第一字幕数据了解第二窗口中播放的第二媒资数据的画面含义，提高分屏播放时的用户观看体验。