视频实时传输场景下的设备控制方法、系统及设备与流程

本技术涉及数据处理技术，尤其涉及一种视频实时传输场景下的设备控制方法、系统及设备。

背景技术：

1、网络直播是指通过互联网将现场视频、音频和数据内容传输到观众，实现实时在线播放的一种互动式媒体形式。随着互联网技术的发展和普及，网络直播已成为新兴的娱乐和传媒形式。

2、在现有的直播过程中，通常是由导播配合主播进行协同直播，导播在主播的指示下对展示的视角进行切换，从而对直播过程中所展示的对象具有更佳的展示效果。

3、而在仅只有主播的场景下，往往就会因为无人对直播设备进行对应控制，而导致直播的展示视角单一的问题。

技术实现思路

1、本技术提供一种高延时网络状态下的直播信息展示方法、系统及电子设备，用以解决单人直播时因为无人对直播设备进行对应控制，而导致直播的展示视角单一的问题。

2、第一方面，本技术提供一种视频实时传输场景下的设备控制方法，应用于视频实时传输场景下的设备控制系统，所述系统包括控制器以及与所述控制器连接的设备序列，所述设备序列包括摄像头序列，所述摄像头序列包括多个摄像头，其中，所述摄像头序列中的不同摄像头用于获取目标区域不同拍摄角度的图像，所述方法，包括：

3、通过所述摄像头序列中的第一摄像头获取所述目标区域的第一图像，所述第一图像为所述目标区域在第一拍摄角度下所拍摄的图像，所述第一图像为当前用于进行视频实时传输的图像；

4、若根据所述第一图像以及预设手势识别模型确定所述第一图像中存在目标手势元素，则通过所述摄像头序列中的第二摄像头获取所述目标区域的第二图像；

5、将用于进行视频实时传输的图像切换为至少包括所述第二图像；

6、在预设时长内，所述第一摄像头持续获取所述目标区域的所述第一图像，若根据所述第一图像以及所述预设手势识别模型确定所述第一图像在所述预设时长内未存在所述目标手势元素，则将所述第一图像切换为用于进行视频实时传输的图像。

7、在一种可能的设计中，若所述目标手势元素为第一切换手势元素，则所述第二摄像头为所述摄像头序列中排序位于所述第一摄像头的上一个摄像头；若所述目标手势元素为第二切换手势元素，则所述第二摄像头为所述摄像头序列中排序位于所述第一摄像头的下一个摄像头；或者，若所述目标手势元素为指示手势元素，则所述第二摄像头为所述摄像头序列中与所述指示手势元素映射对应的摄像头；

8、对应的，所述将用于进行视频实时传输的图像切换为至少包括所述第二图像，包括：

9、将用于进行视频实时传输的图像切换为所述第二图像；或者，

10、若所述目标手势元素为模式手势元素，则所述第二摄像头为所述摄像头序列中除所述第一摄像头外的至少一个摄像头；

11、对应的，所述将用于进行视频实时传输的图像切换为至少包括所述第二图像，包括：

12、将用于进行视频实时传输的图像切换为所述第一图像与所述第二图像进行图像融合处理后的融合图像。

13、在一种可能的设计中，在所述将用于进行视频实时传输的图像切换为所述第一图像与所述第二图像进行图像融合处理后的融合图像之前，还包括：

14、对所述第一图像与所述第二图像进行预处理，以生成第一调整图像与第二调整图像；

15、通过预设surf算法从所述第一调整图像与所述第二调整图像中提取特征点对集合；

16、根据所述特征点对集合对所述第一调整图像与所述第二调整图像进行拼接，以形成所述融合图像。

17、在一种可能的设计中，所述对所述第一图像与所述第二图像进行预处理，以生成第一调整图像与第二调整图像，包括：

18、将待处理图像划分为m*n个图形区块，以形成图形区块矩阵p，所述待处理图像包括所述第一图像与所述第二图像，所述图形区块矩阵p为：

19、，

20、根据所述图形区块矩阵p生成待校正图形区块集合j，所述待校正图形区块集合j为：

21、，

22、其中，；

23、根据预设变形校正模型对所述待校正图形区块集合j中的各个图形区块进行变形校正处理，以生成校正后图形区块集合；

24、根据所述校正后图形区块集合以及所述图形区块矩阵p生成调整图像，所述调整图像包括所述第一调整图像与所述第二调整图像，其中，所述校正后图形区块集合中的各个校正后图形区块用于替换所述待校正图形区块集合中对应的图形区块。

25、在一种可能的设计中，所述根据所述预设变形校正模型对所述待校正图形区块集合j中的各个图形区块进行变形校正处理，以生成校正后图形区块集合，包括：

26、根据公式1以及所述待校正图形区块集合j中的任一待校正图形区块确定所述待校正图形区块对应的校正后图形区块,所述公式1为：

27、，

28、其中，为所述校正后图形区块中横坐标为i，纵坐标为j的像素点的坐标；为所述待校正图形区块中横坐标为i，纵坐标为j的像素点的坐标；为所述待校正图形区块的中心像素点的坐标；为用于拍摄所述待处理图像的目标摄像头的当前焦距，为所述目标摄像头的最小焦距，为所述目标摄像头的最大焦距；为所述待校正图形区块中横坐标为i，纵坐标为j的像素点与中心像素点之间的欧氏距离；为第一变形系数，的取值大小与所述待处理图像的长宽比成正比；为第二变形系数，的取值大小与所述待处理图像的面积成正比；

29、根据各个待校正图形区块确定对应的校正后图形区块，以生成所述校正后图形区块集合。

30、在一种可能的设计中，所述设备序列还包括麦克风序列以及显示器，所述麦克风序列包括多个麦克风，其中，所述麦克风序列中的不同麦克风对应不同的声音处理效果；所述方法，还包括：

31、通过所述麦克风序列中的第一麦克风获取第一音频；

32、对所述第一音频进行语音识别，以获得文字识别信息；

33、若所述文字识别信息中存在预设敏感词汇列表中的目标词汇时，将用于进行视频实时传输的音频切换为第二麦克风所获取的第二音频，并在所述显示器中显示所述目标词汇，其中，所述第二麦克风所对应的声音处理效果为变声效果或消声效果；

34、在预设等待时长后，将所述第一音频切换为用于进行视频实时传输的音频，其中，所述预设等待时长大于当前网络延迟时长。

35、在一种可能的设计中，在对所述第一音频进行语音识别，以获得文字识别信息之后，还包括：

36、若所述文字识别信息中存在目标指令元素，则所述第二麦克风为所述麦克风序列中与所述目标指令元素映射对应的麦克风；

37、在所述显示器上显示所述第二麦克风对应的声音处理效果；

38、当通过根据所述第一图像以及预设手势识别模型确定所述第一图像中存在确认手势元素后，将所述用于进行视频实时传输的音频切换为所述第二麦克风所获取的所述第二音频。

39、第二方面，本技术提供一种视频实时传输场景下的设备控制系统，包括：控制器以及与所述控制器连接的设备序列，所述设备序列包括摄像头序列，所述摄像头序列包括多个摄像头，其中，所述摄像头序列中的不同摄像头用于获取目标区域不同拍摄角度的图像；

40、通过所述摄像头序列中的第一摄像头获取所述目标区域的第一图像，所述第一图像为所述目标区域在第一拍摄角度下所拍摄的图像，所述第一图像为当前用于进行视频实时传输的图像；

41、若所述控制器根据所述第一图像以及预设手势识别模型确定所述第一图像中存在目标手势元素，则通过所述摄像头序列中的第二摄像头获取所述目标区域的第二图像；

42、通过所述控制器将用于进行视频实时传输的图像切换为至少包括所述第二图像；

43、在预设时长内，所述第一摄像头持续获取所述目标区域的所述第一图像，若根据所述第一图像以及所述预设手势识别模型确定所述第一图像在所述预设时长内未存在所述目标手势元素，则通过所述控制器将所述第一图像切换为用于进行视频实时传输的图像。

44、在一种可能的设计中，若所述目标手势元素为第一切换手势元素，则所述第二摄像头为所述摄像头序列中排序位于所述第一摄像头的上一个摄像头；若所述目标手势元素为第二切换手势元素，则所述第二摄像头为所述摄像头序列中排序位于所述第一摄像头的下一个摄像头；或者，若所述目标手势元素为指示手势元素，则所述第二摄像头为所述摄像头序列中与所述指示手势元素映射对应的摄像头；

45、所述控制器，用于将用于进行视频实时传输的图像切换为所述第二图像；或者，

46、若所述目标手势元素为模式手势元素，则所述第二摄像头为所述摄像头序列中除所述第一摄像头外的至少一个摄像头；

47、所述控制器，用于将用于进行视频实时传输的图像切换为所述第一图像与所述第二图像进行图像融合处理后的融合图像。

48、在一种可能的设计中，在所述将用于进行视频实时传输的图像切换为所述第一图像与所述第二图像进行图像融合处理后的融合图像之前，还包括：

49、对所述第一图像与所述第二图像进行预处理，以生成第一调整图像与第二调整图像；

50、通过预设surf算法从所述第一调整图像与所述第二调整图像中提取特征点对集合；

51、根据所述特征点对集合对所述第一调整图像与所述第二调整图像进行拼接，以形成所述融合图像。

52、在一种可能的设计中，所述控制器，具体用于：

53、将待处理图像划分为m*n个图形区块，以形成图形区块矩阵p，所述待处理图像包括所述第一图像与所述第二图像，所述图形区块矩阵p为：

54、，

55、根据所述图形区块矩阵p生成待校正图形区块集合j，所述待校正图形区块集合为：

56、，

57、其中，；

58、根据预设变形校正模型对所述待校正图形区块集合j中的各个图形区块进行变形校正处理，以生成校正后图形区块集合；

59、根据所述校正后图形区块集合以及所述图形区块矩阵p生成调整图像，所述调整图像包括所述第一调整图像与所述第二调整图像，其中，所述校正后图形区块集合中的各个校正后图形区块用于替换所述待校正图形区块集合中对应的图形区块。

60、在一种可能的设计中，所述控制器，具体用于：

61、根据公式1以及所述待校正图形区块集合j中的任一待校正图形区块确定所述待校正图形区块对应的校正后图形区块,所述公式1为：

62、，

63、其中，为所述校正后图形区块中横坐标为i，纵坐标为j的像素点的坐标；为所述待校正图形区块中横坐标为i，纵坐标为j的像素点的坐标；为所述待校正图形区块的中心像素点的坐标；为用于拍摄所述待处理图像的目标摄像头的当前焦距，为所述目标摄像头的最小焦距，为所述目标摄像头的最大焦距；为所述待校正图形区块中横坐标为i，纵坐标为j的像素点与中心像素点之间的欧氏距离；为第一变形系数，的取值大小与所述待处理图像的长宽比成正比；为第二变形系数，的取值大小与所述待处理图像的面积成正比；

64、根据各个待校正图形区块确定对应的校正后图形区块，以生成所述校正后图形区块集合。

65、在一种可能的设计中，所述设备序列还包括麦克风序列以及显示器，所述麦克风序列包括多个麦克风，其中，所述麦克风序列中的不同麦克风对应不同的声音处理效果；所述方法，还包括：

66、通过所述麦克风序列中的第一麦克风获取第一音频；

67、对所述第一音频进行语音识别，以获得文字识别信息；

68、若所述文字识别信息中存在预设敏感词汇列表中的目标词汇时，将用于进行视频实时传输的音频切换为第二麦克风所获取的第二音频，并在所述显示器中显示所述目标词汇，其中，所述第二麦克风所对应的声音处理效果为变声效果或消声效果；

69、在预设等待时长后，将所述第一音频切换为用于进行视频实时传输的音频，其中，所述预设等待时长大于当前网络延迟时长。

70、在一种可能的设计中，若所述文字识别信息中存在目标指令元素，则所述第二麦克风为所述麦克风序列中与所述目标指令元素映射对应的麦克风；

71、在所述显示器上显示所述第二麦克风对应的声音处理效果；

72、当通过根据所述第一图像以及预设手势识别模型确定所述第一图像中存在确认手势元素后，所述控制器，用于将所述用于进行视频实时传输的音频切换为所述第二麦克风所获取的所述第二音频。

73、第三方面，本技术提供一种电子设备，包括：

74、处理器；以及，

75、存储器，用于存储所述处理器的可执行指令；

76、其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中所述的任一种可能的方法。

77、第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面中所述的任一种可能的方法。

78、本技术提供的一种视频实时传输场景下的设备控制方法、系统及设备，通过摄像头序列中的第一摄像头获取目标区域的第一图像，若根据第一图像以及预设手势识别模型确定第一图像中存在目标手势元素，则通过摄像头序列中的第二摄像头获取目标区域的第二图像，并且，将用于进行视频实时传输的图像切换为至少包括第二图像，此外，在预设时长内，第一摄像头持续获取目标区域的第一图像，若根据第一图像以及预设手势识别模型确定第一图像在预设时长内未存在目标手势元素，则将第一图像切换为用于进行视频实时传输的图像，从而实现在视频实时传输场景下，可以响应于手势来进行摄像头的自动切换。