一种视频通话背景图的获取方法、装置及网元与流程

本发明涉及视频通话，尤其涉及一种视频通话背景图的获取方法、装置及网元。

背景技术：

1、目前，已经存在一些技术用于实现视频通话过程中的背景处理，如通话过程中的背景替换。背景替换是一种将实际背景进行替换的技术，通常是通过对背景与主画面进行分割后，再对背景进行替换的方式来实现。

2、但是，在现有的背景替换技术在实际应用中容易出现由于通话背景图替换时机不合理，导致整体画面不连贯的问题，影响用户体验。

技术实现思路

1、本发明实施例提供一种视频通话背景图的获取方法、装置及网元，以解决现有技术中视频通话过程中由于视频通话背景图替换时机不合理，导致整体画面不连贯的问题。

2、第一方面，本发明实施例提供了一种视频通话背景图的获取方法，应用于第一网元，包括：

3、获取第二网元发送的音视频流；

4、获取所述音视频流中的第i语句序列和第i+1语句序列；其中，所述第i语句序列包括第i个滑动窗口内的x个语句，所述第i+1语句序列包括第i+1个滑动窗口内的x个语句，i和x为正整数；

5、确定所述第i语句序列与所述第i+1语句序列之间的相似度；

6、在所述相似度小于预设阈值时确定满足背景图的替换时机，并生成与所述第i+1语句序列对应的背景图作为待替换的视频通话背景图。

7、可选地，所述生成与所述第i+1语句序列对应的背景图作为待替换的视频通话背景图之后，所述方法还包括：

8、向第三网元发送所述背景图的下载地址信息，以使所述第三网元通过第四网元向第二网元发送所述背景图的下载地址信息，用于所述第二网元根据所述背景图的下载地址信息，获取所述第i+1语句序列对应的背景图。

9、可选地，所述确定所述第i语句序列与所述第i+1语句序列之间的相似度，包括：

10、将所述第i语句序列输入至特征提取网络，输出第i特征向量序列；

11、将所述第i+1语句序列输入至特征提取网络，输出第i+1特征向量序列；

12、根据所述第i特征向量序列与所述第i+1特征向量序列之间的相似度，确定所述第i语句序列与所述第i+1语句序列之间的相似度。

13、可选地，所述生成与所述第i+1语句序列对应的背景图，包括：

14、根据所述第i+1语句序列，获取背景提示词，所述背景提示词用于描述背景图像的内容；

15、根据所述第i+1语句序列对应的视频画面帧，获取人像主画面对应的画面描述词，所述画面描述词用于描述画面主色；

16、将所述背景提示词和所述画面描述词输入至图像生成模型，输出与所述第i+1语句序列对应的背景图。

17、可选地，所述根据所述第i+1语句序列，获取背景提示词，包括：

18、将所述第i+1语句序列输入至特征提取网络，输出第i+1特征向量序列，所述第i+1特征向量序列中的每个特征向量用于描述对应语句中包括的词语；

19、利用激活函数对所述第i+1特征向量序列进行处理，得到所述第i+1特征向量序列对应的概率值序列，所述概率值序列中的每个概率值用于表征每个词语为关键词的概率；

20、根据所述概率值序列，选取m个关键词作为背景提示词，m为正整数。

21、可选地，所述根据所述第i+1语句序列对应的视频画面帧，获取人像主画面对应的画面描述词，包括：

22、获取所述人像主画面对应的颜色空间特征，所述颜色空间特征包括以下至少一项：亮度分量、绿红色度分量和黄蓝色度分量；

23、根据所述颜色空间特征进行像素聚类，获取所述画面描述词。

24、第二方面，本发明实施例还提供一种视频通话背景图的获取方法，应用于第二网元，包括：

25、向第一网元发送音视频流；

26、获取背景图的下载地址信息；其中，所述背景图是所述音视频流中的与第i+1语句序列对应的背景图，且所述背景图是在所述音视频流中的第i语句序列与所述第i+1语句序列之间的相似度小于预设阈值时生成的，所述第i语句序列包括第i个滑动窗口内的x个语句，所述第i+1语句序列包括第i+1个滑动窗口内的x个语句，x和i为正整数；

27、根据所述背景图的下载地址信息，获取所述第i+1语句序列对应的背景图作为待替换的视频通话背景图。

28、可选地，所述根据所述背景图的下载地址信息，获取所述第i+1语句序列对应的背景图作为待替换的视频通话背景图之后，所述方法还包括：

29、将所述音视频流中的视频通话背景图替换为所述第i+1语句序列对应的背景图，得到更新后的音视频流；其中，所述音视频流是第一终端的用户向第二终端的用户发送的；

30、向所述第二终端发送所述更新后的音视频流。

31、可选地，所述获取背景图的下载地址信息，包括：

32、接收第四网元发送的所述背景图的下载地址信息，所述背景图的下载地址信息是第三网元发送给所述第四网元的。

33、第三方面，本发明实施例还提供一种视频通话背景的获取方法，应用于第三网元，包括：

34、获取背景图的下载地址信息；其中，所述背景图是音视频流中的与第i+1语句序列对应的背景图，且所述背景图是在所述音视频流中的第i语句序列与所述第i+1语句序列之间的相似度小于预设阈值时生成的，所述第i语句序列包括第i个滑动窗口内的x个语句，所述第i+1语句序列包括第i+1个滑动窗口内的x个语句，x和i为正整数；

35、向第四网元发送所述背景图的下载地址信息，以使所述第四网元向第二网元发送所述背景图的下载地址信息，用于所述第二网元根据所述背景图的下载地址信息，获取所述第i+1语句序列对应的背景图作为待替换的视频通话背景图。

36、可选地，所述获取背景图的下载地址信息，包括：

37、接收第一网元发送的所述背景图的下载地址信息；

38、所述接收第一网元发送的所述背景图的下载地址信息之前，所述方法还包括：

39、在确定第一终端的用户开启动态背景生成功能的情况下，向所述第四网元发送媒体流复制请求；

40、接收所述第四网元根据所述媒体流复制请求发送的第一响应消息，所述第一响应消息中携带所述第一网元的地址信息；

41、向所述第一网元发送背景生成控制指令，所述背景生成控制指令中携带所述第三网元的地址信息，以使所述第一网元向所述第三网元发送所述背景图的下载地址信息。

42、第四方面，本发明实施例还提供一种视频通话背景图的获取装置，应用于第一网元，包括：

43、第一获取模块，用于获取第二网元发送的音视频流；

44、第二获取模块，用于获取所述音视频流中的第i语句序列和第i+1语句序列；其中，所述第i语句序列包括第i个滑动窗口内的x个语句，所述第i+1语句序列包括第i+1个滑动窗口内的x个语句，i和x为正整数；

45、第一确定模块，用于确定所述第i语句序列与所述第i+1语句序列之间的相似度；

46、背景生成模块，用于在所述相似度小于预设阈值时确定满足背景图的替换时机，并生成与所述第i+1语句序列对应的背景图作为待替换的视频通话背景图。

47、第五方面，本发明实施例还提供一种视频通话背景图的获取装置，应用于第二网元，包括：

48、第二发送模块，用于向第一网元发送音视频流；

49、第三获取模块，用于获取背景图的下载地址信息；其中，所述背景图是所述音视频流中的与第i+1语句序列对应的背景图，且所述背景图是在所述音视频流中的第i语句序列与所述第i+1语句序列之间的相似度小于预设阈值时生成的，所述第i语句序列包括第i个滑动窗口内的x个语句，所述第i+1语句序列包括第i+1个滑动窗口内的x个语句，x和i为正整数；

50、第四获取模块，用于根据所述背景图的下载地址信息，获取所述第i+1语句序列对应的背景图作为待替换的视频通话背景图。

51、第六方面，本发明实施例还提供一种视频通话背景图的获取装置，应用于第三网元，包括：

52、第五获取模块，用于获取背景图的下载地址信息；其中，所述背景图是音视频流中的与第i+1语句序列对应的背景图，且所述背景图是在所述音视频流中的第i语句序列与所述第i+1语句序列之间的相似度小于预设阈值时生成的，所述第i语句序列包括第i个滑动窗口内的x个语句，所述第i+1语句序列包括第i+1个滑动窗口内的x个语句，x和i为正整数；

53、第四发送模块，用于向第四网元发送所述背景图的下载地址信息，以使所述第四网元向第二网元发送所述背景图的下载地址信息，用于所述第二网元根据所述背景图的下载地址信息，获取所述第i+1语句序列对应的背景图作为待替换的视频通话背景图。

54、第七方面，本发明实施例还提供一种网元，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器，用于读取存储器中的程序实现如上所述的视频通话背景图的获取方法中的步骤。

55、第八方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的视频通话背景图的获取方法中的步骤。

56、第九方面，本发明实施例还提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现如上所述的视频通话背景图的获取方法中的步骤。

57、在本发明实施例中，第一网元通过获取第二网元发送的音视频流；以及获取所述音视频流中的第i语句序列和第i+1语句序列；其中，所述第i语句序列包括第i个滑动窗口内的x个语句，所述第i+1语句序列包括第i+1个滑动窗口内的x个语句，i和x为正整数；进一步地，确定所述第i语句序列与所述第i+1语句序列之间的相似度；在所述相似度小于预设阈值时确定满足背景图的替换时机，并生成与所述第i+1语句序列对应的背景图作为待替换的视频通话背景图。也即，本发明实施例能够根据第i语句序列与第i+1语句序列之间的相似度，确定背景图的替换时机并生成与第i+1语句序列对应的背景图作为待替换的视频通话背景图，这样，能够实现基于通话语义上下文的关系，确定背景替换时机，使背景替换时机更合理，保证了视频通话背景画面的连贯性。