通信方法、装置以及系统与流程

本技术涉及通信，更具体地涉及一种通信方法、装置以及系统。

背景技术：

1、视频会议媒体面架构包括两种方案：多点会议单元(multipoint conferencingunit，mcu)方案和选择性转发单元(selective forwarding unit，sfu)方案。mcu方案中，服务器将来自于同一个会议中的所有终端设备的音视频流进行混合得到一个混合后的音视频流，再将该混合后的音视频流发送给该同一个会议的所有终端设备。sfu方案中，服务器将来自于某个终端设备的音视频流直接转发给其他终端设备。

2、上述任一单一方案中，服务器向终端设备发送的音频帧和视频帧之间不会存在明显不同步的问题，因为音/视频帧的时间戳都是由同一个实体产生的。若音/视频帧的时间戳由不同实体产生，例如，视频帧采用sfu方案(即视频时间戳由终端设备产生)，音频帧采用mcu方案(即音频时间戳由服务器混音后产生)，则可能导致音频帧与视频帧之间的明显不同步。因此，如何实现音频帧与视频帧之间的同步是目前亟待解决的技术问题。

技术实现思路

1、本技术提供一种通信方法、装置以及系统，能够实现音频帧与视频帧之间的同步。

2、第一方面，提供了一种通信方法，包括：网络设备向第二终端设备发送第一音频帧和第一音频时间戳，以及向第二终端设备发送第一视频帧和第一视频时间戳，第一音频帧是网络设备基于至少第二音频帧而得到的混音帧，第一视频帧与第二音频帧是第一终端设备同步发送的，第一音频时间戳是网络设备为第一音频帧产生的时间戳，第一视频时间戳是第一终端设备为第一视频帧产生的时间戳；网络设备向第二终端设备发送第二视频帧、第二视频时间戳以及第二音频时间戳，第二视频时间戳是第一终端设备为第二视频帧产生的时间戳，第二音频时间戳是网络设备为第三音频帧产生的时间戳，第三音频帧是网络设备基于至少第四音频帧而得到的混音帧，第二视频帧与第四音频帧是第一终端设备同步发送的。第二音频时间戳、第二视频时间戳、第一音频时间戳以及第一视频时间戳用于确定第一视频帧和第一音频帧应被同步播放。

3、具体来说，网络设备同时向终端设备发送视频帧的视频时间戳和混音帧的音频时间戳，该混音帧与该视频帧之间是互为同步的关系，如此，接收端可以确定该视频时间戳与该音频时间戳之间具有对应关系，并可以基于该对应关系为其它混音帧确定与之同步的视频帧，进而能够实现音频帧与视频帧之间的同步。

4、一种可能的实现方式，该方法还包括：网络设备接收第一终端设备发送的第三音频时间戳和第四音频时间戳，第三音频时间戳是第一终端设备为第二音频帧产生的时间戳，第四音频时间戳是第一终端设备为第四音频帧产生的时间戳；网络设备根据第三音频时间戳、第四音频时间戳、混音帧采样率、音频帧采样率以及第一音频时间戳确定第二音频时间戳。

5、如此，网络设备在得到第三音频帧之前可以得到第三音频帧对应的第二音频时间戳。

6、一种可能的实现方式，该网络设备根据第三音频时间戳、第四音频时间戳、混音帧采样率、音频帧采样率以及第一音频时间戳确定第二音频时间戳，包括：网络设备确定第四音频时间戳与第三音频时间戳的差值；网络设备确定该差值与音频帧采样率的比值；网络设备根据该比值与混音帧采样率的乘积以及第一音频时间戳之间的和值确定第二音频时间戳。

7、通过上述技术方案，网络设备可以确定第二音频时间戳。

8、一种可能的实现方式，该网络设备向第二终端设备发送第二视频帧、第二视频时间戳以及第二音频时间戳，包括：网络设备向第二终端设备发送第一数据包，第一数据包包括第二视频帧、第二视频时间戳以及第二音频时间戳。

9、如此，第二终端设备可以确定第二视频时间戳对应的第二视频帧与第二音频时间戳对应的第二音频帧之间的对应关系。

10、一种可能的实现方式，第一数据包为实时传输协议数据包。

11、一种可能的实现方式，该网络设备向第二终端设备发送第一音频帧和第一音频时间戳，以及向该第二终端设备发送第一视频帧和第一视频时间戳，包括：网络设备向第二终端设备发送第二数据包和第三数据包，第二数据包包括第一音频帧与第一音频时间戳，第二数据包包括第一视频帧与第一视频时间戳。

12、一种可能的实现方式，第二数据包和第三数据包均为实时传输协议数据包。

13、一种可能的实现方式，第一视频帧与第二视频帧是网络设备通过ip多媒体子系统(ip multimedia subsystem，ims)数据通道发送的，第一音频帧是网络设备通过ims语音承载通道发送的。

14、第二方面，提供了一种通信方法，包括：接收网络设备发送的第一音频帧和第一音频时间戳，以及接收网络设备发送的第一视频帧和第一视频时间戳，第一视频时间戳是第一终端设备为第一视频帧产生的时间戳，第一音频时间戳是网络设备为第一音频帧产生的时间戳，第一音频帧是网络设备基于至少第二音频帧而得到的混音帧，第一视频帧与第二音频帧是第一终端设备同步发送的；接收网络设备发送的第二视频帧、第二视频时间戳以及第二音频时间戳，第二视频时间戳是第一终端设备为第二视频帧产生的时间戳，第二音频时间戳是网络设备为第三音频帧产生的时间戳，第三音频帧是网络设备基于至少第四音频帧而得到的混音帧，第二视频帧与第四音频帧是第一终端设备同步发送的；基于第二视频时间戳、第二音频时间戳、第一音频时间戳以及第一视频时间戳同步播放第一视频帧和第一音频帧。

15、具体来说，第二方面所述方案的执行主体可以为第二终端设备，也可以为第二终端设备中的芯片或者模块等。

16、通过上述方案，第二终端设备根据网络设备同时发送的第二视频时间戳和第二音频时间戳确定第二视频时间戳对应的视频帧是第二音频时间戳对应的混音帧的同步视频帧，且第二终端设备可以根据混音帧采样率、视频帧采样率、第二视频时间戳、第二音频时间戳、第一音频时间戳以及第一视频时间戳确定第一视频帧是第一音频帧的同步视频帧，并同步播放第一视频帧和第一音频帧，如此，可以实现音频帧与视频帧之间的同步。

17、一种可能的实现方式，该基于第二视频时间戳、第二音频时间戳、第一音频时间戳以及第一视频时间戳同步播放第一视频帧和第一音频帧，包括：确定第二音频时间戳与第一音频时间戳的第一差值；确定第一差值与混音帧采样率的比值；确定该比值与视频帧采样率的乘积；第二视频时间戳与该乘积的差值为第一视频时间戳时，确定第一视频帧对应第一音频帧；同步播放第一视频帧和第一音频帧。

18、可以理解，上述的混音帧采样率以及视频帧采用率等参数可以通过缺省配置或者双方协商确定等方式进行配置。

19、如此，第二终端设备可以确定第一视频帧是第一音频帧的同步视频帧。

20、一种可能的实现方式，该接收网络设备发送的第二视频帧、第二视频时间戳以及第二音频时间戳，包括：接收网络设备发送的第一数据包，第一数据包包括第二视频帧、第二视频时间戳以及第二音频时间戳。

21、一种可能的实现方式，第一数据包为实时传输协议数据包。

22、一种可能的实现方式，该接收网络设备发送的第一音频帧和第一音频时间戳，以及接收所述网络设备发送的第一视频帧和第一视频时间戳，包括：接收网络设备发送的第二数据包和第三数据包，第二数据包包括第一音频帧与第一音频时间戳，第二数据包包括第一视频帧与第一视频时间戳。

23、一种可能的实现方式，第二数据包和第三数据包均为实时传输协议数据包。

24、一种可能的实现方式，第一视频帧与第二视频帧是网络设备通过ims数据通道发送的，第一音频帧是网络设备通过ims语音承载通道发送的。

25、第三方面，提供了一种通信方法，包括：网络设备向第二终端设备发送第一音频帧和第一音频时间戳，以及向第二终端设备发送第一视频帧和第一视频时间戳，第一音频帧是网络设备基于至少第二音频帧而得到的混音帧，第一视频帧与第二音频帧是第一终端设备同步发送的，第一音频时间戳是网络设备为第一音频帧产生的时间戳，第一视频时间戳是第一终端设备为第一视频帧产生的时间戳；第二终端设备接收第一音频帧、第一音频时间戳、第一视频帧以及第一视频时间戳；网络设备向第二终端设备发送第二视频帧、第二视频时间戳以及第二音频时间戳，第二视频时间戳是第一终端设备为第二视频帧产生的时间戳，第二音频时间戳是网络设备为第三音频帧产生的时间戳，第三音频帧是网络设备基于至少第四音频帧而得到的混音帧，第二视频帧与第四音频帧是第一终端设备同步发送的；第二终端设备接收第二视频帧、第二视频时间戳以及第二音频时间戳；第二终端设备基于第二视频时间戳、第二音频时间戳、第一音频时间戳以及第一视频时间戳同步播放第一视频帧和第一音频帧。

26、一种可能的实现方式，第二终端设备基于第二视频时间戳、第二音频时间戳、第一音频时间戳以及第一视频时间戳同步播放第一视频帧和第一音频帧，包括：第二终端设备确定第二音频时间戳与第一音频时间戳的第一差值；第二终端设备确定该第一差值与混音帧采样率的比值；第二终端设备确定该比值与视频帧采样率的乘积；第二视频时间戳与该乘积的差值为第一视频时间戳时，第二终端设备确定第一视频帧对应第一音频帧；第二终端设备同步播放第一视频帧和第一音频帧。

27、一种可能的实现方式，网络设备向第二终端设备发送第二视频帧、第二视频时间戳以及第二音频时间戳，包括：网络设备向第二终端设备发送第一数据包，第一数据包包括第二视频帧、第二视频时间戳以及第二音频时间戳。

28、一种可能的实现方式，第一数据包为实时传输协议数据包。

29、一种可能的实现方式，网络设备向第二终端设备发送第一音频帧和第一音频时间戳，以及向第二终端设备发送第一视频帧和第一视频时间戳，包括：网络设备向第二终端设备发送第二数据包和第三数据包，第二数据包包括第一音频帧与第一音频时间戳，第二数据包包括第一视频帧与第一视频时间戳。

30、一种可能的实现方式，第二数据包和第三数据包均为实时传输协议数据包。

31、一种可能的实现方式，第一视频帧与第二视频帧是网络设备通过ims数据通道发送的，第一音频帧是网络设备通过ims语音承载通道发送的。

32、第四方面，提供了一种通信方法，包括：网络设备向多方通信业务中的第一终端设备并行发送音频数据包序列和视频数据包序列。其中，该音频数据包序列中的每一个音频数据包包含混音帧的数据和混音时间戳，该混音帧为该网络设备基于至少来自该多方通信业务中第二终端设备的音频帧混音而得，该混音时间戳是该网络设备为该混音帧产生的；该视频数据包序列中的每一个视频数据包包含视频帧的数据和视频时间戳，该视频帧来自该第二终端设备，该视频时间戳是该第二终端设备为该视频帧产生的；该视频数据包序列中至少第一视频数据包还包含第一混音时间戳，该第一混音时间戳与该音频数据包序列中第一音频数据包中包含的混音时间戳相同，该第一混音时间戳与该第一视频数据包中的视频时间戳用于确定该视频数据包序列中第二视频数据包中的视频帧与该音频数据包序列中第二音频数据包中的混音帧应被同步播放。

33、一种可能的实现方式，该视频数据包序列与该音频数据包序列通过不同的通道传输。

34、一种可能的实现方式，该视频数据包序列通过ims数据通道传输，该音频数据包序列通过ims语音承载通道传输。

35、一种可能的实现方式，该视频数据包和该音频数据包均为实时传输协议数据包。

36、第五方面，提供了一种通信方法，包括：多方通信业务中的第一终端设备从网络设备接收并行接收音频数据包序列和视频数据包序列。其中，该音频数据包序列中的每一个音频数据包包含混音帧的数据和混音时间戳，该混音帧为该网络设备基于至少来自该多方通信业务中第二终端设备的音频帧混音而得，该混音时间戳是该网络设备为该混音帧产生的；该视频数据包序列中的每一个视频数据包包含视频帧的数据和视频时间戳，该视频帧来自该第二终端设备，该视频时间戳是该第二终端设备为该视频帧产生的；该视频数据包序列中至少第一视频数据包还包含第一混音时间戳，该第一混音时间戳与该音频数据包序列中第一音频数据包中包含的混音时间戳相同；第一终端设备基于该第一混音时间戳与该第一视频数据包中的视频时间戳同步播放该视频数据包序列中第二视频数据包中的视频帧与该音频数据包序列中第二音频数据包中的混音帧。

37、一种可能的实现方式，该视频数据包序列与该音频数据包序列通过不同的通道传输。

38、一种可能的实现方式，该视频数据包序列通过ims数据通道传输，该音频数据包序列通过ims语音承载通道传输。

39、一种可能的实现方式，该视频数据包和该音频数据包均为实时传输协议数据包。

40、第六方面，提供了一种通信装置，该通信装置可以是网络设备，也可以是网络设备中的装置(例如，芯片，或者芯片系统，或者电路)，或者是能够和网络设备匹配使用的装置。

41、一种可能的实现中，该通信装置包括用于执行第一方面中任一项所描述的方法/操作/步骤/动作所一一对应的模块或单元，该模块或单元可以是硬件电路，也可是软件，也可以是硬件电路结合软件实现。

42、第七方面，提供了一种通信装置，该通信装置可以是终端设备，也可以是终端设备中的装置(例如，芯片，或者芯片系统，或者电路)，或者是能够和终端设备匹配使用的装置。

43、一种可能的实现中，该通信装置包括用于执行第二方面中任一项所描述的方法/操作/步骤/动作所一一对应的模块或单元，该模块或单元可以是硬件电路，也可是软件，也可以是硬件电路结合软件实现。

44、第八方面，提供了一种通信装置，该通信装置可以是网络设备，也可以是网络设备中的装置(例如，芯片，或者芯片系统，或者电路)，或者是能够和终端设备匹配使用的装置。

45、一种可能的实现中，该通信装置包括用于执行第四方面中任一项所描述的方法/操作/步骤/动作所一一对应的模块或单元，该模块或单元可以是硬件电路，也可是软件，也可以是硬件电路结合软件实现。

46、第九方面，提供了一种通信装置，该通信装置可以是终端设备，也可以是终端设备中的装置(例如，芯片，或者芯片系统，或者电路)，或者是能够和终端设备匹配使用的装置。

47、一种可能的实现中，该通信装置包括用于执行第五方面中任一项所描述的方法/操作/步骤/动作所一一对应的模块或单元，该模块或单元可以是硬件电路，也可是软件，也可以是硬件电路结合软件实现。

48、第十方面，提供了一种通信装置，包括处理器，该处理器用于，通过执行计算机程序或指令或者通过逻辑电路，使得该通信装置执行第一方面以及第一方面的任一种可能中所述的方法；或者，使得该通信装置执行第二方面以及第二方面的任一种可能中所述的方法；或者，使得该通信装置执行第三方面以及第三方面的任一种可能中所述的方法；或者，使得该通信装置执行第四方面以及第四方面的任一种可能中所述的方法；或者，使得该通信装置执行第五方面以及第五方面的任一种可能中所述的方法。

49、一种可能的实现方式中，该通信装置还包括存储器，其用于存储该计算机程序或指令。

50、一种可能的实现方式中，该通信装置还包括通信接口，其用于输入和/或输出信号。

51、第十一方面，提供了一种通信装置，包括逻辑电路和输入输出接口，该输入输出接口用于输入和/或输出信号，该逻辑电路用于执行第一方面以及第一方面的任一种可能中所述的方法；或者，该逻辑电路用于执行第二方面以及第二方面的任一种可能中所述的方法；或者，该逻辑电路用于执行第三方面以及第三方面的任一种可能中所述的方法；或者，该逻辑电路用于执行第四方面以及第四方面的任一种可能中所述的方法；或者，该逻辑电路用于执行第五方面以及第五方面的任一种可能中所述的方法。

52、第十二方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序或指令，当该计算机程序或该指令在计算机上运行时，使得第一方面以及第一方面的任一种可能中所述的方法被执行；或者，使得第二方面以及第二方面的任一种可能中所述的方法被执行；或者，使得第三方面以及第三方面的任一种可能中所述的方法；或者，使得第四方面以及第四方面的任一种可能中所述的方法被执行；或者，使得第五方面以及第五方面的任一种可能中所述的方法。

53、第十三方面，提供了一种计算机程序产品，包含指令，当该指令在计算机上运行时，使得第一方面以及第一方面的任一种可能中所述的方法被执行；或者，使得第二方面以及第二方面的任一种可能中所述的方法被执行；或者，使得第三方面以及第三方面的任一种可能中所述的方法被执行；或者，使得第四方面以及第四方面的任一种可能中所述的方法被执行；或者，使得第五方面以及第五方面的任一种可能中所述的方法被执行。

54、第十四方面，提供了一种通信系统，包括：终端设备与网络设备，终端设备用于执行第二方面以及第二方面中任一项所述的方法，该网络设备用于执行第一方面以及第一方面中任一项所述的方法；或者，终端设备与网络设备用于执行第三方面以及第三方面的任一种可能中所述的方法；或者，终端设备用于执行第五方面以及第五方面中任一项所述的方法，该网络设备用于执行第四方面以及第四方面中任一项所述的方法。

55、关于第四方面—第十四方面的有益效果的描述可以参见第一方面—第二方面的有益效果的描述。