视频通话方法、装置、电子设备以及存储介质与流程

文档序号:26357787发布日期:2021-08-20 20:33阅读:98来源:国知局
视频通话方法、装置、电子设备以及存储介质与流程

本申请涉及视频通话技术领域,更具体地,涉及一种视频通话方法、装置、电子设备以及存储介质。



背景技术:

随着科学技术的发展,电子设备的使用越来越广泛,功能越来越多,已经成为人们日常生活中的必备之一。目前,电子设备可以用于进行视频通话,但是,在视频通话的过程中,视频通话质量的好坏,取决于视频通话的双方设备之间的网络质量,在网络质量较差时,会导致视频通话的卡顿,造成用户的体验不佳。



技术实现要素:

鉴于上述问题,本申请提出了一种视频通话方法、装置、电子设备以及存储介质,以解决上述问题。

第一方面,本申请实施例提供了一种视频通话方法,应用于视频通话的发送端,所述发送端用于与视频通话的接收端连接,所述方法包括:当所述发送端与所述接收端进行视频通话时,检测与所述接收端之间的网络质量;当检测到与所述接收端之间的网络质量低于预设网络质量时,将采集的通话语音数据进行文本转换,获得通话文本数据;将所述通话文本数据发送至所述接收端,以指示所述接收端在视频通话界面显示所述通话文本数据。

第二方面,本申请实施例提供了一种视频通话方法,应用于视频通话的接收端,所述接收端用于与视频通话的发送端连接,所述方法包括:接收所述发送端发送的通话文本数据,其中,所述通话文本数据由所述发送端在检测到与所述接收端进行视频通话时的网络质量低于预设网络质量时,将采集的通话语音数据进行文本转换获得;在视频通话界面显示所述通话文本数据。

第三方面,本申请实施例提供了一种视频通话装置,应用于视频通话的发送端,所述发送端用于与视频通话的接收端连接,所述装置包括:网络质量检测模块,用于当所述发送端与所述接收端进行视频通话时,检测与所述接收端之间的网络质量;通话文本数据获得模块,用于当检测到与所述接收端之间的网络质量低于预设网络质量时,将采集的通话语音数据进行文本转换,获得通话文本数据;通话文本数据发送模块,用于将所述通话文本数据发送至所述接收端,以指示所述接收端在视频通话界面显示所述通话文本数据。

第四方面,本申请实施例提供了一种视频通话装置,应用于视频通话的接收端,所述接收端用于与视频通话的发送端连接,所述装置包括:通话文本数据接收模块,用于接收所述发送端发送的通话文本数据,其中,所述通话文本数据由所述发送端在检测到与所述接收端进行视频通话时的网络质量低于预设网络质量时,将采集的通话语音数据进行文本转换获得;通话文本数据显示模块,用于在视频通话界面显示所述通话文本数据。

第五方面,本申请实施例提供了一种电子设备,包括存储器和处理器,所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时所述处理器执行上述方法。

第六方面,本申请实施例提供了一种计算机可读取存储介质,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述方法。

本申请实施例提供的视频通话方法、装置、电子设备以及存储介质,当发送端与接收端进行视频通话时,检测与接收端之间的网络质量,当检测到与接收端之间的网络质量低于预设网络质量时,将采集的通话语音数据进行文本转换,获得通话文本数据,将通话文本数据发送至接收端,以指示接收端在视频通话界面显示通话文本数据,从而通过在发送端和接收端之间进行视频通话的网络质量较差时,由发送端将通话语音数据转换为通话文本数据发送至接收端进行显示,以避免网络质量差对视频通话的影响,提升视频通话的通讯体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。

图1示出了可用于本申请实施例提供的视频通话方法的一个应用环境示意图;

图2示出了可用于本申请实施例提供的视频通话方法的又一种应用环境示意图;

图3示出了本申请实施例提供的视频通话方法的时序图;

图4示出了本申请实施例提供的接收端的界面示意图;

图5示出了本申请一个实施例提供的视频通话方法的流程示意图;

图6示出了本申请又一个实施例提供的视频通话方法的流程示意图;

图7示出了本申请再一个实施例提供的视频通话方法的流程示意图;

图8示出了本申请另一个实施例提供的视频通话方法的流程示意图;

图9示出了本申请又再一个实施例提供的视频通话方法的流程示意图;

图10示出了本申请又另一个实施例提供的视频通话方法的流程示意图;

图11示出了本申请又又再一个实施例提供的视频通话方法的流程示意图;

图12示出了本申请一个实施例提供的视频通话装置的模块框图;

图13示出了本申请又一个实施例提供的视频通话装置的模块框图;

图14示出了本申请实施例用于执行根据本申请实施例的视频通话方法的电子设备的框图;

图15示出了本申请实施例的用于保存或者携带实现根据本申请实施例的视频通话方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。

目前,电子设备可以被用于进行视频通话,以将视频通话的音视频数据从双方设备的其中一方设备分享至视频通话的双方设备的另一方设备,例如,将视频通话的发送端一方的音视频数据发送至视频通话的接收端一方,但是,在视频通话的过程中,视频通话质量的好坏,取决于视频通话的双方设备之间的网络质量,在网络质量较差时,会造成在某一段时间内的带宽不足以支持音视频数据的传输,从而会导致视频通话的卡顿,并导致接收端一方的用户不能在该时间段内知道发送端一方想要表达的内容,因此造成用户的体验不佳。

针对上述问题,发明人经过长期的研究发现,并提出了本申请实施例提供的视频通话方法、装置、电子设备以及存储介质,通过在发送端和接收端之间进行视频通话的网络质量较差时,由发送端将通话语音数据转换为通话文本数据发送至接收端进行显示,以避免网络质量差对视频通话的影响,提升视频通话的通讯体验。其中,具体的视频通话方法在后续的实施例中进行详细的说明。

下面将可用于本申请实施例提供的视频通话方法的应用环境进行描述。

请参阅图1,图1示出了可用于本申请实施例提供的视频通话方法的一个应用环境示意图。如图1所示,该应用环境包括视频通话的发送端100和视频通话的接收端200,其中,发送端100和接收端200连接,例如,发送端100和接收端200可以通过短距离近场通信的方式连接,如发送端100和接收端200可以通过蓝牙连接,可以通过nfc连接。

请参阅图2,图2示出了可用于本申请实施例提供的视频通话方法的又一种应用环境示意图。如图2所示,该应用环境包括视频通话的发送端100、视频通话的接收端200以及用于连接发送端100和接收端200的服务端300,发送端100和服务端300连接,接收端200和服务端300连接,以实现发送端100和接收端200之间的数据交互。

其中,发送端100可以包括智能手机、平板电脑、台式电脑、穿戴式电子设备等,接收端200可以包括智能手机、平板电脑、台式电脑、穿戴式电子设备等。服务端300可以报考传统服务端、云服务端等。

在一些实施方式中,该发送端100和接收端200之间除了进行视频通话之外,还可以进行视频教学、视频会议、视频直播等,在此不做限定。其中,发送端100的数量可以为一个或多个,接收端的数量可以为一个或多个,作为一种方式,当发送端100和接收端200进行视频通话时,则发送端100的数量可以为一个,且接收端200的数量可以为一个;作为又一种方式,当发送端100和接收端200之间进行视频会议时,则发送端100的数量可以为多个,且接收端200的数量可以为多个;作为再一种方式,当发送端100和接收端200进行视频直播时,则发送端100的数量可以为一个,且接收端200的数量可以为多个。

请参阅图3,图3示出了本申请实施例提供的视频通话方法的时序图。所述视频通话方法用于通过在发送端和接收端之间进行视频通话的网络质量较差时,由发送端将通话语音数据转换为通话文本数据发送至接收端进行显示,以避免网络质量差对视频通话的影响,提升视频通话的通讯体验。下面将针对图3所示的流程进行详细的阐述,所述视频通话方法具体可以包括以下步骤:

步骤s110:当所述发送端与所述接收端进行视频通话时,所述发送端检测与所述接收端之间的网络质量。

在本实施例中,可以对发送端所处的当前模式进行监测,其中,发送端所处的当前模式可以包括视频通话模式、语音通话模式、电话通话模式、视频直播模式、视频教学模式、视频会议模式等,在此不做限定。其中,当检测到发送端与接收端进入视频通话模式,或者检测到发送端与接收端处于视频通话的过程中,则可以检测与接收端之间的网络质量。可以理解的,所述发送端可以向接收端发起视频通话请求,并且接收端接受该视频通话请求时进入视频通话模式;或者可以由接收端向发送端发起视频通话请求,并且在发送端接受该视频通话请求时进入视频通话模式,在此不做限定。

作为一种方式,该视频通话模式可以包括双方视频通话模式,也可以包括多方视频通话模式,即视频会议模式、视频教学模式等,在此不做限定。可以理解的,当视频通话模式为双方视频通话模式时,则接收端的数量为一个,可以检测发送端与一个接收端之间的网络质量;当视频通话模式为多方视频通话模式时,则接收端的数量为多个,可以检测发送端与多个接收端之间的网络质量。

在本实施例中,当确定发送端与接收端进行视频通话时,则可以检测发送端与接收端之间的网络质量。作为一种方式,由于发送端和接收端之间的网络质量会随着时间等因素变化,因此,当确定发送端与接收端进行视频通话时,可以采用实时检测的方式检测发送端与接收端之间的网络质量。

在一些实施方式中,网络质量可以包括重传率、网络信号强度、信道占用比、误差向量幅度中的一种或几种的组合。例如,可以检测发送端与接收端之间的重传率,基于该发送端与接收端之间的重传率,确定发送端与接收端之间的网络质量;可以检测发送端与接收端的之间的网络信号强度,基于该发送端与接收端之间的网络信号强度,确定发送端与接收端之间的网络质量;可以检测发送端与接收端之间的重传率和网络信号强度,基于该发送端与接收端之间的重传率和网络信号强度,确定发送端与接收端之间的网络质量。

步骤s120:当检测到与所述接收端之间的网络质量低于预设网络质量时,所述发送端将采集的通话语音数据进行文本转换,获得通话文本数据。

在一些实施方式中,发送端可以预先设置并存储有预设网络质量,该预设网络质量用于作为发送端与接收端之间的网络质量的判断依据,因此,在本实施例中,当检测到发送端与接收端之间的网络质量时,可以将发送端与接收端之间的网络质量与预设网络质量进行比较,以判断检测到的发送端与接收端之间的网络质量是否低于预设网络质量,以获得判断结果。

其中,当判断结果表征发送端与接收端之间的网络质量等于或高于预设网络质量时,则可以确定发送端与接收端之间的网络质量良好,发送端与接收端之间的带宽足以支持音视频数据包的传输,则可以将发送端采集的音视频数据发送至接收端,接收端接收到该音视频数据后在视频通话界面显示。

其中,当判断结果表征发送端与接收端之间的网络质量低于预设网络质量时,则可以确定发送端与接收端之间的网络质量较差,发送端与接收端之间的带宽不足以支持音视频数据包的传输,则可以将发送端采集的通话语音数据进行文本转换,获得通话文本数据。

作为一种方式,发送端可以包括音视频传感器,则在视频通话的过程中,发送端可以通过音视频传感器采集通话视频数据,并在检测到与接收端之间的网络质量低于预设网络质量时,从通话视频数据中提取通话语音数据,并将通话语音数据进行文本转换,获得通话文本数据。例如,该音视频传感器可以包括摄像头,则在视频通话的过程中,发送端可以通过摄像头采集通话视频数据。作为又一种方式,发送端可以包括音频传感器(麦克风),则在视频通话的过程中,发送端可以通过麦克风采集通话语音数据,将通话语音数据进行文本转换,获得通话文本数据。

在一些实施方式中,发送端可以包括通话转写模块,则在检测到与接收端之间的网络质量低于预设网络质量时,可以通过通话转写模块将采集的通话语音数据进行文本转换,获得通话文本数据。在一些实施方式中,该通话转写模块可以为翻译模块,则在检测到与接收端之间的网络质量低于预设网络质量时,可以通过翻译模块将采集的通话语音数据进行文本翻译,获得通话文本数据。

步骤s130:所述发送端将所述通话文本数据发送至所述接收端。

在一些实施方式中,发送端在获得通话文本数据后,可以将该通话文本数据发送至接收端。作为一种方式,当发送端和接收端通过短距离近场通信连接时,则发送端可以通过短距离近场通信的方式(如蓝牙、nfc)的方式将通话文本数据发送至接收端。作为又一种方式,当发送端和接收端通过服务器连接时,则发送端可以将通话文本数据发送至服务器,并通过服务器将通话文本数据转发至接收端。

在一些实施方式中,发送端可以通过datachannel、websocket、mq等将通话文本数据发送至接收端,在此不做限定。

步骤s140:所述接收端在视频通话界面显示所述通话文本数据。

在一些实施方式中,接收端接收到发送端发送的通话文本数据后,可以在视频通话界面显示该通话文本数据,从而可以使得在极端弱网情况下进行视频通话时,依然可以保持基本信息的传递,以及保证不会因为单方面网络抖动,造成交互信息丢失,优化用户在视频通话过程中的使用体验。另外,在视频通话界面显示通话文本数据的过程中,通话视频界面还可以显示于视频通话对象(发送端)对应的卡通人物的图像。

请参阅图4,图4示出了本申请实施例提供的接收端的界面示意图。如图4所示,在发送端与接收端之间的网络质量低于预设网络质量时,可以在视频通话界面显示通话文本数据。

本申请实施例提供的视频通话方法,当发送端与接收端进行视频通话时,发送端检测与接收端之间的网络质量,当检测到与接收端之间的网络质量低于预设网络质量时,将采集的通话语音数据进行文本转换,获得通话文本数据,将通话文本数据发送至接收端,接收端在视频通话界面显示通话文本数据,从而通过在发送端和接收端之间进行视频通话的网络质量较差时,由发送端将通话语音数据转换为通话文本数据发送至接收端进行显示,以避免网络质量差对视频通话的影响,提升视频通话的通讯体验。

请参阅图5,图5示出了本申请一个实施例提供的视频通话方法的流程示意图。所述视频通话方法用于通过在发送端和接收端之间进行视频通话的网络质量较差时,由发送端将通话语音数据转换为通话文本数据发送至接收端进行显示,以避免网络质量差对视频通话的影响,提升视频通话的通讯体验。在具体的实施例中,所述视频通话方法应用于如图12所示的视频通话装置400以及配置有视频通话装置400的发送端100(图14)。下面将以发送端为例,说明本实施例的具体流程,其中,该发送端用于与视频通话的接收端连接,当然,可以理解的,本实施例所应用的发送端可以包括智能手机、平板电脑、台式电脑、穿戴式电子设备等,在此不做限定。下面将针对图5所示的流程进行详细的阐述,所述视频通话方法具体可以包括以下步骤:

步骤s210:当所述发送端与所述接收端进行视频通话时,检测与所述接收端之间的网络质量。

步骤s220:当检测到与所述接收端之间的网络质量低于预设网络质量时,将采集的通话语音数据进行文本转换,获得通话文本数据。

步骤s230:将所述通话文本数据发送至所述接收端,以指示所述接收端在视频通话界面显示所述通话文本数据。

其中,步骤s210-步骤s230的具体描述请参阅步骤s110-步骤s140,在此不再赘述。

本申请一个实施例提供的视频通话方法,当发送端与接收端进行视频通话时,检测与接收端之间的网络质量,当检测到与接收端之间的网络质量低于预设网络质量时,将采集的通话语音数据进行文本转换,获得通话文本数据,将通话文本数据发送至接收端,以指示接收端在视频通话界面显示通话文本数据,从而通过在发送端和接收端之间进行视频通话的网络质量较差时,由发送端将通话语音数据转换为通话文本数据发送至接收端进行显示,以避免网络质量差对视频通话的影响,提升视频通话的通讯体验。

请参阅图6,图6示出了本申请又一个实施例提供的视频通话方法的流程示意图。该方法应用于上述发送端,该发送端用于与视频通话的接收端连接,下面将针对图6所示的流程进行详细的阐述,所述视频通话方法具体可以包括以下步骤:

步骤s310:当所述发送端与所述接收端进行视频通话时,检测与所述接收端之间的网络质量。

其中,步骤s310的具体描述请参阅步骤s110,在此不再赘述。

步骤s320:当检测到与所述接收端之间的网络质量低于预设网络质量时,获取所述通话语音数据和所述通话语音数据对应的时间戳。

在一些实施方式中,当检测到发送端与接收端之间的网络质量低于预设网络质量时,则可以确定发送端与接收端之间的网络质量较差,发送端与接收端之间的带宽不足以支持音视频数据包的传输,则可以获取通话语音数据和通话语音数据对应的时间戳。其中,通话语音数据对应的时间戳可以反映通话语音数据的总时长以及通话语音数据中的各个语音数据对应的时间点。

在一些实施方式中,发送端可以包括时钟模块,则当检测到与接收端之间的网络质量低于预设网络质量时,可以通过时钟模块获取通话语音数据对应的时间戳。

步骤s330:将所述通话语音数据进行文本转换,获得所述通话文本数据。

其中,步骤s330的具体描述请参阅步骤s120,在此不再赘述。

步骤s340:将所述通话文本数据和所述通话语音数据对应的时间戳发送至所述接收端,以指示所述接收端在视频通话界面按所述通话语音数据对应的时间戳显示所述通话文本数据。

在一些实施方式中,发送端在获得通话文本数据和通话语音数据对应的时间戳后,可以将该通话文本数据和通话语音数据对应的时间戳发送至接收端。作为一种方式,当发送端和接收端通过短距离近场通信连接时,则发送端可以通过短距离近场通信的方式(如蓝牙、nfc)的方式将通话文本数据和通话语音数据对应的时间戳发送至接收端。作为又一种方式,当发送端和接收端通过服务器连接时,则发送端可以将通话文本数据和通话语音数据对应的时间戳发送至服务器,并通过服务器将通话文本数据转发至接收端。

在一些实施方式中,接收端在接收到发送端发送的通话文本数据和通话语音数据对应的时间戳后,可以在视频通话界面按该通话语音数据对应的时间戳显示通话文本数据,以将通话文本数据所显示的时间和通话语音数据所对应的时间对应,以便在网络质量恢复后不影响实际的音视频数据的播放,从而即使在网络卡顿的情况下,也能实现通话文本数据和通话语音数据的同步。作为一种方式,该接收端可以包括同步音频模块,接收端在接收到发送端发送的通话文本数据和通话语音数据对应的时间戳后,可以通过同步音频模块将通话语音数据和通话文本数据进行对应,以在视频通话界面按该通话语音数据对应的时间戳显示通话文本数据。

本申请又一个实施例提供的视频通话方法,当发送端与接收端进行视频通话时,检测与接收端之间的网络质量,当检测到与接收端之间的网络质量低于预设网络质量时,获取通话语音数据和通话语音数据对应的时间戳,将通话语音数据进行文本转换,获得通话文本数据,将通话文本数据和通话语音数据对应的时间戳发声至接收端,以指示接收端在视频通话界面按通话数据对应的时间戳显示通话文本数据。相较于图5所示的视频通话方法,本实施例获取通话语音数据对应的时间戳,并按该通话语音数据对应的时间戳显示通话文本数据,从而提升通话文本数据的显示效果。

请参阅图7,图7示出了本申请再一个实施例提供的视频通话方法的流程示意图。该方法应用于上述发送端,该发送端用于与视频通话的接收端连接,在本实施例中,该发送端安装有第一webrtc客户端,接收端安装有第二webrtc客户端,第二webrtc客户端包括neteq模块,发送端和接收端通过第一webrtc客户端和第二webrtc客户端进行视频通话,下面将针对图7所示的流程进行详细的阐述,所述视频通话方法具体可以包括以下步骤:

步骤s410:当所述发送端与所述接收端进行视频通话时,接收所述接收端发送的丢包信息,其中,所述丢包信息由所述接收端利用所述neteq模块对所述发送端发送的通话音频数据进行丢包检测获得。

其中,网络实时通信(webreal-timecommunication,简称webrtc)旨在给浏览器与手机或电脑的web应用提供简单的javascript接口,使其具备rtc(real-timecommunications)实时通信能力。意味着开发者在支持webrtc浏览器上开发web应用仅需简单的javascript语句就可以实现复杂的多媒体rtc功能,极大降低了开发难度和开发成本,w3c等组织正在制定webrtc标准javascriptapi接口。webrtc整个项目技术架构中,webrtc底层提供了音视频多媒体的核心技术,包括音视频采集、编解码、网络传输、显示渲染等功能,同时提供nativec++api接口,供外部应用调用。浏览器所提供的webrtc标准javascriptapi接口的最终也是通过内部调用webrtcnativec++api接口实现。

在本实施例中,发送端安装有第一webrtc客户端,接收端安装有第二webrtc客户端,发送端和接收端通过第一webrtc客户端和第二webrtc客户端进行视频通话。另外,第二webrtc客户端包括neteq模块,其中,neteq模块主要包含两个部分,一部分用于将接收到的数据放入接收端的缓存区,另一部分用于每间隔若干时间将缓存区的数据拿出来进行播放。

在一些实施方式中,该neteq模块可以包括微控(microcontrolunit,简称mcu)模块和数字信号处理(digitalsignalprocessing,简称dsp)模块。其中,mcu负责控制从网络收到的语音包在jitterbuffer里的插入和提取,同时控制dsp模块调用算法处理解码后的脉冲编码调制(pulsecodemodulation,简称pcm)信号,其中,dsp可以用于负责解码以及解码后的pcm信号处理,pcm信号处理算法包括加速、减速、丢包补偿、融合等。

在一些实施方式中,在发送端与接收端通过第一webrtc客户端和第二webrtc客户端进行视频通话时,接收端可以利用neteq模块对发送端所发送的通话音频数据进行丢包检测获得丢包信息,并将丢包信息发送至发送端,相应地,发送端可以接收接收端所发送的丢包信息。作为一种方式,在发送端与接收端通过第一webrtc客户端和第二webrtc客户端进行视频通话时,接收端可以通过neteq模块包括的mcu模块控制dsp模块对发送端所发送的通话音频数据进行丢包检测获得丢包信息,再通过nack模块将丢包信息发送至发送端,相应地,发送端可以接收接收端所发送的丢包信息。

步骤s420:当基于所述丢包信息确定所述发送端发送的通话音频数据发生丢包事件时,确定与所述接收端之间的网络质量低于预设网络质量。

在一些实施方式中,发送端可以预先设置并存储有预设丢包率,该预设丢包率用于作为发送端发送的通话音频数据的丢包率的判断依据。因此,在本实施例中,发送端在接收到接收端发送的丢包信息后,可以对丢包信息进行分析获得丢包信息所表征的丢包率,并将丢包率与预设丢包率进行比较,当丢包率大于预设丢包率时,可以确定发送端发送的通话音频数据发生丢包事件,则可以确定发送端与接收端之间的网络质量低于预设网络质量。

在一些实施方式中,接收端可以预先设置并存储有预设丢包率,该预设丢包率用于作为发送端发送的通话音频数据的丢包率的判断依据。因此,在本实施例中,接收端在检测到丢包信息后,可以对丢包信息进行分析获得丢包信息所表征的丢包率,并将丢包率与预设丢包率进行比较,当丢包率大于预设丢包率时,可以确定发送端发送的通话音频数据发生丢包事件,则接收端可以将丢包信息发送至发送端,因此,当发送端接收到接收端发送的丢包信息时,便可以确定发生丢包事件时,以及确定发送端与接收端之间的网络质量低于预设网络质量。

步骤s430:当检测到与所述接收端之间的网络质量低于预设网络质量时,获取所述通话语音数据和所述通话语音数据对应的时间戳。

其中,步骤s430的具体描述请参阅步骤s320,在此不再赘述。

步骤s440:将所述通话语音数据进行文本转换,获得所述通话文本数据。

其中,步骤s440的具体描述请参阅步骤s120,在此不再赘述。

步骤s450:将所述通话文本数据和所述通话语音数据对应的时间戳发送至所述接收端,以指示所述接收端利用所述neteq模块根据所述通话语音数据对应的时间戳确定所述通话文本数据对应的时间戳,并在所述视频通话界面按所述通话文本数据对应的时间戳显示所述通话文本数据。

在一些实施方式中,发送端在获得通话文本数据和通话语音数据对应的时间戳后,可以将该通话文本数据和通话语音数据对应的时间戳发送至接收端。作为一种方式,当发送端和接收端通过短距离近场通信连接时,则发送端可以通过短距离近场通信的方式(如蓝牙、nfc)的方式将通话文本数据和通话语音数据对应的时间戳发送至接收端。作为又一种方式,当发送端和接收端通过服务器连接时,则发送端可以将通话文本数据和通话语音数据对应的时间戳发送至服务器,并通过服务器将通话文本数据转发至接收端。

在一些实施方式中,接收端在接收到发送端发送的通话文本数据和通话语音数据对应的时间戳后,可以利用neteq模块根据通话语音数据对应的时间戳确定通话文本数据对应的时间戳,其中,语音数据对应的时间戳和通话文本数据对应的时间戳同步,并在视频通话界面按该通话文本数据对应的时间戳显示通话文本数据,以将通话文本数据所显示的时间和通话语音数据所对应的时间对应,以便在网络质量恢复后不影响实际的音视频数据的播放,从而使得即使在网络卡顿的情况下,也能实现通话文本数据和通话语音数据的同步。

本申请再一个实施例提供的视频通话方法,当发送端与接收端进行视频通话时,检测与接收端之间的网络质量,当检测与接收端之间的网络质量低于预设网络质量时,获取通话语音数据与通话语音数据对应的时间戳,将通话语音数据进行文本转换,获得通话文本数据,将通话文本数据和通话语音数据对应的时间戳发送至接收端,以指示接收利用neteq模块根据通话语音数据对应的时间戳确定通话文本数据对应的时间戳,并在视频通话界面按通话文本数据对应的时间戳显示通话文本数据。相较于图5所示的视频通话方法,本实施例获取通话语音数据对应的时间戳,并通过接收端的neteq按该通话语音数据对应的时间戳计算通话显示文本数据对应的时间戳显示通话文本数据,从而提升通话文本数据的显示效果。

请参阅图8,图8示出了本申请另一个实施例提供的视频通话方法的流程示意图。该方法应用于上述发送端,该发送端用于与视频通话的接收端连接,下面将针对图8所示的流程进行详细的阐述,所述视频通话方法具体可以包括以下步骤:

步骤s510:当所述发送端与所述接收端进行视频通话时,检测与所述接收端之间的链路的往返时延。

在本实施例中,当发送端与接收端进行视频通话时,则可以检测发送端与接收端之间的链路的往返时延。作为一种方式,当发送端与接收端进行视频通话时,发送端可以在第一时间向接收端发送消息,若在第二时间接收到接收端响应该消息的反馈时,则可以计算第二时间和第一时间之间的时间差,基于该时间差可以确定发送端与接收端之间的往返时延。

步骤s520:当所述往返时延大于预设时延时,确定与所述接收端之间的网络质量低于预设网络质量。

在一些实施方式中,发送端可以预先设置并存储有预设时延,该预设时延用于作为发送端与接收端之间的链路的往返时延的判断依据。因此,在本实施例中,在获得发送端与接收端之间的链路的往返时延后,可以将往返时延与预设时延进行比较,以判断往返时延是否大于预设时延,获得判断结果。

其中,当判断结果表征发送端与接收端之间的往返时延不大于预设时延时,可以确定发送端与接收端之间的网络质量等于或高于预设网络质量时,则可以确定发送端与接收端之间的网络质量良好,发送端与接收端之间的带宽足以支持音视频数据包的传输,则可以将发送端采集的音视频数据发送至接收端,接收端接收到该音视频数据后在视频通话界面显示。

其中,当判断结果表征发送端与接收端之间的往返时延大于预设时延时,可以确定发送端与接收端之间的网络质量低于预设网络质量时,则可以确定发送端与接收端之间的网络质量较差,发送端与接收端之间的带宽不足以支持音视频数据包的传输,则可以将发送端采集的通话语音数据进行文本转换,获得通话文本数据。

步骤s530:当检测到与所述接收端之间的网络质量低于预设网络质量时,将采集的通话语音数据进行文本转换,获得通话文本数据。

步骤s540:将所述通话文本数据发送至所述接收端,以指示所述接收端在视频通话界面显示所述通话文本数据。

其中,步骤s530-步骤s540的具体描述请参阅步骤s120-步骤s140,在此不再赘述。

本申请另一个实施例提供的视频通话方法,当发送端与接收端进行视频通话时,检测与接收端之间的链路的往返时延,当往返时延大于预设时延时,确定与接收端之间的网络质量低于预设网络质量,当检测到与接收端之间的网络质量低于预设网络质量时,将采集的通话语音数据进行文本转换,获得通话文本数据,将通话文本数据发送至接收端,以指示接收端在视频通话界面显示通话文本数据。相较于图5所示的视频通话方法,本实施例还在发送端与接收端之间的时延大于预设时延时,确定与接收端之间的网络质量低于预设网络质量,从而提升网络质量的检测准确性。

请参阅图9,图9示出了本申请又再一个实施例提供的视频通话方法的流程示意图。该方法应用于上述发送端,该发送端用于与视频通话的接收端连接,且发送端和接收端通过sfu服务端连接,下面将针对图9所示的流程进行详细的阐述,所述视频通话方法具体可以包括以下步骤:

步骤s610:当所述发送端通过所述sfu服务端与所述接收端进行视频通话时,检测与所述sfu服务端之间的网络质量作为第一网络质量,并接收所述服务端发送的第二网络质量,其中,所述第二网络质量用于表征所述sfu服务端与所述接收端之间的网络质量。

在本实施例中,发送端与sfu服务器连接,接收端与sfu服务器连接,发送端与接收端通过sfu服务端进行视频通话。因此,可以理解的,响应发送端与接收端之间的网络质量的因素包括:发送端与sfu服务端之间的网络抖动以及接收端与sfu服务端之间的网络抖动。

在一些实施方式中,当发送端通过sfu服务端与接收端进行视频通话时,则可以检测发送端与sfu服务端之间的网络质量以及检测接收端与sfu服务端之间的网络质量。于本实施例中,可以检测发送端与sfu服务端之间的网络质量作为第一网络质量,以及检测接收端与sfu服务端之间的网络质量作为第二网络质量。

步骤s620:当所述第一网络质量和/或所述第二网络质量低于预设网络质量时,确定与所述接收端之间的网络质量低于预设网络质量。

在一些实施方式中,发送端可以预先设置并存储有预设网络质量,该预设网络质量用于作为发送端与sfu服务端之间的网络质量(第一网络质量)的判断依据,以及作为接收端与sfu服务端之间的网络质量(第二网络质量)的判断依据,因此,在本实施例中,当检测到发送端与sfu服务端之间的第一网络质量时,可以将发送端与sfu服务端之间的第一网络质量与预设网络质量进行比较,以判断检测到的发送端与sfu服务端之间的第一网络质量是否低于预设网络质量,以及,当检测到接收端与sfu服务端之间的第二网络质量时,可以将接收端与sfu服务端之间的第二网络质量与预设网络质量进行比较,以判断检测到的接收端与sfu服务端之间的第二网络质量是否低于预设网络质量,以获得判断结果。

其中,当判断结果表征发送端与sfu服务端之间的网络质量等于或高于预设网络质量,且接收端与sfu服务端之间的网络质量等于或高于预设网络质量时,则可以确定发送端与接收端之间的网络质量良好,发送端与接收端之间的带宽足以支持音视频数据包的传输,则可以将发送端采集的音视频数据发送至接收端,接收端接收到该音视频数据后在视频通话界面显示。

其中,当判断结果表征发送端与sfu服务端之间的网络质量低于预设网络质量,或者,接收端与sfu服务端之间的网络质量低于预设网络质量时,则可以确定发送端与接收端之间的网络质量较差,发送端与接收端之间的带宽不足以支持音视频数据包的传输,则可以将发送端采集的通话语音数据进行文本转换,获得通话文本数据。

其中,当判断结果表征发送端与sfu服务端之间的网络质量低于预设网络质量,以及,接收端与sfu服务端之间的网络质量低于预设网络质量时,则可以确定发送端与接收端之间的网络质量较差,发送端与接收端之间的带宽不足以支持音视频数据包的传输,则可以将发送端采集的通话语音数据进行文本转换,获得通话文本数据。

步骤s630:当检测到与所述接收端之间的网络质量低于预设网络质量时,将采集的通话语音数据进行文本转换,获得通话文本数据。

步骤s640:将所述通话文本数据发送至所述接收端,以指示所述接收端在视频通话界面显示所述通话文本数据。

其中,步骤s630-步骤s640的具体描述请参阅步骤s120-步骤s140,在此不再赘述。

本申请又再一个实施例提供的视频通话方法,当发送端通过sfu服务端与接收端进行视频通话时,检测与sfu服务端之间的网络质量作为第一网络质量,并接收服务端发送的第二网络质量,其中,第二网络质量用于表征sfu服务端与接收端之间的网络质量,当第一网络质量和/或第二网络质量低于预设网络质量时,确定与接收端之间的网络质量低于预设网络质量,当检测到与接收端之间的网络质量低于预设网络质量时,将采集的通话语音数据进行文本转换,获得通话文本数据,将通话文本数据发送至接收端,以指示接收端在视频通话界面显示通话文本数据。相较于图5所示的视频通话方法,本实施例还在发送端通过sfu服务端与接收端进行视频通话时,若发送端与sfu服务端之间的网络质量低于预设网络质量和/或sfu服务端与接收端之间的网络质量低于预设网络,则确定发送端和接收端之间的网络质量低于预设网络质量,从而提升网络质量的检测准确性。

请参阅图10,图10示出了本申请又另一个实施例提供的视频通话方法的流程示意图。该方法应用于上述发送端,该发送端用于与视频通话的接收端连接,下面将针对图10所示的流程进行详细的阐述,所述视频通话方法具体可以包括以下步骤:

步骤s710:当所述发送端与所述接收端进行视频通话时,检测与所述接收端之间的网络质量。

步骤s720:当检测到与所述接收端之间的网络质量低于预设网络质量时,将采集的通话语音数据进行文本转换,获得通话文本数据。

步骤s730:将所述通话文本数据发送至所述接收端,以指示所述接收端在视频通话界面显示所述通话文本数据。

其中,步骤s710-步骤s730的具体描述请参阅步骤s110-步骤s140,在此不再赘述。

步骤s740:检测与所述接收端之间的网络质量。

在本实施例中,在接收端显示通话文本数据的过程中,发送端可以继续检测与接收端之间的网络质量。在一些实施方式中,发送端可以采用实时检测的方式检测与接收端之间的网络质量。在一些实施方式中,发送端可以通过检测与接收端之间的重传率、网络信号强度、信道占用比和/或误差向量幅度的方式,确定与接收端之间的网络质量。

步骤s750:当检测到与所述接收端之间的网络质量等于或高于所述预设网络质量时,获取通话语音数据。

在一些实施方式中,发送端可以预先设置并存储有预设网络质量,该预设网络质量用于作为发送端与接收端之间的网络质量的判断依据,因此,在本实施例中,当再次检测到发送端与接收端之间的网络质量时,可以将发送端与接收端之间的网络质量与预设网络质量进行比较,以判断检测到的发送端与接收端之间的网络质量是否低于预设网络质量,以获得判断结果。

其中,当判断结果表征发送端与接收端之间的网络质量等于或高于预设网络质量时,则可以确定发送端与接收端之间的网络质量良好,发送端与接收端之间的带宽足以支持音视频数据包的传输,则发送端可以获取通话语音数据。

其中,当判断结果表征发送端与接收端之间的网络质量低于预设网络质量时,则可以确定发送端与接收端之间的网络质量较差,发送端与接收端之间的带宽不足以支持音视频数据包的传输,则可以将发送端采集的通话语音数据进行文本转换,获得通话文本数据。

步骤s760:将所述通话语音数据发送至所述接收端,以指示所述接收端播放所述通话语音数据。

在一些实施方式中,发送端在获得通话语音数据后,可以将该通话语音数据发送至接收端。作为一种方式,当发送端和接收端通过短距离近场通信连接时,则发送端可以通过短距离近场通信的方式(如蓝牙、nfc)的方式将通话语音数据发送至接收端。作为又一种方式,当发送端和接收端通过服务器连接时,则发送端可以将通话文本数据发送至服务器,并通过服务器将通话语音数据转发至接收端。

在一些实施方式中,接收端接收到发送端发送的通话语音数据后,可以播放通话语音数据,当然,接收端接收到发送端发送的通话语音数据可以包含在通话视频数据中,该通话视频数据还可以包括通话图像数据,此时,接收端可以显示通话图像数据以及播放通话语音数据,从而可以在网络恢复时可以自动关闭通话文本数据,切换为音视频通话的链路,优化了用户在视频通话中的使用体验。

本申请又另一个实施例提供的视频通话方法,当发送端与接收端进行视频通话时,检测与接收端之间的网络质量,当检测到与接收端之间的网络质量低于预设网络质量时,将采集的通话语音数据进行文本转换,获得通话文本数据,将通话文本数据发送至接收端,以指示接收端在视频通话界面显示通话文本数据,检测与接收端之间的网络质量,当检测到与接收端之间的网络质量等于或高于预设网络质量时,获取通话语音数据,将通话语音数据发送至接收端,以指示接收端播放通话语音数据。相较于图5所示的视频通话方法,本实施例还在网络质量恢复时对应恢复语音通话,提升视频通话的效果。

请参阅图11,图11示出了本申请又又再一个实施例提供的视频通话方法的流程示意图。所述视频通话方法用于通过在发送端和接收端之间进行视频通话的网络质量较差时,由发送端将通话语音数据转换为通话文本数据发送至接收端进行显示,以避免网络质量差对视频通话的影响,提升视频通话的通讯体验。在具体的实施例中,所述视频通话方法应用于如图13所示的视频通话装置500以及配置有视频通话装置500的接收端200(图14)。下面将以接收端为例,说明本实施例的具体流程,其中,该接收端用于与视频通话的发送端连接,当然,可以理解的,本实施例所应用的接收端可以包括智能手机、平板电脑、台式电脑、穿戴式电子设备等,在此不做限定。下面将针对图11所示的流程进行详细的阐述,所述视频通话方法具体可以包括以下步骤:

步骤s810:接收所述发送端发送的通话文本数据,其中,所述通话文本数据由所述发送端在检测到与所述接收端进行视频通话时的网络质量低于预设网络质量时,将采集的通话语音数据进行文本转换获得。

步骤s820:在视频通话界面显示所述通话文本数据。

其中,步骤s810-步骤s820的具体描述请参阅步骤s110-步骤s140,在此不再赘述。

本申请又又再一个实施例提供的视频通话方法,接收发送端发送的通话文本数据,其中,通话文本数据由发送端在检测到与接收端进行视频通话时的网络质量低于预设网络质量时,将采集的通话语音数据进行文本转换获得,在视频通话界面显示通话文本数据,从而通过在发送端和接收端之间进行视频通话的网络质量较差时,由发送端将通话语音数据转换为通话文本数据发送至接收端进行显示,以避免网络质量差对视频通话的影响,提升视频通话的通讯体验。

请参阅图12,图12示出了本申请一个实施例提供的视频通话装置的模块框图。该方法应用于上述发送端,该发送端用于与视频通话的接收端连接,下面将针对图12所示的模块进行阐述,所述视频通话装置400包括:网络质量检测模块410、通话文本数据获得模块420以及通话文本数据发送模块430,其中:

网络质量检测模块410,用于当所述发送端与所述接收端进行视频通话时,检测与所述接收端之间的网络质量。

进一步地,所述网络质量检测模块410包括:丢包信息接收子模块和第一网络质量检测子模块,其中:

丢包信息接收子模块,用于当所述发送端与所述接收端进行视频通话时,接收所述接收端发送的丢包信息,其中,所述丢包信息由所述接收端利用所述neteq模块对所述发送端发送的通话音频数据进行丢包检测获得。

第一网络质量检测子模块,用于当基于所述丢包信息确定所述发送端发送的通话音频数据发生丢包事件时,确定与所述接收端之间的网络质量低于预设网络质量。

进一步地,所述网络质量检测模块410包括:往返时延检测子模块和第二网络质量检测子模块,其中:

往返时延检测子模块,用于当所述发送端与所述接收端进行视频通话时,检测与所述接收端之间的链路的往返时延。

第二网络质量检测子模块,用于当所述往返时延大于预设时延时,确定与所述接收端之间的网络质量低于预设网络质量。

进一步地,所述网络质量检测模块410包括:网络质量接收子模块和第三网络质量检测子模块,其中:

网络质量接收子模块,用于当所述发送端通过所述sfu服务端与所述接收端进行视频通话时,检测与所述sfu服务端之间的网络质量作为第一网络质量,并接收所述服务端发送的第二网络质量,其中,所述第二网络质量用于表征所述sfu服务端与所述接收端之间的网络质量。

第三网络质量检测子模块,用于当所述第一网络质量和/或所述第二网络质量低于预设网络质量时,确定与所述接收端之间的网络质量低于预设网络质量。

通话文本数据获得模块420,用于当检测到与所述接收端之间的网络质量低于预设网络质量时,将采集的通话语音数据进行文本转换,获得通话文本数据。

进一步地,所述通话文本数据获得模块420包括:时间戳获取子模块和通话文本数据获得子模块,其中:

时间戳获取子模块,用于获取所述通话语音数据和所述通话语音数据对应的时间戳。

通话文本数据获得子模块,用于将所述通话语音数据进行文本转换,获得所述通话文本数据。

通话文本数据发送模块430,用于将所述通话文本数据发送至所述接收端,以指示所述接收端在视频通话界面显示所述通话文本数据。

进一步地,所述通话文本数据发送模块430包括:通话文本数据发送子模块,其中:

通话文本数据发送子模块,用于将所述通话文本数据和所述通话语音数据对应的时间戳发送至所述接收端,以指示所述接收端在视频通话界面按所述通话语音数据对应的时间戳显示所述通话文本数据。

进一步地,所述发送端安装有第一webrtc客户端,所述接收端安装有第二webrtc客户端,所述第二webrtc客户端包括neteq模块,所述发送端和所述接收端通过所述第一webrtc客户端和所述第二webrtc客户端进行视频通话,所述通话文本数据发送子模块包括:通话文本数据发送单元,其中:

通话文本数据发送单元,用于将所述通话文本数据和所述通话语音数据对应的时间戳发送至所述接收端,以指示所述接收端利用所述neteq模块根据所述通话语音数据对应的时间戳确定所述通话文本数据对应的时间戳,并在所述视频通话界面按所述通话文本数据对应的时间戳显示所述通话文本数据。

进一步地,所述视频通话装置400还包括:网络质量检测模块、通话语音数据获取模块以及通话语音数据发送模块,其中:

网络质量检测模块,用于检测与所述接收端之间的网络质量。

通话语音数据获取模块,用于当检测到与所述接收端之间的网络质量等于或高于所述预设网络质量时,获取通话语音数据。

通话语音数据发送模块,用于将所述通话语音数据发送至所述接收端,以指示所述接收端播放所述通话语音数据。

请参阅图13,图13示出了本申请又一个实施例提供的视频通话装置的模块框图。该方法应用于上述接收端,该接收端用于与视频通话的发送端连接,下面将针对图13所示的模块进行阐述,所述视频通话装置500包括:通话文本数据接收模块510和通话文本数据显示模块520,其中:

通话文本数据接收模块510,用于接收所述发送端发送的通话文本数据,其中,所述通话文本数据由所述发送端在检测到与所述接收端进行视频通话时的网络质量低于预设网络质量时,将采集的通话语音数据进行文本转换获得。

通话文本数据显示模块520,用于在视频通话界面显示所述通话文本数据。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。

另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

请参阅图14,其示出了本申请实施例提供的一种电子设备600的结构框图。该电子设备600可以是上述发送端100,也可以是上述接收端200。本申请中的电子设备600可以包括一个或多个如下部件:处理器610、存储器620以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器620中并被配置为由一个或多个处理器610执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。

其中,处理器610可以包括一个或者多个处理核。处理器610利用各种接口和线路连接整个电子设备600内的各个部分,通过运行或执行存储在存储器620内的指令、程序、代码集或指令集,以及调用存储在存储器620内的数据,执行电子设备600的各种功能和处理数据。可选地,处理器610可以采用数字信号处理(digitalsignalprocessing,dsp)、现场可编程门阵列(field-programmablegatearray,fpga)、可编程逻辑阵列(programmablelogicarray,pla)中的至少一种硬件形式来实现。处理器610可集成中央处理器(centralprocessingunit,cpu)、图形处理器(graphicsprocessingunit,gpu)和调制解调器等中的一种或几种的组合。其中,cpu主要处理操作系统、用户界面和应用程序等;gpu用于负责待显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器610中,单独通过一块通信芯片进行实现。

存储器620可以包括随机存储器(randomaccessmemory,ram),也可以包括只读存储器(read-onlymemory)。存储器620可用于存储指令、程序、代码、代码集或指令集。存储器620可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备600在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参阅图15,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质700中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质700可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地,计算机可读存储介质700包括非易失性计算机可读介质(non-transitorycomputer-readablestoragemedium)。计算机可读存储介质700具有执行上述方法中的任何方法步骤的程序代码710的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码710可以例如以适当形式进行压缩。

综上所述,本申请实施例提供的视频通话方法、装置、电子设备以及存储介质,当发送端与接收端进行视频通话时,检测与接收端之间的网络质量,当检测到与接收端之间的网络质量低于预设网络质量时,将采集的通话语音数据进行文本转换,获得通话文本数据,将通话文本数据发送至接收端,以指示接收端在视频通话界面显示通话文本数据,从而通过在发送端和接收端之间进行视频通话的网络质量较差时,由发送端将通话语音数据转换为通话文本数据发送至接收端进行显示,以避免网络质量差对视频通话的影响,提升视频通话的通讯体验。

最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1