视频信息处理方法、装置、电子设备和存储介质与流程

1.本公开涉及计算机技术领域，更具体地，涉及一种视频信息处理方法、装置、电子设备和存储介质。


背景技术：

2.随着互联网基础设施覆盖面越来越广、带宽越来越大，音视频产品和技术在日常生产生活中得到蓬勃发展。在各类实时视频应用中，如音视频直播、通话，视频延时成为人们重点关注的指标之一，特别是在依赖视频图像进行远程操控的场景中，如进行远程遥控无人车时，是否能够实时显示当前视频延时，成为决定应用能否让操控者进行有效决策、精确下达操控指令的关键因素。
3.在相关技术中，测定视频延时的方法常需要借助外部设备，或需要增加额外的链路，可以满足实验室条件下的视频延时测定，而在实际应用场景中，相关技术中的方法至少存在着兼容性差、不易部署的技术问题。


技术实现要素：

4.有鉴于此，本公开提供了一种视频信息处理方法、装置、电子设备、可读存储介质和计算机程序产品。
5.本公开的一个方面提供了一种视频信息处理方法，应用于视频发送端，上述方法包括：获取目标视频中的每一帧视频图像在利用摄像头采集时的第一系统时刻信息；对于每一帧上述视频图像，基于预设协议来处理上述第一系统时刻信息，得到第一时间戳信息；对上述目标视频和与上述目标视频关联的多个第一时间戳信息进行封装，得到视频数据报文；以及向视频接收端发送上述视频数据报文，以便通过上述视频接收端基于上述目标视频的每一帧上述视频图像的第一时间戳信息，确定上述视频图像在播放时的延时信息。
6.根据本公开的实施例，上述对于每一帧上述视频图像，基于预设协议来处理上述第一系统时刻信息，得到第一时间戳信息，包括：对于每一帧上述视频图像，基于上述第一系统时刻信息中携带的日期信息，确定第一系统基准时刻信息；基于上述第一系统基准时刻信息和上述第一系统时刻信息，确定偏移时间信息；以及基于上述预设协议对上述偏移时间信息进行数据转换，得到上述第一时间戳信息。
7.根据本公开的实施例，上述基于上述预设协议对上述偏移时间信息进行数据转换，得到上述第一时间戳信息，包括：基于协调世界时标准，将上述偏移时间信息转换为协调世界时信息；以及基于上述预设协议中确定的封装格式要求来处理上述协调世界时信息，得到上述第一时间戳信息。
8.根据本公开的实施例，上述通过上述视频接收端基于上述目标视频的每一帧上述视频图像的第一时间戳信息，确定上述视频图像在播放时的延时信息，包括：通过上述视频接收端对上述视频数据报文进行解封装处理，得到上述目标视频和多个上述第一时间戳信息；通过上述视频接收端利用上述预设协议播放上述目标视频，以获取上述目标视频的每
一帧上述视频图像在播放时的第二系统时刻信息；通过上述视频接收端对多个上述第一时间戳信息分别进行逆转换处理，得到与上述目标视频的每一帧上述视频图像关联的上述第一系统时刻信息；以及通过上述视频接收端基于上述第一系统时刻信息和上述第二系统时刻信息，确定上述延时信息。
9.根据本公开的实施例，上述通过上述视频接收端对多个上述第一时间戳信息分别进行逆转换处理，得到与上述目标视频的每一帧上述视频图像关联的上述第一系统时刻信息，包括：对于每个上述第一时间戳信息，通过上述视频接收端对上述第一时间戳信息进行逆转换处理，得到上述偏移时间信息；通过上述视频接收端基于上述第二系统时刻信息中携带的日期信息，确定第二系统基准时刻信息；以及通过上述视频接收端基于上述第二系统基准时刻信息和上述偏移时间信息，确定上述第一系统时刻信息。
10.根据本公开的实施例，上述预设协议包括实时传输协议；其中，上述通过上述视频接收端对上述第一时间戳信息进行逆转换处理，得到上述偏移时间信息，包括：通过上述视频接收端基于上述第二系统基准时刻信息和上述第二系统时刻信息，得到归零校验结果；通过上述视频接收端在上述归零校验结果表征已触发归零现象的情况下，基于上述预设协议处理上述第一时间戳信息，得到第二时间戳信息；以及通过上述视频接收端对上述第二时间戳信息进行逆转换处理，得到上述偏移时间信息。
11.本公开的一个方面提供了一种视频信息处理方法，应用于视频接收端，上述方法包括：接收来自视频发送端的视频数据报文；对上述视频数据报文进行解封装处理，得到目标视频和与上述目标视频的多帧视频图像一一关联的多个第一时间戳信息；利用预设协议播放上述目标视频；以及对于每帧上述视频图像，基于与上述视频图像关联的第一时间戳信息，确定上述视频图像在播放时的延时信息。
12.本公开的另一个方面提供了一种视频信息处理装置，应用于视频发送端，上述装置包括：获取模块，用于获取目标视频中的每一帧视频图像在利用摄像头采集时的第一系统时刻信息；处理模块，用于对于每一帧上述视频图像，基于预设协议来处理上述第一系统时刻信息，得到第一时间戳信息；封装模块，用于对上述目标视频和与上述目标视频关联的多个第一时间戳信息进行封装，得到视频数据报文；以及发送模块，用于向视频接收端发送上述视频数据报文，以便通过上述视频接收端基于上述目标视频的每一帧上述视频图像的第一时间戳信息，确定上述视频图像在播放时的延时信息。
13.本公开的另一个方面提供了一种视频信息处理装置，应用于视频接收端，上述装置包括：接收模块，用于接收来自视频发送端的视频数据报文；解封装模块，用于对上述视频数据报文进行解封装处理，得到目标视频和与上述目标视频的多帧视频图像一一关联的多个第一时间戳信息；播放模块，用于利用预设协议播放上述目标视频；以及确定模块，用于对于每帧上述视频图像，基于与上述视频图像关联的第一时间戳信息，确定上述视频图像在播放时的延时信息。
14.本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个指令，其中，当上述一个或多个指令被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如上所述的方法。
15.本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被执行时用于实现如上所述的方法。
16.本公开的另一方面提供了一种计算机程序产品，上述计算机程序产品包括计算机可执行指令，上述指令在被执行时用于实现如上所述的方法。
17.根据本公开的实施例，通过采集视频发射端目标视频中的每一帧视频图像的第一系统时刻信息，并根据预设协议中规定的封装格式，将第一系统时刻信息转换为第一时间戳信息；然后，将该第一时间戳信息与目标视频一并组装为视频数据报文，进行数据传输；视频接收端在接收到该视频数据报文后，通过解析第一时间戳信息来确定目标视频的端到端延时。该视频信息处理方法利用与目标视频数据同一传输链路传输时间戳信息，可以在不依赖外部设备、不改变现有的协议标准以及不增加额外通信链路的情况下，实现视频延时的实时测定，所以至少部分地克服了相关技术中需借助于额外装置、额外的通道或链路对视频延时进行测定所带来的兼容性差、不易部署的技术问题，有效提升了视频延时测定的实际应用中的兼容性，降低了部署成本。
附图说明
18.通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
19.图1示意性示出了根据本公开实施例的可以应用视频信息处理方法和装置的示例性系统架构；
20.图2示意性示出了根据本公开实施例的应用于视频发送端的视频信息处理方法的流程图；
21.图3示意性示出了根据本公开实施例的视频接收端采用rtp播放协议播放时的归零校验方法的流程图；
22.图4示意性示出了根据本公开实施例的应用于视频接收端的视频信息处理方法的流程图；
23.图5示意性示出了根据本公开实施例的视频信息处理方法的流程图；
24.图6示意性示出了根据本公开的实施例应用于视频发送端的视频信息处理装置的框图；
25.图7示意性示出了根据本公开的实施例应用于视频接收端的视频信息处理装置的框图；以及
26.图8示意性示出了根据本公开实施例的适于实现视频信息处理方法的电子设备的框图。
具体实施方式
27.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
28.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在
或添加一个或多个其他特征、步骤、操作或部件。
29.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
30.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。在使用类似于“a、b或c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b或c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。
31.随着互联网基础设施覆盖面越来越广、带宽越来越大、5g商用，音视频产品和技术在日常生产生活中得到蓬勃发展。在各类实时视频应用中，如音视频直播、通话，视频延时成为人们重点关注的指标之一，特别是在依赖视频图像进行远程操控的场景中，如进行远程遥控无人车时，是否能够实时显示当前视频延时，成为决定应用能否让操控者进行有效决策、精确下达操控指令的关键因素。
32.在相关技术中，测定视频延时的方法常需要借助外部设备。例如采用时钟图像拍照比对法测定视频延时，通常将视频发送端的摄像头对准一个精确到毫秒的计时器进行拍摄，再通过手机进行手工拍照，将该计时器和视频接收端画面拍摄在一张照片内，将所拍照片中计时器的时间减去播放画面中计时器的时间，得到视频延时。该方案仅适合于在办公或实验环境对视频延时进行单次测定，但视频发送端和接收端通常不在同一地点，无法借助手机等装置将两端画面拍照于同一图片中。因此，该方案无法满足异地间的远距离延时测定的需求，也无法对视频延时进行实时测定，存在不易部署的问题。在另一类相关技术中，测定视频延时的方法需要增加额外的通道或链路对视频延时进行测定。但此类通过增加额外链路的手段测定视频延时的方法，在对接业界已有的标准化视频系统时存在很大困难，存在兼容性差的问题。
33.有鉴于此，本公开的实施例提供了一种视频信息处理方法、一种视频信息处理装置、一种电子设备、一种可读存储介质和一种计算机程序产品。该方法应用于视频发送端，包括：获取目标视频中的每一帧视频图像在利用摄像头采集时的第一系统时刻信息；对于每一帧视频图像，基于预设协议来处理第一系统时刻信息，得到第一时间戳信息；对目标视频和与目标视频关联的多个第一时间戳信息进行封装，得到视频数据报文；以及向视频接收端发送视频数据报文，以便通过视频接收端基于目标视频的每一帧视频图像的第一时间戳信息，确定视频图像在播放时的延时信息。
34.图1示意性示出了根据本公开实施例的可以应用视频信息处理方法和装置的示例性系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
35.如图1所示，根据该实施例的系统架构100可以包括发送端设备110、120、130，网络140和接收端设备150、160。
36.发送端设备110、120、130可以是带有摄像装置的可操控设备，包括但不限于无人车、无人机等，也可以是带有摄像装置的各种电子设备，包括但不限于智能手机、膝上型便携计算机、平板电脑等等。发送端设备110、120、130上可以安装有用于控制摄像装置进行视频实时采集的客户端应用，以及用于实现视频实时传输的客户端应用。
37.接收端设备150、160可以是具有显示屏并且支持视频播放的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。接收端设备150、160上可以安装有用于实现视频实时传输的客户端应用和用于视频播放的客户端应用。网络140用以在发送端设备110、120、130和接收端设备150、160之间提供通信链路的介质。网络140可以包括各种连接类型，例如有线和/或无线通信链路等等。发送端设备110、120、130实时采集的视频可以通过网络140传输给接收端设备150、160。
38.需要说明的是，本公开实施例所提供的视频信息处理方法一般可以由发送端设备110、120、130执行，相应地，本公开实施例所提供的应用于视频发送端的视频信息处理装置一般可以设置于发送端设备110、120、130中。具体地，发送端设备110、120、130在采集视频的同时，可以执行本公开实施例所提供的视频信息处理方法，以得到每一帧视频图像的时间戳信息，将时间戳信息和视频组装成报文后可以向接收端设备150、160发送该报文，并控制接收端设备150、160在播放该视频的同时，确定每一帧视频图像的延时信息。或者，本公开实施例所提供的视频信息处理方法也可以由接收端设备150、160执行，相应地，本公开实施例所提供的应用于视频发送端的视频信息处理装置也可以设置于接收端设备150、160中。具体地，接收端设备150、160可以通过执行本公开实施例所提供的视频信息处理方法，控制发送端设备110、120、130在采集视频时记录每一帧视频图像在采集时的系统时刻信息，并控制发送端设备110、120、130将系统时刻信息封装在报文中，在接收到报文后，可以通过解封装的方法来获取该系统时刻信息，以在视频播放时确定每一帧视频图像的延时信息。
39.应该理解，图1中的发送端设备、接收端设备和网络的数目仅仅是示意性的。根据实现需要，可以具有任意数目的发送端设备、接收端设备和网络。
40.图2示意性示出了根据本公开实施例的应用于视频发送端的视频信息处理方法的流程图。
41.如图2所示，应用于视频发送端的视频信息处理方法包括操作s201～s204。
42.在操作s201，获取目标视频中的每一帧视频图像在利用摄像头采集时的第一系统时刻信息。
43.在操作s202，对于每一帧视频图像，基于预设协议来处理第一系统时刻信息，得到第一时间戳信息。
44.在操作s203，对目标视频和与目标视频关联的多个第一时间戳信息进行封装，得到视频数据报文。
45.在操作s204，向视频接收端发送视频数据报文，以便通过视频接收端基于目标视频的每一帧视频图像的第一时间戳信息，确定视频图像在播放时的延时信息。
46.根据本公开的实施例，视频发送端可以是具有摄像装置的各种电子设备，包括但不限于无人车、无人机、智能手机、平板电脑、膝上型便携计算机等。视频发送端可以实现视频采集、视频发送、远侧视频通话等功能。
47.根据本公开的实施例，目标视频可以由多帧视频图像组成，目标视频的每一秒所包含的视频图像的帧数在此不作限定。
48.根据本公开的实施例，第一系统时刻信息可以是目标视频中的每一帧视频图像在利用摄像头采集时的系统时间。例如，当前帧视频图像的采集时间为2022-04-20 18:05:05.600，则第一系统时刻信息为2022-04-20 18:05:05.600。
49.根据本公开的实施例，预设协议可以指任意的音视频网络传输协议，例如，rtp(real time transport protocol，实时传输协议)、rtsp(real time streaming protocol，实时串流协议)、rtmp(real time messaging protocol，实时消息传输协议)、srt(secure reliable transport，实时可靠传输协议)等。预设协议可以用于指示视频传输前处理的视频压缩编码标准、视频封装时的报文标准、视频传输时的信道标准等。
50.根据本公开的实施例，第一时间戳信息可以是具有设定的位数及格式的字符串。
51.根据本公开的实施例，第一时间戳信息可以是基于预设协议对第一系统时刻信息进行处理得到的。具体地，可以按照预设协议中指定的报文的封装格式，对第一系统时刻信息进行格式转换，以得到第一时间戳信息。需要注意的是，基于不同的预设协议，由第一系统时刻信息转换得到的第一时间戳信息也可以有所不同。
52.根据本公开的实施例，对目标视频和与目标视频关联的多个第一时间戳信息进行封装以得到视频数据报文的具体方式在此不作限定。例如，可以将目标视频写入报文主体中，并将多个第一时间戳信息嵌入到报文头中，以得到视频数据报文；或者，也可以将目标视频和多个第一时间戳信息进行拼接，并一并写入到报文主体中，以得到视频数据报文。
53.根据本公开的实施例，视频接收端可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。通过视频接收端，用户可以查看视频发送端发送过来的视频。
54.根据本公开的实施例，视频图像的延时信息可以指视频发送端和视频接收端之间的端到端的延时信息。视频图像的延时信息可以根据视频发送端采集时的时刻信息和视频接收端播放时的时刻信息来确定。例如，视频发送端中采集目标视频图像的时刻为2022-04-20 18:05:05.600，视频接收端播放该目标视频图像的时刻为2022-04-20 18:05:05.700，则目标视频图像的延时信息为100ms。
55.根据本公开的实施例，通过采集视频发射端目标视频中的每一帧视频图像的第一系统时刻信息，并根据预设协议中规定的封装格式，将第一系统时刻信息转换为第一时间戳信息；然后，将该第一时间戳信息与目标视频一并组装为视频数据报文，进行数据传输；视频接收端在接收到该视频数据报文后，通过解析第一时间戳信息来确定目标视频的端到端延时。该视频信息处理方法利用与目标视频数据同一传输链路传输时间戳信息，可以在不依赖外部设备、不改变现有的协议标准以及不增加额外通信链路的情况下，实现视频延时的实时测定，所以至少部分地克服了相关技术中需借助于额外装置、额外的通道或链路对视频延时进行测定所带来的兼容性差、不易部署的技术问题，有效提升了视频延时测定的实际应用中的兼容性，降低了部署成本。
56.根据本公开的实施例，操作s202可以包括如下操作：
57.对于每一帧视频图像，基于第一系统时刻信息中携带的日期信息，确定第一系统基准时刻信息；然后基于第一系统基准时刻信息和第一系统时刻信息，确定偏移时间信息；
以及，基于预设协议对偏移时间信息进行数据转换，得到第一时间戳信息。
58.根据本公开的实施例，第一系统基准时刻信息可以是基于第一系统时刻信息中携带的日期信息，按照预设规则生成的时刻信息。该预设规则例如可以是将第一系统时刻信息所属日期的00:00:00时刻作为第一系统基准时刻信息，或者，也可以将视频发送端的开机时刻作为第一系统基准时刻信息，在此不作限定。
59.根据本公开的实施例，第一系统基准时刻信息可以随当前帧视频图像的采集日期的变化而变化。
60.在一种示意性的实施例中，当前帧视频图像的第一系统时刻信息为2022-04-20 23:59:59.990，则当前帧视频图像的第一系统基准时刻信息为2022-04-20 00:00:00；下一帧视频图像的第一系统时刻信息为2022-04-21 00:00:00.050，则下一帧视频图像的第一系统基准时刻信息为2022-04-21 00:00:00。
61.根据本公开的实施例，偏移时间信息可以由第一系统时刻信息减去第一系统基准时刻信息得到。例如，当前帧视频图像的第一系统时刻信息为2022-04-20 18:05:05.600，第一系统基准时刻信息为2022-04-20 00:00:00，则可以得到偏移时间信息为18:05:05.600。
62.根据本公开的实施例，基于预设协议对偏移时间信息进行数据转换，得到第一时间戳信息可以包括如下操作：
63.基于协调世界时标准，将偏移时间信息转换为协调世界时信息；以及，基于预设协议中确定的封装格式要求来处理协调世界时信息，得到第一时间戳信息。
64.根据本公开的实施例，协调世界时(coordinated universal time)又简称utc时间，可基于协调世界时的标准，将时间信息转换得到utc时间。
65.在一种示意性的实施例中，当前帧视频图像的偏移时间信息为18:05:05.600，基于协调世界时的标准对其进行处理，可得到对应的协调世界时信息为1650449105600-1650384000000＝65105600；其中1650449105600为与第一系统时刻信息2022-04-20 18:05:05.600对应的utc时间，1650384000000为与第一系统基准时刻信息2022-04-20 00:00:00对应的utc时间。
66.根据本公开的实施例，预设协议中的封装格式可以用于确定第一时间戳信息的位数、组成形式等信息。以协调世界时信息为65105600为例，预设协议中确定的封装格式要求第一时间戳信息的位数为10位，则可以在协调世界时信息中添加额外2位的字符以满足该封装格式的要求，例如，在协调世界时信息65105600的前端添加“0”，得到第一时间戳信息0065105600。
67.根据本公开的实施例，基于不同的预设协议，对协调世界时信息处理所得到的第一时间戳信息可以不同，在此不作限定。
68.根据本公开的实施例，操作s204可以包括如下操作：
69.通过视频接收端对视频数据报文进行解封装处理，得到目标视频和多个第一时间戳信息；通过视频接收端利用预设协议播放目标视频，以获取目标视频的每一帧视频图像在播放时的第二系统时刻信息；通过视频接收端对多个第一时间戳信息分别进行逆转换处理，得到与目标视频的每一帧视频图像关联的第一系统时刻信息；以及，通过视频接收端基于第一系统时刻信息和第二系统时刻信息，确定延时信息。
70.根据本公开的实施例，第二系统时刻信息可以是播放目标视频中的每一帧视频图像的系统时刻。例如，播放当前帧视频图像的系统时刻为2022-04-20 18:05:05.700，则相应地，第一系统时刻信息为2022-04-20 18:05:05.700。
71.根据本公开的实施例，通过视频接收端对多个第一时间戳信息分别进行逆转换处理，得到与目标视频的每一帧视频图像关联的第一系统时刻信息可以包括如下操作：
72.对于每个第一时间戳信息，通过视频接收端对第一时间戳信息进行逆转换处理，得到偏移时间信息；通过视频接收端基于第二系统时刻信息中携带的日期信息，确定第二系统基准时刻信息；以及通过视频接收端基于第二系统基准时刻信息和偏移时间信息，确定第一系统时刻信息。
73.在一种示意性的实施例中，当前帧视频图像的第二系统时刻信息为2022-04-20 18:05:05.700，则可将该第二系统时刻信息所属日期的00:00:00时刻，即2022-04-20 00:00:00作为当前帧视频图像的第二系统基准时刻信息。
74.根据本公开的实施例，由于视频发送端和视频接收端均基于对应的系统时刻信息中携带的日期信息，确定对应系统基准时刻信息，因此系统基准时刻信息可根据日期进行实时变化，视频系统在跨天运行的情况下，第一时间戳信息仍可满足标准流媒体协议封装格式要求，同时保证视频接收端可使用同一计算方法正确计算视频延时。
75.根据本公开的实施例，视频接收端中第一系统时刻信息可由第二系统基准时刻信息和偏移时间信息相加得到。
76.在一种示意性的实施例中，当前帧视频图像的偏移时间信息用utc表示为65105600，第二系统基准时刻信息用utc时间表示为1650384000000，则以utc时间表示的该当前帧视频图像的第一系统时刻信息可以为65105600+1650384000000＝1650449105600，对其进行转换后，可以得到对应的第一系统时刻信息为2022-04-20 18:05:05.600。
77.根据本公开的实施例，可以将第二系统时刻信息减去第一系统时刻信息，以得到视频接收端与视频发送端的端到端延时信息。
78.在一种示意性的实施例中，将当前帧视频图像的第二系统时刻信息2022-04-20 18:05:05.700减去第一系统时刻信息2022-04-20 18:05:05.600，可以得到当前帧视频图像的端到端延时为100ms。
79.根据本公开的实施例，视频发送端每一帧视频图像的第一系统时刻信息、视频接收端的该帧视频图像的第二系统时刻信息和该帧视频图像的端到端延时，均可按照需求在视频接收端的播放界面选择性展示。
80.根据本公开的实施例，视频发送端中对时间信息的转换处理和视频接收端中对时间信息的逆转换处理基于特定的基准时刻信息生成规则，使得视频发送端和视频接收端只需采用标准流媒体协议即可，极大降低了视频系统复杂度，便于部署，且方便对接其它已有视频系统。
81.根据本公开的实施例，一方面，由于utc时间基于协调世界时标准，符合标准的网络传输协议要求，对传输过程具有更好的兼容性和适用性；另一方面，由于utc时间不是某特定地区的时间，因此涉及到跨国家和地区的视频传输时，也不影响时间信息传输的准确性。当视频发送端和视频接收端处于不同时区时，只需将时区信息简单扩展到视频发送端和播放地址中，视频接收端便可得知视频发送端所在时区，从而正确换算出视频延时，实现
不同时区地域间的无人车部署及监控。在视频接收端，因已得到当前帧视频图像的第一系统时刻信息，且已知视频发送端的时区，故具体在界面显示该帧视频图像的时间时，可灵活选择使用视频发送端时区时间或视频接收端时区时间进行展示。另外，采用utc形式表示时间信息，比常规字符串时间信息所占内存空间小，不仅可使机器性能损耗降低，且加快了传输速率，便于过程传输。
82.根据本公开的实施例，预设协议可以包括实时传输协议。
83.根据本公开的实施例，通过视频接收端对第一时间戳信息进行逆转换处理，得到偏移时间信息可以包括如下操作：
84.通过视频接收端基于第二系统基准时刻信息和第二系统时刻信息，得到归零校验结果；通过视频接收端在归零校验结果表征已触发归零现象的情况下，基于预设协议处理第一时间戳信息，得到第二时间戳信息；以及，通过视频接收端对第二时间戳信息进行逆转换处理，得到偏移时间信息。
85.根据本公开的实施例，视频接收端可采用多种播放协议对接收到的视频播放。特殊地，当视频接收端采用rtp播放协议对接收到的视频播放时，需基于第二系统基准时刻信息和第二系统时刻信息进行归零校验，以判定rtp时间戳是否发生过归零现象。其中，rtp时间戳可以是在使用rtp播放协议对接收到的目标视频播放时，所播放的目标视频的第一时间戳信息。若rtp时间戳发生过归零现象，则需要基于预设协议对第一时间戳信息进行处理，以得到第二时间戳信息；若rtp时间戳未发生过归零现象，则不需要对第一时间戳信息进行处理，可直接得到第二时间戳信息。然后，对第二时间戳信息进行逆转换处理，得到偏移时间信息。
86.图3示意性示出了根据本公开实施例的视频接收端采用rtp播放协议播放时的归零校验方法的流程图。
87.如图3所示，归零校验方法可以包括如下操作：
88.首先，对rtp时间戳进行归零校验，具体包括：将第二系统时刻信息减去第二系统基准时刻信息，得到的数值与固定值47721859进行比较；若得到的数值大于该固定值，则可以确定该rtp时间戳发生过归零现象；若得到的数值不大于该固定值，则可以确定该rtp时间戳未发生过归零现象。
89.若rtp时间戳发生过归零现象，需在rtp时间戳的基础上加上固定值4294967295后，得到第二时间戳信息；若rtp时间戳未发生过归零现象，则不需要对第一时间戳信息进行处理，可直接得到第二时间戳信息。然后，对第二时间戳信息进行逆转换处理，得到偏移时间信息。
90.在一种示意性的实施例中，视频接收端采用rtp播放协议播放视频，且当前帧视频图像的rtp时间为1564536705。因此，需对该rtp时间戳进行归零校验。
91.当前帧视频图像的第二系统时刻信息为2022-04-20 18:05:05.700，对应的utc时间表示为1650449105700；当前第二系统基准时刻信息为2022-04-20 00:00:00，对应的utc时间表示为1650384000000。则1650449105700-1650384000000＝65105700，由于65105700＞＝47721859，因此该rtp时间戳发生过归零现象。
92.将rtp时间1564536705加上4294967295，得到该帧视频图像的第二时间戳信息5859504000。然后，对该第二时间戳信息进行逆转换处理，得到偏移时间信息为18:05:
05.600，utc时间表示为65105600。
93.根据本公开的实施例，对于视频播放端使用rtp协议播放的情况，当该天发生过rtp时间戳归零现象时，本公开给出一种特殊的时间戳校准方法，保证了视频传输延时测定的有效性。
94.图4示意性示出了根据本公开实施例的应用于视频接收端的视频信息处理方法的流程图。
95.如图4所示，应用于视频接收端的视频信息处理方法包括操作包括操作s401～s404。
96.在操作s401，接收来自视频发送端的视频数据报文。
97.在操作s402，对视频数据报文进行解封装处理，得到目标视频和与目标视频的多帧视频图像一一关联的多个第一时间戳信息。
98.在操作s403，利用预设协议播放目标视频。
99.在操作s404，对于每帧视频图像，基于与视频图像关联的第一时间戳信息，确定视频图像在播放时的延时信息。
100.根据本公开的实施例，视频接收端可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。通过视频接收端，首先接收来自视频发送端的视频数据报文。
101.根据本公开的实施例，在接收到视频数据报文后，可以通过对视频数据报文进行解封装处理，得到目标视频和与目标视频的多帧视频图像一一关联的多个第一时间戳信息。其中，对视频数据报文进行解封装处理的的具体方式在此不作限定。例如，可以将视频数据报文进行拆分操作，得到目标视频和多个第一时间戳信息。
102.根据本公开的实施例，目标视频可以由多帧视频图像组成，目标视频的每一秒所包含的视频图像的帧数在此不作限定。
103.根据本公开的实施例，预设协议可以指任意的音视频网络传输协议，例如，rtp(real time transport protocol，实时传输协议)、rtsp(real time streaming protocol，实时串流协议)、rtmp(real time messaging protocol，实时消息传输协议)、srt(secure reliable transport，实时可靠传输协议)等。预设协议可以用于指示视频接收后处理的视频压缩编码标准、视频解封装时的报文标准、视频接收时的信道标准等。
104.根据本公开的实施例，视频图像的延时信息可以指视频发送端和视频接收端之间的端到端的延时信息。对于视频接收端中接收到的每一帧视频图像，可基于与该帧视频图像关联的第一时间戳信息，得到第一系统时刻信息，进而根据第一系统时刻信息和第二系统时刻信息确定视频图像在播放时的延时信息。例如，目标视频图像的第一系统时刻信息为2022-04-20 18:05:05.600，第二系统时刻信息为2022-04-20 18:05:05.700，则目标视频图像的延时信息为100ms。
105.图5示意性示出了根据本公开实施例的视频信息处理方法的流程图。
106.如图5所示，在视频发送端中，执行操作(a)～操作(f)
107.操作(a)：利用摄像头采集目标视频中的每一帧视频图像和对应的第一系统时刻信息。例如采集到某一帧视频图像的第一系统时刻信息为2022-04-20 18:05:05.600。
108.操作(b)：根据该帧视频图像的第一系统时刻信息，确定出第一系统基准时刻信息
为2022-04-20 00:00:00。
109.操作(c)：将该帧视频图像的第一系统时刻信息减去第一系统基准时刻信息，得到该帧视频图像的偏移时间信息为18:05:05.600，用协调世界时表示为65105600。
110.操作(d)：基于预设协议中确定的封装格式要求来处理协调世界时信息，包括按照视频压缩编码标准和网络传输协议封装格式要求对协调世界时信息进行进一步换算，得到该帧视频图像的第一时间戳信息。
111.操作(e)：对每一帧视频图像的第一时间戳信息和对应的视频图像进行封装，得到视频数据报文。
112.操作(f)：向视频接收端发送该视频数据图文。
113.如图4所示，在视频接收端中，执行操作(g)～操作(m)。
114.操作(g)：接收视频发送端发送的视频数据图文，并对该视频数据图文进行解封装处理，得到每一帧视频图像及对应的第一时间戳信息。
115.操作(h)：利用预设协议播放目标视频，得到每一帧视频图像在播放时的第二系统时刻信息2022-04-20 18:05:05.700。
116.操作(i)：基于该第二系统时刻信息，得到对应的第二系统基准时刻信息2022-04-20 18:05:05.000，用utc时间表示为1650384000000。
117.操作(j)：判断视频接收端是否采用rtp协议播放视频，若是则对rtp时间戳进行归零校验，然后得到第二时间戳信息；若不是则可直接得到第二时间戳信息。本实施例采用了rtp协议播放视频，则需要对rtp时间戳进行归零校验，具体为：该帧视频图像的第二系统时刻信息对应的utc时间表示为1650449105700；第二系统基准时刻信息对应的utc时间表示为1650384000000。则1650449105700-1650384000000＝65105700，由于65105700＞＝47721859，因此该rtp时间戳发生过归零现象。
118.由于rtp时间戳发生过归零现象，将rtp时间1564536705加上4294967295，得到该帧视频图像的第二时间戳信息为5859504000。
119.操作(k)：对该第二时间戳信息进行逆转换处理，得到偏移时间信息为18:05:05.600，utc时间表示为65105600。
120.操作(l)：将用utc时间表示的第二系统基准时刻信息1650384000000和偏移时间信息65105600相加，即得到用utc时间表示的第一系统时刻信息1650449105600，对应的第一系统时刻信息为2022-04-20 18:05:05.600。
121.操作(m)：将第二系统时刻信息2022-04-20 18:05:05.700减去第一系统时刻信息2022-04-20 18:05:05.600，即可得到视频发送端和视频接收端的端到端延时为100ms。
122.根据本公开的实施例，本公开所述的视频信息处理方法，可以适用于对无人车视频推流进行远程实时测定，其原理具有普适性，也可用于其它对视频延时进行实时测定的应用或系统。
123.图6示意性示出了根据本公开的实施例应用于视频发送端的视频信息处理装置的框图。
124.如图6所示，应用于视频发送端的视频信息处理装置600，包括：获取模块610、处理模块620、封装模块630和发送模块640。
125.获取模块610，用于获取目标视频中的每一帧视频图像在利用摄像头采集时的第
一系统时刻信息。
126.处理模块620，用于对于每一帧视频图像，基于预设协议来处理第一系统时刻信息，得到第一时间戳信息。
127.封装模块630，用于对目标视频和与目标视频关联的多个第一时间戳信息进行封装，得到视频数据报文。
128.发送模块640，用于向视频接收端发送视频数据报文，以便通过视频接收端基于目标视频的每一帧视频图像的第一时间戳信息，确定视频图像在播放时的延时信息。
129.根据本公开的实施例，处理模块620包括第一确定子模块、第二确定子模块和转换子模块。
130.第一确定子模块，用于对于每一帧视频图像，基于第一系统时刻信息中携带的日期信息，确定第一系统基准时刻信息。
131.第二确定子模块，用于基于第一系统基准时刻信息和第一系统时刻信息，确定偏移时间信息。
132.转换子模块，用于基于预设协议对偏移时间信息进行数据转换，得到第一时间戳信息。
133.根据本公开的实施例，转换子模块包括转换单元和处理单元。
134.转换单元，用于基于协调世界时标准，将偏移时间信息转换为协调世界时信息。
135.处理单元，用于基于预设协议中确定的封装格式要求来处理协调世界时信息，得到第一时间戳信息。
136.根据本公开的实施例，发送模块640包括解封装子模块、播放子模块、逆转换子模块和第三确定子模块。
137.解封装子模块，用于控制视频接收端对视频数据报文进行解封装处理，得到目标视频和多个第一时间戳信息。
138.播放子模块，用于控制视频接收端利用预设协议播放目标视频，以获取目标视频的每一帧视频图像在播放时的第二系统时刻信息。
139.逆转换子模块，用于控制视频接收端对多个第一时间戳信息分别进行逆转换处理，得到与目标视频的每一帧视频图像关联的第一系统时刻信息。
140.第三确定子模块，用于控制视频接收端基于第一系统时刻信息和第二系统时刻信息，确定延时信息。
141.根据本公开的实施例，逆转换子模块包括逆转换单元、第一确定单元和第二确定单元。
142.逆转换单元，用于对于每个第一时间戳信息，控制视频接收端对第一时间戳信息进行逆转换处理，得到偏移时间信息。
143.第一确定单元，用于控制视频接收端基于第二系统时刻信息中携带的日期信息，确定第二系统基准时刻信息。
144.第二确定单元，用于控制视频接收端基于第二系统基准时刻信息和偏移时间信息，确定第一系统时刻信息。
145.根据本公开的实施例，逆转换单元包括第一处理子单元、第二处理子单元和逆转换子单元。
146.第一处理子单元，用于控制视频接收端基于第二系统基准时刻信息和第二系统时刻信息，得到归零校验结果。
147.第二处理子单元，用于控制视频接收端在归零校验结果表征已触发归零现象的情况下，基于预设协议处理第一时间戳信息，得到第二时间戳信息。
148.逆转换子单元，用于控制视频接收端对第二时间戳信息进行逆转换处理，得到偏移时间信息。
149.图7示意性示出了根据本公开的实施例应用于视频接收端的视频信息处理装置的框图。
150.如图7所示，应用于视频接收端的视频信息处理装置700，包括：接收模块710、解封装模块720、播放模块730和确定模块740。
151.接收模块710，用于接收来自视频发送端的视频数据报文。
152.解封装模块720，用于对上述视频数据报文进行解封装处理，得到目标视频和与上述目标视频的多帧视频图像一一关联的多个第一时间戳信息。
153.播放模块730，用于利用预设协议播放上述目标视频。
154.确定模块740，用于对于每帧上述视频图像，基于与上述视频图像关联的第一时间戳信息，确定上述视频图像在播放时的延时信息。
155.根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
156.例如，获取模块610、处理模块620、封装模块630和发送模块640，或者，接收模块710、解封装模块720、播放模块730和确定模块740中的任意多个可以合并在一个模块/子模块/单元/子单元中实现，或者其中的任意一个模块/子模块/单元/子单元可以被拆分成多个模块/子模块/单元/子单元。或者，这些模块/子模块/单元/子单元中的一个或多个模块/子模块/单元/子单元的至少部分功能可以与其他模块/子模块/单元/子单元的至少部分功能相结合，并在一个模块/子模块/单元/子单元中实现。根据本公开的实施例，获取模块610、处理模块620、封装模块630、发送模块640，或者，接收模块710、解封装模块720、播放模块730和确定模块740中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块610、处理模块620、封装模块630、发送模块640，或者，接收模块710、解封装模块720、播放模块730和确定模块740中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
157.需要说明的是，本公开的实施例中视频信息处理装置部分与本公开的实施例中视频信息处理方法部分是相对应的，视频信息处理装置部分的描述具体参考视频信息处理方法部分，在此不再赘述。
158.图8示意性示出了根据本公开实施例的适于实现视频信息处理方法的电子设备的框图。图8示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
159.如图8所示，根据本公开实施例的计算机电子设备800包括处理器801，其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
160.在ram 803中，存储有电子设备800操作所需的各种程序和数据。处理器801、rom 802以及ram 803通过总线804彼此相连。处理器801通过执行rom 802和/或ram 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom 802和ram 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
161.根据本公开的实施例，电子设备800还可以包括输入/输出(i/o)接口805，输入/输出(i/o)接口805也连接至总线804。电子设备800还可以包括连接至i/o接口805的以下部件中的一项或多项：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
162.根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
163.本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
164.根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光
存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
165.例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom 802和/或ram 803和/或rom 802和ram 803以外的一个或多个存储器。
166.本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本公开实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本公开实施例所提供的视频信息处理方法。
167.在该计算机程序被处理器801执行时，执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
168.在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分809被下载和安装，和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
169.根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c++，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
170.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
171.以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱
离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。