一种视频延时检测方法及系统与流程

本发明涉及多媒体内容传输技术领域，尤其涉及一种视频延时检测方法及系统。

背景技术：

由于原始数字形式的多媒体信息对于任何合理的网络来说太大而无法传递，鉴于目标接收者(人类)可以容忍内容的有损退化，有损形式的压缩解压缩，转码以及格式转换是解决多媒体传输的重要手段。几乎所有在网络上传输的多媒体内容都经过某种形式的压缩，格式转换或简化。有多项标准来支持这项工作，包括MPEG1，MPEG2，H.261，H.263，H.264，H.265，AVC，ATSC，AVS。广泛采用的视频格式包括SIF，SD，HD和4K。

随着5G，太比特网络和云边缘计算的出现，诸如VR，云游戏，远程呈现和交互式广播等多媒体应用将成为下一代应用热点。随着5G清除最后一英里障碍和边缘计算解决网络拥塞问题，具有极端延迟需求的时间关键应用程序(例如，VR小于20毫秒)变得切实可行。对于这些市场来说，网络延时管理不单单是一个挑战，而是一个优先事项。

在这种背景下如何对跨网络多种形式转换的多媒体流内容的性能跟踪变的尤为重要，因为依赖于延时来实现其目标的应用变得越来越关键。但延时监控技术仍然有限且原始，由于延迟测量需要识别和标记视频流内的图像，因此会存在降低原始视频流质量的缺陷。

技术实现要素：

为了解决上述问题，本发明提出了一种视频延时检测方法及系统，使得从人类感知到视频序列的图像具有最小的失真。

具体方案如下：

一种视频延时检测方法，包括以下步骤：

S1：发送端在视频的帧图像中提取水印行，并在水印行内插入当前时刻的时间戳后发送至接收端，所述水印行为对图像的失真性影响最小的行；

S2：接收端根据接收到的图像，从图像的水印行内提取时间戳，并根据实际接收图像的时间来计算延时；

S3：接收端移除水印行中的时间戳以得到原始图像。

进一步的，步骤S1具体包括以下步骤：

S11：获取帧图像，并将帧图像等分为N行；

S12：设定该帧图像的水印行；

S13：从独立时间源捕获该帧图像到达的时间戳后，将该时间戳嵌入到水印行内。

进一步的，步骤S12的具体方法为以下四种情况中的一种：

(1)将所有行中总差异最小的值所对应的行设定为水印行，所述总差异为该帧图像与其前一帧图像在对应行中所有像素的总差异；

(2)设定总差异阈值，并计算该帧图像中所有行的图像复杂度，将总差异低于总差异阈值，并且图像复杂度最大的行设定为水印行，每行的图像复杂度的计算方法为：该行每个像素与相邻行中对应像素的差值的总和；

(3)选择固定行作为水印行；

(4)采用预定义方式设定多个连续帧图像内水印行所在的位置，采用周期轮询的方式将预先设定的位置作为水印行。

进一步的，步骤S13具体为：在水印行中划分出多个大小相等的块，将时间戳以二进制形式存入对应的块内，每一个块存储二进制形式时间戳的一位数字，所述块的数目与二进制形式的时间戳的长度相等。

进一步的，每个时间戳的二进制值存入方法为：根据每个块对应的时间戳的二进制值，将原图像进行数学运算生成差异图像，将差异图像添加至水印行内。

进一步的，所述差异图像的生成过程为，根据原图像的色度空间或亮度空间进行相应的数学运算。

进一步的，所述数学运算为：当二进制值为1是，则：色度/亮度＝色度/亮度+预设值；当二进制值为0是，则：色度/亮度＝色度/亮度-预设值。

进一步的，每个块中的所有像素改变的数值按照高斯曲线形状排布，即靠近块的边缘的像素改变的数值较小，靠近块的中间的像素改变的数值较大。

进一步的，所述水印行还包括标志块，用于存放用于识别该水印行的标志内容，通过该标志块能够快速识别水印行的位置。

一种视频延时检测系统，包括发送端和接收端，所述发送端和接收端均包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例中所述方法的步骤。

本发明采用如上技术方案，并具有有益效果：

1.能够在接收端侧进行延迟测量，而不需要发送端和接收端在同一物理位置，甚至可以在两个城市之间进行延时测量。

2.传输的视频序列将具有人眼可检测到的最小程度的失真。

3.可以在接收端移除对源视频序列的修改，从而完全消除通过水印引入的失真。

附图说明

图1所示为本发明实施例一的流程图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

现结合附图和具体实施方式对本发明进一步说明。

实施例一：

如图1所示，本发明实施例一提供了一种视频延时检测方法，所述方法包括以下步骤：

S1：发送端在视频的帧图像中提取水印行，并在水印行内插入当前时刻的时间戳后发送至接收端，所述水印行为对图像的失真性影响最小的行。

需要说明的是，可以在每一帧图像内均插入时间戳，也可以在固定、周期性或随机的几帧内插入。

另外，如果在给定的预定义时间内为插入时间戳，可以进行强制插入。

步骤S1具体包括以下步骤：

S11：获取视频序列中的帧图像，并将图像等分为N行。

S12：设定该帧图像的水印行，有以下几种情况：

(1)对于分出的每一行，计算该帧图像与其前一帧图像在该行的所有像素的总差异(SUM_TEMPORAL_DIFF)，将所有行中总差异最小的值所对应的行设定为水印行。

(2)设定总差异阈值，并计算当前帧图像中所有行的图像复杂度，将总差异低于总差异阈值，并且图像复杂度最大的行设定为水印行。

每行的图像复杂度的计算方法为：该行每个与相邻行中对应像素的差值的总和。所述相邻行为上一行和/或下一行。

需要说明的是，当图像较大时，可以选择一行中的部分区间作为待嵌入的部分，如该行中的左半边、右半边或中间，当只选择部分区间时，在计算总差异和图像复杂度时只需将该选择的部分区间进行计算即可。

(3)选择固定行作为水印行。

(4)采用预定义方式设定多个连续帧图像内水印行所在的位置，采用周期轮询的方式将预先设定的位置作为水印行。

上述四种方式只是本实施例中提出的四种可能的设定方式，本领域技术人员还可以设置其他的水印行的设置方式，在此不做限定。

上述四种方式中，综合来说第二种方式的考虑最全面，对图像的失真性影响最小，效果最佳。但在具体的应用场合，如图片画面比较单一、变化比较固定等等，可能使用其他的方式，如第三种方式中，尽管效果不如第二种，但计算量较小，耗费的时间和系统资源较低。因此，本领域技术人员可以根据实际需求进行选择应用。

S13：从独立时间源捕获每一帧图像到达的时间戳后，将该时间戳嵌入到对应帧图像的水印行内。

S13具体包括以下步骤：

S131：在水印行中设定多个大小相等的数字块，将时间戳以二进制形式存入水印行的数字块内，每一个数字块存储二进制形式时间戳的一位数字，所述数字块的数目与二进制形式的时间戳的长度相等。

具体的存入方法为，根据每个数字块对应的时间戳的二进制值，将原图像进行相应的运算生成差异图像，将差异图像添加至水印行内。

该实施例中，可以根据原图像的色度空间或亮度空间进行相应的运算，如当该块对应的二进制值为1时，则将原图像中该块的所有像素的色度或亮度加偏移值(如偏移值＝10)，当该块对应的二进制值为0时，则将原图像中该块的所有像素的色度或亮度减偏移值。在其他的实施例中，也可以采用其他的运算，以满足图像的失真性较小为较佳。

为了进一步的减少图像的失真性，该实施例中优选设定将该块中的所有像素改变的数值按照高斯曲线形状排布，即靠近块的边缘的像素改变的数值较小，靠近块的中间的像素改变的数值较大，如靠近块的两边的像素改变的数值为1，块的中间的像素改变的数值为10。

进一步的，所述水印行还设置有标志块，用于存放预先设定的用于识别的标志内容，通过标志块能够快速的识别水印行的位置。

该实施例中，所述标致块为8位，值为0x47。在其他的实施例中，本领域技术人员可以根据需求自行设定标志块的内容。

S2：接收端根据接收到的图像，从图像的水印行内提取时间戳，并根据实际接收图像的时间来计算延时。

当从每个图像中提取时间戳时，可以依赖于标志块的内容来识别水印的位置，为了进一步提高检测时间戳的准确度，还也可以根据步骤S12中定义的水印行的设置位置来进行识别。

S3：接收端移除水印行中的时间戳以得到原始图像。

当确定了时间戳后，接收端可以通过从每个数字块中去除偏移值来去除时间戳，可以通过计算出时间戳插入数字块中的精确偏移值来得到原始图像。

本发明实施例一具有以下效果：

1.能够在接收端侧进行延迟测量，而不需要发送端和接收端在同一物理位置，甚至可以在两个城市之间进行延时测量。

2.传输的视频序列将具有人眼可检测到的最小程度的失真。

3.可以在接收端移除对源视频序列的修改，从而完全消除通过水印引入的失真。

实施例二：

本发明实施例二提供了一种视频延时检测系统，包括发送端和接收端，所述发送端和接收端均包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。

进一步地，作为一个可执行方案，所述发送端和接收端可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述发送端和接收端可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述发送端和接收端的组成结构仅仅是发送端和接收端的示例，并不构成对发送端和接收端的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述发送端和接收端还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述发送端和接收端的控制中心，利用各种接口和线路连接整个发送端和接收端的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述发送端和接收端的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。