本发明属于媒体传输控制技术领域，涉及一种媒体同步传输播放方法，具体是一种基于数据感知的媒体同步传输播放方法。
背景技术：
在实际的媒体流传输应用中，存在大量的重复画面，例如视频监控中的静态场景，视频会议中的非主会场，计算机屏幕流中的文本以及画面等等。这些静态重复的视频画面对于用户摄取有效视频信息来说是冗余的，尤其对于视频监控来说，占用带宽传输一些静态画面是没有必要的，而且在这类不要求视频播放特别平滑的应用中，可以减少这些重复画面的传输来节省带宽，以提高媒体流传播的效率。
技术实现要素：
本发明的目的在于提供一种基于数据感知的媒体同步传输播放方法。
本发明的目的可以通过以下技术方案实现：
一种基于数据感知的媒体同步传输播放方法，包括以下步骤：
步骤s1，关键帧提取：选择idr帧作为关键帧，分析视频流的网络数据包基于的封装规则，通过分析网络传输的码流数据包中rtp荷载的psi信息或者载荷的前面若干字节数据，得到所传输数据的类型以及始末分界信息，找出所有属于同一个帧的数据包之后，将这些数据包的净载数据依照包头的报文序号排序存入缓冲区，完成一个关键帧的提取；
步骤s2，h.264解码器解码：采用h.264解码器将步骤s1提取的关键帧解码，然后保存为图像格式；
步骤s3，关键帧图像分块：对步骤s2的图像进行分块，将图像分辨率较高的图像分为8x8的块，分辨率较低的图像分为4x4的块；
步骤s4，分块dct变换：将步骤s3中分块后的每个图像块做dct变换，图像块在经过dct变换后，从空间域转换到频域，平坦区域和变化比较均匀缓慢的区域就由低频分量表示，内容突变和边缘细节区域就由高频分量表示；
步骤s5，相邻关键帧对应块dct变换对比：相邻关键帧图像都经过变换之后，依照频率从低到高的顺序分别选取不同个数的低频分量通过变换对图像进行重建，取两幅图像的dc系数来代表整幅图像，比较dc系数得到图像相似度；
步骤s6，关键帧相似度计算：从每个图像块的dct矩阵中抽取dc系数组成整幅图像的dc系数矩阵，对比dc系数矩阵的相似度；
步骤s7，冗余内容判断：根据步骤s6得到相邻两个关键顿图像的相似度之后，依据相似度找出当前缓存区中的内的冗余图像；
步骤s8，传输控制及同步：步骤s7确定冗余帧数目之后，进行丢倾控制，在丢帧的同时增加同步标志，以丢帧标志报文代替冗余帧发送到客户端，丢帧标志的内容是当前画面组序列中被连续丢弃的帧数目n，客户端收到丢帧标志报文之后，解析出其中的丢帧数目n，然后以当前视频流的帧速率重复播放解码器中最近的一个被解码缓存的图像帧，保证视频的流畅以及同步。
本发明的有益效果：本发明提供的基于数据感知的媒体同步传输播放方法，首先提取出视频流内容的代表帧，然后对内容代表帧的特征做对比得到内容相似度，找出视频流中的冗余图像，最后以标志信息代替冗余图像将视频流传输出去，减少了视频流中重复的视频图像顿的传输，提高了视频传输的效率。
具体实施方式
下面将结合本发明实施例，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供了一种基于数据感知的媒体同步传输播放方法，包括以下步骤：
步骤s1，关键帧提取：由于实时媒体流的画面组序列长度不会很大，通常是视频帧率的一半或者等于帧率，故每个画面组序列开始的idr帧在视频流的一系列图像序列中具有比较高的代表性，可以准确反映视频内容的变化和主题；鉴于idr帧编码的独立性特点，选择idr帧作为关键帧。
关键帧提取的关键就在于分析视频流的网络数据包基于的封装规则，通过分析网络传输的码流数据包中rtp荷载的psi信息或者载荷的前面若干字节数据，得到所传输数据的类型以及始末分界信息，找出所有属于同一个帧的数据包之后，将这些数据包的净载数据依照包头的报文序号排序存入缓冲区，完成一个关键帧的提取。
步骤s2，h.264解码器解码：采用h.264解码器将步骤s1提取的关键帧解码，然后保存为图像格式。
步骤s3，关键帧图像分块：对步骤s2的图像进行分块，分块尺寸越大算法复杂度越高，分块过小计算效率低，耗时间长，一般都以8x8或者4x4为单位分块，将图像分辨率较高的图像分为8x8的块，分辨率较低的图像分为4x4的块。
步骤s4，分块dct变换：每幅图像都有一个特征，平坦区域和变化比较均匀缓慢的区域占大部分，而内容突变和边缘细节区域占小部分。图像本身是一种信号，信号处理领域里经常将信号从时域或者空间域转换到频域，方便对信号的分析以及处理。
将步骤s3中分块后的每个图像块做dct变换，时域信号的变化率对应于频域的频率，变化率越高，对应的频率越高，变化较缓慢的信号低频分量较多，对应的低频变换系数值比较大，变化剧烈的信号高频分量较多，对应的高频变换系数值比较大。图像块在经过dct变换后，从空间域转换到频域，平坦区域和变化比较均匀缓慢的区域就由低频分量表示，内容突变和边缘细节区域就由高频分量表示。
步骤s5，相邻关键帧对应块dct变换对比：相邻关键帧图像都经过变换之后，依照频率从低到高的顺序分别选取不同个数的低频分量通过变换对图像进行重建，取两幅图像的dc系数来代表整幅图像，比较dc系数得到图像相似度。
步骤s6，关键帧相似度计算：因为图像分块dct变换之后每个图像块都有一个对应的dc系数，所以需要从每个图像块的dct矩阵中抽取dc系数组成整幅图像的dc系数矩阵，对比dc系数矩阵的相似度。
bmp图像有r、g、b三个分量，各分量独立变换，故每个分量都对应一个dc系数矩阵，所以最后关键帧的相似度由三个分量的dc系数矩阵的相似度加权得到。
步骤s7，冗余内容判断：根据步骤s6得到相邻两个关键顿图像的相似度之后，依据相似度找出当前缓存区中的内的冗余图像。
针对完全静态画面，对于相邻关键帧图像视觉效果完全一样的情况，可以直接将当前缓存的整个画面组序列都看作冗余内容，在判断的时候依据步骤s6得到的关键帧相似度，设置一个阈值t1，如果相似度大于等于该阈值，则判断当前画面组序列帧全部为冗余帧。
针对变化缓慢的画面，对于相邻关键顿图像视觉上发生微小变化的情况，可以将当前缓存的画面组序列后半部分图像帧判断为冗余内容，在判断的时候依据步骤s6得到的关键帧相似度，设置一个阈值t2(t2<t1)，当相似度在t1与t2之间时，判断后半部分画面组序列帧为冗余帧。
步骤s8，传输控制及同步：步骤s7确定冗余帧数目之后，要做一些丢倾控制，如果只是简单的丢弃，那么当客户端接收播放时，必然会导致播放时长不足，画面断续、黑屏，与音频以及计算机屏幕流无法同步的问题。为了尽可能的缓解这种现象，在丢帧的同时需要增加一些同步标志，以丢帧标志报文代替冗余帧发送到客户端，丢帧标志的内容是当前画面组序列中被连续丢弃的帧数目n，客户端收到丢帧标志报文之后，解析出其中的丢帧数目n，然后以当前视频流的帧速率重复播放解码器中最近的一个被解码缓存的图像帧，保证视频的流畅以及同步。
本发明提供的基于数据感知的媒体同步传输播放方法，首先提取出视频流内容的代表帧，然后对内容代表帧的特征做对比得到内容相似度，找出视频流中的冗余图像，最后以标志信息代替冗余图像将视频流传输出去，减少了视频流中重复的视频图像顿的传输，提高了视频传输的效率。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。