用于确定具有变化的质量对比特率的媒体数据流的质量的概念的制作方法
【技术领域】
[0001 ]本发明涉及确定具有变化的质量对比特率的媒体数据流的质量。
【背景技术】
[0002]在现代传输技术中，用于数据减少的特定编码方法可用于传输音频和视频信号。采用所述特定编码方法，以向最终用户提供取决于传输信道的当前容量的最佳可能质量。
[0003]图11示出了如当前所使用的通向最终用户的典型传输链路。其包括存储要传输的所有类型媒体数据的数据库、通过网络来执行数据传输的流传输服务器、网络本身、以及接收所需数据的最终用户/客户端。媒体数据可以是例如视频。常见问题涉及由最终用户感知到的视频的实际质量。结果是比例日益增加的自适应视频流传输技术(例如DASH(基于http的动态自适应流传输)或HLS(HTTP实况流传输)，其中，在服务器上以不同质量级别提供媒体数据)要求稳定的或统一的质量测量(质量度量)，其可以用最大可能程度的标准化m的方式来评估不同的帧大小和/或质量级别，以评价在接收侧处感知到的媒体内容的质量。
[0004]—般来说，可以将质量概念分为三个类别:
[0005]所谓的全参考(FR)质量测量技术将未通过压缩而劣化的原始媒体内容与要确定质量的媒体内容进行比较。此处不利之处在于必须访问原始版本的媒体内容。所谓的无参考(NR)质量测量技术仅基于接收到的媒体内容或仅基于接收到的并代表所述媒体内容的数据流来确定质量。这可能仅涉及检测传输伪像，并将它们量化以确定质量度量。所谓的精简参考(RR)质量测量技术表示FR和NR技术之间的中间类型方案，在于它们不仅使用接收到的数据流或接收到的媒体内容来确定接收侧质量，而是在发送侧实时确定的中间结果对于确定接收侧质量也作出贡献。所述参数或中间结果通常在传输的媒体数据流中联合传输(联合编码)。
[0006]具体地，在移动应用中，FR质量测量技术可能几乎很难实现。在US 2009/0153668A1中描述了该问题的解决方案。在发送侧，将发送侧接收到的质量分析结果插入所传输的数据流中，例如插入RTP扩展首部中，所述质量分析结果通常是对所传输的媒体内容的FR分析的结果。在接收侧，执行验证，以确定所传输的媒体数据流是否以没有伪像的方式被传输。在这样情况的阶段中，在数据流本身中传输的质量信息用于确定接收质量。在发生了错误传输的阶段中，即出现了传输伪像，则在接收侧执行质量估计。最终，根据两个质量测量(gp，基于在无干扰阶段期间传输的质量信息所获得的质量测量，以及在有干扰倾向的阶段期间在接收侧估计出的质量测量)的组合来导出接收侧质量。即使该方案导致为了应用FR方法而在接收侧处不需要存在参考媒体内容，上述参考文献中提出的方法在很多方面是不利的，且不适用于找到自适应流传输方法中的令人满意的方案。自适应流传输方法向各个客户端提供了具有变化质量级别的媒体内容。自然地，取决于当前可用于每个客户端的带宽，质量对于所述客户端按不同程度变化。然而，为了同时向大量客户端提供变化的质量，自适应流传输方法通常求助于预编码数据。例如，将视频分为时隙，且针对每个时隙来创建具有高度多样化质量级别的预编码版本。预定的协议通过在时隙边界处在各个质量级别之间切换，使得客户端能够以变化的质量级别来加载视频。所述时隙可以具有例如二至四秒的长度，且有时也被称为组块(chunk)。然而，已适应主观测试的诸如ITU-T J.247之类的FR质量测量技术要求比组块持续时间长的持续时间来测量质量，即在若干组块上延伸。从而，为了实现US参考文献中描述的方法，发送侧质量测量将必须在发送侧针对每个客户端来专门执行，且必须借助扩展首部使其对于接收侧可用，即对于所有客户端在线和/或实时进行。然而，对于具有同时存在的很多客户端的很多应用来说，考虑到其在时间和能量方面的巨大支出，这种方案是不可行的。
[0007]US 2012/0278441 A1描述了一种在接收侧估计质量的方法，即最终用户实际感知到的质量。针对所述方法指示的一个优点是:认为在接收侧仅需要很少的计算能力，且能够在任何时间点上执行。这样，也有可能专门使用接收侧测量来影响媒体数据的传输。US文献中提出的方法开始于在发送侧提供具有不同级别质量的媒体内容。如果需要，在发送侧创建表示媒体内容的签名，所述签名或多或少取决于整个画面内容以及或多或少表示画面内容。将所述签名连同画面内容向接收侧传输，使得至少以没有伪像的方式来接收签名。在接收侧，然后以相同方式根据获得的媒体内容来产生签名，并随后将该签名与从发送侧传输的签名进行比较，以根据比较来获得质量值QoE。为了将比较映射到QoE值，使用连续训练和/或提前已知的分类函数。QoE值现在指示接收侧的质量，例如，按“优”、“良”、“合格”以及“差”分类。认为QoE值能够从接收侧发回发送侧，以由那里的媒体服务器使用，以借助诸如重新路由传输路径、改变播放质量等的措施，将接收侧处实际获得的质量调整为实际期望的质量。
【发明内容】
[0008]本发明的目的是提供一种用于确定媒体数据流的质量的概念，其更为有效和/或实现了在端到端测量的意义下针对质量感知来说关键的所有特性的实际检测和评估。
[0009]该目的是由新提交的独立权利要求的主题来实现的。
[0010]本发明的核心理念在于发现了:如果根据每个数据流段来导出相应段的标识符，以及如果针对每个数据流段，借助针对相应数据流段导出的标识符从查找表中查找参数集，使得有可能聚合参数集并基于其来确定质量，则可以更有效率地确定包括数据流段(该数据流段以在媒体内容上变化的质量对比特率级别来传输媒体内容的不同媒体段，例如，在自适应流传输的上下文中)的序列在内的媒体数据流的质量。该方案允许由每个客户端的媒体数据流根据其可能随时间改变的各自带宽情形所构成的数据流段保持不变-不需要向数据流中添加任何东西。换言之，不需要连同媒体数据流一起向接收侧发送质量信息。相反，在针对数据流段的查找表中提供的参数足以确定接收侧的每个客户端处的质量，即不管质量对比特率的针对相应客户端选择的变化如何，且甚至不管其中确定质量且若干媒体段位于其中的测试或分析段如何。以这种方式，有可能求助于适于主观测试的标准化测试技术，例如ITU-T J.247，作为用于确定质量的基础。
[0011]根据实施例，标识符的导出是通过对的相应数据流段未解码版本应用例如散列函数来执行的。这实现了在不同质量的数据流段、媒体内容的不同媒体段、以及不同媒体内容本身之间的有效可区分性。具体地，该类型的标识符导出本质上受到保护以不受到传输改变的影响:在通向客户端的传输链路上的传输伪像以及转码操作导致了在充分高的概率级别上查找操作失败，使得不能将错误地提前确定的参数集(其因此可能实质上与编码质量相关，而与媒体数据流中的后续改变不相关)用于确定质量。从而，如果借助非解码版本(例如，在基本流(ES)级别上)执行识别，则查找操作隐式地还实现了检测传输伪像和/或转码操作。
【附图说明】
[0012]本申请的有利实现形成了从属权利要求的主题。下面参照附图来更详细地解释本申请的优选实施例，其中
[0013]图1示出了包括服务器和客户端在内的网络环境的示意框图，在服务器和客户端之间发生具有变化质量对比特率的媒体数据流的传输，质量确定概念被应用在根据实施例的所述环境中；
[0014]图2示出了媒体数据流以及其中编码的媒体内容的示意附图以及在服务器侧存在不同的质量对比特率级别；
[0015]图3示出了根据实施例的用于质量确定的设备的框图，该设备访问离线准备的查找表；
[0016]图4示出了根据实施例的包括查找表在内的服务器的示意框图，其有可能供服务器用于与图3的设备交互；
[0017]图5示出了根据实施例的创建表的流程图；
[0018]图6示出了根据实施例的用于创建查找表的设备的可能实现的框图；
[0019]图7示出了根据实施例的用于在接收侧确定质量的设备的操作的可能模式的流程图；
[0020]图8示出了根据实施例的参数集确定的流程图；
[0021]图9示意性地示出了服务器侧可用的媒体信号的一部分，包括具有参考信号的时间对应段的特定恒定质量对比特级别，以示出其中的参数集确定；
[0022]图10示出了根据实施例的在考虑到传输伪像的同时确定整体质量的可能实现的流程图；
[0023]图11示出了具有比特率自适应媒体数据流传输的常见服务器-客户端网络环境；以及
[0024]图12示出了表示0ΤΤ(过顶，over-the-top)流传输服务的整体QoE且通过四层来建模的四层0ΤΤ质量模型的示意表示图，每一层在基础架构中所涉及的各负责方的手上。
【具体实施方式】
[0025]图1示出了包括服务器和客户端在内的环境，且其中使用了根据本申请的实施例的用于确定媒体数据流的质量的概念。具体地，图1示出了与图11所示相同的传输链路，包括其中以预编码方式存储媒体内容的媒体数据库10、具有针对媒体数据库10的访问权的服务器12、以及经由网络16与服务器12通信连接的客户端14。例如，客户端14是在用户的终端上运行的计算机程序或应用。终端可以是例如移动终端，如移动电话、笔记本等。网络16可以包括有线部分和/或无线部分。服务器12是例如计算机或计算机网络，且媒体数据库10包括例如一个或若干硬盘或其他非易失性存储器。
[0026]在服务器12和客户端14之间的通信的上下文中，服务器12经由网络16向客户端14传输例如媒体数据流。作为示例，以下描述将假定媒体数据流是视频数据流，其表示作为媒体内容的视频，但是应当注意到:后续实施例可以轻易地转移到其他媒体内容、或者其他媒体数据流，例如音频内容、3D网格模型等。作为示例，图2示出了媒体数据流18和用其传输的媒体内容20，如已经提到的，其在这里是作为示例的视频。
[0027]如图2所示，媒体数据流18包括数据流段22的序列，媒体内容20的不同媒体段24以在媒体内容上变化的质量对比特率被编码到数据流段22中。在图2中，将在图2中作为时间变化媒体信号的示例的视频20绘成被细分为例如媒体段24，视频的直接相互相邻的连续时隙形成了单独的媒体段24。每个媒体段24从而包括视频20的画面26的相应序列。
[0028]根据例如合适的准则来控制将段24编码到数据流段22中所使用的质量对比特率的变化，以避免在客户端处实时再现媒体内容或视频20时在客户端14侧对数据流缓冲区的闲置，所谓的“停顿”，且另一方面避免缓冲区拥塞。自适应流传输可以是例如媒体数据流18的基于http的流传输，例如DASH，根据媒体数据流18的基于http的流传输，服务器12经由所谓的MPD(媒体呈现描述)向客户端14提供与可用的可下载的质量对比特率级别有关的信息。基于所述级别，位于客户端14内的调整模块可以根据针对