基于用户质量评价的视频内容补全与裁剪方法及系统与流程

本发明涉及视频数据处理领域，具体地，涉及基于用户质量评价的视频内容补全与裁剪方法及系统。
背景技术：
：随着移动互联网时代智能设备的发展，市场上的视频捕获设备与视频播放设备的屏幕尺寸比例各不相同。例如，有很多4:3的老式电视节目内容需要在当前主流的16:9屏幕上播放；很多用智能手机竖屏拍摄的内容需要在横向的屏幕中播放；更高的屏幕宽高比例的诸如“18:9全面屏”智能手机也已经逐步在市场中立足。现有的网络传输播放手段主要分为放大裁剪、缩小加黑边以及直接拉伸等方法。这些技术手段中，放大裁剪使得画面中部分内容被裁掉，缩小加黑边使得部分本可显示内容的屏幕区域浪费，而拉伸虽然可以充分利用屏幕，也不会裁剪掉画面内容，但是带来了图形的变形。这些技术手段都带来了用户体验质量(qoe)的下降。近年来随着深度学习(dl)、人工智能(ai)技术的发展，可以实现在网络中间节点上在缩小加黑边的基础上，用人工智能的方法自动生成相应场景的内容，补全在本来是黑边的部分再传给用户客户端，使得不会丢失原有图像内容，也使播放设备屏幕全部利用，同时避免了图像拉伸所带来的形变。然而，人工智能实现的生成边缘以外的信息是利用了图像中本身的内容，待生成的区域距离原始已有内容的区域越远，其生成内用的真实度、效果就越低。如遇到比较极端的情况(如9:18比例竖屏采集的内容需要在18:9的横屏屏幕上播放)时，生成过多的非原始信息反而得不到更好的qoe。因此，在进行人工智能补全内容时，并不能完全按照原始的缩放比例进行补全，仍然需要进行部分的剪裁。如何权衡补全和剪裁之间的关系是需要解决的技术问题。技术实现要素：针对现有技术中的缺陷，本发明的目的是提供一种基于用户质量评价的视频内容补全与裁剪方法及系统。根据本发明提供的一种基于用户质量评价的视频内容补全与裁剪方法，包括：初始补全步骤：网络处理节点将从源端发送来的视频进行初始补全；数据库建立步骤：建立qoe模型数据库；裁剪步骤：根据用户回传信息，从qoe模型数据库调取对应的qoe模型，将经过初始补全的视频裁剪至用户所需的比例；模型更新步骤：根据用户回传信息，实时更新qoe模型数据库中对应的qoe模型。较佳的，所述用户回传信息包括：第一信息：用户标识信息；第二信息：用户的屏幕分辨率的描述信息；第三信息：用户的画面裁剪比例的描述信息；第四信息：用户的质量评价信息。较佳的，根据所述第二信息和所述第三信息对经过初始补全的视频进行裁剪，并根据所述第一信息调取对应的qoe模型进行裁剪指导。较佳的，在所述裁剪步骤中的所述用户回传信息为新用户第一次回传时，调取的qoe模型为通用qoe模型，在收到所述新用户的第一次质量评价信息后更新所述通用qoe模型为所述新用户对应的qoe模型。较佳的，在所述初始补全步骤中将视频进行人工智能补全到最大的比例尺寸。根据本发明提供的一种基于用户质量评价的视频内容补全与裁剪系统，包括：初始补全模块：网络处理节点将从源端发送来的视频进行初始补全；数据库建立模块：建立qoe模型数据库；裁剪模块：根据用户回传信息，从qoe模型数据库调取对应的qoe模型，将经过初始补全的视频裁剪至用户所需的比例；模型更新模块：根据用户回传信息，实时更新qoe模型数据库中对应的qoe模型。较佳的，所述用户回传信息包括：第一信息：用户标识信息；第二信息：用户的屏幕分辨率的描述信息；第三信息：用户的画面裁剪比例的描述信息；第四信息：用户的质量评价信息。较佳的，根据所述第二信息和所述第三信息对经过初始补全的视频进行裁剪，并根据所述第一信息调取对应的qoe模型进行裁剪指导。较佳的，在所述裁剪模块中的所述用户回传信息为新用户第一次回传时，调取的qoe模型为通用qoe模型，在收到所述新用户的第一次质量评价信息后更新所述通用qoe模型为所述新用户对应的qoe模型。较佳的，在所述初始补全模块中将视频进行人工智能补全到最大的比例尺寸。与现有技术相比，本发明具有如下的有益效果：本发明支持与播放设备比例不同的视频源更好地呈现，通过对人工智能生成的补全视频进行适当剪裁，对用户建立个性化qoe模型数据库，以达到针对特定用户发送最佳qoe的视频。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：图1为本发明的流程图；图2为本发明的系统结构示意图；图3为本发明一实施例的示意图。具体实施方式下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。如图1、图2所示，本发明提供的一种基于用户质量评价的视频内容补全与裁剪方法，包括：初始补全步骤：网络处理节点将从源端发送来的视频进行初始补全；数据库建立步骤：建立qoe模型数据库；裁剪步骤：根据用户回传信息，从qoe模型数据库调取对应的qoe模型，将经过初始补全的视频裁剪至用户所需的比例；在本实施例中将视频进行人工智能补全到最大的比例尺寸，目前为18:9或9:18，但本发明并不以此为限；模型更新步骤：根据用户回传信息，实时更新qoe模型数据库中对应的qoe模型。其中，用户回传信息包括：第一信息：用户标识信息；第二信息：用户的屏幕分辨率的描述信息；第三信息：用户的画面裁剪比例的描述信息；第四信息：用户的质量评价信息。网络处理节点需要根据不同用户所需要的播放比例，将经过初始补全后的视频裁剪至用户所需要的比例，需要信息二与信息三中的用户屏幕分辨率以及比例信息进行剪裁处理。在确定剪裁的比例后，剪裁的大小是通过剪裁输出结果针对该用户的qoe作为最大化指标而确定，因此需要通过信息一中的用户识别标签信息，识别该用户，并从用户qoe数据库中调取该用户的qoe模型相关参数进行剪裁指导处理。由于单个用户的主观评价并不会一直保持不变，所以需要通过信息四中的用户质量评分信息，及时更新特定用户qoe数据库中的用户的qoe模型参数。信息四一般会在一次会话服务结束时要求用户进行反馈，用户也可以在观看过程中随时进行反馈。新用户第一次回传时，调取的qoe模型为通用qoe模型，在收到新用户的第一次质量评价信息后更新通用qoe模型为新用户对应的qoe模型。针对以上问题，需在用户回传信令中增加新的指示信息，这些信息可以多样地，优选地由以下表1的一组信息为例实现。表1message_id:信息的序号，在一个会话中唯一；length:指示这条信息的长度；usr_id{}：用于指示用户信息，其中包含：usr_id_length:用户id的字符串长度；usr_id_byte:储存用户id中的一个字符；usr_screen_descriptor{}：用户端屏幕表述符，包含用户屏幕分辨率的像素尺寸、比例类型和播放方向。其中包含：resolution_width:用户屏幕的分辨率宽度resolution_height:用户屏幕的分辨率高度scale_ratio_type：规定了四种主流的屏幕比例规格。这四种比例规定在市场上的占有份额达到了90％以上，在互联网播放设备中占据了98％以上，规定四种规格可以满足绝大多数播放设备的需求。其他比例的设备可根据宽高像素值计算出相近似的比例，采用裁剪的方式进行呈现。具体地，这四种比例类型如表2所示：表2数值描述00016:900116:100104:301118:9100～111保留scale_direction_flag：用于指示目标设备的播放方向是横屏(宽>高)或者竖屏(宽<高)。若为横屏播放，该值取“0”，也是默认值；若为竖屏播放，该值取“1”。score_flag：用于指示此条信令是否包含用户反馈的质量评价信息。其值为“1”时表明这条信息是含有携带用户评价信息的信息，默认为“0”。usr_score：用户携带用户对于单次服务的质量评分。分数可分为五个等级，见下表：表3数值描述0x011分0x022分0x033分0x044分0x055分(最好)0x06～0xff保留以下实施例中为了描述方便，引用上述的一组指示信息描述，但在其他实施例中，也可以或可能是其他的信息。需要注意的是，本发明中只是以上述字段为例对用户回传数据说明，并不局限于以上字段及其大小。为了更好的理解以上字段的含义，可参见附图3所示的应用实例。在上述一种基于用户质量评价的视频内容补全与裁剪方法的基础上，本发明还提供一种基于用户质量评价的视频内容补全与裁剪系统，包括：初始补全模块：网络处理节点将从源端发送来的视频进行初始补全；数据库建立模块：建立qoe模型数据库；裁剪模块：根据用户回传信息，从qoe模型数据库调取对应的qoe模型，将经过初始补全的视频裁剪至用户所需的比例；在本实施例中将视频进行人工智能补全到最大的比例尺寸，目前为18:9或9:18，但本发明并不以此为限；模型更新模块：根据用户回传信息，实时更新qoe模型数据库中对应的qoe模型。用户回传信息包括：第一信息：用户标识信息；第二信息：用户的屏幕分辨率的描述信息；第三信息：用户的画面裁剪比例的描述信息；第四信息：用户的质量评价信息。裁剪模块根据第二信息和第三信息对经过初始补全的视频进行裁剪，并根据第一信息调取对应的qoe模型进行裁剪指导。在裁剪模块中的用户回传信息为新用户第一次回传时，调取的qoe模型为通用qoe模型，在收到新用户的第一次质量评价信息后更新通用qoe模型为新用户对应的qoe模型。如图3所示，在网络节点中，通过深度学习人工智能方法，分别向纵向、横向两个方向进行人工智能补全图像，补全的尺寸为最大18:9或9:18(即2:1或1:2)，以应对不同用户的不同需求。此时分别记录生成全尺寸视频后，原始内容大小占全尺寸视频大小的百分比p0_hor(代表水平横向)和p0_ver(代表垂直纵向)。值得注意的是，这个过程对于网络节点的处理性能较高，因此可选择高性能分布式节点进行运算，而且生成的补全部分作为所有用户都有可能使用的共性部分，可以采用广播、多播的方式传输至靠近用户的边缘节点，对于点播节目，则将该版本的内容提前存储于边缘节点待用户请求时直接提取进行下一步处理。生成补全部分内容的传输可采用分别编码或设计新的映射方案编码传输等方式来实现。经过完全人工智能补全后的视频在边缘网络节点中，需要根据每个用户反馈的用户标识信息usr_id{}调取该用户特定的qoe模型qoe_usr_x(qoe_orig_dire,type,p)。不同用户的qoe模型之间的参数不同。其中，qoe_orig_dire为利用通用qoe模型计算出的不含个性化用户信息的全尺寸视频的qoe。具体地，dire可以替换为ver或者hor，代表该用户根据scale_direction_flag字段指示需要的是纵向播放或横向播放。type表示当前用户需要的设备播放比例，由scale_ratio_type字段提供。该qoe模型中的关键变量为p，即最后生成的目标比例视频中，原始视频占最后传输视频大小的百分比。因此需要计算：maxqoe_usr_x(qoe_orig_dire,type,p)s.t.p0_dire<p<100其中p0_dire可以使p0_ver或p0_hor，根据用户播放需求确定。根据上式计算出的p值，以及用户回传信息中的scale_ratio_type，则可以计算出裁剪的边缘信息，进行裁剪后生成用户个性化的宽高比及大小的视频，再通过mmt或dash等协议进行个性化传输。当一次会话进行中时，用户可以随时反馈当前的视频质量(在会话结束后强制用户进行反馈)，网络节点收到用户的反馈后，可根据当前使用的剪裁系数p，以及当前用户的质量评分usr_score，优化更新当前用户的qoe模型参数。本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。当前第1页1 2 3