一种视频图像处理方法和系统的制作方法【专利摘要】本发明公开了一种视频图像处理方法和系统。该方法包括：ROI计算服务器基于设定规则确定视频图像数据中图像的ROI和非ROI；ROI计算服务器将所述视频图像数据，以及视频图像数据的ROI划分方案，提供给至少一个编码服务器；编码服务器获取编码需求和ROI质量控制策略，并根据编码需求选择ROI划分方案和ROI质量控制策略；根据选择的所述ROI划分方案和ROI质量控制策略对视频图像数据进行编码处理。本发明提供了一种将ROI计算与视频编码分开运行的架构模式。可以灵活组装ROI划分方案和ROI质量控制策略，能更好的应对不同的编码需求。将ROI的计算和编码分开运行，使得视频图像数据ROI划分方案不必重复计算，节省了ROI计算资源，提高运算效率，保证实时性传输视频节目。【专利说明】一种视频图像处理方法和系统【
技术领域：
】[0001]本发明实施例涉及视频处理技术，尤其涉及一种视频图像处理方法和系统。【
背景技术：
】[0002]随着视频技术和媒体传播技术的发展，视频图像数据的传播分享已成为人们工作和生活中不可或缺的信息分享手段。[0003]面对海量的视频图像数据，为了能够降低传输码率，通常需要在数据源对视频图像进行压缩编码等处理。压缩会对视频图像的质量造成一定的损失，难以兼顾传输码率与视频质量之间的关系。同时，对于同一数据源提供的同一视频图像数据，不同的接收者也会有不同的质量需求和传输能力限制，这也为视频图像数据的处理过程提出了更高的要求。[0004]所以，如果能够很好的兼顾视频质量、传输码率以及不同接收者的灵活需求，成为视频图像处理技术中需要解决的问题之一。【
发明内容】[0005]本发明提供一种视频图像处理方法和系统，以优化视频图像处理技术，提高其灵活性。[0006]第一方面，本发明实施例提供了一种视频图像处理方法，包括：[0007]感兴趣区域R0I计算服务器基于设定规则确定视频图像数据中图像的R0I和非R0I；[0008]所述R0I计算服务器将所述视频图像数据，以及所述视频图像数据的R0I划分方案，提供给至少一个编码服务器；[0009]所述编码服务器获取编码需求和R0I质量控制策略，并根据所述编码需求选择所述R0I划分方案和R0I质量控制策略；[0010]所述编码服务器根据选择的所述R0I划分方案和R0I质量控制策略对所述视频图像数据进行编码处理。[0011]第二方面，本发明实施例还提供了一种视频图像处理系统，包括感兴趣区域R0I计算服务器和至少一个编码服务器，其中：[0012]所述R0I计算服务器包括R0I确定模块和数据提供模块，所述R0I确定模块用于基于设定规则确定视频图像数据中图像的R0I和非R0I，所述数据提供模块用于将所述视频图像数据，以及所述视频图像数据的R0I划分方案，提供给至少一个编码服务器；[0013]每个所述编码服务器，与所述R0I计算服务器相交互，包括策略选择模块和图像编码模块，所述策略选择模块用于获取编码需求和R0I质量控制策略，并根据所述编码需求选择所述R0I划分方案和R0I质量控制策略，所述图像编码模块用于根据选择的所述R0I划分方案和R0I质量控制策略对所述视频图像数据进行编码处理。[0014]本发明实施例提供了一种将R0I计算与视频编码分开运行的架构模式。利用该模式，操控各编码服务器的运营商可以灵活组装R0I划分方案和R0I质量控制策略，能更好的应对不同的编码需求。将ROI的计算和编码分开运行，使得视频图像数据ROI划分方案不必重复计算，节省了R0I计算资源，提高运算效率，保证实时性传输视频节目。【专利附图】【附图说明】[0015]图1为本发明实施例一提供的一种视频图像处理方法的流程图；[0016]图2为本发明实施例所适用的视频图像处理系统的架构示意图；[0017]图3为本发明实施例二提供的一种视频图像处理系统的架构示意图。【具体实施方式】[0018]下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。[0019]实施例一[0020]图1为本发明实施例一提供的一种视频图像处理方法的流程图，本实施例可适用于对数据源提供的视频图像数据进行感兴趣区域（RegionofInteresting，简称R0I)计算和编码处理的情况，该方法由视频图像处理系统来执行，该系统如图2所示，包括ROI计算服务器210和至少一个编码服务器220,两种服务器优选是物理上独立设置，但也可以物理上集成于一台服务器之中，分别实现两种服务器的逻辑功能。[0021]该方法具体包括如下步骤：[0022]步骤110、R0I计算服务器基于设定规则确定视频图像数据中图像的R0I和非R0I；[0023]上述步骤用于确定视频图像数据中图像的R0I和非R0I，可以是对视频中的全部或部分帧图像，按帧进行确定，也可以是对多帧图像进行批量确定，最终形成视频图像数据中图像的R0I划分方案。设定规则可以有多种实现形式，例如，可以由用户通过人机交互的方式手工标记图像中的R0I。或者，基于视觉注意机制，通过建立视觉注意模型计算图像中特征的显著度，继而提取图像中显著性较高特征所在的区域，作为R0I。该显著度是图像中像素的某个特征与其周围环境中其它像素对应特征的对比效果。[0024]作为优选，本发明实施例中还提供了一种确定方法更为简洁，且计算量小的R0I确定规则，即所述R0I计算服务器，在所述视频图像数据中针对图像进行中间区域、人脸区域和/或字幕区域识别，将识别到的区域作为所述R0I，剩余区域作为非R0I。上述技术方案在确定R0I时，采用了固定R0I区域与浮动R0I区域相结合的方式。可以设置中间区域作为固定的R0I区域，每帧中均可将固定的中间区域作为R0I区域。还设置人脸区域、字幕区域作为浮动R0I区域，即在各帧中进行人脸和字幕的有针对性识别，确定浮动变化的R0I区域。该操作方案中，将三类区域确定为R0I区域，既无需人工交互来指定，所以确定方式简洁，同时三类区域已经基本覆盖了人重点关注的位置，所以R0I的确定较为准确，对区域识别的计算量也较小。当然，目标区域可以不限于上述三类，也可以根据需求确定其他有针对性特征的目标区域。例如，还可以将移动物体所在区域作为浮动的R0I区域，动漫人物的脸也可以作为人脸来进行识别，例如冰河世纪中的长毛象等。移动物体的识别可以关联前后几帧的图像来确定。[0025]步骤120、所述R0I计算服务器将所述视频图像数据，以及所述视频图像数据的R0I划分方案，提供给至少一个编码服务器；[0026]R0I划分方案可以由多种方式来表示，例如用区域坐标、像素坐标等方式向编码服务器告知图像中的R0I和非R0I划分情况。具体可以提供视频图像数据的标识，例如节目号，来代表视频图像数据，再提供帧号和对应的R0I划分方案，来确定各帧图像的R0I划分情况。当设定规则不同时，对同一图像，有可能产生一个或多个R0I划分方案。[0027]步骤130、所述编码服务器获取编码需求和R0I质量控制策略，并根据所述编码需求选择所述R0I划分方案和R0I质量控制策略；[0028]对于任意一个编码服务器而已，其可以根据自身的情况或视频图像接收者的情况来确定编码需求。例如，该编码服务器可能需要提供高清、标清或流畅画面，或者可能其传输带宽发生变化需要调整编码率等。由上述因素可以确定编码方案。R0I质量控制策略是用于在R0I划分方案基础上确定对R0I和非R0I怎样进行区别的质量处理的策略。该控制策略为一个或多个，由第三方控制者指定，或者在编码服务器预先配置多种，也可以由R0I计算服务器指定。编码服务器可以根据编码需求，选择R0I划分方案和对应的R0I质量控制策略。[0029]步骤140、所述编码服务器根据选择的所述R0I划分方案和R0I质量控制策略对所述视频图像数据进行编码处理。[0030]优选是，所述R0I质量控制策略中，所述R0I的处理后图像质量高于所述非R0I的处理后图像质量。通常，R0I为人们重点会关注的区域，所以可控制R0I的图像质量高于非R0I的图像质量，例如，使得R0I的清晰度高，而非R0I较为模糊等。该图像质量的控制典型的体现在压缩质量上，即所述编码服务器根据选择的所述R0I划分方案和R0I质量控制策略对所述视频图像数据进行编码处理的操作，具体可以为：所述编码服务器根据选择的所述R0I划分方案和R0I质量控制策略，对所述R0I采用第一压缩算法进行压缩，对所述非R0I采用第二压缩算法进行压缩，其中，所述第一压缩算法的图像损失率低于所述第二压缩算法的图像损失率。例如可以用QP(可打印字符引用编码，Quoted-printable)方法进行压缩编码，且控制此有损压缩算法中的有损参数，来实现不同的图像质量，则R0I质量控制策略即为QP差值策略。[0031]本发明实施例提供了一种将R0I计算与视频编码分开运行的架构模式。利用该模式，操控各编码服务器的运营商可以灵活组装R0I划分方案和R0I质量控制策略，能更好的应对不同的编码需求。将R0I的计算和编码分开运行，使得视频图像数据R0I划分方案不必重复计算，节省了R0I计算资源，提高运算效率，保证实时性传输视频节目。实际应用中，该方案可以实现在1路38M的数字带宽中实时传输70路节目。[0032]实施例二[0033]图3为本发明实施例二提供的一种视频图像处理系统的架构示意图，该系统包括R0I计算服务器210和至少一个编码服务器220,图3所示为包括一个编码服务器220的情况，图2所示为包括多个编码服务器220的情况。所述R0I计算服务器210和所述编码服务器220物理上独立设置，通过有线或无线方式进行数据交互。[0034]该系统的架构模式并不限于图2和图3所示，还可以有多种实现方式，例如，R0I计算服务器和所述编码服务器也可以物理上集成设置在一台服务器中，分别实现其逻辑功能。ROI计算服务器的数量可以为多个，与各编码服务器呈多多的交互连接关系，从而可以将R0I计算进行分布式处理。[0035]所述R0I计算服务器210包括R0I确定模块211和数据提供模块212,所述R0I确定模块211用于基于设定规则确定视频图像数据中图像的R0I和非R0I，所述数据提供模块212用于将所述视频图像数据，以及所述视频图像数据的R0I划分方案，提供给至少一个编码服务器220;[0036]每个所述编码服务器220,与所述R0I计算服务器210相交互，包括策略选择模块221和图像编码模块222,所述策略选择模块221用于获取编码需求和R0I质量控制策略，并根据所述编码需求选择所述R0I划分方案和R0I质量控制策略，所述图像编码模块222用于根据选择的所述R0I划分方案和R0I质量控制策略对所述视频图像数据进行编码处理。[0037]在上述方案基础上，优选的所述R0I质量控制策略中，所述R0I的处理后图像质量高于所述非R0I的处理后图像质量。[0038]所述策略选择模块221具体可用于根据选择的所述R0I划分方案和R0I质量控制策略，对所述R0I采用第一压缩算法进行压缩，对所述非R0I采用第二压缩算法进行压缩，其中，所述第一压缩算法的图像损失率低于所述第二压缩算法的图像损失率。[0039]所述R0I确定模块211具体可用于在所述视频图像数据中针对图像进行中间区域、人脸区域和/或字幕区识别，将识别到的区域作为所述R0I，剩余区域作为非R0I。[0040]上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。[0041]本发明实施例提供了一种将R0I计算与视频编码分开运行的架构模式。利用该模式，操控各编码服务器的运营商可以灵活组装R0I划分方案和R0I质量控制策略，能更好的应对不同的编码需求。将R0I的计算和编码分开运行，使得视频图像数据R0I划分方案不必重复计算，节省了R0I计算资源，提高运算效率，保证实时性传输视频节目。[〇〇42]注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。【权利要求】1.一种视频图像处理方法，其特征在于，包括：感兴趣区域ROI计算服务器基于设定规则确定视频图像数据中图像的ROI和非ROI;所述ROI计算服务器将所述视频图像数据，以及所述视频图像数据的ROI划分方案，提供给至少一个编码服务器；所述编码服务器获取编码需求和ROI质量控制策略，并根据所述编码需求选择所述ROI划分方案和ROI质量控制策略；所述编码服务器根据选择的所述ROI划分方案和ROI质量控制策略对所述视频图像数据进行编码处理。2.根据权利要求1所述的方法，其特征在于：所述ROI质量控制策略中，所述ROI的处理后图像质量高于所述非ROI的处理后图像质量。3.根据权利要求2所述的方法，其特征在于，所述编码服务器根据选择的所述ROI划分方案和ROI质量控制策略对所述视频图像数据进行编码处理包括：所述编码服务器根据选择的所述ROI划分方案和ROI质量控制策略，对所述ROI采用第一压缩算法进行压缩，对所述非ROI采用第二压缩算法进行压缩，其中，所述第一压缩算法的图像损失率低于所述第二压缩算法的图像损失率。4.根据权利要求1-3任一所述的方法，其特征在于，所述ROI计算服务器基于设定规则确定视频图像数据中图像的ROI和非ROI包括：所述ROI计算服务器，在所述视频图像数据中针对图像进行中间区域、人脸区域和/或字幕区识别，将识别到的区域作为所述ROI，剩余区域作为非ROI。5.-种视频图像处理系统，其特征在于，包括感兴趣区域ROI计算服务器和至少一个编码服务器，其中：所述ROI计算服务器包括ROI确定模块和数据提供模块，所述ROI确定模块用于基于设定规则确定视频图像数据中图像的ROI和非ROI，所述数据提供模块用于将所述视频图像数据，以及所述视频图像数据的ROI划分方案，提供给至少一个编码服务器；每个所述编码服务器，与所述ROI计算服务器相交互，包括策略选择模块和图像编码模块，所述策略选择模块用于获取编码需求和ROI质量控制策略，并根据所述编码需求选择所述ROI划分方案和ROI质量控制策略，所述图像编码模块用于根据选择的所述ROI划分方案和ROI质量控制策略对所述视频图像数据进行编码处理。6.根据权利要求5所述的系统，其特征在于，所述ROI质量控制策略中，所述ROI的处理后图像质量高于所述非ROI的处理后图像质量。7.根据权利要求6所述的系统，其特征在于，所述策略选择模块具体用于根据选择的所述ROI划分方案和ROI质量控制策略，对所述ROI采用第一压缩算法进行压缩，对所述非ROI采用第二压缩算法进行压缩，其中，所述第一压缩算法的图像损失率低于所述第二压缩算法的图像损失率。8.根据权利要求5-7任一所述的系统，其特征在于，所述ROI确定模块具体用于在所述视频图像数据中针对图像进行中间区域、人脸区域和/或字幕区识别，将识别到的区域作为所述ROI，剩余区域作为非ROI。9.根据权利要求6所述的系统，其特征在于，所述ROI计算服务器和所述编码服务器物理上独立设置，通过有线或无线方式进行数据交互。【文档编号】H04N21/647GK104105006SQ201410352578【公开日】2014年10月15日申请日期:2014年7月23日优先权日:2014年7月23日【发明者】谢朝霞,路海明,卢增祥,李召,牛长锋,徐文山,马英帅申请人:北京永新视博信息技术有限公司