图像处理方法、装置、及计算机设备与流程

文档序号:28071862发布日期:2021-12-18 00:29阅读:100来源:国知局
图像处理方法、装置、及计算机设备与流程

1.本发明涉及互联网技术领域,尤其涉及一种图像处理方法、一种图像处理装置以及计算机设备。


背景技术:

2.随着计算机技术的快速发展,极大推动了视频编码技术的发展。在视频编码技术领域中,视频采集设备常常会受到自身缺陷、拍摄时角度以及光线等因素的影响,导致播放的视频画面中出现噪点。因此,对视频进行降噪处理成为了视频领域的一个研究重点。
3.目前,通常利用时域滤波(temporal filtering,tf)处理技术对视频进行降噪处理,采用的做法通常是对图像帧进行划分为预设尺寸的图像块,然后对得到的每个图像块直接进行运动估计(motion estimation,me),从而确定图像帧的运动补偿(motion compenration,mc)结果,这种处理方式较为单一。因此,如何丰富对视频中的图像帧的滤波处理方式是当前亟待解决的一个技术问题。


技术实现要素:

4.本技术实施例提出了一种图像处理方法、装置、计算机设备及存储介质,可以根据运动估计策略确定目标图像帧的运动补偿结果,从而提高滤波结果的准确性和滤波效率。
5.一方面,本技术实施例提供一种图像处理方法,该方法包括:获取待编码的目标图像帧,目标图像帧包括n个第一图像块,n为正整数;根据目标图像帧的图像内容确定每个第一图像块的运动估计策略,运动估计策略包括整块估计开启策略和整块估计关闭策略;若每个第一图像块的运动估计策略是整块估计开启策略,则对每个第一图像块分别进行运动补偿,并根据n个第一图像块的运动补偿结果确定目标图像帧的运动补偿结果;若每个第一图像块的运动估计策略是整块估计关闭策略,则将每个第一图像块划分为m个单位图像块,对每个单位图像块分别进行运动补偿,并根据n*m个单位图像块的运动补偿结果确定目标图像帧的运动补偿结果,m为正整数;根据目标图像帧的运动补偿结果对目标图像帧进行滤波处理,得到目标图像帧的滤波结果。
6.一方面,本技术实施例提供一种图像处理装置,该装置包括:获取单元,用于获取待编码的目标图像帧,目标图像帧包括n个第一图像块,n为正整数;确定单元,用于根据目标图像帧的图像内容确定每个第一图像块的运动估计策略,运动估计策略包括整块估计开启策略和整块估计关闭策略;处理单元,用于若每个第一图像块的运动估计策略是整块估计开启策略,则对每个第一图像块分别进行运动补偿,并根据n个第一图像块的运动补偿结果确定目标图像帧的运动补偿结果;
处理单元,还用于若每个第一图像块的运动估计策略是整块估计关闭策略,则将每个第一图像块划分为m个单位图像块,对每个单位图像块分别进行运动补偿,并根据n*m个单位图像块的运动补偿结果确定目标图像帧的运动补偿结果,m为正整数;处理单元,还用于根据目标图像帧的运动补偿结果对目标图像帧进行滤波处理,得到目标图像帧的滤波结果。
7.一方面,本技术实施例提供一种计算机设备,该计算机设备包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述的图像处理方法。
8.一方面,本技术实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被计算机设备的处理器读取并执行时,使得计算机设备执行上述的图像处理方法。
9.一方面,本技术实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述的图像处理方法。
10.本技术实施例中,可以根据目标图像帧的视频内容(例如内容主题、分辨率等)来确定是将当前图像块的运动补偿结果作为目标图像帧的运动补偿结果,还是将当前图像块划分为更小的图像块,然后将更小的图像块的运动补偿结果作为图像帧的运动补偿结果。其中,图像块更小,所确定的运动补偿结果更准确,则滤波效果更好;图像块更大,则计算量更少。因此,本技术实施例丰富了运动补偿的处理方式,另外本技术中所提供的运动估计策略可以在计算量和滤波效果之间作平衡,这样既保证了较佳的滤波效果,又保证了较小的计算量,从而可以提高滤波效率和准确性。
附图说明
11.为了更清楚地说明本技术实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
12.图1是本技术实施例提供的一种图像处理系统的架构示意图;图2是本技术实施例提供的一种图像处理方法的流程示意图;图3a是本技术实施例提供的一种划分第一图像块的流程示意图;图3b是本技术实施例提供的另一种划分第一图像块的流程示意图;图3c是本技术实施例提供的另一种划分第一图像块的流程示意图;图4是本技术实施例提供的另一种图像处理方法的流程示意图;图5是本技术实施例提供的一种图像处理装置的结构示意图;图6是本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
13.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例
中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
14.本技术实施例提供了一种图像处理方案,该图像处理方案可以应用于云技术、人工智能、区块链、智慧交通、辅助驾驶等各类领域,具体来说,可以减少对待编码的目标图像帧进行运动补偿的计算量,从而提高编码效率。其中,该方案的大致流程可以包括:首先可以获取待编码的目标图像帧,目标图像帧包括n个第一图像块;然后根据目标图像帧的图像内容确定每个第一图像块的运动估计策略,其中,运动估计策略包括整块估计开启策略和整块估计关闭策略;若每个第一图像块的运动估计策略是整块估计开启策略,则对每个第一图像块分别进行运动补偿,并根据n个第一图像块的运动估计结果确定目标图像帧的运动补偿结果;若每个第一图像块的运动估计策略是整块估计关闭策略,则将每个第一图像块划分为m个单位图像块,对每个单位图像块分别进行运动补偿,并根据n*m个单位图像块的运动补偿结果确定目标图像帧的运动补偿结果,m为正整数;最后,根据目标图像帧的运动补偿结果对目标图像帧进行滤波处理,得到目标图像帧的滤波结果。
15.由此可见,本技术实施例中,可以根据目标图像帧的视频内容(例如内容主题、分辨率等)来确定是将当前图像块的运动补偿结果作为目标图像帧的运动补偿结果,还是将当前图像块划分为更小的图像块,然后将更小的图像块的运动补偿结果作为图像帧的运动补偿结果。其中,图像块更小,所确定的运动补偿结果更准确,则滤波效果更好;图像块更大,则计算量更少。因此,本技术实施例丰富了运动估计的处理方式,另外本技术中所提供的运动估计策略可以在计算量和滤波效果之间作平衡,这样既保证了较佳的滤波效果,又保证了较小的计算量,从而可以提高滤波效率和准确性。
16.接下来,结合本技术涉及的技术术语对上述提及的图像处理方案进行相关介绍:一、人工智能:人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、智能游戏、智慧交通等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
17.在一种可能的实现方式中,本技术实施例提供的图像处理方案属于人工智能领域下属的计算机视觉技术(computer vision,cv),可以应用于视频编码、视频处理、视频播放(例如视频点播、视频直播)等领域,从而可以提升视频播放过程中的画质和节约视频传输的带宽等。其中,所谓计算机视觉技术是一门研究如何使机器“看”的科学技术,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
18.二、云技术:
云技术(cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
19.在一种可能的实现方式中,本技术实施例提供的图像处理方案可以与云技术相结合,具体来说,本技术中所涉及的“对每个第一图像块分别进行运动补偿”、“对每个单位图像块分别进行运动补偿”等过程涉及大规模计算,需要巨大的算力和存储空间,因此在本技术中,可以通过云技术领域下的云计算技术获取足够算力和存储空间,进而执行上述过程。其中,云计算(cloud computing)是一种计算模式,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。
20.三、区块链:区块链(blockchain)是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
21.在一种可能的实现方式中,本技术实施例提供的图像处理方案可与区块链技术相结合,例如可以将n个第一图像块的运动估计结果、n*m个单位图像块的运动估计结果、以及目标图像帧的运动补偿结果以及滤波结果等数据上传至区块链中进行保存,可以保证区块链上的数据不易被篡改。
22.四、智慧交通:智能交通系统(intelligent traffic system,its)又称智能运输系统(intelligent transportation system),是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造,加强车辆、道路、使用者三者之间的联系,从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。或者;智能车路协同系统(intelligent vehicle infrastructure cooperative systems,ivics),简称车路协同系统,是智能交通系统(its)的一个发展方向。车路协同系统是采用先进的无线通信和新一代互联网等技术,全方位实施车车、车路动态实时信息交互,并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理,充分实现人车路的有效协同,保证交通安全,提高通行效率,从而形成的安全、高效和环保的道路交通系统。
23.在一种可能的实现方式中,本技术实施例提供的图像处理方案可应用于智慧交通、辅助驾驶等领域,例如在目标车辆的行驶过程中,目标车辆中的车载终端可以实时采集目标车辆周围道路的视频信息,然后从所采集到的视频信息中获取目标图像帧,根据本申
请实施例提供的图像处理方案,可以对目标图像帧进行图像处理,从而得到画面噪点较少、较为清晰的滤波图像帧(即目标图像帧的滤波结果)。后续,可以将所确定的滤波图像帧发送至行车记录仪,并将滤波图像帧显示于行车记录仪中,以供驾驶者观看,从而达到提升画质的效果。
24.请参考图1,图1是本技术实施例提供的一种图像处理系统的架构示意图。该图像处理的系统架构图可以包括:终端设备110以及服务器120,其中,图1所示的系统架构图中的终端设备的数量仅用于示例,并不构成对系统架构图的限定。另外,终端设备110与服务器120可以通过有线或无线通信方式进行直接或间接地连接,本技术在此不做限制。
25.图1所示的服务器120可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
26.图1所示的终端设备110可以是手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mid,mobile internet device)、车辆、车载设备、路边设备、飞行器、可穿戴设备、智能语音交互设备、智能家电等,例如智能手表、智能手环、计步器等,等具有图像处理功能的智能设备。
27.在一种可能的实现方式中,终端设备110可以获取待编码的目标图像帧,目标图像帧包括n个第一图像块;然后终端设备110将目标图像帧发送至服务器120。然后,服务器120在获取到目标图像帧之后,根据目标图像帧的图像内容确定每个第一图像块的运动估计策略,其中,运动估计策略包括整块估计开启策略和整块估计关闭策略。若每个第一图像块的运动估计策略是述整块估计开启策略,则服务器120对每个第一图像块分别进行运动补偿,并根据n个第一图像块的运动估计结果确定目标图像帧的运动补偿结果。若每个第一图像块的运动估计策略是整块估计关闭策略,则服务器120将每个第一图像块划分为m个单位图像块,对每个单位图像块分别进行运动补偿,并根据n*m个单位图像块的运动估计结果确定目标图像帧的运动补偿结果。最后,服务器120将目标图像帧的运动补偿结果发送至终端设备110。后续,终端设备110可以根据目标图像帧的运动补偿结果对目标图像帧进行滤波处理,得到目标图像帧的滤波结果。
28.当然,对每个第一图像块分别进行运动补偿,并根据n个第一图像块的运动估计结果确定目标图像帧的运动补偿结果;对每个第一图像块分别进行运动补偿,并根据n个第一图像块的运动估计结果确定目标图像帧的运动补偿结果。上述过程不一定是由服务器120来执行,也可以由终端设备110或者终端设备集群中的其它任意计算机设备来执行。并且,根据目标图像帧的运动补偿结果对目标图像帧进行滤波处理,得到目标图像帧的滤波结果,也不一定由终端设备110来执行,也可以由服务器120来执行。
29.在一种可能的实现方式中,可以将本技术实施例提供的图像处理系统部署在区块链的节点,例如可以将服务器120和终端设备110均当成区块链的节点设备,共同构成区块链网络。因此本技术中对待编码的目标图像帧的图像处理流程可以在区块链上执行,这样既可以保证图像处理流程的公平公正化,同时可以使得图像处理流程具备可追溯性,提升图像处理流程的安全性。
30.可以理解的是,本技术实施例描述的系统架构示意图是为了更加清楚的说明本申
请实施例的技术方案,并不构成对于本技术实施例提供的技术方案的限定,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本技术实施例提供的技术方案对于类似的技术问题,同样适用。
31.接下来,结合附图对本技术实施例提供的图像处理方法进行详细描述。请参见图2,图2是本技术实施例提供的一种图像处理方法的流程示意图,该图像处理方法可以由计算机设备执行,该计算机设备可以是终端设备,该计算机设备也可以为服务器。如图2所示,该图像处理方法可以包括s201

s205,其中:s201:获取待编码的目标图像帧,目标图像帧包括n个第一图像块,n为正整数。
32.本技术实施例中,目标图像帧可以为待编码视频流中需要进行时域滤波的一个图像帧。具体来说,目标图像帧可以为待编码视频流中的任一图像帧,或者,目标图像帧也可以为待编码视频流中的重要帧或者指定帧。例如,待编码视频流是一段关于人物介绍的视频流,则目标图像帧可以为这段关于人物介绍的视频流中包括有人物图像的图像帧,目标图像帧也可以为这段关于人物介绍的视频流中的用户指定的第x帧等等,x为正整数。进一步地,所谓的重要帧还可以根据图像帧的噪点强度、对待编码视频流进行视频压缩的量化因子、需要消耗的计算资源、以及不跨越场景等因素来综合确定。举例来说,可以从待编码视频流中选择满足噪点强度小于噪点强度阈值、量化因子小于量化因子阈值、需要消耗的计算资源小于计算资源阈值、以及不跨越场景中的一个或多个条件的图像帧作为目标图像帧。另外,针对每一个待编码的目标图像帧,计算机设备还可以从待编码视频流中获取目标图像帧的参考图像帧,其中,目标图像帧的参考图像帧的数量可以为一个或多个。
33.在一种可能的实现方式中,可以将目标图像帧划分为n个第一图像块,其中,n个第一图像块的尺寸均相同。例如,第一图像块的尺寸具体可以是64
×
64。也就是说,可以将目标图像帧划分为n个尺寸均为64
×
64的第一图像块。
34.在一种可能的实现方式中,若第一图像块的尺寸不大于尺寸阈值,则对目标图像帧进行分运动估计处理,得到目标图像帧的分运动估计处理结果,并根据目标图像帧的分运动处理结果对目标图像帧进行运动补偿,得到目标图像帧的运动补偿结果。其中,目标图像帧的分运动处理结果可以包括目标图像帧的运动矢量(motion vector,mv),目标图像帧的运动补偿结果为目标图像帧对应的预测图像帧,并且预测图像帧的尺寸与目标图像帧的尺寸相同。也就是说,计算机设备可以根据确定出来的目标图像帧的运动矢量,可以对目标图像帧进行预测,从而得到目标图像帧的预测图像帧。在另一种可能的实现方式中,若第一图像块的尺寸大于尺寸阈值,则触发执行s202所描述的步骤。
35.s202:根据目标图像帧的图像内容确定每个第一图像块的运动估计策略,运动估计策略包括整块估计开启策略和整块估计关闭策略。
36.本技术实施例中,目标图像帧的图像内容可以包括但不限于:内容主题以及分辨率,例如目标图像帧的内容主题可以为美食主题、时尚主题、教育主题、健康主题等等。在一种可能的实现方式中,计算机设备根据目标图像帧的图像内容确定每个第一图像块的运动估计策略,可以包括以下几种情况:

若目标图像帧的内容主题包括预设内容主题,并且目标图像帧的分辨率小于分辨率阈值,则确定运动估计策略为整块估计开启策略。
37.②
若目标图像帧的内容主题不包括预设内容主题,并且目标图像帧的分辨率大于
或者等于分辨率阈值,则确定运动估计策略为整块估计关闭策略。
38.③
若目标图像帧的内容主题包括预设内容主题,并且目标图像帧的分辨率大于或者等于分辨率阈值,则确定运动估计策略为整块估计关闭策略。
39.s203:若每个第一图像块的运动估计策略是整块估计开启策略,则对每个第一图像块分别进行运动补偿,并根据n个第一图像块的运动补偿结果确定目标图像帧的运动补偿结果。
40.在一种可能的实现方式中,目标第一图像块为n个第一图像块中的任一第一图像块。若目标第一图像块的运动估计策略是整块估计开启策略,那么,计算机设备对目标第一图像块进行运动补偿,得到目标第一图像块的运动补偿结果的过程,可以包括:首先,若目标第一图像块的运动估计策略是整块估计开启策略,则计算机设备对目标第一图像块进行块划分处理,得到p个第二图像块,p为正整数,其中,p个第二图像块的尺寸均相同。举例来说,请参见图3a,图3a是本技术实施例提供的一种划分第一图像块的流程示意图,如图3a所示,目标第一图像块为64
×
64的第一图像块,对目标第一图像块划分后得到的第二图像块为32
×
32的第二图像块,则p=4。若第二图像块的尺寸不大于尺寸阈值(例如尺寸阈值为8
×
8),则对目标第一图像块进行分运动估计处理,得到目标第一图像块的第一分运动估计处理结果,根据第一分运动估计处理结果对目标第一图像块进行运动补偿,得到目标第一图像块的运动补偿结果。若第二图像块的尺寸大于尺寸阈值,则对每个第二图像块分别进行分运动估计处理,得到每个第二图像块的第二分运动估计处理结果,根据第一分运动估计处理结果和p个第二分运动估计处理结果对目标第一图像块进行运动补偿,得到目标第一图像块的运动补偿结果。其中,第一分运动估计处理结果可以包括第一图像块的运动矢量;p个第二分运动估计处理结果中的每个第二分运动处理结果也可以包括相应的第二图像块的运动矢量。具体来说,计算机设备可以基于第一图像块的运动矢量,对第一图像块进行运动补偿,得到第一图像块对应的预测图像块;同样的,计算机设备可以基于第二图像块的运动矢量,对第二图像块进行运动补偿,得到第二图像块对应的预测图像块。
41.在一种可能的实现方式中,计算机设备根据第一分运动估计处理结果和p个第二分运动估计处理结果,确定目标第一图像块的运动补偿结果,可以包括:首先,计算机设备根据第一分运动估计处理结果和p个第二分运动估计处理结果确定目标第一图像块的决策策略,目标第一图像块的决策策略包括不分块策略和分块策略。若目标第一图像块的决策策略为不分块策略,则计算机设备根据第一分运动估计处理结果确定目标第一图像块的运动补偿结果。若目标第一图像块的决策策略为分块策略,则计算机设备对每个第二图像块分别进行运动补偿,将每个第二图像块的运动补偿结果组合为目标第一图像块的运动补偿结果。
42.可以理解的是,确定每个第一图像块的运动补偿结果地详细过程均可以参见确定目标第一图像块的运动补偿结果的详细过程,因此可以确定n个第一图像块中各个第一图像块的运动补偿结果。后续,计算机设备可以将所确定的n个第一图像块的运动补偿结果组合为目标图像帧的运动补偿结果。
43.接下来,针对目标第一图像块的决策策略为分块策略来说,则计算机设备对目标第一图像块中的每个第二图像块分别进行运动补偿,得到每个第二图像块的运动补偿结果,并将每个第二图像块的运动补偿结果组合为目标第一图像块的运动补偿结果。具体来
说,目标第二图像块为目标第一图像块包含的p个第二图像块中的任一第二图像块;计算机设备对目标第二图像块进行运动补偿,得到目标第二图像块的运动补偿结果的过程,可以包括:首先,计算机设备对目标第二图像块进行块划分处理,得到q个第三图像块,q为正整数,举例来说,请参见图3b,图3b是本技术实施例提供的一种划分第一图像块的流程示意图,如图3b所示,目标第一图像块为64
×
64的第一图像块,对目标第一图像块划分后得到的第二图像块为32
×
32的第二图像块,则p=4;接下来,继续对4个32
×
32的第二图像块中的任一第二图像块进行划分处理,得到16
×
16的第三图像块,则q=4。可以理解的是,64
×
64的第一图像块可以由4个的32
×
32的第二图像块构成,或者,64
×
64的第一图像块可以由16个的16
×
16的第三图像块构成。若第三图像块的尺寸不大于尺寸阈值,则根据目标第二图像块的第二分运动估计处理结果对目标第二图像块进行运动补偿,得到目标第二图像块的运动补偿结果。若第三图像块的尺寸大于尺寸阈值,对每个第三图像块分别进行分运动估计处理,得到每个第三图像块的第三分运动估计处理结果,根据目标第二图像块的第二分运动估计处理结果和q个第三分运动估计处理结果对目标第二图像块进行运动补偿,得到目标第二图像块的运动补偿结果。其中,尺寸阈值用于判断是否满足分块停止条件,意思是说,如果划分的块以及足够小(小于或等于预设的尺寸阈值),那么,停止对更小的图像块进行分块运动估计处理。
44.在一种可能的实现方式中,计算机设备根据目标第二图像块的第二分运动估计处理结果和q个第三分运动估计处理结果对目标第二图像块进行运动补偿,得到目标第二图像块的运动补偿结果,可以包括:首先,计算机设备根据目标第二图像块的第二分运动估计处理结果和q个第三分运动估计处理结果确定目标第二图像块的决策策略。若目标第二图像块的决策策略为不分块策略,则计算机设备根据目标第二图像块的第二分运动估计处理结果。若目标第二图像块的决策策略为分块策略,则计算机设备对每个第三图像块分别进行运动补偿,将每个第三图像块的运动补偿结果组合为目标第二图像块的运动补偿结果。
45.可以理解的是,后续,还可以对16
×
16的第三图像块继续进行更小块的划分,例如,将一个16
×
16的第三图像块划分为4个8
×
8的第四图像块。按照上述逻辑,分别对每个16
×
16的第三图像块进行分运动估计,并确定16
×
16的第三图像块的第三分运动估计结果。以此类推,对构成16
×
16的第三图像块的4个8
×
8的第四图像块分别进行分运动估计,得到每个8
×
8的第四图像块的第三分运动估计结果,等等。循环执行上述过程,直至所划分得到的图像块的尺寸小于或者等于尺寸阈值时,停止对图像块的划分。
46.通过这种方式,可以根据图像块的决策策略判断是否继续对图像块进行划分,以及根据对划分后的图像块进行运动估计后得到的运动补偿结果来确定划分之前的图像块的运动补偿结果,相比于无休止的对图像块进行划分操作,本技术不仅可以减少运动估计过程中的计算量,还可以提高图像划分的准确性,从而提高图像处理的效率。
47.s204:若每个第一图像块的运动估计策略是整块估计关闭策略,则将每个第一图像块划分为m个单位图像块,对每个单位图像块分别进行运动补偿,并根据n*m个单位图像块的运动估计结果确定目标图像帧的运动补偿结果,m为正整数。
48.本技术实施例中,若每个第一图像块的运动估计策略是整块估计关闭策略,则可以将第一图像块划分为m个单位图像块,其中,m个单位图像块的尺寸均相同的,另外,第二图像块的尺寸与单位图像块的尺寸可以相同,也可以不相同,也就是说,p和m可以相同,也
可以不相同。例如,第一图像块的尺寸可以为64
×
64,单位图像块的尺寸可以为16
×
16,则m=16。请参见图3c,图3c是本技术实施例提供的另一种划分第一图像块的流程示意图。如图3c所示,可以将64
×
64的第一图像块划分为16个16
×
16的单位图像块。
49.在一种可能的实现方式中,若单位图像块的尺寸不大于尺寸阈值,则计算机设备对每个第一图像块分别进行运动补偿,并根据n个第一图像块的运动补偿结果确定目标图像帧的运动补偿结果。其中,计算机设备对n个第一图像块中的每个第一图像块进行运动补偿的过程与上述步骤s203中计算机设备对目标图像块进行运动补偿所执行的步骤相同,本技术实施例在此不再赘述。
50.在另一种可能的实现方式中,若单位图像块的尺寸大于尺寸阈值,则对每个单位图像块分别进行分运动估计处理,得到每个单位图像块的单位分运动估计处理结果,并根据n*m个单位分运动估计处理结果对目标图像帧进行运动补偿,得到目标图像帧的运动补偿结果。具体来说,计算机设备可以将n*m个单位图像块的运动补偿结果组合为目标图像帧的运动补偿结果。
51.通过这种方式,在确定每个第一图像块的运动估计策略是整块估计关闭策略后,计算机设备可以对每个第一图像块进行划分处理得到多个单位图像块,并对每个单位图像块分别进行运动补偿,从而根据每个单位图像块的单位分运动估计处理结果,确定目标图像帧的运动补偿结果。由于进行了细粒度的快划分处理,因此可以提高目标图像帧的运动补偿结果的准确性。
52.s205:根据目标图像帧的运动补偿结果对目标图像帧进行滤波处理,得到目标图像帧的滤波结果。
53.需要说明的是,本技术实施例中所确定的目标图像帧的运动补偿结果的数量可以为一个,也可以为多个。若目标图像帧的运动补偿结果的数量为多个,则可以将多个运动补偿结果进行加权平均运算,得到加权平均运算后的运动补偿结果。然后计算机设备根据加权平均运算后的运动补偿结果对目标图像帧进行滤波处理,得到目标图像帧的滤波结果。其中,目标图像帧的滤波结果即为目标图像帧的滤波图像帧。
54.在一种可能的实现方式中,目标图像帧为待编码视频流中的一个图像帧,本技术实施例可以从待编码视频流中,为当前需要处理的目标图像帧,选择一定数量的参考图像帧。根据每一个参考图像帧,可以根据本技术实施例的方法得到对应的目标图像帧的运动补偿结果,然后把所确定的每个目标图像帧的运动补偿结果进行加权平均运算,即可得到目标图像帧对应的滤波图像帧(即滤波结果)。由于滤波图像帧利用多个参考图像帧的信息去除了噪点,同时为后续编码时之前那些用于参考的参考图像帧反过来参考这个滤波图像帧就会更加准确,从而能降低码率,提升压缩率。最后,计算机设备还可以对目标图像帧对应的滤波图像帧进行编码处理,得到目标图像帧对应的编码码流。
55.本技术实施例中,可以根据目标图像帧的视频内容(例如内容主题、分辨率等)来确定是将当前图像块的运动补偿结果作为目标图像帧的运动补偿结果,还是将当前图像块划分为更小的图像块,然后将更小的图像块的运动补偿结果作为图像帧的运动补偿结果。其中,图像块更小,所确定的运动补偿结果更准确,则滤波效果更好;图像块更大,则计算量更少。因此,本技术实施例丰富了运动估计的处理方式,另外本技术中所提供的运动估计策略可以在计算量和滤波效果之间作平衡,这样既保证了较佳的滤波效果,又保证了较小的
计算量,从而可以提高滤波效率和准确性,从而改善视频压缩性能。
56.接下来,请参见图4,图4是本技术实施例提供的另一种图像处理方法的流程示意图,该图像处理方法可以由计算机设备执行,该计算机设备可以是终端设备,该计算机设备也可以为服务器,具体来说,图4实施例为图2实施例中步骤s203的一个具体实施例。如图4所示,该图像处理方法可以包括s401

s403,其中:s401:对目标第一图像块进行块划分处理,得到p个第二图像块,p为正整数。
57.举例来说,请参见图3a,图3a是本技术实施例提供的一种划分第一图像块的流程示意图,如图3a所示,目标第一图像块为64
×
64的第一图像块,对目标第一图像块划分后得到的第二图像块为32
×
32的第二图像块,则p=4。其中,p个第二图像块的尺寸均相同,即尺寸均为32
×
32。
58.s402:若第二图像块的尺寸不大于尺寸阈值,则对目标第一图像块进行分运动估计处理,得到目标第一图像块的第一分运动估计处理结果,根据第一分运动估计处理结果对目标第一图像块进行运动补偿,得到目标第一图像块的运动补偿结果。
59.举例来说,若尺寸阈值可以为32
×
32,第二图像块的尺寸为32
×
32。则计算机设备对目标第一图像块进行分运动估计处理,得到目标第一图像块的第一分运动估计处理结果。然后,计算机设备可以根据第一分运动估计处理结果对目标第一图像块进行运动补偿,得到目标第一图像块的运动补偿结果。
60.在一种可能的实现方式中,第一分运动估计处理结果包括第一绝对值误差(sum of absolute difference,sad)。若目标第一图像块为64
×
64的第一图像块,则目标第一图像块的第一绝对值误差可以表示为sad64
×
64,那么,计算机设备确定目标第一图像块的第一绝对值误差sad64
×
64的具体流程可以包括:首先,计算机设备在待编码视频流中获取目标图像帧的参考图像帧,并从参考图像帧中查找与目标第一图像块相匹配的匹配图像块;然后,计算机设备根据与目标第一图像块相匹配的匹配图像块,确定目标第一图像块的第一绝对值误差sad64
×
64。需要说明的是,本技术实施例中,参考图像帧的数量可以为一个或多个,若参考图像帧的数量为一个,则可以根据一个参考图像帧确定出目标图像帧的一个运动补偿结果,那么,若参考图像帧的数量为k个,k为正整数,则根据本技术实施例所确定目标图像帧的运动补偿结果的数量也可以为k个。为方便阐述,本技术实施例中以参考图像帧的数量是一个为例进行相应说明。举例来说,计算机设备可以基于块匹配算法从待编码视频流包括的多个待匹配图像块中查找与目标第一图像块相匹配的匹配图像块。具体来说,计算机设备可以在指定搜索范围内对目标第一图像块进行整像素精度的全搜索,进而从待编码视频流包括的多个待匹配图像块中确定出与目标第一图像块相匹配的匹配图像块。更为具体地,目标第一图像块包括m
×
m个原始像素点,待编码视频流包括的多个待匹配图像块中任一待匹配图像块包括m
×
m个待匹配像素点。首先,分别计算m
×
m个原始像素点中的各个原始像素点的像素值与各个待匹配图像块的m
×
m个待匹配像素点中的各个待匹配像素点的像素值之间的误差绝对值总和;然后,计算机设备将所计算得到的误差绝对值总和最小的待匹配图像块确定为与目标第一图像块相匹配的匹配图像块。
61.在一种可能的实现方式中,第一分运动估计处理结果包括第一平方和误差(sum of square error,sse)。若目标第一图像块为64
×
64的第一图像块,则目标第一图像块的第一平方和误差可以表示为sse64
×
64,那么,计算机设备确定目标第一图像块的第一平方
和误差sse64
×
64的具体流程可以包括:计算机设备对目标第一图像块进行分像素运动估计,确定目标第一图像块的第一平方和误差sse64
×
64。具体来说,计算机设备在上述步骤对目标第一图像块进行整像素精度的全搜索之后,进一步地,可以对目标第一图像块进行分像素运动估计,从而得到目标第一图像块的分像素运动估计结果,即目标第一图像块的第一平方和误差(可表示为sse64
×
64)。
62.s403:若第二图像块的尺寸大于尺寸阈值,则对每个第二图像块分别进行分运动估计处理,得到每个第二图像块的第二分运动估计处理结果,根据第一分运动估计处理结果和p个第二分运动估计处理结果对目标第一图像块进行运动补偿,得到目标第一图像块的运动补偿结果。
63.在一种可能的实现方式中,第二分运动估计处理结果包括第二绝对值误差和第二平方和误差。举例来说,若目标第一图像块的尺寸为64
×
64,则对目标第一图像块进行块划分处理后得到的第二图像块的尺寸可以为32
×
32。那么,计算机设备确定p个第二图像块中每个第二图像块的第二绝对值误差(可表示为sad32
×
32)的详细步骤具体可以参考上述计算机设备确定目标第一图像块的第一绝对值误差(sad64
×
64)的详细步骤,本技术实施例对此不再赘述。同理,计算机设备确定p个第二图像块中每个第二图像块的第二平方和误差(可表示为sse32
×
32)的详细步骤具体可以参考上述计算机设备确定目标第一图像块的第一平方和误差(sse64
×
64)的详细步骤,本技术实施例对此同样不再赘述。
64.在一种可能的实现方式中,计算机设备根据第一分运动估计处理结果(包括第一绝对值误差和第一平方和误差)和p个第二分运动估计处理结果(包括第二绝对值误差和第二平方和误差)确定目标第一图像块的决策策略可以包括:计算第一绝对值误差、与p个第二绝对值误差总和之间的第一绝对值匹配误差;计算第一平方和误差、与p个第二平方和误差总和之间的第一平方和匹配误差。若第一绝对值匹配误差小于第一绝对值匹配误差阈值,且第一平方和匹配误差小于第一平方和匹配误差阈值,则确定目标第一图像块的决策策略为不分块策略。举例来说,请参见图3a,图3a是本技术实施例提供的一种划分第一图像块的流程示意图。目标第一图像块为64
×
64的第一图像块,对目标第一图像块划分后得到的第二图像块为32
×
32的第二图像块,则p=4;则计算机设备根据sad64
×
64、与4个sad32
×
32计算得到的第一绝对值匹配误差可以为:sad_diff_1=sad64
×
64

4*sad32
×
32,其中,第一绝对值匹配误差阈值可以表示为:sadthr64x64(一般0<sadthr64x64≤512)。又如,计算机设备根据sse64
×
64、与4个sse32
×
32计算得到的第一平方和匹配误差可以为:sse_diff_1=sse64
×
64

4*sse32
×
32,第一平方和匹配误差阈值可以表示为:ssethr64x64(一般0< ssethr64x64≤12288)。最后,若sad64
×
64

4*sad32
×
32<sadthr64x64,并且sse64
×
64

4*sse32
×
32<ssethr64x64,则计算机设备确定目标第一图像块的决策策略为不分块策略。
65.在另一种可能的实现方式中,计算机设备根据第一绝对值误差、第一平方和误差、p个第二绝对值误差、p个第二平方和误差,确定目标第一图像块的决策策略,还可以包括如下情况:若第一绝对值匹配误差大于或者等于第一绝对值匹配误差阈值,则确定目标第一图像块的决策策略为分块策略。若第一绝对值匹配误差小于第一绝对值匹配误差阈值,且第一平方和匹配误差大于或者等于第一平方和匹配误差阈值,则确定目标第一图像块的决策策略为分块策略。举例来说,目标第一图像块为64
×
64的第一图像块,第二图像块为32
×
32的第二图像块,则p=4。按照上述描述,若sad64
×
64

4*sad32
×
32≥sadthr64x64,则计算机设备确定目标第一图像块的决策策略为分块策略。又如,若sad64
×
64

4*sad32
×
32<sadthr64x64,并且sse64
×
64

4*sse32
×
32≥ssethr64x64,则计算机设备确定目标第一图像块的决策策略为分块策略。
66.进一步地,针对目标第一图像块的决策策略为分块策略来说,则计算机设备对目标第一图像块中的每个第二图像块分别进行运动补偿,得到每个第二图像块的运动补偿结果,并将每个第二图像块的运动补偿结果组合为目标第一图像块的运动补偿结果。具体来说,目标第二图像块为目标第一图像块包含的p个第二图像块中的任一第二图像块;计算机设备对目标第二图像块进行运动补偿,得到目标第二图像块的运动补偿结果的过程,可以包括:首先,计算机设备对目标第二图像块进行块划分处理,得到q个第三图像块。若第三图像块的尺寸不大于尺寸阈值,则根据目标第二图像块的第二分运动估计处理结果对目标第二图像块进行运动补偿,得到目标第二图像块的运动补偿结果。若第三图像块的尺寸大于尺寸阈值,对每个第三图像块分别进行分运动估计处理,得到每个第三图像块的第三分运动估计处理结果,根据目标第二图像块的第二分运动估计处理结果和q个第三分运动估计处理结果对目标第二图像块进行运动补偿,得到目标第二图像块的运动补偿结果。其中,第一分运动估计处理结果可以包括第一图像块的运动矢量;p个第二分运动估计处理结果中的每个第二分运动处理结果也可以包括相应的第二图像块的运动矢量;q个第三分运动估计处理结果中的每个第三分运动处理结果也可以包括相应的第三图像块的运动矢量。具体来说,计算机设备可以基于第一图像块的运动矢量,对第一图像块进行运动补偿,得到第一图像块对应的预测图像块;同样的,计算机设备可以基于第二图像块的运动矢量,对第二图像块进行运动补偿,得到第二图像块对应的预测图像块;以及,计算机设备可以基于第三图像块的运动矢量,对第三图像块进行运动补偿,得到第三图像块对应的预测图像块。
67.在一种可能的实现方式中,计算机设备根据目标第二图像块的第二分运动估计处理结果(包括第二绝对值误差和第二平方和误差)和q个第三分运动估计处理结果(包括第三绝对值误差和第三平方和误差)确定目标第二图像块的决策策略可以包括:计算第二绝对值误差、与p个第二绝对值误差总和之间的第二绝对值匹配误差;计算第二平方和误差、与q个第三平方和误差总和之间的第二平方和匹配误差。若第二绝对值匹配误差小于第二绝对值匹配误差阈值,且第二平方和匹配误差小于第二平方和匹配误差阈值,则确定目标第二图像块的决策策略为不分块策略。若第二绝对值匹配误差大于或者等于第二绝对值匹配误差阈值则确定目标第二图像块的决策策略为分块策略。若第二绝对值匹配误差小于第二绝对值匹配误差阈值,且第二平方和匹配误差大于或者等于第二平方和匹配误差阈值,则确定目标第二图像块的决策策略为分块策略。
68.具体来说,请参见图3b,图3b是本技术实施例提供的另一种划分第一图像块的流程示意图。目标第一图像块为64
×
64的第一图像块,对目标第一图像块划分后得到的第二图像块为32
×
32的第二图像块,则p=4;接下来,继续对4个32
×
32的第二图像块中的任一第二图像块进行划分处理,得到16
×
16的第三图像块,则q=4。可以理解的是,64
×
64的第一图像块可以由4个的32
×
32的第二图像块构成,或者,64
×
64的第一图像块可以由16个的16
×
16的第三图像块构成。需要说明的是,计算机设备确定q个第三图像块中每个第三图像块的第三绝对值误差(可表示为sad16
×
16)的详细步骤具体可以参考上述计算机设备确定目标
第一图像块的第一绝对值误差(sad64
×
64)的详细步骤,本技术实施例对此不再赘述。同理,计算机设备确定q个第三图像块中每个第三图像块的第三平方和误差(可表示为sse16
×
16)的详细步骤具体可以参考上述计算机设备确定目标第一图像块的第一平方和误差(sse64
×
64)的详细步骤,本技术实施例对此同样不再赘述。
69.举例来说,根据上述描述,可以确定出第二绝对值匹配误差为:sad_diff_2=sad32
×
32

4*sad16
×
16,其中,第二绝对值匹配误差阈值可以表示为:sadthr32x32(一般0<sadthr32x32≤1024)。以及第二平方和匹配误差为:sse_diff_2=sse32
×
32

4*sse16
×
16,其中,第二平方和匹配误差阈值可以表示为:ssethr32x32(一般0<ssethr32x32≤3072)。若sad32
×
32

4*sad16
×
16<sadthr32x32,并且sse32
×
32

4*sse16
×
16<ssethr32x32,则计算机设备确定目标第二图像块的决策策略为不分块策略。若sad32
×
32

4*sad16
×
16≥sadthr32x32,则确定目标第二图像块的决策策略为分块策略。若sad32
×
32

4*sad16
×
16<sadthr32x32,并且sse32
×
32

4*sse16
×
16≥ssethr32x32,则计算机设备确定目标第二图像块的决策策略为分块策略。
70.以此类推,每个第二图像块的运动补偿结果均可以参考目标第二图像块的运动补偿结果进行确定,得到每个第二图像块的运动补偿结果。最后,将每个第二图像块的运动补偿结果进行组合为目标第一图像块的运动补偿结果。具体来说,目标第一图像块的尺寸为64
×
64,每个第二图像块的尺寸为32
×
32,每个第三图像块的尺寸为16
×
16。例如,若第1个第二图像块的运动补偿结果为:根据4个16
×
16的第三图像块确定,具体为将4个16
×
16的第三图像块分别对应的预测图像块进行拼接组合为第1个第二图像块的运动补偿结果(即第1个第二图像块的预测图像块)。第2个第二图像块的运动补偿结果为:根据1个32
×
32的第二图像块确定,具体为将1个32
×
32的第二图像块对应的预测图像块作为第2个第二图像块的运动补偿结果(即第2个第二图像块的预测图像块)。第3个第二图像块的运动补偿结果为:根据1个32
×
32的第二图像块确定,具体为将1个32
×
32的第二图像块对应的预测图像块作为第3个第二图像块的运动补偿结果(即第3个第二图像块的预测图像块)。第4个第二图像块的运动补偿结果为:根据1个32
×
32的第二图像块确定,具体为将1个32
×
32的第二图像块对应的预测图像块作为第3个第二图像块的运动补偿结果(即第3个第二图像块的预测图像块)。那么,目标第一图像块的运动补偿结果即为:将4个16
×
16的第三图像块分别对应的预测图像块、1个32
×
32的第二图像块对应的预测图像块、1个32
×
32的第二图像块对应的预测图像块、以及1个32
×
32的第二图像块对应的预测图像块组合为目标第一图像块的预测图像块。
71.本技术实施例中,在对目标图像帧进行划分后得到n个第一图像块的基础上,可以继续对目标第一图像块进行划分处理,得到p个第二图像块。然后可以确定目标第一图像块的决策策略,若目标第一图像块的决策策略为分块策略,则继续对每个第二图像块分别进行运动补偿。在对目标第二图像块进行运动补偿的过程中,可以继续对目标第二图像块进行划分处理,得到q个第三图像块。以此类推,根据相应图像块的决策策略,可以确定是否继续分块处理。直至划分得到的图像块的尺寸小于或者等于尺寸阈值,则停止分块处理。通过这种方式,基于对划分后得到的更细粒度的图像块进行运动估计后得到的分运动估计结果来确定目标图像帧的运动补偿结果,可以提高运动补偿结果的准确性,从而可以提高对目标图像帧进行编码处理的准确性,从而改善视频压缩性能。
72.请参见图5,图5是本技术实施例提供的一种图像处理装置的结构示意图。该图像处理装置500可应用于前述方法实施例中的计算机设备,该计算机设备可以是终端设备,或者服务器。图像处理装置500可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该图像处理装置500为一个应用软件;该装置可以用于执行本技术实施例提供的方法中的相应步骤。该图像处理装置500可包括:获取单元501,用于获取待编码的目标图像帧,目标图像帧包括n个第一图像块,n为正整数;确定单元502,用于根据目标图像帧的图像内容确定每个第一图像块的运动估计策略,运动估计策略包括整块估计开启策略和整块估计关闭策略;处理单元503,用于若每个第一图像块的运动估计策略是整块估计开启策略,则对每个第一图像块分别进行运动补偿,并根据n个第一图像块的运动估计结果确定目标图像帧的运动补偿结果;处理单元503,还用于若每个第一图像块的运动估计策略是整块估计关闭策略,则将每个第一图像块划分为m个单位图像块,对每个单位图像块分别进行运动补偿,并根据n*m个单位图像块的运动估计结果确定目标图像帧的运动补偿结果,m为正整数;处理单元503,还用于根据目标图像帧的运动补偿结果对目标图像帧进行滤波处理,得到目标图像帧的滤波结果。
73.在一种可能的实现方式中,目标第一图像块是n个第一图像块中的任一第一图像块;若目标第一图像块的运动估计策略是整块估计开启策略,处理单元503对目标第一图像块进行运动补偿,得到目标第一图像块的运动补偿结果的过程,包括:若目标第一图像块的运动估计策略是整块估计开启策略,则对目标第一图像块进行块划分处理,得到p个第二图像块,p为正整数;若第二图像块的尺寸不大于尺寸阈值,则对目标第一图像块进行分运动估计处理,得到目标第一图像块的第一分运动估计处理结果,根据第一分运动估计处理结果对目标第一图像块进行运动补偿,得到目标第一图像块的运动补偿结果;若第二图像块的尺寸大于尺寸阈值,则对每个第二图像块分别进行分运动估计处理,得到每个第二图像块的第二分运动估计处理结果,根据第一分运动估计处理结果和p个第二分运动估计处理结果对目标第一图像块进行运动补偿,得到目标第一图像块的运动补偿结果。
74.在一种可能的实现方式中,处理单元503根据第一分运动估计处理结果和p个第二分运动估计处理结果,确定目标第一图像块的运动补偿结果,包括:根据第一分运动估计处理结果和p个第二分运动估计处理结果确定目标第一图像块的决策策略,目标第一图像块的决策策略包括不分块策略和分块策略;若目标第一图像块的决策策略为不分块策略,则根据第一分运动估计处理结果确定目标第一图像块的运动补偿结果;若目标第一图像块的决策策略为分块策略,则对每个第二图像块分别进行运动补偿,将每个第二图像块的运动估计结果组合为目标第一图像块的运动补偿结果。
75.在一种可能的实现方式中,第一分运动估计处理结果包括第一绝对值误差以及第一平方和误差;目标图像帧为待编码视频流中的一个图像帧;处理单元503对目标第一图像
块进行分运动估计处理,得到目标第一图像块的第一分运动估计处理结果,包括:在待编码视频流中获取目标图像帧的参考图像帧,并从参考图像帧中查找与目标第一图像块相匹配的匹配图像块;根据与目标第一图像块相匹配的匹配图像块,确定目标第一图像块的第一绝对值误差;对目标第一图像块进行分像素运动估计,确定目标第一图像块的第一平方和误差。
76.在一种可能的实现方式中,第二分运动估计处理结果包括第二绝对值误差以及第二平方和误差;处理单元503根据第一分运动估计处理结果和p个第二分运动估计处理结果确定目标第一图像块的决策策略,包括:计算第一绝对值误差与p个第二绝对值误差总和之间的第一绝对值匹配误差;计算第一平方和误差与p个第二平方和误差总和之间的第一平方和匹配误差;若第一绝对值匹配误差小于第一绝对值匹配误差阈值,且第一平方和匹配误差小于第一平方和匹配误差阈值,则确定目标第一图像块的决策策略为不分块策略。
77.在一种可能的实现方式中,处理单元503还用于执行以下操作:若第一绝对值匹配误差大于或者等于第一绝对值匹配误差阈值,则确定目标第一图像块的决策策略为分块策略;若第一绝对值匹配误差小于第一绝对值匹配误差阈值,且第一平方和匹配误差大于或者等于第一平方和匹配误差阈值,则确定目标第一图像块的决策策略为分块策略。
78.在一种可能的实现方式中,目标第二图像块为所述目标第一图像块包含的p个第二图像块中的任一第二图像块;处理单元503对目标第二图像块进行运动补偿,得到目标第二图像块的运动补偿结果的过程,包括:对目标第二图像块进行块划分处理,得到q个第三图像块,q为正整数;若第三图像块的尺寸不大于尺寸阈值,则根据目标第二图像块的第二分运动估计处理结果对目标第二图像块进行运动补偿,得到目标第二图像块的运动补偿结果;若第三图像块的尺寸大于尺寸阈值,对每个第三图像块分别进行分运动估计处理,得到每个第三图像块的第三分运动估计处理结果,根据目标第二图像块的第二分运动估计处理结果和q个第三分运动估计处理结果对目标第二图像块进行运动补偿,得到目标第二图像块的运动补偿结果。
79.在一种可能的实现方式中,目标图像帧的图像内容包括分辨率和内容主题;确定单元502根据目标图像帧的图像内容确定每个第一图像块的运动估计策略,包括:若目标图像帧的内容主题包括预设内容主题,并且目标图像帧的分辨率小于分辨率阈值,则确定运动估计策略为整块估计开启策略;若所述目标图像帧的内容主题不包括预设内容主题,或所述目标图像帧的分辨率大于或者等于所述分辨率阈值,则确定所述运动估计策略为整块估计关闭策略。
80.本技术实施例中,可以根据目标图像帧的视频内容(例如内容主题、分辨率等)来确定是将当前图像块的运动补偿结果作为目标图像帧的运动补偿结果,还是将当前图像块划分为更小的图像块,然后将更小的图像块的运动补偿结果作为图像帧的运动补偿结果。其中,图像块更小,所确定的运动补偿结果更准确,则滤波效果更好;图像块更大,则计算量
更少。因此,本技术实施例丰富了运动估计的处理方式,另外本技术中所提供的运动估计策略可以在计算量和滤波效果之间作平衡,这样既保证了较佳的滤波效果,又保证了较小的计算量,从而可以提高滤波效率和准确性。
81.请参见图6,图6是本技术实施例提供的一种计算机设备的结构示意图。该计算机设备600用于执行前述方法实施例中计算机设备所执行的步骤,该计算机设备600包括:一个或多个处理器610;一个或多个输入设备620,一个或多个输出设备630和存储器640。上述处理器610、输入设备620、输出设备630和存储器640通过总线650连接。存储器640用于存储计算机程序,所述计算机程序包括程序指令,处理器610用于调用存储器640存储的程序指令,执行以下操作:获取待编码的目标图像帧,目标图像帧包括n个第一图像块,n为正整数;根据目标图像帧的图像内容确定每个第一图像块的运动估计策略,运动估计策略包括整块估计开启策略和整块估计关闭策略;若每个第一图像块的运动估计策略是整块估计开启策略,则对每个第一图像块分别进行运动补偿,并根据n个第一图像块的运动估计结果确定目标图像帧的运动补偿结果;若每个第一图像块的运动估计策略是整块估计关闭策略,则将每个第一图像块划分为m个单位图像块,对每个单位图像块分别进行运动补偿,并根据n*m个单位图像块的运动估计结果确定目标图像帧的运动补偿结果,m为正整数;根据目标图像帧的运动补偿结果对目标图像帧进行滤波处理,得到目标图像帧的滤波结果。
82.在一种可能的实现方式中,目标第一图像块是n个第一图像块中的任一第一图像块;若目标第一图像块的运动估计策略是整块估计开启策略,处理器610对目标第一图像块进行运动补偿,得到目标第一图像块的运动补偿结果的过程,包括:若目标第一图像块的运动估计策略是整块估计开启策略,则对目标第一图像块进行块划分处理,得到p个第二图像块,p为正整数;若第二图像块的尺寸不大于尺寸阈值,则对目标第一图像块进行分运动估计处理,得到目标第一图像块的第一分运动估计处理结果,根据第一分运动估计处理结果对目标第一图像块进行运动补偿,得到目标第一图像块的运动补偿结果;若第二图像块的尺寸大于尺寸阈值,则对每个第二图像块分别进行分运动估计处理,得到每个第二图像块的第二分运动估计处理结果,根据第一分运动估计处理结果和p个第二分运动估计处理结果对目标第一图像块进行运动补偿,得到目标第一图像块的运动补偿结果。
83.在一种可能的实现方式中,处理器610根据第一分运动估计处理结果和p个第二分运动估计处理结果,确定目标第一图像块的运动补偿结果,包括:根据第一分运动估计处理结果和p个第二分运动估计处理结果确定目标第一图像块的决策策略,目标第一图像块的决策策略包括不分块策略和分块策略;若目标第一图像块的决策策略为不分块策略,则根据第一分运动估计处理结果确定目标第一图像块的运动补偿结果;若目标第一图像块的决策策略为分块策略,则对每个第二图像块分别进行运动补偿,将每个第二图像块的运动估计结果组合为目标第一图像块的运动补偿结果。
84.在一种可能的实现方式中,第一分运动估计处理结果包括第一绝对值误差以及第一平方和误差;目标图像帧为待编码视频流中的一个图像帧;处理器610对目标第一图像块进行分运动估计处理,得到目标第一图像块的第一分运动估计处理结果,包括:在待编码视频流中获取目标图像帧的参考图像帧,并从参考图像帧中查找与目标第一图像块相匹配的匹配图像块;根据与目标第一图像块相匹配的匹配图像块,确定目标第一图像块的第一绝对值误差;对目标第一图像块进行分像素运动估计,确定目标第一图像块的第一平方和误差。
85.在一种可能的实现方式中,第二分运动估计处理结果包括第二绝对值误差以及第二平方和误差;处理器610根据第一分运动估计处理结果和p个第二分运动估计处理结果确定目标第一图像块的决策策略,包括:计算第一绝对值误差与p个第二绝对值误差总和之间的第一绝对值匹配误差;计算第一平方和误差与p个第二平方和误差总和之间的第一平方和匹配误差;若第一绝对值匹配误差小于第一绝对值匹配误差阈值,且第一平方和匹配误差小于第一平方和匹配误差阈值,则确定目标第一图像块的决策策略为不分块策略。
86.在一种可能的实现方式中,处理器610还用于执行以下操作:若第一绝对值匹配误差大于或者等于第一绝对值匹配误差阈值,则确定目标第一图像块的决策策略为分块策略;若第一绝对值匹配误差小于第一绝对值匹配误差阈值,且第一平方和匹配误差大于或者等于第一平方和匹配误差阈值,则确定目标第一图像块的决策策略为分块策略。
87.在一种可能的实现方式中,目标第二图像块为所述目标第一图像块包含的p个第二图像块中的任一第二图像块;处理器610对目标第二图像块进行运动补偿,得到目标第二图像块的运动补偿结果的过程,包括:对目标第二图像块进行块划分处理,得到q个第三图像块,q为正整数;若第三图像块的尺寸不大于尺寸阈值,则根据目标第二图像块的第二分运动估计处理结果对目标第二图像块进行运动补偿,得到目标第二图像块的运动补偿结果;若第三图像块的尺寸大于尺寸阈值,对每个第三图像块分别进行分运动估计处理,得到每个第三图像块的第三分运动估计处理结果,根据目标第二图像块的第二分运动估计处理结果和q个第三分运动估计处理结果对目标第二图像块进行运动补偿,得到目标第二图像块的运动补偿结果。
88.在一种可能的实现方式中,目标图像帧的图像内容包括分辨率和内容主题;处理器610根据目标图像帧的图像内容确定每个第一图像块的运动估计策略,包括:若目标图像帧的内容主题包括预设内容主题,并且目标图像帧的分辨率小于分辨率阈值,则确定运动估计策略为整块估计开启策略;若所述目标图像帧的内容主题不包括预设内容主题,或所述目标图像帧的分辨率大于或者等于所述分辨率阈值,则确定所述运动估计策略为整块估计关闭策略。
89.本技术实施例中,可以根据目标图像帧的视频内容(例如内容主题、分辨率等)来确定是将当前图像块的运动补偿结果作为目标图像帧的运动补偿结果,还是将当前图像块
划分为更小的图像块,然后将更小的图像块的运动补偿结果作为图像帧的运动补偿结果。其中,图像块更小,所确定的运动补偿结果更准确,则滤波效果更好;图像块更大,则计算量更少。因此,本技术实施例丰富了运动估计的处理方式,另外本技术中所提供的运动估计策略可以在计算量和滤波效果之间作平衡,这样既保证了较佳的滤波效果,又保证了较小的计算量,从而可以提高滤波效率和准确性。
90.此外,这里需要指出的是:本技术实施例还提供了一种计算机存储介质,且计算机存储介质中存储有计算机程序,且该计算机程序包括程序指令,当处理器执行上述程序指令时,能够执行前文所对应实施例中的方法,因此,这里将不再进行赘述。对于本技术所涉及的计算机存储介质实施例中未披露的技术细节,请参照本技术方法实施例的描述。作为示例,程序指令可以被部署在一个计算机设备上,或者在位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行。
91.根据本技术的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备可以执行前文所对应实施例中的方法,因此,这里将不再进行赘述。
92.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,上述存储介质可为磁碟、光盘、只读存储记忆体(read

only memory,rom)或随机存储记忆体(random access memory,ram)等。
93.以上所揭露的仅为本技术较佳实施例而已,当然不能以此来限定本技术之权利范围,因此依本技术权利要求所作的等同变化,仍属本技术所涵盖的范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1