图像处理方法、装置、电子设备及计算机可读存储介质与流程

1.本技术涉及计算机技术领域，具体而言，本技术涉及一种图像处理方 法、装置、电子设备及计算机可读存储介质。


背景技术：

2.随着传感器和图像处理技术的发展，用户可以通过智能手机或者数码 相机等电子设备，获取到比人眼感知范围更为宽广的高动态范围(highdynamic range,hdr)视频和图像。具体地，高动态范围图像主要指亮度 范围非常广的图像。然而，由于显示设备能够显示的画面的动态范围，通 常远小于hdr视频和图像的动态范围，因此，需要通过图像处理将hdr 图像的部分图像转换为低动态范围(low dynamic range，ldr)的图像，以 便显示设备正常显示处理后的图像。
3.hdr图像转换为ldr图像的解决了上述问题；然而，在相关技术中， 转换后的多个视频帧图像容易出现亮度不连续的问题，导致播放视频时画 面闪烁等情况。


技术实现要素：

4.本技术的目的旨在至少能解决上述的技术缺陷之一，特别是hdr图 像转换为ldr图像的图像转换操作，容易出现亮度不连续的问题。
5.根据本技术的一个方面，提供了一种图像处理方法，该方法包括：
6.获取媒体文件中的原始图像；
7.响应于所述原始图像为非首帧图像，根据前序亮度特征图，确定所述 原始图像的目标裁剪坐标值；其中，所述前序亮度特征图为前序图像的亮 度特征图，所述前序图像为播放顺序在所述原始图像之前的图像；
8.基于所述目标裁剪坐标值，对所述原始图像进行裁剪映射处理，以得 到目标图像。
9.可选的，响应于所述原始图像为首帧图像，获取预设值作为所述原始 图像的目标裁剪坐标值。
10.可选的，所述根据前序亮度特征图，确定所述原始图像的目标裁剪坐 标值，包括：
11.根据第二预设裁剪比例，确定所述前序亮度特征图的第一裁剪坐标值； 其中，所述前序图像为播放顺序在所述原始图像之前并与所述原始图像相 邻的图像；
12.确定所述第一裁剪坐标值为所述目标裁剪坐标值。
13.可选的，所述根据前序亮度特征图，确定所述原始图像的目标裁剪坐 标值，包括：
14.根据第三预设裁剪比例，分别确定至少两个所述前序亮度特征图的第 二裁剪坐标值；
15.根据每个所述第二裁剪坐标值分别对应的权重值，确定所述目标裁剪 坐标值。
16.可选的，所述方法还包括：
17.计算所述原始图像的原始亮度特征图；
18.根据第一预设裁剪比例和所述原始亮度特征图计算备用裁剪坐标值。
19.可选的，所述计算所述原始图像的原始图像亮度特征图，包括：
20.获取所述原始图像中，亮度值在各个预设亮度范围的像素点的数量；
21.根据所述原始图像中，各个所述预设亮度范围的像素点的数量，生成 所述原始亮度特征图。
22.可选的，所述基于所述目标裁剪坐标值，对所述原始亮度特征图进行 裁剪映射处理，以得到目标图像，包括：
23.根据预设亮度值确定拉伸比例；
24.根据所述拉伸比例，对所述目标特征图中各像素点的亮度值进行图像 亮度映射，得到所述目标图像。
25.可选的，所述亮度特征图包括直方图。
26.根据本技术的另一个方面，提供了一种图像处理装置，该装置包括：
27.特征图获取模块，用于获取媒体文件中原始图像的原始亮度特征图；
28.裁剪值确定模块，用于根据前序亮度特征图，确定所述原始亮度特征 图的目标裁剪坐标值；其中，所述前序亮度特征图为前序图像的亮度特征 图，所述前序图像为播放顺序在所述原始图像之前的图像；
29.映射模块，用于基于所述目标裁剪坐标值，对所述原始亮度特征图进 行裁剪映射处理，以得到目标图像。
30.根据本技术的另一个方面，提供了一种电子设备，该电子设备包括：
31.一个或多个处理器；
32.存储器；
33.一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存 储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配 置用于：执行根据本技术的第一方面任一项所述的图像处理方法。
34.例如，本技术的第三方面，提供了一种计算设备，包括：处理器、存 储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完 成相互间的通信；
35.存储器用于存放至少一可执行指令，可执行指令使处理器执行如本申 请的第一方面所示的图像处理方法对应的操作。
36.根据本技术的再一个方面，提供了一种计算机可读存储介质，
37.所述计算机程序被处理器执行时实现本技术的第一方面任一项所述 的图像处理方法。
38.例如，本技术实施例的第四方面，提供了一种计算机可读存储介质， 计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本 申请第一方面所示的图像处理方法。
39.根据本技术的一个方面，提供了一种计算机程序产品或计算机程序， 该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计 算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该 计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一 方面的各种可选实现方式中提供的方法。
40.本技术提供的技术方案带来的有益效果是：
41.本技术实施例中，通过获取媒体文件中的原始图像；响应于所述原始 图像为非首帧图像，根据前序亮度特征图，确定所述原始图像的目标裁剪 坐标值；基于所述目标裁剪坐标值，对所述原始图像进行裁剪映射处理， 以得到目标图像。实现了通过前序亮度特征图，确定所述原始亮度特征图 的目标裁剪坐标值，这样，在多帧图像的裁剪过程中，每一帧图像的裁剪 过程均结合前序图像的亮度特征，各个图像的裁剪过程并不孤立，以避免 孤立裁剪每一帧图像所导致的图像亮度不连续而造成视频画面闪烁。因此， 通过前序图像的前序亮度特征图，确定所述原始亮度特征图的目标裁剪坐 标值，可以提升裁剪后图像的亮度的连续性，提升视觉效果。
附图说明
42.为了更清楚地说明本技术实施例中的技术方案，下面将对本技术实施 例描述中所需要使用的附图作简单地介绍。
43.图1为本技术实施例提供的一种应用图像处理方法的系统的架构示 意图；
44.图2为本技术实施例提供的一种图像处理方法的流程示意图；
45.图3为本技术实施例提供的一种图像处理方法的应用场景示意图之 一；
46.图4为本技术实施例提供的一种图像处理方法中的直方图的示意图 之一；
47.图5为本技术实施例提供的一种图像处理方法中的直方图的示意图 之二；
48.图6为本技术实施例提供的一种图像处理方法的应用场景示意图之 二；
49.图7为本技术实施例提供的一种图像处理方法的应用场景示意图之 三；
50.图8为本技术实施例提供的一种图像处理方法中的权重关系示意图；
51.图9为本技术实施例提供的一种图像处理方法的应用场景示意图之 四；
52.图10为本技术实施例提供的一种图像处理方法的应用场景示意图之 五；
53.图11为本技术实施例提供的一种图像处理装置的结构示意图；
54.图12为本技术实施例提供的一种图像处理的电子设备的结构示意图。
具体实施方式
55.下面结合本技术中的附图描述本技术的实施例。应理解，下面结合附 图所阐述的实施方式，是用于解释本技术实施例的技术方案的示例性描述， 对本技术实施例的技术方案不构成限制。
56.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式
ꢀ“
一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是， 本技术实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为 所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实 现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件 和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另 一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个 元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或
ꢀ“
耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语 所限定的项目中的至少一个，例如“a和/或b”可以实现为“a”，或者实现 为“b”，或者实现为“a和b”。
57.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本 申请实施方
式作进一步地详细描述。
58.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如 何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结 合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将 结合附图，对本技术的实施例进行描述。
59.首先结合图1，其为本技术实施例提供的图像处理方法的系统架构图。 该系统可以包括服务器101以及终端集群，其中，服务器101可以认为是 进行图像处理的后台服务器。
60.终端集群可以包括：终端102、终端103、终端104、
……
，其中， 终端中安装有支持图像显示的客户端。终端之间可以存在通信连接，例如 终端102与终端103之间存在通信连接，终端103与终端104之间存在通 信连接。
61.同时，服务器101可以通过通信连接功能为终端集群提供服务，终端 集群中的任一终端可以与服务器101存在通信连接，例如终端102与服务 器101之间存在通信连接，终端103与服务器101之间存在通信连接，其 中，上述的通信连接不限定连接方式，可以通过有线通信方式进行直接或 间接地连接，也可以通过无线通信方式进行直接或间接地连接，还可以通 过其他方式。
62.上述通信连接的网络可以通过网络可以是广域网或者局域网，又或者 是二者的组合。本技术在此不做限制。
63.本技术实施例的图像处理方法，可以在服务器侧执行，也可在终端侧 执行，本技术实施例中不对执行主体进行限定。本技术实施例所提供的方 法可以由计算机设备执行，计算机设备包括但不限于终端(也包括上述的 用户终端)或服务器(也包括上述的服务器101)。上述服务器可以是独立的 物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统， 还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、 云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智 能平台等基础云计算服务的云服务器。上述终端可以是智能手机、平板电 脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。 终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本 申请在此不做限制。
64.当然，本技术实施例提供的方法并不限用于图1所示的应用场景中， 还可以用于其它可能的应用场景，本技术实施例并不进行限制。对于图1 所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一 并进行描述，在此先不过多赘述。
65.本技术实施例提供了一种可能的实现方式，该方案可以由任一电子设 备执行，可选的，任一电子设备可以为具有图像处理能力的服务器设备， 也可以为集成在这些设备上的装置或芯片。如图2所示，其为本技术实施 例提供的一种图像处理方法的流程示意图之一，该方法包括如下步骤：
66.步骤s201：获取媒体文件中的原始图像。
67.可选的，本技术实施例的图像处理方法可以应用于对媒体文件进行图 像处理的应用场景。
68.具体地，媒体文件可以包括图像文件、视频文件或其他包括图像的文 件形式。可以理解的是，由于本技术实施例的图像处理方法主要应用于对 多张图像进行图像处理的场景，因此，当媒体文件为图像文件时，该图像 文件中包括多张(至少两张)图像；当媒体文
件为视频文件时(视频文件 例如视频流等)，该视频文件中包括多帧(至少两帧)视频图像。为了便 于说明，后续以媒体文件为视频文件进行说明，然后，这并不构成对本申 请实施例的限定。
69.本技术实施例中，原始图像即为媒体文件中的在图像处理前的图像， 例如为hdr图像，更为具体地，原始图像可以为视频流中的任意一帧视 频图像。
70.其中，原始图像为媒体文件中的图像，获取到媒体文件即可获取原始 图像。媒体文件可以从预设数据库中获取，也可以接收用户通过客户端上 传等多种方式获取。
71.步骤s202：响应于所述原始图像为非首帧图像，根据前序亮度特征 图，确定所述原始图像的目标裁剪坐标值。
72.其中，所述前序亮度特征图为前序图像的亮度特征图，所述前序图像 为播放顺序在所述原始图像之前的图像。
73.前序图像可以为与原始图像相邻帧的图像，也可以为与原始图像不相 邻帧的图像。
74.亮度特征图记载图像的亮度特征，用于表示图像亮度分布的情况；原 始亮度特征图是原始图像的亮度特征图；前序亮度特征图是前序图像的亮 度特征图。可选的，本技术实施例中，亮度特征图可以是直方图。
75.作为示例，结合图3及图4所示，图3为一帧视频图像，图4为该视 频图像的直方图。其中，图4中，横轴坐标表示亮度数值，纵轴坐标表示 对应亮度的像素点的数量。这样，通过图4的直方图，可以表征图3所示 的视频图像中亮度的分布情况。
76.获取原始图像后，可以获取原始亮度特征图。以下以原始图像为任一 图像为例，说明图像的亮度特征图的获取方式，图像亮度特征图例如直方 图。
77.方式一：排序法
78.以灰度图像为例，对于一幅灰度图像，可以先遍历整幅图像，获取图 像中各个像素点的像素值(其中，像素值即为该像素点的平均亮度信息)， 各个像素点的像素值i即可表示为：i＝{i(x,y)|(x,y)∈u}。其中，i(x,y)代 表任一像素点(x,y)的像素值；u代表图像中各个像素点的集合。然后将图 像中所有像素点按照像素值从小到大排序即可确定图像的直方图。即图像 的直方图s可以表示为：
79.方式二：统计法
80.若在图像尺寸较大、或者图像(例如高动态范围图像)的位宽较大时， 通过方式一的排序法遍历整幅图像通常较为耗时以及耗费计算资源，这种 情况下，可以采用方式二的统计法。具体而言，可以通过分区间(bin) 的方式统计像素点的像素值。例如，先预设各个bin对应的像素值范围， 如，第一个bin对应的像素值范围为0-10；然后统计该像素值范围内的 像素点的数量。这样，通过分区间的方式，可以更高效的统计图像中像素 点的像素值，进而得到直方图。该种方式得到的直方图例如图5所示。
81.作为示例，以位宽为12比特(bit)的图像为例进行介绍。12bit的 图像中，最小像素值为0，最大像素值为4095。将像素值范围0至4095 划分为32个bin；图像的直方图histi可以表示为：histi＝histi(idx)+1。 其中，histi(idx)为直方图第idx个bin内像素点的数量；idx＝fi(x,y)＞＞ (12-5)，idx的取值范围为0至31；fi(x,y)表示图像中(x,y)处像素点
的 像素值；＞＞为右移运算符；(12-5)表示12bit的数据放入到32个bin的 直方图中所需要移位的位数，其中，12为图像的位宽，5是以2为底32 (bin的数量)的对数。
82.由于原始亮度特征图及前序亮度特征图实质上都是图像的亮度特征 图，前序亮度特征图的获取方式与原始亮度特征图的获取方式是相同的， 在此不再赘述。
83.目标裁剪坐标值是对所述原始亮度特征图进行裁剪时裁剪位置的坐 标值。
84.其中，对原始亮度特征图进行裁剪旨在实现提升图像画面对比度。可 选的，裁剪方法可以为直方图裁剪法。
85.下面以一幅归一化的原始图像为例，对直方图裁剪法的基本思想进行 说明：
86.对于一幅归一化的原始图像的直方图，按照预设裁剪比例确定裁剪坐 标值，在裁剪坐标值对应的位置处裁剪直方图，得到裁剪后的直方图。然 后，确定裁剪后的直方图中的最大像素值和最小像素值；进一步的，将最 小像素值置为0，最大像素值置为1，位于最小像素值与最大像素值之间 的像素点的像素值按比例进行线性映射，进而根据映射后的像素点得到目 标图像。
87.例如，结合图6及图7对直方图裁剪法进行说明：
88.图6中包括一幅图像fi及该图像的直方图fsi。其中，该图像的像素宽 度为为w，像素高度为h，像素数量size为size＝h
×
w。该图像的直方图 通过上述方式一的排序法确定，直方图fsi可以表示为：fi(x,y)代表图像中任一像素点(x,y)的像素值。
89.在对直方图进行裁剪时，可以按照预设裁剪比例确定裁剪坐标值。例 如，从左侧对直方图进行裁剪的预设裁剪比例可以为ratio
l
，从右侧对直 方图进行裁剪的预设裁剪比例可以为ratior，其中0≤ratio
l
，ratior≤1。 通过预设裁剪比例可以确定左侧的裁剪坐标值为：：右侧的裁剪坐标值为：
90.然后，在裁剪坐标值对应的位置对直方图进行裁剪，即裁剪掉直方图 中，裁剪坐标值左侧的部分以及裁剪坐标值右侧的部分，保留 的及中间的部分为裁剪后的直方图。可以理解的是，左侧的裁 剪坐标值即为裁剪后直方图中的最小像素值；右侧的裁剪坐标值即为裁剪后直方图中的最大像素值。进一步的，裁剪后的直方图中， 将最小像素值置为0，最大像素值置为1，位于最小像素值与最大像素值 之间的像素点的像素值按比例进行线性映射，进而根据映射后的像素点得 到目标图像。
91.如图7所示，图7中的直方图即为裁剪并线性映射后的直方图；图7 中的图像即为裁剪后直方图对应的图像。可以看到，通过直方图裁剪法的 处理，处理后直方图分布更加均匀，处理后图像中存在更多的暗像素和亮 像素，这样，可以提升画面对比度，增强画面观感。
92.以上为直方图裁剪法基本思想的具体介绍。下面介绍本技术实施例中， 对原始亮度特征图进行裁剪时，如何确定原始亮度特征图的目标剪裁坐标 值。
93.其中，目标剪裁坐标值为对原始亮度特征图进行裁剪的裁剪坐标值。
94.在本技术实施例中，欲对原始亮度特征图进行裁剪时，可以根据前序 亮度特征图，确定原始亮度特征图的目标裁剪坐标值。可选的，可以根据 与原始图像相邻的一帧前序图像的前序亮度特征图，确定原始亮度特征图 的目标裁剪坐标值；此外，还可以根据多帧前序图像的前序亮度特征图， 确定原始亮度特征图的目标裁剪坐标值。
95.例如，目标裁剪坐标值具体可以根据前序亮度特征图的裁剪坐标值确 定。如，第二帧图像为原始图像时，可以将第一帧图像的裁剪坐标值作为 第二帧图像的裁剪坐标值(即目标裁剪坐标值)。又如，第三帧图像为原 始图像时，可以根据第一帧图像的裁剪坐标值及第二帧图像的裁剪坐标值， 确定第三帧图像的裁剪坐标值；具体的，可以基于预设的权重值，对第一 帧图像的裁剪坐标值及第二帧图像的裁剪坐标值进行加权求和，确定第三 帧图像的裁剪坐标值(即目标裁剪坐标值)。
96.需要说明的是，结合上述直方图裁剪法的基本思想，可以理解，目标 裁剪坐标值可以包括两个坐标值，两个坐标值即位于直方图左侧的裁剪坐 标值(裁剪后直方图中的最小像素值)，以及位于直方图右侧的裁剪 坐标值(裁剪后直方图中的最大像素值)。
97.在一些实施例中，原始图像的目标裁剪坐标值可以是在处理该原始图 像的前序图像时，根据前序图像的前序亮度特征图计算出来并预先存储的， 在获取原始图像的目标裁剪坐标值时可以直接调取预先存储的裁剪坐标 值进行计算。本技术实施例中，通过前序图像的前序亮度特征图，确定所 述原始亮度特征图的目标裁剪坐标值，目标裁剪坐标值可以结合前序图像 的亮度特征，这样，在多帧图像的裁剪过程中，每一帧图像的裁剪过程均 结合前序图像的亮度特征，各个图像的裁剪过程并不孤立，以避免孤立裁 剪每一帧图像所导致的图像亮度不连续而造成视频画面闪烁。因此，通过 前序图像的前序亮度特征图，确定所述原始亮度特征图的目标裁剪坐标值， 可以提升裁剪后图像的亮度的连续性，提升视觉效果。
98.步骤s203：基于所述目标裁剪坐标值，对所述原始图像进行裁剪映 射处理，以得到目标图像。
99.确定目标裁剪坐标值后，可以基于所述目标裁剪坐标值，对所述原始 亮度特征图进行裁剪处理。
100.具体而言，裁剪处理为裁剪掉直方图中，裁剪坐标值左侧的部分 以及裁剪坐标值右侧的部分，保留的及中间的部分为裁剪 后的直方图，即目标亮度特征图。
101.得到目标亮度特征图之后，可以对所述原始图像进行图像亮度映射处 理。其中，对所述原始图像进行图像亮度映射处理为：根据预设亮度值确 定拉伸比例，根据所述拉伸比例，对所述目标特征图中各像素点的亮度值 进行图像亮度映射，得到所述目标图像。
102.具体而言，以位宽为12bit的原始图像为例，12bit原始图像中，最小 像素值为0，最大像素值为4095。结合上述介绍的直方图裁剪法的基本思 想，在进行图像亮度映射处理时，将目标亮度特征图中的像素值映射至0 至4095范围内。即将目标亮度特征图中最小像素值置为0，最大像素值 置为4095。
103.然后，根据目标亮度特征图中最小像素值至最大像素值对应的像素值 范围，与所映射的0至4095像素值范围之间的比例关系，确定所述拉伸 比例。
104.进而，将位于最小像素值与最大像素值之间的像素点的像素值按照拉 伸比例映射至0至4095像素值范围内；即映射后各像素点的像素值可以 基于以下数据关系确定：基于以下数据关系确定：(x，y)∈u。其中，out(x，y)为映射后坐标为(x，y)的像素点的像素值； i(x，y)为映射前坐标为(x，y)的像素点的像素值；为左侧的裁剪坐标值；为右侧的裁剪坐标值；u代表图像中各个像素点的集合。
105.进而根据映射后的像素点得到目标图像。
106.这样，映射处理后，可以增加目标图像中0至4095像素值范围内的 像素点的数量，使得目标图像的直方图更接近于均匀分布，以此提升图像 的对比度。
107.本技术实施例中，通过获取媒体文件中的原始图像；响应于所述原始 图像为非首帧图像，根据前序亮度特征图，确定所述原始图像的目标裁剪 坐标值；基于所述目标裁剪坐标值，对所述原始图像进行裁剪映射处理， 以得到目标图像。实现了通过前序亮度特征图，确定所述原始亮度特征图 的目标裁剪坐标值，这样，在多帧图像的裁剪过程中，每一帧图像的裁剪 过程均结合前序图像的亮度特征，各个图像的裁剪过程并不孤立，以避免 孤立裁剪每一帧图像所导致的图像亮度不连续而造成视频画面闪烁。因此， 通过前序图像的前序亮度特征图，确定所述原始亮度特征图的目标裁剪坐 标值，可以提升裁剪后图像的亮度的连续性，提升视觉效果。
108.在本技术的一个实施例中，响应于所述原始图像为首帧图像，获取预 设值作为所述原始图像的目标裁剪坐标值
109.具体的，本技术实施例中，媒体文件中可以包括多帧图像，当原始图 像为媒体文件中的首帧图像时，可以将预设值作为所述原始图像的目标裁 剪坐标值。预设值可以为根据预设裁剪比例确定的裁剪坐标值。
110.在本技术的一个实施例中，所述方法还包括：
111.计算所述原始图像的原始亮度特征图；
112.根据第一预设裁剪比例和所述原始亮度特征图计算备用裁剪坐标值。
113.具体的，本技术实施例可以基于原始图像，通过上述统计法及排序法 计算得到所述原始亮度特征图。
114.得到原始亮度特征图后，根据第一预设裁剪比例计算原始图像的备用 裁剪坐标值，并且可以对该备用裁剪坐标值进行存储，以基于该备用裁剪 坐标值对原始图像的之后的图像(例如后一帧图像)进行裁剪处理，例如， 可以将该备用裁剪坐标值作为之后的图像的目标裁剪坐标值，或者基于该 备用裁剪坐标值计算之后的图像的目标裁剪坐标值等等。
115.在本技术的一个实施例中，所述根据前序亮度特征图，确定所述原始 图像的目标裁剪坐标值，包括：
116.根据第二预设裁剪比例，确定所述前序亮度特征图的第一裁剪坐标值； 其中，所述前序图像为播放顺序在所述原始图像之前并与所述原始图像相 邻的图像；
117.确定所述第一裁剪坐标值为所述目标裁剪坐标值。
118.其中，第一裁剪坐标值为根据第二预设裁剪比例确定的裁剪坐标值。
119.本技术实施例中，原始亮度特征图的目标裁剪值可以根据原始图像的 前一帧图像确定。即将前一帧图像的前序亮度特征图的第一裁剪坐标值， 作为目标裁剪坐标值。
120.例如，第二帧图像为原始图像时，将第一帧图像的第一裁剪坐标值作 为第二帧图像的目标裁剪坐标值。第三帧图像为原始图像时，将第二帧图 像的第一裁剪坐标值作为第三帧图像的目标裁剪坐标值。这样，媒体文件 中第一帧图像以外的每一帧图像的原始亮度特征图的裁剪坐标值，均可以 基于前一帧图像的前序亮度特征图的第一裁剪坐标值确定。
121.需要说明的是，本技术实施例中，第二预设裁剪比例可以与上述实施 例中的第一预设裁剪比例相同。在其他实施例中，第二预设裁剪比例也可 以与上述实施例中的第一预设裁剪比例不相同。
122.在本技术的一个实施例中，所述根据前序亮度特征图，确定所述原始 图像的目标裁剪坐标值，包括：
123.根据第三预设裁剪比例，分别确定至少两个所述前序亮度特征图的第 二裁剪坐标值；
124.根据每个所述第二裁剪坐标值分别对应的权重值，确定所述目标裁剪 坐标值。
125.其中，第二裁剪坐标值为根据第三预设裁剪比例确定的裁剪坐标值。
126.其中，第三预设裁剪比例可以与上述第一预设裁剪比例、第二预设裁 剪比例相同；在一些实施例中，第一预设裁剪比例、第二预设裁剪比例、 第三预设裁剪比例也可以不相同，本技术实施例对此不作限定。
127.需要说明的是，第二裁剪坐标值与上述实施例中的第一裁剪坐标值仅 为区分不同实施例的不同名称，其实质均为前序亮度特征图的基于预设裁 剪比例确定的裁剪坐标值。
128.本技术实施例中，原始亮度特征图的目标裁剪值可以根据原始图像的 之前的所有帧图像确定。
129.具体而言，作为示例，以12bit的视频帧图像为原始图像，且视频帧 图像的直方图为32bin的直方图为例，对本技术实施例进行说明：
130.(1)首先确定原始图像及前序图像的直方图：
131.本技术实施例中，可以分别获取所述原始图像及所述前序图像中，亮 度值在各个预设亮度范围的像素点的数量；分别根据所述原始图像及所述 前序图像中，各个所述预设亮度范围的像素点的数量，生成所述原始亮度 特征图及所述前序亮度特征图。
132.对于位宽为12比特(bit)的图像，图像中像素点的像素值为0至 4095。将该像素值范围(0至4095)划分为32个bin(区间)。分别统 计每个bin中像素点的数量，进而得到图像的直方图。图像的直方图histi可以表示为：histi＝histi(idx)+1。其中，histi(idx)为直方图第idx个 bin内像素点的数量；idx＝fi(x,y)＞＞(12-5)，idx的取值范围为0至31； fi(x,y)表示图像中(x,y)处像素点的像素值；＞＞为右移运算符；(12-5)表 示12bit的数据放入到32个bin的直方图中所需要移位的位数，其中， 12为图像的位宽，5是以2为底32(bin的数量)的对数。
133.(2)根据第三预设裁剪比例，分别确定至少两个所述前序亮度特征 图的第二裁剪坐标值。
134.其中，第三预设裁剪比例包括左侧的裁剪比例ratio
l
，以及右侧的裁 剪比例
ratior；其中0≤ratio
l
,ratior≤1。则直方图左侧的裁剪像素点的 数量为num
l
＝ratio
l
×
size，直方图右侧的裁剪像素点的数量为 numr＝ratior×
size。
135.第二裁剪坐标值包括左侧裁剪坐标值及右侧裁剪坐标值。以左侧裁剪 坐标值为例：首先，按照从左向右的方向累加每个bin内的像素点的数量， 即
[0136][0137]
其中，n≤31,sum为前n个bin中像素点的数量的累加和,hist(n)为 第n个bin内的像素点的数量。
[0138]
当累加到第n个bin时，且sum≥num
l
时停止累加。此时，若 num
l
＝sum时，则左侧裁剪坐标值clip
l
为：
[0139]
clip
l
＝(n+1)＜＜(12-5)；
[0140]
若sum》num
l
时，则左侧裁剪坐标值clip
l
为：
[0141][0142]
其中，diff＝sum-num
l
。
[0143]
右侧裁剪坐标值的计算方法与左侧裁剪坐标值clip
l
类似，只需按 照从右向左的方向累加每个bin内的像素点的数量即可。
[0144]
(3)根据每个所述第二裁剪坐标值分别对应的权重值，确定所述目 标裁剪坐标值。
[0145]
在实际实施时，目标裁剪坐标值中还可以结合原始图像自身的直方图 的影响，例如，考虑根据预设裁剪比例确定的原始图像的直方图的裁剪坐 标值。
[0146]
例如，结合图8，第i帧图像及第i+1帧图像分别对应的直方图，其第 二裁剪坐标值分别对应的权重值为w及(1-w)为例进行说明。
[0147]
以w为0.5，(1-w)＝0.5为例，第二帧图像的左侧目标裁剪坐标值可以为其中，为基于第二 帧图像的直方图，根据预设裁剪比例确定的左侧裁剪坐标值；基于第 一帧图像的直方图，根据预设裁剪比例确定的左侧裁剪坐标值。
[0148]
第三帧图像左侧的目标裁剪坐标值可以为可以为其中，为基于第三帧图像的直方图，根据预设 裁剪比例确定的左侧裁剪坐标值；由于则
[0149]
第四帧图像左侧的目标裁剪坐标值可以为可以为其中，为基于第四帧图像的直方图，根据预设裁 剪比例确定的左侧裁剪坐标值；由于
则则
[0150]
可以看到，每帧图像的目标裁剪值中均考虑了该图像之前的所有前序 图像的直方图的裁剪坐标值的影响，例如图9所示。其中，需要说明的是， 这里的前序图像的直方图的裁剪坐标值是基于预设裁剪比例确定的裁剪 坐标值。
[0151]
相比于现有技术中，每帧图像的裁剪坐标值仅基于该帧图像的直方图 确定的处理方法(例如图10所示)，本技术实施例中，由于每帧图像的 目标裁剪坐标值中均考虑了该帧图像之前的所有前序图像的直方图的裁 剪坐标值的影响，即，对每帧图像的目标裁剪坐标值基于该帧图像的前序 图像的裁剪坐标值进行了平滑处理，这样，通过目标裁剪坐标值对图像进 行裁剪处理后，映射得到的目标图像的亮度与前序图像的亮度之间的过渡 将更加平滑，提升图像之间的亮度的一致性，以此提升用户观看体验。
[0152]
此外，确定目标裁剪坐标值，并对直方图进行裁剪之后，还可以包括 以下步骤的处理：
[0153]
(4)对所述原始图像进行图像亮度映射处理，得到目标图像，包括：
[0154]
根据预设亮度值确定拉伸比例；
[0155]
根据所述拉伸比例，对所述目标特征图中各像素点的亮度值进行图像 亮度映射，得到所述目标图像。
[0156]
例如，12bit原始图像中，最小像素值为0，最大像素值为4095。
[0157]
在进行图像亮度映射处理时，将目标亮度特征图中的像素值映射至0 至4095范围内。即将目标亮度特征图中最小像素值置为0，最大像素值 置为4095。
[0158]
然后，根据目标亮度特征图中最小像素值至最大像素值对应的像素值 范围，与所映射的0至4095像素值范围之间的比例关系，确定所述拉伸 比例。
[0159]
进而，将位于最小像素值与最大像素值之间的像素点的像素值按照拉 伸比例映射至0至4095像素值范围内；即映射后各像素点的像素值可以 基于以下数据关系确定：基于以下数据关系确定：(x，y)∈u。其中，out(x，y)为映射后坐标为(x，y)的像素点的像素值； i(x，y)为映射前坐标为(x，y)的像素点的像素值；为左侧的裁剪坐标值；为右侧的裁剪坐标值；u代表图像中各个像素点的集合。
[0160]
进而根据映射后的像素点得到目标图像。
[0161]
进一步的，在得到目标图像之后，可以基于所述目标图像播放所述媒 体文件。
[0162]
本技术实施例中，通过获取媒体文件中的原始图像；响应于所述原始 图像为非首帧图像，根据前序亮度特征图，确定所述原始图像的目标裁剪 坐标值；基于所述目标裁剪坐标值，对所述原始图像进行裁剪映射处理， 以得到目标图像。实现了通过前序亮度特征图，确定所述原始亮度特征图 的目标裁剪坐标值，这样，在多帧图像的裁剪过程中，每一帧图像的裁剪 过程均结合前序图像的亮度特征，各个图像的裁剪过程并不孤立，以避免 孤立裁剪每一帧图像所导致的图像亮度不连续而造成视频画面闪烁。因此， 通过前序图像的前序亮度特征图，确定所述原始亮度特征图的目标裁剪坐 标值，可以提升裁剪后图像的亮度的连续性，提升视觉效果。
[0163]
本技术实施例提供了一种图像处理装置，如图11所示，该图像处理 装置110可以包括：特征图获取模块1101、裁剪值确定模1102、映射模 块1103，其中，
[0164]
特征图获取模块1101，用于获取媒体文件中的原始图像；
[0165]
裁剪值确定模块1102，用于响应于所述原始图像为非首帧图像，根 据前序亮度特征图，确定所述原始图像的目标裁剪坐标值；其中，所述前 序亮度特征图为前序图像的亮度特征图，所述前序图像为播放顺序在所述 原始图像之前的图像；
[0166]
映射模块1103，用于基于所述目标裁剪坐标值，对所述原始图像进 行裁剪映射处理，以得到目标图像。
[0167]
在本技术的一个实施例中，所述裁剪值确定模块具体用于响应于所述 原始图像为首帧图像，获取预设值作为所述原始图像的目标裁剪坐标值。。
[0168]
在本技术的一个实施例中，所述裁剪值确定模块具体用于根据第二预 设裁剪比例，确定所述前序亮度特征图的第一裁剪坐标值；其中，所述前 序图像为播放顺序在所述原始图像之前并与所述原始图像相邻的图像；
[0169]
确定所述第一裁剪坐标值为所述目标裁剪坐标值。
[0170]
在本技术的一个实施例中，所述裁剪值确定模块具体用于根据第三预 设裁剪比例，分别确定至少两个所述前序亮度特征图的第二裁剪坐标值；
[0171]
根据每个所述第二裁剪坐标值分别对应的权重值，确定所述目标裁剪 坐标值。
[0172]
在本技术的一个实施例中，所述裁剪值确定模块具体用于计算所述原 始图像的原始亮度特征图；
[0173]
根据第一预设裁剪比例和所述原始亮度特征图计算备用裁剪坐标值
[0174]
在本技术的一个实施例中，所述特征图获取模块具体用于分别获取所 述原始图像及所述前序图像中，亮度值在各个预设亮度范围的像素点的数 量；
[0175]
分别根据所述原始图像及所述前序图像中，各个所述预设亮度范围的 像素点的数量，生成所述原始亮度特征图及所述前序亮度特征图。
[0176]
在本技术的一个实施例中，所述映射模块具体用于根据预设亮度值确 定拉伸比例；
[0177]
根据所述拉伸比例，对所述目标特征图中各像素点的亮度值进行图像 亮度映射，得到所述目标图像。
[0178]
在本技术的一个实施例中，所述装置还包括播放模块，用于基于所述 目标图像播放所述媒体文件。
[0179]
在本技术的一个实施例中，所述图像亮度特征图包括直方图。
[0180]
本技术实施例的装置可执行本技术实施例所提供的方法，其实现原理 相类似，本技术各实施例的装置中的各模块所执行的动作是与本技术各实 施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可 以参见前文中所示的对应方法中的描述，此处不再赘述。
[0181]
本技术实施例中，通过获取媒体文件中的原始图像；响应于所述原始 图像为非首帧图像，根据前序亮度特征图，确定所述原始图像的目标裁剪 坐标值；基于所述目标裁剪坐标值，对所述原始图像进行裁剪映射处理， 以得到目标图像。实现了通过前序亮度特征图，确定所述原始亮度特征图 的目标裁剪坐标值，这样，在多帧图像的裁剪过程中，每一帧
图像的裁剪 过程均结合前序图像的亮度特征，各个图像的裁剪过程并不孤立，以避免 孤立裁剪每一帧图像所导致的图像亮度不连续而造成视频画面闪烁。因此， 通过前序图像的前序亮度特征图，确定所述原始亮度特征图的目标裁剪坐 标值，可以提升裁剪后图像的亮度的连续性，提升视觉效果。
[0182]
本技术实施例中提供了一种电子设备，该电子设备包括：存储器和处 理器；至少一个程序，存储于存储器中，用于被处理器执行时，与现有技 术相比可实现：本技术实施例中，获取媒体文件中的原始图像；响应于所 述原始图像为非首帧图像，根据前序亮度特征图，确定所述原始图像的目 标裁剪坐标值；基于所述目标裁剪坐标值，对所述原始图像进行裁剪映射 处理，以得到目标图像。实现了通过前序亮度特征图，确定所述原始亮度 特征图的目标裁剪坐标值，这样，在多帧图像的裁剪过程中，每一帧图像 的裁剪过程均结合前序图像的亮度特征，各个图像的裁剪过程并不孤立， 以避免孤立裁剪每一帧图像所导致的图像亮度不连续而造成视频画面闪 烁。因此，通过前序图像的前序亮度特征图，确定所述原始亮度特征图的 目标裁剪坐标值，可以提升裁剪后图像的亮度的连续性，提升视觉效果。
[0183]
在一个可选实施例中提供了一种电子设备，如图12所示，图12所示 的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001 和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还 可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备 之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实 际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本 申请实施例的限定。
[0184]
处理器4001可以是cpu(central processing unit，中央处理器)， 通用处理器，dsp(digital signal processor，数据信号处理器)，asic (application specific integrated circuit，专用集成电路)，fpga(fieldprogrammable gate array，现场可编程门阵列)或者其他可编程逻辑器件、 晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申 请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001 也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp 和微处理器的组合等。
[0185]
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以 是pci(peripheral component interconnect，外设部件互连标准)总线或 eisa(extended industry standard architecture，扩展工业标准结构)总线 等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示， 图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0186]
存储器4003可以是rom(read only memory，只读存储器)或可存 储静态信息和指令的其他类型的静态存储设备，ram(random accessmemory，随机存取存储器)或者可存储信息和指令的其他类型的动态存 储设备，也可以是eeprom(electrically erasable programmable read onlymemory，电可擦可编程只读存储器)、cd-rom(compact disc readonlymemory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光 碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储 设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代 码并能够由计算机存取的任何其他介质，但不
限于此。
[0187]
存储器4003用于存储执行本技术方案的应用程序代码(计算机程序)， 并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储 的应用程序代码，以实现前述方法实施例所示的内容。
[0188]
其中，电子设备包括但不限于：移动电话、笔记本电脑、多媒体播放 器、台式计算机等。
[0189]
本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介 质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前 述方法实施例中相应内容。
[0190]
本技术实施例中，获取媒体文件中的原始图像；响应于所述原始图像 为非首帧图像，根据前序亮度特征图，确定所述原始图像的目标裁剪坐标 值；基于所述目标裁剪坐标值，对所述原始图像进行裁剪映射处理，以得 到目标图像。实现了通过前序亮度特征图，确定所述原始亮度特征图的目 标裁剪坐标值，这样，在多帧图像的裁剪过程中，每一帧图像的裁剪过程 均结合前序图像的亮度特征，各个图像的裁剪过程并不孤立，以避免孤立 裁剪每一帧图像所导致的图像亮度不连续而造成视频画面闪烁。因此，通 过前序图像的前序亮度特征图，确定所述原始亮度特征图的目标裁剪坐标 值，可以提升裁剪后图像的亮度的连续性，提升视觉效果。
[0191]
本技术的说明书和权利要求书及上述附图中的术语“第一”、“第 二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类 似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的 数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除图 示或文字描述以外的顺序实施。
[0192]
应该理解的是，虽然本技术实施例的流程图中通过箭头指示各个操作 步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文 中有明确的说明，否则在本技术实施例的一些实施场景中，各流程图中的 实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全 部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子 步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶 段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻 不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置， 本技术实施例对此不限制。
[0193]
以上所述仅是本技术部分实施场景的可选实施方式，应当指出，对于 本技术领域的普通技术人员来说，在不脱离本技术的方案技术构思的前提 下，采用基于本技术技术思想的其他类似实施手段，同样属于本技术实施 例的保护范畴。