图像处理电路及由设备执行的图像增强方法与流程

1.本发明的实施例涉及图像处理技术，尤其涉及一种具有用于增强图像质量的图像处理能力的设备及方法。


背景技术：

2.具有图像显示能力的现代设备通常在显示图像时执行图像增强操作。例如，电视可以增强要在屏幕上显示的图像或视频，而智慧手机可以增强由智能手机捕获或显示在智能手机上的图像或视频。然而，传统设备通常基于由设备制造商预先配置的算法或公式来执行图像增强操作。在消费者使用该设备后，在调整算法或公式时灵活性有限。因此，需要改进图像处理设备的设计，以允许在图像质量调整中具有更大的灵活性。


技术实现要素：

3.本发明提供图像处理电路及由设备执行的图像增强方法。在图像质量调整中具有更大的灵活性。
4.本发明提供的一种图像处理电路包括：属性识别引擎，用于基于存储在存储器中的模型从输入图像中识别属性；图像质量(pq)引擎，用于基于所述属性识别引擎识别出的所述属性增强所述输入图像以生成用于显示的输出图像；资料收集模块，用于基于通过所述属性识别引擎识别出的所述属性及所述输入图像或所述输出图像中至少之一生成标记的图像，并将所述标记的图像添加到在所述存储器中存储的训练数据库中；和训练引擎，使用所述训练数据库对所述存储器中的所述模型进行重新训练。
5.本发明提供的一种由设备执行的图像增强方法包括：基于存储在设备中的模型从输入图像中识别属性；通过基于识别出的所述属性增强所述输入图像以生成用于显示的输出图像；基于通过所述设备中的所述模型识别出的所述属性及所述输入图像或所述输出图像中至少之一生成标记的图像；将所述标记的图像添加到所述设备中存储的训练数据库中；和使用所述训练数据库对存储在所述设备中的所述模型进行重新训练。
6.本发明提供的另一种由设备执行的图像增强方法包括：通过用户接口接收输入图像由用户识别出的属性；通过基于识别出的所述属性增强所述输入图像以生成用于显示的输出图像；基于通过所述用户识别出的所述属性及所述输入图像或所述输出图像中至少之一生成标记的图像；将所述标记的图像添加到训练数据库中；使用所述训练数据库重新训练存储在所述设备中的模型；和通过所述重新训练的所述模型增强所述输入图像以生成用于显示的输出图像。
7.如上所述，在本技术中，透过识别出的属性及输入图像或输出图像中至少之一生成标记的图像，并将生成的标记的图像添加到训练数据库中，进而根据更新后的训练数据库重新训练用于识别输入图像的属性的模型，进而使得用于识别输入图像的属性的模型可进行更新，由此在图像质量调整中具有更大的灵活性。
附图说明
8.图1是说明根据一个实施例的执行图像质量增强的图像处理电路的框图。
9.图2是示出根据一个实施例的自动标记的框图。
10.图3是示出根据一个实施例的手动标记的框图。
11.图4a示出了根据一个实施例的具有错误识别出的场景类型属性的图像的示例。
12.图4b示出了根据一个实施例的用于手动标记的样本图像的示例。
13.图5是示出根据一个实施例的一种用于设备执行图像增强操作的方法的流程图。
14.图6示出了根据一个实施例的设备的示例。
具体实施方式
15.在说明书及权利要求书当中使用了某些词汇来指称特定的组件。本领域技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及权利要求当中所提及的“包含”及“包括”为一开放式的用语，故应解释成“包含但不限定于”。“大体上”是指在可接受的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电性连接于该第二装置，或通过其它装置或连接手段间接地电性连接至该第二装置。以下所述为实施本发明的较佳方式，目的在于说明本发明的精神而非用以限定本发明的保护范围，本发明的保护范围当视权利要求书所界定者为准。
16.接下面的描述为本发明预期的最优实施例。这些描述用于阐述本发明的大致原则而不应用于限制本发明。本发明的保护范围应在参考本发明的权利要求书的基础上进行认定。
17.本文描述了包括图像处理电路的设备。用户可以在耦接到图像处理电路的显示面板上观看图像(例如，视频)。图像处理电路生成包含自动和/或手动标记的(labeled)图像的训练数据库。图像处理电路进一步使用该训练数据库来重新训练(re
‑
train)一个或多个模型，以基于该模型识别图像的一个或多个属性(attribute)。图像质量(picture quality，pq)引擎通过更改与识别出的(identified)属性相关的某些图像值来提高输出图像的质量。如果用户对显示面板上显示的输出图像的质量不满意，则用户可以向设备提供反馈，以帮助重新训练用于生成识别出的属性的模型。因此，用户可以根据他们的观看体验和偏好来定制训练数据库和模型，因此，该设备在图像质量调整中提供了灵活性。
18.图1是说明根据一个实施例的执行图像质量增强的图像处理电路100的框图。图像处理电路100可以是设备的一部分，该设备也被称为边缘设备，例如电视，智能电话，计算设备，与网络连接的设备，游戏设备，娱乐设备，物联网(internet
‑
of
‑
things，iot)设备，或任何能够处理和显示图像和/或视频的设备。待处理的图像可以由相同的设备或由不同的源捕获，然后被设备下载，串流传输(streamed)，传输或以其他方式供设备访问。在一些实施例中，图像处理电路100可以包括耦接到图像质量(pq)引擎140的人工智能(artificial intelligence，ai)处理器180。可以训练ai处理器180以推断输入图像中的代表性特征(representative characteristics)，以及pq引擎140可以基于该代表性特征来提高输入
图像的图像质量。
19.图像处理电路100包括用于接收输入图像131的输入端口135和用于提供输出图像141的输出端口145，在该示例中，输出图像141是输入图像131处理后的图像。输出图像141被发送到显示面板160进行显示。为了便于描述，提供输入图像及其对应的输出图像作为示例。应当理解，当图像处理电路100接收图像序列(例如，视频)作为输入并且生成对应的图像序列作为输出时，以下描述也是适用的。
20.图像处理电路100还包括控制模块110，其发送控制信号(以虚线示出)以控制和管理设备上的训练和推断操作。控制模块110触发由训练引擎120执行的训练操作(training operation)，以使用来自训练数据库155的标记的图像来训练或重新训练模型125。控制模块110还触发由属性识别引擎130执行的推断操作(inference operation)以识别输入图像131的属性(即，代表性特征)。在一个实施例中，属性识别引擎130可以基于一个或多个模型125通过推断和/或测量来识别属性。由属性识别引擎130识别出的属性可以是一种类型(例如，场景类型或对像类型)，统计信息或图像内容中的特征。例如，属性可以包括场景类型，场景中的对像类型，对比度信息(例如，直方图或统计数据)，亮度信息(例如，直方图或统计资料)，边缘方向或强度，噪声和模糊程度，分割信息，运动信息等。在一些实施例中，可以使用机器学习或深度学习算法来识别属性。
21.在一些实施例中，图像处理电路100可以在片上系统(soc)中实现。在一些实施例中，图像处理电路100可以在同一电子设备中的一个以上的芯片中实现。
22.在一个实施例中，属性识别引擎130可以从图像中识别多个属性(例如，场景类型以及对比度信息)，这些属性被统称为图像的属性集。属性识别引擎130可以进一步生成所识别出的属性的置信度(confidence level)；例如，自然场景类型的置信度为75％。高置信度(例如，当置信度超过阈值时)指示属性能被正确识别出的概率相应较高。属性识别引擎130将属性集发送到pq引擎140和数据收集模块150。
23.在一个实施例中，pq引擎140使用基于输入图像131的属性集的图像处理算法对输入图像131执行图像增强操作。对不同的属性可以使用不同的算法。例如，一种算法用于降噪，另一种算法用于自然场景，以及另一种算法用于食物的场景类型。在一些实施例中，pq引擎140可以执行以下操作中的一个或多个：降噪，缩放，对比度调整，颜色调整和清晰度调整。例如，pq引擎140可以增加食物场景中图像颜色的温暖度，增加模糊图像中的清晰度，以及对噪声图像进行去噪处理。pq引擎140的输出是输出图像141，其被发送到数据收集模块150和输出埠145。
24.数据收集模块150从pq引擎140接收输出图像141，并且还从属性识别引擎130接收输入图像131和输入图像131的属性集。在一个实施例中，属性集中的一个或多个识别出的属性可以附有各自的置信度。在其他实施例中，输入图像131和输出图像141仅其中一个会被发送至资料收集模块150。
25.数据收集模块150是图像处理电路100的一部分，数据收集模块150将标记的图像提供给训练数据库155。在手动标记方法中，输入图像131或输出图像141由用户标记。在自动标记方法中，用识别出的具有高置信度的属性自动标记输入图像131或输出图像141。自动标记和手动标记将分别参考图2和图3进行描述。
26.控制模块110可以触发训练引擎120执行训练操作，以利用来自训练数据库155的
标记的图像来训练和/或重新训练模型125。训练操作可以周期性地执行或基于事件来执行。例如，训练操作可以在图像处理电路100进入睡眠状态或空闲状态时开始。对于具有有限处理资源的边缘设备(例如，智能电视，智能手机，iot设备等)，可以在诸如云服务器之类的服务器上对模型125进行初始训练，然后在边缘设备上基于观看的图像或视频由训练引擎120对其进行重新训练。训练操作改变模型125中的权重或参数，例如图像滤波器中的滤波器权重，神经网络内核中的内核权重，阈值等。在一些实施例中，可以通过机器学习，深度学习或其他类型的学习操作来执行训练操作。
27.图2是示出根据一个实施例的自动标记的框图。在图2中，仅示出了图像处理电路100的推断部分。在该实施例中，资料收集模块150包括置信度检查电路210，其将输入图像的识别出的属性的置信度与阈值进行比较。可以将不同的属性与不同的阈值进行比较。资料收集模块150用具有的置信度超过置信度阈值的识别出的属性来标记输入图像或输出图像中至少之一来生成标记的图像，并使用标记的图像来更新训练数据库155以进行设备上训练操作。例如，输入图像可以被识别为具有以下属性：城市街道场景类型，汽车，人和建筑物的对像类型以及80％的对比度。如果识别出的城市街道场景类型具有高置信度(即，超过其置信度阈值)，则数据收集模块150将把输入图像或输出图像标记为具有城市街道场景类型。数据收集模块150可以进一步用具有的置信度超过其各自的置信度阈值的其他属性来标记输入图像或输出图像。然后将标记的图像存储在训练数据库155中。
28.图3是示出根据一个实施例的手动标记的框图。在图3中，仅示出了图像处理电路100的推断部分。在该实施例中，数据收集模块150耦接到用户接口320，以接收用户对显示图像的反馈。用户接口320可以在显示面板上提供图形用户接口(gui)和/或语音控制用户接口用于接收用户的语音命令，或提供其他装置以用于接收与显示图像有关的用户输入。经由用户接口320，用户可以指示一个或多个图像的图像质量较差，并请求开始手动标记过程。同时参考图1，输出图像141是显示图像的示例。在下文的描述中，术语“显示图像”和“输出图像”可互换使用。
29.在一个实施例中，手动标记可以基于用户的命令执行。用户可能会将显示的图像标记为图像质量较差；例如，通过选择按钮，标记操作将触发手动标记过程的开始。替代地，用户可以在任何时间请求关于任何图像属性的手动标记过程。作为响应，图像处理电路100请求用户用正确的值或属性类型标记显示图像(也即，输出图像)或相应的输入图像，其中“正确性”可以从用户的角度确定。在一个实施例中，用户接口320可以向用户呈现许多可选值或类型，以替换设备识别出的属性。以场景类型为例，用户接口320可以向用户呈现诸如“人”，“食物”，“自然”，“地标”之类的选项，以选择作为图像的场景类型属性。用户可以选择所呈现的类型之一(例如，人)以指示图像的正确场景类型属性。在一个实施例中，用户可以添加诸如“动物”之类的新属性以指示图像的正确场景类型属性。
30.为了提高训练准确性，数据收集模块150可以从训练数据库155中获取多个样本图像，这些样本图像在感兴趣的属性方面与用户标记的图像相似。在一个实施例中，数据收集模块150包括样本选择电路330，其从训练数据库155中选择样本图像并将所选择的样本图像提供给用户。在感兴趣的属性方面，每个选择的样本图像具有超过预定阈值的置信度。例如，样本图像可以与感兴趣的属性的可选值或类型列表一起显示在显示面板上。用户可以通过从列表中选择一个值或类型来标记样本图像。在一些实施例中，用户可以向感兴趣的
属性中添加新值或新类型。使用场景类型是感兴趣的属性的以上示例，每个样本图像可以呈现“人物”，“食物”，“自然”，“地标”的列表供用户选择。用户可以从列表中选择。或者，用户可以将“动物”添加到列表中，作为场景类型的新选项。当用户标记完样本选择电路330提供的所有样本图像时，手动标记过程结束。
31.图4a示出了根据一个实施例的具有错误的识别出的场景类型属性的输出图像的示例。显示面板400可以耦接到图像处理电路100(图1)的输出埠145。用户可以将人物图像410标记为图像质量差；例如，当图像410被显示时，通过选择按钮或通过语音或其他方式进行标记。作为响应，图像处理电路100呈现图像410时，为场景类型属性呈现场景类型列表。图像处理电路100还可以在先前或后续列表中向用户呈现图像410的其他属性的值，类型或信息。对于场景类型属性，显示面板400在显示图像410时，为每一个场景类型显示自动生成的置信度，例如，人(0.05)，车辆(0.62)，树(0.77)，饮料(0.02)和房屋(0.23)，其中括号中的每个数字表示图像中相应场景类型的置信度。根据置信度，属性识别引擎130识别出树场景类型。在此示例中，树场景类型是识别出的属性。基于该识别出的属性，pq引擎140可以应用用于增强树景的算法来生成输出图像。
32.然而，用户可以从图像410确定正确的场景类型属性应该是“人物”。对于该图像410，人物场景类型是与设备识别的树场景类型属性不同的用户识别的属性。在该示例中，用户可以选择“人物”属性来改变图像410被设备识别出的属性。用户识别出的人物场景类型成为图像410的标记。
33.在用户用校正后的属性标记图像410之后，图像处理电路100可以向用户呈现先前被识别为人物场景类型的多个样本图像。用户可以对这些样本图像的场景类型进行标记，以指示它们是否被正确地识别为包含人物场景类型。图4b示出了作为示例的样本图像420。数据收集模块140将包括用户标记的图像410和用户标记的样本图像420的用户标记的图像存储到训练数据库155中。
34.训练引擎120使用来自训练数据库155的标记的图像来重新训练模型125。训练模型125可以被训练以检测图像或图像序列中的特征(例如，边缘方向和强度，分割信息，运动等)，对图像内容进行分类，测量图像的状态(例如，对比度，清晰度，亮度，灰度，噪声等)等。可以通过数学公式或表示来描述模型125。模型125最初可以安装在图像处理电路100中，并且被标记的图像重新训练或完善，以从用户在设备上的图像观看体验中进行学习。
35.图5是示出根据一个实施例的用于图像增强的方法500的流程图。在一些实施例中，本文描述的图像增强操作包括生成训练数据和重新训练模型。方法500可以例如由图1的图像处理电路100和/或图6的设备600执行。应当理解，图1和图6仅用于说明性目的。其他图像处理设备也可以执行方法500。
36.方法500从步骤510开始。在步骤510，设备基于存储在该设备中的模型从输入图像中识别属性。在步骤520，设备基于所识别出的属性增强输入图像以生成用于显示的输出图像。在步骤530，设备基于识别出的属性及输入图像或输出图像中至少之一来生成标记的图像(例如，设备基于识别出的属性和输入图像来生成标记的输入图像，或设备基于识别出的属性和输出图像来生成标记的输出图像)。在步骤540，设备将标记的图像添加到存储在设备中的训练数据库中。在步骤550，设备使用训练数据库重新训练模型。在一个实施例中，可以在设备上重新训练模型。具体实现中，图5的流程为一个循环过程，也即，在步骤550执行
完之后，本发明的方法又将回到步骤510，此时步骤510进一步基于步骤550重新训练后的模型从输入图像中识别属性。方法500的循环过程可以根据预先设定的条件停止(例如，当预定次数识别出的属性未发生变化时)或根据用户的指示停止。
37.图6示出了根据一个实施例的设备600的示例。设备600可以包括图1的图像处理电路100，其执行上述图像增强操作。设备600包括处理硬件610。在一个实施例中，处理硬件610可以包括一个或多个处理器，诸如中央处理单元(cpu)，图形处理单元(gpu)，数字处理单元(dsp)，多媒体处理器和其他通用和/或专用处理电路。在一个实施例中，处理硬件610可以包括硬件电路，该硬件电路包括但不限于：图1中的属性识别引擎130，pq引擎140，数据收集模块150和训练引擎120。硬件610可以包括人工智能(ai)处理器615，其可以是图1中的ai处理器180的示例。返回参考图1，在一个实施例中，训练引擎120和/或属性识别引擎130可以是ai处理器615的一部分。在一个实施例中，ai处理器615可以是gpu的一部分。在一个实施例中，ai处理器615可包括硬件加速器，例如，卷积神经网络(convolution neural network，cnn)加速器612。
38.cnn加速器612包括专门用于通过卷积操作，全连接操作，启动，池化，归一化，逐元素数学计算等来加速神经网络运算的硬件组件。在一些实施例中，cnn加速器612包括多个计算单元和存储器(例如，静态随机存取存储器(sram)，其中每个计算单元进一步包括乘法器和加法器电路等，用于执行数学运算，例如乘法和累加(mac)运算，以加速卷积，激活，池化，规范化和其他神经网络操作。cnn加速器612可以执行定点和浮点神经网络操作。结合本文描述的图像质量增强，cnn加速器612可以执行结合图1描述的训练和推断操作。
39.设备600还包括耦接至处理硬件610的存储器和存储硬件620。存储器和存储硬件620可以包括诸如动态随机存取存储器(dram)，sram，闪存和其他非暂时性机器可读存储介质(例如，易失性或非易失性存储设备)之类的存储器设备。存储器和存储硬件620可以进一步包括存储设备，例如，任何类型的固态或磁存储设备。在一个实施例中，存储器和存储硬件620可以存储图1的模型125和训练数据库155。在一些实施例中，存储器和存储硬件620可以存储指令，当这些指令在由处理硬件610执行时使处理硬件610执行上述的图像增强操作(例如图5的方法500)。
40.设备600还可以包括显示面板630，以显示诸如图像，视频，消息，网页，游戏，文本以及其他类型的信息。图像可以由用户经由诸如键盘，触摸板，触摸屏，鼠标等的用户接口来标记。设备600还可以包括音频硬件640，诸如麦克风和扬声器，用于接收和产生声音。音频硬件640还可以提供用于发送和接收语音命令的用户接口。
41.在一些实施例中，设备600还可以包括网络接口650，以连接到有线和/或无线网络以用于发送和/或接收语音，数字数据和/或媒体信号。可以理解，出于说明的目的，简化了图6的实施例。图6的实施例可能包括其他硬件组件。
42.已经参考图1和图6的示例性实施例描述了图5的流程图的操作。但是，应当理解，图5的流程图的操作可以由除了图1和图6的实施例以外的本发明的实施例执行，以及图1和图6的实施例可以执行与参考流程图所讨论的操作不同的操作。尽管图5的流程图示出了由本发明的某些实施例执行的操作的特定顺序，但是应当理解，这种顺序是示例性的(例如，替代实施例可以以不同的顺序执行操作，组合某些操作，重迭某些操作等)。
43.本发明虽以较佳实施例揭露如上，然其并非用以限定本发明的范围，任何本领域
技术人员，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视权利要求所界定者为准。