显示装置及其控制方法与流程

与示例性实施例一致的装置和方法涉及显示装置及其控制方法，更具体地，涉及基于人工智能(ai)学习来处理视频信号的显示装置、其控制方法及其记录介质。

背景技术：

人工智能(ai)系统是指具有人类水平智力的计算机系统，并且还指通过自机器学习和识别变得更智能的系统，而不是常规的基于规则的智能系统。随着越来越多地使用ai系统，ai系统的识别率得到了进一步提高，并且ai系统更准确地学习了用户的偏好，因此，常规的基于规则的智能系统已经逐渐被基于ai学习的ai系统所取代。

ai技术包括机器学习、深度学习等基于学习的过程、以及使用该学习的基础技术。

学习是指自动对输入数据的特性进行分类/学习的算法技术，并且基础技术是指使用深度学习等学习算法来模仿人脑的功能(例如识别、确定等)，并被分类为包括语言理解、视觉理解、推理/预测、知识表示、操作控制等的技术领域的技术。

ai技术所应用的各个领域如下。语言理解是指识别和应用/处理人类语言/字符的技术，并且包括自然语言处理、机器翻译、对话系统、问答系统、语音识别/合成等。视觉理解是指识别和处理类似于人类视觉的对象的技术，并且包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解、图像增强等。推理/预测是指通过识别而在逻辑上进行推理和预测的技术，并且包括基于知识/概率的推理、优化预测、基于偏好的计划、推荐等。知识表示是指将人类经验信息自动处理为知识数据的技术，并且包括知识构造(数据生成/分类)、知识管理(数据利用)等。操作控制是指控制车辆的自动驾驶和机器人的运动的技术，并且包括运动控制(例如，导航、碰撞、驾驶)、操作控制(例如，动作控制)等。

技术实现要素：

在一些实施例中，本文提供了一种显示装置，该显示装置包括：视频解码器，被配置为对视频信号进行解码；人工智能(ai)缩放器，ai缩放器包括多个滤波器，并且ai缩放器被配置为处理经解码的视频信号；以及控制器，被配置为通过基于控制信号选择性地开启或关闭多个滤波器中的每个滤波器来控制图像的分辨率，该多个滤波器中的选定滤波器由控制信号开启，并且该多个滤波器中的未选定滤波器由控制信号关闭，选定滤波器基于被开启而被配置为基于一个或多个第一参数来处理视频信号，该一个或多个第一参数基于学习，并且学习包括通过训练达到该一个或多个第一参数，而未选定滤波器基于被关闭而被配置为越过并输出被输入到未选定滤波器的信号。

在一些实施例中，显示装置还包括：存储器，存储器被配置为存储查找表，查找表通过执行学习而生成，并且控制器还被配置为基于从查找表中提取的一个或多个第一参数来设置选定滤波器。

在显示装置的一些实施例中，选定滤波器包括第二多个滤波器，其中，第二多个滤波器中的每个滤波器设置有一个或多个第二参数，并且ai缩放器被配置为使经解码的视频信号依次通过第二多个滤波器。

在显示装置的一些实施例中，控制器还被配置为：从视频解码器获取视频信号的编解码器信息，基于编解码器信息，从查找表中提取一个或多个第一参数，并且基于一个或多个第一参数来设置选定滤波器。

在显示装置的一些实施例中，编解码器信息包括编解码器类型和压缩率中的至少一个。

在显示装置的一些实施例中，控制器还被配置为使ai缩放器通过第一滤波器分析视频信号的图像特性，并且通过第二滤波器处理经解码的视频信号，第二滤波器设置有与所分析的图像特性相对应的第三参数，选定滤波器包括第二滤波器，并且一个或多个第一参数包括第三参数。

在显示装置的一些实施例中，查找表基于学习，学习基于图像的特性，并且查找表被配置为存储第三参数。

在显示装置的一些实施例中，选定滤波器包括第三滤波器，第三滤波器被配置为对图像执行后处理，并且后处理对应于降噪和细节增强中的至少一个。

在显示装置的一些实施例中，一个或多个第一参数基于第一基于ai学习的过程，或者一个或多个第一参数基于第二基于ai学习的过程。

在显示装置的一些实施例中，多个滤波器中的每一个被控制为基于对第一基于ai学习的过程和第二基于ai学习的过程中的一个加以指示的配置控制信号而被开启或关闭，并且ai缩放器被控制为使用多个滤波器中与第一基于ai学习的过程相对应的第一滤波器组合和多个滤波器中与第二基于ai学习的过程相对应的第二滤波器组合中的一个，来处理经解码的视频信号。

在显示装置的一些实施例中，多个滤波器中的至少一个滤波器属于第一滤波器组合和第二滤波器组合，并且在第一基于ai学习的过程和第二基于ai学习的过程之间共享。

本文还提供了一种控制显示装置的方法。在一些实施例中，该方法包括：对视频信号进行解码；以及通过以下操作控制图像的分辨率：通过基于控制信号选择性地开启或关闭多个滤波器中的每个滤波器，其中该多个滤波器中的选定滤波器由控制信号开启，并且该多个滤波器中的未选定滤波器由控制信号关闭，以及通过该多个滤波器处理经解码的视频信号，其中选定滤波器基于被开启而被配置为基于一个或多个第一参数来处理视频信号，该一个或多个第一参数基于学习，并且其中学习包括通过训练达到该一个或多个第一参数，而未选定滤波器基于被关闭而被配置为越过并输出被输入到未选定滤波器的信号。

在控制显示装置的方法的一些实施例中，选定滤波器包括第二多个滤波器，其中，第二多个滤波器中的每个滤波器设置有一个或多个第二参数，并且控制图像的分辨率还包括使经解码的视频信号依次通过第二多个滤波器。

在控制显示装置的方法的一些实施例中，该方法包括：存储第一查找表，该第一查找表通过执行学习而生成。该方法的一些实施例还包括：从视频解码器获取视频信号的编解码器信息，基于编解码器信息，从第一查找表中提取一个或多个第一参数，并且基于该一个或多个第一参数来设置选定滤波器。

在控制显示装置的方法的一些实施例中，该方法包括：通过第一滤波器来分析视频信号的图像特性，其中，处理经解码的视频信号还包括通过第二滤波器来处理经解码的视频信号，其中，第二滤波器设置有与所分析的图像特性相对应的第三参数，其中，选定滤波器包括第二滤波器，并且其中，一个或多个第一参数包括第三参数。

在控制显示装置的方法的一些实施例中，该方法包括：存储第二查找表，其中，第二查找表基于学习，并且其中，该学习基于图像的特性，控制图像的分辨率还包括从第二查找表中提取第三参数。

在控制显示装置的方法的一些实施例中，该方法包括：通过第三滤波器对图像执行后处理，其中，后处理对应于降噪和细节增强中的至少一个。

在该方法的一些实施例中，一个或多个第一参数基于第一基于人工智能(ai)学习的过程，或者一个或多个第一参数基于第二基于ai学习的过程。

在该方法的一些实施例中，控制图像的分辨率还包括：基于指示第一基于ai学习的过程和第二基于ai学习的过程中的一个的配置控制信号来控制要被开启或关闭的多个滤波器中的每一个。

本文还提供了一种存储指令的非临时性计算机可读介质，该指令将由至少一个处理器执行，该指令被配置为使至少一个处理器执行以下操作：对视频信号进行解码；以及通过以下操作控制图像的分辨率：通过基于控制信号选择性地开启或关闭多个滤波器中的每个滤波器，其中该多个滤波器中的选定滤波器由控制信号开启，并且该多个滤波器中的未选定滤波器由控制信号关闭，以及通过该多个滤波器处理经解码的视频信号，其中选定滤波器基于被开启而被配置为基于一个或多个第一参数来处理视频信号，其中该一个或多个第一参数基于学习，并且其中学习包括通过训练达到该一个或多个第一参数，而未选定滤波器基于被关闭而被配置为越过并输出被输入到未选定滤波器的信号。

根据一个实施例，提供了一种显示装置，包括：视频解码器，被配置为对视频信号进行解码；以及包括多个滤波器的人工智能(ai)缩放器，该多个滤波器被设置为使特定滤波器的输出用作另一滤波器的输入，并且被配置为通过处理经解码的视频信号来控制图像的分辨率，基于控制信号来选择性地开启或关闭多个滤波器中的每一个，被开启的滤波器基于通过学习设置的参数来处理视频信号，而被关闭的滤波器越过并输出被输入的视频信号。

显示装置还可以包括：存储器，被配置为存储通过预先执行学习而生成的查找表，并且可以通过从查找表中提取的参数来设置被开启的滤波器。

被开启的滤波器可以包括多个滤波器，每个滤波器都设置有预定参数，并且经解码的视频信号可以依次通过被开启的多个滤波器以控制图像的分辨率。

显示装置还可以包括：存储器，被配置为存储通过预先执行学习而生成的查找表；以及控制器，被配置为：从视频解码器获得视频信号的编解码器信息，基于所获得的编解码器信息从查找表中提取参数，并且基于所提取的参数来设置被开启的多个滤波器中的每一个。

编解码器信息可以包括编解码器类型或压缩率中的至少一种。

被开启的滤波器可以包括：第一滤波器，被配置为分析视频信号的图像特性；以及第二滤波器，可以被配置为设置有与所分析的图像特性相对应的参数并控制图像的分辨率。

显示装置还可以包括：存储器，被配置为存储通过预先执行学习而根据图像特性生成的查找表；以及控制器，被配置为从查找表中提取与由第一滤波器分析的图像特性相对应的参数，并基于提取的参数来设置第二滤波器。

被开启的滤波器可以包括：第三滤波器，被配置为对图像执行与降噪或细节增强中的至少一个相对应的后处理，该图像的分辨率由第二滤波器控制。

ai缩放器可以被配置为：通过多个滤波器中的与第二基于ai学习的过程相对应的第一滤波器组合来处理经解码的视频信号，或者通过多个滤波器中的与第二基于ai学习的过程相对应的不同于第一组合的第二滤波器组合来处理经解码的视频信号。

多个滤波器中的每一个可以被控制为基于对第一基于ai学习的过程和第二基于ai学习的过程中的一个过程加以指示的配置控制信号来开启或关闭，并且ai缩放器可以被控制为使用第一滤波器组合和第二滤波器组合中的一个来处理经解码的视频信号。

多个滤波器中的至少一个滤波器可以属于第一滤波器组合和第二滤波器组合，并且可以在第一基于ai学习的过程和第二基于ai学习的过程之间共享。

根据一个实施例，提供了一种控制显示装置的方法，包括：对视频信号进行解码；以及通过经由多个滤波器处理经解码的视频信号来控制图像的分辨率，该多个滤波器被设置为使特定滤波器的输出用作另一滤波器的输入，控制图像的分辨率包括：基于控制信号来选择性地开启或关闭多个滤波器中的每一个；通过被开启的滤波器，基于通过学习所设置的参数来处理视频信号；以及通过被关闭的滤波器，越过并输出被输入的视频信号。

被开启的滤波器可以包括多个滤波器，每个滤波器都设置有预定参数，并且控制图像的分辨率可以包括允许经解码的视频信号依次通过被开启的多个滤波器以控制图像的分辨率。

该方法还可以包括存储通过预先执行学习而生成的查找表，并且控制图像的分辨率可以包括：从视频解码器获取视频信号的编解码器信息；以及基于所获得的编解码器信息从查找表中提取参数，并且基于所提取的参数来设置被开启的多个滤波器中的每一个。

控制图像的分辨率可以包括：通过第一滤波器分析视频信号的图像特性；以及通过第二滤波器来控制图像的分辨率，第二滤波器设置有与所分析的图像特性相对应的参数。

该方法还可以包括：通过预先执行学习来存储根据图像的特性生成的查找表，控制图像的分辨率可以包括：从查找表中提取与第一滤波器分析的图像特性相对应的参数；以及基于提取的参数来设置第二滤波器。

控制图像的分辨率还可以包括：通过第三滤波器，对图像执行与降噪或细节增强中的至少一个相对应的后处理，该图像的分辨率由第二滤波器控制。

控制图像的分辨率可以包括：通过多个滤波器中的与第二基于ai学习的过程相对应的第一滤波器组合来处理经解码的视频信号，或者通过多个滤波器中的与第二基于ai学习的过程相对应的不同于第一组合的第二滤波器组合来处理经解码的视频信号。

控制图像的分辨率可以包括控制多个滤波器中的每一个以基于对第一基于ai学习的过程和第二基于ai学习的过程中的一个过程加以指示的配置控制信号而被开启或关闭，以使得ai缩放器可以使用第一滤波器组合和第二滤波器组合中的一个来处理经解码的视频信号。

根据一个实施例，提供了一种计算机程序产品，包括：存储器，被配置为存储多个指令；以及处理器，其中，当该指令由处理器执行时，视频信号被解码，并且通过设置为使特定滤波器的输出用作另一滤波器的输入的多个滤波器来控制通过处理经解码的视频信号而获得的图像的分辨率，基于控制信号来选择性地开启或关闭多个滤波器中的每一个，由被开启的滤波器基于通过学习设置的参数来处理视频信号，并且输入的视频信号被关闭的滤波器越过并输出。

根据一个实施例，提供了一种计算机可读的非易失性记录介质，其记录有可由显示装置的处理器执行的方法的程序，该方法包括：对视频信号进行解码；以及通过经由多个滤波器处理经解码的视频信号来控制图像的分辨率，该多个滤波器被设置为使特定滤波器的输出用作另一滤波器的输入，控制图像的分辨率包括：基于控制信号来选择性地开启或关闭多个滤波器中的每一个；通过被开启的滤波器，基于通过学习所设置的参数来处理视频信号；以及通过被关闭的滤波器，越过并输出被输入的视频信号。

附图说明

从以下结合附图对示例性实施例的描述中，上述和/或方面将变得清楚并且更容易理解，在附图中：

图1是根据本公开实施例的显示装置的框图；

图2是根据本公开的实施例的用于在显示装置中处理视频信号的详细配置的框图；

图3、图4、图5和图6是说明根据本公开的实施例的用于基于人工智能(ai)学习的过程的视图；

图7是根据本公开实施例的包括用于第一基于ai学习的过程的第一滤波器组合的ai缩放器的框图；

图8是根据本公开实施例的包括用于第二基于ai学习的过程的第二滤波器组合的ai缩放器的框图；

图9和图10是用于说明深度神经网络(dnn)模式下的滤波器的操作的视图；

图11和图12是用于说明图像分析模式下的滤波器的操作的视图；以及

图13是示出根据本公开的另一实施例的用于在显示装置中处理视频信号的详细配置的框图。

具体实施方式

在下文中，将参照附图来详细描述示例实施例。在附图中，相同的数字或符号表示具有实质上相同功能的相同元件，并且为了清楚和方便描述，每个元件的尺寸可以被放大。然而，以下示例性实施例中示出的配置和功能不应被解释为限制本发明构思以及关键配置和功能。在以下描述中，如果确定公知的功能或特征会模糊本发明构思的主旨，则将省略关于它们的描述。

在以下示例性实施例中，术语“第一”、“第二”等仅用于将一个元件与另一个元件区分开，并且单数形式旨在包括复数形式，除非上下文中另外提及。在以下示例性实施例中，将理解，术语“包括”、“包含”、“具有”等不排除存在或增加一个或多个其他特征、数字、步骤、操作、元件、组件或其组合。此外，“模块”或“部分”可以执行至少一个功能或操作，由硬件、软件或硬件和软件的组合来实现，并且被集成为至少一个模块。在本公开中，多个元件中的至少一个不仅指所有多个元件，而且指除其他元件之外的多个元件中的每个元件及其组合。

图1是根据本公开实施例的显示装置的框图，并且图2是根据本公开的实施例的用于在显示装置中处理视频信号的详细配置的框图。

根据本公开的实施例的显示装置100在预设过程下处理从外部信号源即图像源(未示出)提供的图像信号，并基于处理后的图像信号来显示图像。

根据一个实施例，显示装置100可以包括：电视(tv)等显示装置，其处理基于从广播站的发射器接收的广播信号、广播信息或广播数据中的至少一个的广播图像。

显示装置100可以例如无线地从广播站接收射频(rf)信号，即广播信号。为此，显示装置100可以包括：天线，被配置为接收广播信号；以及调谐器，被配置为调谐到与广播信号相对应的信道。显示装置100可以通过地面波、电缆、卫星等来接收广播信号，并且根据本公开的信号源不限于广播站。换句话说，本公开的信号源可以包括：能够收发数据或中继数据的任何装置或站，例如机顶盒；以及播放器，用于再现诸如蓝光盘(bd)、数字多功能光盘(dvd)等的光盘。

可以对应于装置的类型来不同地给出在显示装置100中接收的信号的标准，并且例如可以基于高清晰度多媒体接口(hdmi)、复合视频、分量视频、超级视频、无线电接收器和电视监控器联合组织(scart)通用串行总线(usb)等通过线缆来接收图像信号。此外，显示装置100可以通过诸如wi-fi、wi-fidirect或蓝牙的无线通信来无线地接收图像信号。

此外，显示装置100可以基于存储在内部/外部存储介质中的信号/数据来执行信号处理，以在其上显示运动图像、静止图像、应用、屏幕显示(osd)、用户界面(ui，以下也称为图形用户界面(gui))以供各种操作控制等。

根据一个实施例，显示装置100可以作为智能tv或互联网协议(ip)tv来操作。智能电视是指这样的电视：其能够实时获取和显示广播信号；具有网络浏览功能，以便在实时显示广播信号的同时，可以通过互联网搜索和消费各种内容；以及为web浏览功能提供方便的用户环境。此外，智能电视包括开源软件平台，从而向用户提供交互式服务。因此，智能电视可以向用户提供各种内容，例如，用于通过开源软件平台提供预定服务的应用。这样的应用是指用于提供各种服务的应用程序，并且可以例如包括用于提供诸如社交网络服务、金融、新闻、天气、地图、音乐、电影、游戏、电子书之类的服务的应用。

然而，本公开的显示装置100不限于tv，并且可以例如包括各种装置，诸如膝上型计算机或台式个人计算机(pc)(或连接到计算机的监视器)等。

如图1所示，根据本公开实施例的显示装置100包括信号接收器110、通信器120、视频处理器130、显示器140、用户输入接收器150、存储器160以及控制器170。

信号接收器110从外部接收图像信号(即，内容)，并将接收到的图像信号传递给视频处理器130。信号接收器110可以使用配备有调制解调器的无线电接收器来无线地接收图像信号。或者，可以通过有线连接接收信号，如下所述。接收到的信号的标准可以根据显示装置100的类型而变化。例如，信号接收器110可以无线地从广播站(未示出)接收射频(rf)信号，或者可以通过线缆接收符合诸如复合视频、分量视频、超级视频、scart、hdmi等的标准的图像信号。

信号接收器110包括连接器111，显示装置100经由该连接器111通过线缆与外部图像源连接。根据一个实施例，在连接器111和图像源之间的连接中使用hdmi电缆，但是连接标准不限于hdmi。

显示装置100可以从通过连接器111经由线缆连接的机顶盒等图像源接收内容。连接器111基本上从图像源接收信号，但是可以交互地发送和接收信号。

连接器111可以通过包括数据输入/输出接口的通信电路来实现，其中通信模块(s/w模块、芯片等)、端口等被组合为对应于各种通信协议。

根据一个实施例，经由线缆通过连接器111连接到显示装置100的装置是机顶盒、pc等图像源，但是本公开不限于该实施例。例如，根据备选实施例的显示装置100可以通过连接器111经由线缆与移动装置连接。

根据一个实施例，信号接收器110可以包括调谐器，当图像信号是广播信号时，调谐器将被调谐到与广播信号相对应的信道。

此外，图像信号可以从各种外围装置输出。此外，图像信号可以基于通过互联网等网络接收的数据。在这种情况下，显示装置100可以通过通信器120(稍后将描述)接收图像信号。

此外，图像信号可以基于存储在诸如闪存、硬盘驱动器(hdd)等的非易失性存储器160中的数据。存储器160可以设置在显示装置100的内部或外部。在存储器160设置在显示装置100的外部的情况下，存储器160可以通过连接器111连接到显示装置100。

根据一个实施例，信号接收器110可以接收视频信号作为内容，该视频信号通过基于人工智能(ai)学习的过程在信号源(即内容提供装置)的编码终端处被编码。

通信器120被配置为通过有线或无线方式与至少一个外部装置通信。通信器120包括有线和/或无线通信模块。

通信器120可以由通信电路来实现，该通信电路包括与各种通信协议相对应的通信模块(s/w模块、芯片等)。

根据一个实施例，通信器120包括无线局域网(wlan)单元。wlan单元可以在控制器170的控制下通过接入点(ap)向至少一个用于控制的装置传送信号。wlan单元包括wi-fi通信模块。

根据一个实施例，通信器120包括用于短距离通信(诸如蓝牙、蓝牙低功耗、rf通信、wi-fidirect、紫蜂、超宽带(uwb)、近场通信(nfc)、红外数据关联(irda)通信等)的模块中的至少一个。短距离通信模块被配置为在没有ap的情况下无线地支持显示装置100和至少一个装置之间的直接通信。

根据一个实施例，通信器120还可以包括有线通信模块，如以太网等。

根据本公开的实施例的显示装置100的通信器120可以根据所需性能通过wlan单元、短距离通信模块和有线通信模块中的一个或其中两个的组合来实现。本文所使用的术语“由...实现的实施例”包括“示例实施例可以基于...”的含义。

根据一个实施例，显示装置100通过通信器120与至少一个外部装置执行无线通信。当显示装置100直接与至少一个外部装置执行无线通信时，存储器160可以被配置为存储关于用于通信的装置的标识信息(例如，媒体访问控制(mac)地址或互联网协议(ip)地址)。

视频处理器130对从信号接收器110或通信器120中的至少一个接收的图像信号执行各种预设的视频/音频处理。视频处理器130将通过这种图像处理过程生成或组合的信号向显示器140输出，从而使显示器140基于图像信号显示图像。

如图1所示，视频处理器130包括视频解码器131和ai缩放器133。

视频解码器131将图像信号解码为对应于显示装置100的图像格式。视频解码器131可以例如是h.264解码器，但是不限于该示例。换句话说，根据本公开的实施例的视频解码器131可以由符合各种压缩标准的解码器(诸如运动图像专家组(mpeg)解码器、高效视频编解码器(hevc)解码器等)来实现。

ai缩放器133执行缩放以根据显示器140的输出标准来调整或转换图像信号。

在根据本公开的实施例的显示装置100中，ai缩放器133由分辨率增加模块(即放大(scaling-up)模块)来实现，以增加视频(即图像)的分辨率。换句话说，ai缩放器133可以通过放大(up-scaling)来从低分辨率图像生成高分辨率图像或超分辨率图像。

根据一个实施例，由视频解码器131解码的视频信号由ai缩放器133通过基于ai学习的过程来进行放大。在此，ai缩放器133可以被配置为根据在信号源(即内容提供装置)的编码终端处使用的基于ai学习的过程来放大视频信号。

具体地，如图2所示，ai缩放器133可以包括可以可变地(即灵活地)组合的多个滤波器：filter(滤波器)1、filter2、…、filterm、filtern，并通过多个滤波器的组合处理视频信号，从而调整视频(或图像)的分辨率。在图2中，filter1-filtern以串行布置的形式示出，其后是功能块“相加”。相加有两个输入：一个由filtern馈送，而一个由filter1的输出馈送。相加包括这些输入的直接代数求和以产生输出。

根据一个实施例，多个滤波器(filter1、filter2、…、filterm、filtern)被以如上所述的串行方式布置为使得特定滤波器(例如filter1)的输出用作另一滤波器(例如filter2)的输入。总体上，filter1至n和filterm形成用于处理视频信号的像素数据路径。

根据一个实施例，如图2所示，视频处理器130还可以包括：预处理模块132，用于对从视频解码器131输出的视频信号进行预处理，以将其传送到ai缩放器133；以及后处理模块134，用于对从ai缩放器133输出的视频信号进行后处理以增强图像质量。

根据一个实施例，预处理模块132、ai缩放器133和后处理模块134被包括在图像质量链c中，作为改善图像的图像质量的配置。

根据本公开的一个实施例，ai缩放器133可以被配置为通过基于第一基于ai学习的过程来处理视频信号，或者通过不同于第一基于ai学习的过程的第二基于ai学习的过程来处理视频信号，从而控制视频(或图像)的分辨率。通常，视频是指图像的时间序列。图像通常是指静止图像。

这里，第一基于ai学习的过程对应于基于机器学习(ml)的过程，而第二基于ai学习的过程对应于基于深度神经网络(dnn)(即深度学习)的过程。dnn是机器学习的子集。

即，本公开的一个方面在于提供显示装置100，其中，基于机器学习或深度学习的图像分辨率控制被选择性地用于基于人工智能(ai)学习的视频信号处理、其控制方法及其记录介质中。

稍后将描述第一基于ai学习的过程和第二基于ai学习的过程的详细操作。

同时，不存在对于通过本公开的视频处理器130所执行的处理类型的限制。例如，视频处理器130还可以包括至少一个模块，该模块用于执行各种处理，诸如用于将交错式广播信号转换为逐行式广播信号的逐行扫描、用于增强图像质量的降噪、细节增强、帧刷新率转换、行扫描等。

视频处理器130可以实现为一组单独元件的形式，即用于独立执行这样的处理的模块，或者可以实现为包括在集成有许多功能的主芯片上系统(soc)中。主soc可以包括至少一个处理器，例如，作为控制器170(稍后将描述)的示例的微处理器或中央处理单元(cpu)。

根据一个实施例，视频处理器130可以通过图像板来实现，用于执行这样的处理的各种芯片组、存储器、电子部件、布线等的电路配置被安装到印刷电路板(pcb)。在这种情况下，显示装置100可以包括单个图像板，在其上设置有调谐器、视频处理器130和控制器170。当然，这仅是一个示例。备选地，调谐器、视频处理器和控制器可以设置在被连接用于彼此通信的多个pcb上。

由视频处理器130处理的图像信号被输出到显示器140。显示器140显示与从视频处理器130接收的图像信号相对应的图像。

根据一个实施例，显示器140可以显示高分辨率图像，该高分辨率图像的分辨率由视频处理器130的ai缩放器133缩放。

显示器140的类型没有限制。例如，显示器140可以被实现为诸如液晶、等离子、发光二极管、有机发光二极管、表面传导电子发射器、碳纳米管、纳晶等的各种显示器类型。根据一个实施例，显示器140包括用于显示图像的显示面板，并且还可以根据类型包括附加配置，例如驱动器。

用户输入接收器150响应于用户输入向控制器170发送各种预设控制命令或非限制信息。

根据一个实施例，用户输入接收器150可以向控制器170输出配置控制信号，以使得ai缩放器133可以基于第一基于ai学习的过程或第二基于ai学习的过程中的任何一个来操作。

用户输入接收器150可以包括：小键盘(或输入面板)，其包括设置在显示装置100的主体中的电源键、数字键、菜单键等。

根据一个实施例，用户输入设备生成用于远程控制显示装置100的预设命令/数据/信息/信号，并将其发送到显示装置100。通常，输入设备与显示装置100分离。输入设备包括遥控器、键盘、鼠标等。输入设备能够接收用户输入并与用户输入接收器150通信。

遥控器可以包括：触摸传感器，用于接收用户的触摸输入；和/或运动传感器，用于检测其自身由于用户引起的的运动。输入设备可以包括诸如智能电话的终端，在其中安装有远程控制应用，并且在这种情况下，可以通过智能电话的触摸屏来接收用户的触摸输入。

输入设备被包括在与显示装置100执行无线通信的外部装置中，并且无线通信可以包括wi-fi、蓝牙、ir通信、rf通信、wlan、wi-fidirect等中的一个或多个。

根据一个实施例，用户输入接收器150还可以包括用于接收用户发出的语音/声音的语音输入单元。语音输入单元可以由用于接收音频信号的麦克风来实现。

存储器160可以被配置为存储显示装置100的各种数据。存储器160可以由即使显示装置100断电并且反映改变也可以保留数据的非易失性存储器(或可写存储器)来实现。存储器160可以被设置为硬盘驱动器(hdd)、闪存、电可编程只读存储器(eprom)或电可擦除可编程rom(eeprom)中的至少一种。

存储器160还可以包括易失性存储器(例如随机存取存储器(ram))，并且易失性存储器可以包括动态ram(dram)或静态ram(sram)，其对显示装置100的读取或写入速度比非易失性存储器快。换句话说，本公开中的术语“存储”被定义为不仅包括非易失性存储器而且还包括易失性存储器，控制器170中设置的高速缓冲存储器、存储卡(例如，微型sd卡、存储棒等)可通过连接器111安装到显示装置100。

存储在存储器160中的数据例如不仅可以包括用于驱动显示装置100的操作系统(os)，而且可以包括可在os上执行的各种应用、图像数据、附加数据等。

具体地，存储器160可以被配置为在控制器170的控制下存储与元件的操作相对应的信号或数据输入/输出。存储器160可以被配置为存储用于控制显示装置100的程序、与制造商提供的或从外部下载的应用有关的ui、用于提供ui的图像、用户信息、文档、数据库或相关数据。

根据一个实施例，存储器160可以被配置为存储分别与第一基于ai学习的过程和第二基于ai学习的过程对应地提供的查找表(lut)。

与第一基于ai学习的过程相对应的lut包括第一lut，其中，与图像的特性相对应地生成滤波器参数(以下称为“多个参数”或“参数”)作为第一ai学习，即列出了预先执行的机器学习结果。在执行第一基于ai学习的过程之后的运行时间期间，ai缩放器133执行放大以增加分辨率。放大包括：从如上所述通过机器学习预先生成的第一lut提取与(基于视频信号的)输入图像的特性相对应的参数集。在一些实施例中，机器学习包括使用cnn。

与第二基于ai学习的过程相对应的lut包括第二lut。生成第二lut中的滤波器参数作为第二基于ai学习的过程，即列出了预先执行的深度学习结果。在第二lut中，列出了不考虑图像特性所生成的参数。在执行第二基于ai学习的过程之后，ai缩放器133执行放大以增加分辨率。如上所述，放大包括从预先由深度学习生成的第二lut中提取参数集。

根据一个实施例，用于基于第二基于ai学习的过程处理视频信号的ai缩放器133可以通过从第二lut中提取与图像的编解码器或压缩特性相对应的滤波器参数集来执行放大。

控制器170执行控制以操作显示装置100的一般元件。处理器170包括至少一个通用处理器，该通用处理器从安装有控制程序的非易失性存储器中将控制程序的至少一部分加载到易失性存储器，执行所加载的控制程序，并且例如可以被实现为cpu、应用处理器(ap)或微处理器。

控制器170可以包括至少一个处理器，该处理器在单核、双核、三核、四核等的多核中具有一个或多个核。处理器可以包括多个处理器，例如，在睡眠模式下(在此模式期间，仅提供待机功率而不操作显示装置)操作的主处理器和副处理器。此外，处理器、rom和ram可以通过内部总线彼此连接。

根据一个实施例，控制器170还可以包括用于图形处理的图形处理单元(gpu)。

根据一个实施例，控制器170可以被实现为被包括在安装到设置在显示装置100内部的pcb上的主soc中。备选地，主soc还可以包括用于处理视频信号的视频处理器130。

控制程序可以包括以基本输入/输出系统(bios)、设备驱动程序、操作系统(os)、固件、平台和应用中的至少一个的实现的程序。根据一个示例性实施例，可以在制造显示装置100时将应用预先安装或存储在显示装置100中，或者可以在将来需要时基于从外部接收的应用数据将应用安装在显示装置100中。例如，可以将应用数据从诸如应用市场之类的外部服务器下载到显示装置100。这样的外部服务器仅是根据本公开的计算机程序产品的示例，但不限于此。

根据一个实施例，控制器170的操作可以通过存储在与显示装置100分开设置的计算机程序产品(未示出)中的计算机程序来实现。

在这种情况下，计算机程序产品包括存储有与计算机程序相对应的指令的存储器、以及处理器。该指令由处理器执行并控制ai缩放器133，以便可以基于第一基于ai学习的过程来处理由第一滤波器组合解码的视频信号，并且可以基于第二基于ai学习的过程来处理由与第一组合不同的第二滤波器组合解码的视频信号，从而执行控制器170的操作。

因此，显示装置100可以在下载存储在单独的计算机程序产品中的计算机程序，并执行所下载的计算机程序，从而执行控制器170的操作。

此外，根据一个实施例，控制器170的操作可以通过存储在记录介质中的计算机可读程序来执行。程序(即存储在记录介质中的数据)可以由控制器170直接访问和执行，或者经由通过计算机系统彼此连接的有线/无线网络实现的传输介质而下载到显示装置100中并被执行，从而执行操作。

在根据本公开的一个实施例的显示装置100中，控制器170可以如图2所示包括配置控制模块171、lut控制模块173和参数提取模块174。根据一个实施例，控制器170还可以包括编解码器分析模块172。

根据一个实施例，配置控制模块171、编解码器分析模块172、lut控制模块173和参数提取模块174被配置为形成用于配置滤波器并生成参数的控制路径。通常，在滤波器filter1、…、filtern和filterm中使用的权重称为参数或多个参数。通常，术语参数可以理解为复数。

控制器170中涉及的前述元件171、172、173和174中的至少一个可以由如上所述的硬件模块或计算机程序来实现。在下文中，将认识到，由显示装置100的控制器170执行用于基于ai学习的过程的ai缩放器133的控制操作。

下面，将参考附图详细描述根据本公开的实施例执行的根据基于ai学习的过程的分辨率放大处理。

图3至图6是说明根据本公开的实施例的用于基于ai学习的过程的视图。

如图3所示，显示装置100的视频解码器131对通过信号接收器110接收的视频信号进行解码(200)。

在操作200中解码的视频信号由ai缩放器133的多个滤波器之中与第一基于ai学习的过程相对应的第一滤波器组合处理(201)，或由ai缩放器133的多个滤波器之中不同于第一组合的与第二基于ai学习的过程相对应的第二滤波器组合来处理(202)。

参照图2和图4，显示装置100中的控制器170的配置控制模块171接收配置控制信号(301)。

配置控制信号是指外部输入信号，其可以例如响应于通过用户输入接收器150做出的用户选择而输入到配置控制模块171，或者响应于通过通信器120从外部装置接收到的信号而输入到配置控制模块171。

备选地，可以响应于预定事件的发生在显示装置100中自动生成配置控制信号。

根据一个实施例，可以在第一次制造或安装显示装置100时识别配置控制信号。

控制器170可以识别接收到的配置控制信号，并且基于识别结果来选择ai缩放器133的操作模式以对应于第一基于ai学习的过程或第二基于ai学习的过程中的任一个。

配置控制信号指示ai缩放器133的操作模式。具体地，配置控制信号可以指示以下模式之一：ai缩放器133基于第一基于ai学习的过程(即机器学习技术)进行操作的图像分析模式、和ai缩放器133基于第二基于ai学习的过程(即dnn(或深度学习)技术)进行操作的dnn模式。

ai缩放器133响应于如上所述接收到的配置控制信号而在图像分析模式或dnn模式中的任一个下进行操作。ai缩放器133包括可以各种组合的多个滤波器。

根据一个实施例，ai缩放器133通过根据操作模式而不同的滤波器的组合来处理视频信号。

换句话说，在图像分析模式下操作的ai缩放器133采用第一滤波器组合来处理视频信号，在dnn模式下操作的ai缩放器133采用第二滤波器组合来处理视频信号。

根据一个实施例，可以在图像分析模式和dnn模式之间共享ai缩放器133的多个滤波器中的至少一个滤波器。例如，图2所示的第一滤波器filter1和第二滤波器filter2可以属于第一滤波器组合和第二滤波器组合两者。

在图像分析模式下，基于预先执行第一基于ai学习的过程所生成的数据(即滤波器参数)来独立控制第一滤波器组合。这里，基于第一基于ai学习的过程的滤波器参数被给出为与视频信号(或图像)的特性相对应，因此可以基于机器学习来设计第一基于ai学习的过程。

在dnn模式下，基于预先执行第二基于ai学习的过程所生成的数据(即滤波器参数)来独立控制第二滤波器组合。在此，不管视频信号(或图像)的特性如何，都给出第二基于ai学习的过程的滤波器参数，因此可以基于深度学习来设计第二基于ai学习的过程。

配置控制模块171基于输入的配置控制信号来输出用于选择性地开启或关闭如图2所示的多个滤波器filter1、filter2、…、filterm、filtern的每个操作的滤波器控制信号，使得ai缩放器133可以配置与其操作模式相对应的滤波器层。

此外，输入到配置控制模块171的配置控制信号被发送到lut控制模块173和参数提取模块174，从而针对形成每个层的滤波器设置操作参数。

lut控制模块173可以响应于配置控制信号来选择与操作模式相对应的、设置在存储器160中的第一lut和第二lut中的一个。

参数提取模块174从选择的lut中提取滤波器参数，并将参数信息输出到多个滤波器filter1、filter2、…、filterm、filtern中的每一个。这里，参数提取模块174可以将参数信息选择性地输出到多个滤波器之中的由滤波器控制信号开启的滤波器。

参照图4，当输入的配置控制信号指示图像分析模式时，换句话说，当在操作302中识别出输入的配置控制信号不指示dnn模式时，基于从配置控制模块171输出的滤波器控制信号将滤波器层配置为包括图像分析单元在内的第一滤波器组合，并且基于从参数提取模块174输出的参数信息从lut加载参数集(303)。

在如上所述配置的第一滤波器组合中，特定滤波器(例如第一滤波器filter1)操作为图像分析单元，用于分析图像即视频信号的特性，并且图像分析单元filter1的图像分析结果被输出到lut控制模块173，从而参数提取模块174可以从lut加载与所分析的图像的特性相对应的参数集。

此外，将滤波器控制信号(即用于多个滤波器filter1、filter2、…、filterm、filtern的开/关信号)和加载的参数信息输出到每个滤波器(304)。

另一方面，当在操作302中识别出所输入的配置控制信号指示dnn模式时，基于从配置控制模块171输出的滤波器控制信号将滤波器层配置为第二滤波器组合，并且基于从参数提取模块174输出的参数信息从lut加载参数集(305)。

这里，当ai缩放器133在dnn模式下操作时，编解码器分析模块172可以从视频解码器131获得要处理的视频信号的编解码器信息。编解码器分析模块172的编解码器分析结果被输出到lut控制模块173，从而可以在参数提取模块174中从lut生成与分析编解码器相对应的参数集。

此外，将滤波器控制信号(即用于多个滤波器filter1、filter2、…、filterm、filtern的开/关信号)和加载的参数信息输出到每个滤波器(306)。

在前述过程中，下面将参考图5描述lut控制模块173的操作。

当ai缩放器133在图像分析模式下操作时，多个滤波器filter1、filter2、…、filterm、filtern中的一个用作图像分析单元，并且图像分析信息如图5所示从图像分析单元输出(401)。

lut控制模块173基于在操作401中输出的图像分析信息来从lut加载与所分析的图像的特性相对应的参数集(402)。这里，lut控制模块173可以基于由配置控制信号指示的模式信息，从与图像分析模式相对应的预先提供的第一lut中选择性地加载与所分析的图像的特性相对应的参数集。

此外，从加载的参数集中提取要应用于每个滤波器的参数(403)，并且将所提取的参数输出到对应的滤波器(404)。

另一方面，当ai缩放器133在dnn模式下操作时，如图5所示，从编解码器分析模块172输出编解码器信息(405)。这里，编解码器信息包括编解码器类型或压缩率中的至少一种。

具体地，编解码器分析模块172可以根据基于从视频解码器131获得的编解码器元信息的编解码器类型或压缩率来生成信息，并将所生成的信息输出到lut控制模块173。例如，编解码器分析模块172可以基于指示编解码器类型和压缩率的量化参数(qp)来生成用于选择lut的信息。

lut控制模块173基于在操作401中输出的编解码器信息，从lut生成与编解码器相对应的参数集(406)。这里，lut控制模块173可以基于关于由配置控制信号指示的模式的信息，从预先提供的与dnn模式相对应的第二lut中生成与所标识的编解码器相对应的参数集。

此外，从所生成的参数集中提取要应用于每个滤波器的参数(403)，并且将所提取的参数输出到对应的滤波器(404)。

在前述过程中，下面将参考图6描述输出滤波器控制信号的操作。

如参考图4和图5所描述的，当配置控制模块171基于配置控制信号生成要输出到多个滤波器filter1、filter2、…、filterm、filtern中的每一个的滤波器控制信号时，识别是开启还是关闭每个滤波器，并且当参数提取模块174从lut提取滤波器参数时，设置多个滤波器filter1、filter2、…、filterm、filtern中的每一个的参数(501)。

此外，输出针对每个滤波器(即滤波器层的每个信道)的开/关信号和操作501中的参数(502)。接收到关闭信号的滤波器在越过(bypass)模式下操作。

根据本公开的一个实施例，通过前述过程，ai缩放器133被配置有多个滤波器，所述多个滤波器对应于图像分析模式和dnn模式之一而被组合，其中图像分析模式用于基于第一基于ai学习的过程(即机器学习)的操作，dnn模式用于基于第二基于ai学习的过程(即深度学习)的操作。

图7是根据本公开实施例的包括用于第一基于ai学习的过程的第一滤波器组合的ai缩放器的框图；图8是根据本公开实施例的包括用于第二基于ai学习的过程的第二滤波器组合的ai缩放器的框图。

如图7所示，在包括用于第一基于ai学习的过程的第一滤波器组合的ai缩放器133中，多个滤波器filter1、filter2、…、filterm、filtern中的一个(换句话说，第一滤波器filter1)用作图像分析单元，而另一个滤波器(即第二滤波器filter2)用于生成分辨率放大的高分辨率图像。

从图像分析单元filter1输出的图像分析结果被输入到lut控制模块173，并且lut控制模块173从第一lut中读取与所分析的图像的特性相对应的参数，从而参数提取模块174可以将相应的参数输出到第二滤波器filter2。

第二滤波器filter2可以例如基于所提取的参数通过内插来生成高分辨率图像。

如图8所示，包括用于第二基于ai学习的过程的第二滤波器组合在内的ai缩放器133具有被配置为多个层的多滤波器结构。

在包括第二滤波器组合的ai缩放器133中，滤波器filter1、filter2、…、filterm、filtern中的每一个被设置有从预先基于dnn(或深度学习)生成的第二lut提取的参数。在由相应参数设置的多个滤波器filter1、filter2、…、filterm、filtern处理时，低分辨率输入图像(即视频信号)自动放大为高分辨率图像。

如上所述，在包括第二滤波器组合在内的ai缩放器133中，为每个单独的滤波器设置参数，从而可以独立地控制多层。

根据一个实施例，当控制器170还包括编解码器分析模块172时，可以基于从视频解码器131获得的编解码器信息，利用与编解码器相对应的参数来设置滤波器filter1、filter2、…、filterm、filtern中的每一个。

根据本公开的一个实施例，显示装置100在针对每个滤波器filter1、filter2、…、filterm、filtern设置参数时使用编解码器信息，并且因此有利的是，即使在根据编解码器类型、压缩率等反映图像压缩特性的同时，也放大分辨率。

以下，将参照附图描述配置有第一滤波器组合或第二滤波器组合的ai缩放器133中的每个滤波器的详细操作。

图9和图10是用于说明dnn模式下的滤波器的操作的视图。

如图9所示，dnn模式下的每个滤波器包括卷积滤波器601和非线性函数602。

根据一个实施例，1×1～n×n的各种卷积滤波器601是可能的，并且例如可以以1×1、3×3和5×5滤波器的形式给出。备选地，卷积滤波器601可以配置有m个信道(ch)。

卷积滤波器601包括存储有从外部输入和设置的参数(例如，权重参数)的寄存器以及卷积运算器。卷积运算器可以通过将从寄存器读取的参数乘以所输入的图像数据x0、x1、x2…xn，并将乘法结果相加来执行卷积运算。

如图10所示，非线性函数602可以采用各种非线性函数701和702。

如图9所示，包括卷积滤波器601和非线性函数602在内的每个滤波器在基于卷积神经网络(cnn)算法进行运算的同时，接收图像数据并输出分辨率被放大的图像数据。低分辨率图像(即输入视频信号)在通过每个滤波器的同时被调整为放大分辨率，因此生成为高分辨率图像。

图11和图12是用于说明图像分析模式下的滤波器的操作的视图。

图11示出了用作图像分析单元的滤波器(例如图7所示的第一滤波器filter1)的操作。

如图11所示，当滤波器执行图像分析功能时，将输入的图像数据与n×n的卷积滤波器相乘，从而获得输出数据(801)。所获得的输出数据作为图像分析结果被输出到lut控制模块173。备选地，卷积滤波器可以包括m个信道ch。

当特定滤波器执行图像分析功能时，下一处理(即非线性功能)不操作，并且越过输入图像数据(802)。因此，所输入的图像数据跳过滤波器而被输出，并且因此被下一滤波器例如图7的第二滤波器filter2调整。

图12示出了用于增加分辨率(即，放大)的滤波器(例如图7所示的第二滤波器filter2)的操作。

如图12所示，例如，用于执行放大的滤波器(例如图7所示的第二滤波器filter2)如参照图9所述的在dnn模式下的滤波器那样操作。换句话说，滤波器接收图像数据并输出处理后的图像数据，从而可以将低分辨率图像(即视频信号)生成为分辨率放大的高分辨率图像。

同时，根据本公开的另一实施例，当ai缩放器133在图像分析模式下操作时，未使用的滤波器中的至少一个可以用于执行后处理。

图13是示出根据本公开的另一实施例的用于在显示装置中处理视频信号的详细配置的框图。

如图13所示，ai缩放器133的多个滤波器filter1、filter2、…、filterm、filtern中的第三滤波器组合可以用于处理视频信号。

可以通过将一个或多个用于后处理的滤波器添加到图7所示的第一滤波器组合中来实现第三滤波器组合。

具体地，在第三滤波器组合中，特定滤波器(例如第一滤波器filter1)用作图像分析单元，用于分析图像(即视频信号)的特性，而另一滤波器(例如第二滤波器filter2)用于生成分辨率被放大调整的高分辨率图像。此外，如图13所示，除filter1和filter2以外的多个滤波器…、filterm、filtern中的至少一个(例如第n滤波器filtern)可以执行后处理以提高图像的图像质量。

这里，后处理包括用于降噪、细节增强等用于提高图像质量的各种处理，并且后处理的种类没有限制。

根据一个实施例，前述第n滤波器filtern被配置为实际上执行图2所示的后处理模块134的功能的至少一部分。

在根据本公开的该实施例的显示装置100中，ai缩放器133的可进行各种组合的多个滤波器之中未在图像分析模式下使用的滤波器(即未使用的资源)被用于后处理，从而提高资源利用率，并且具有增强图像的图像质量的效果。

如上所述，提供了根据本公开的显示装置及其控制方法，其中ai缩放器包括可进行各种组合的多个滤波器，从而可以选择性地执行基于机器学习过程的分辨率控制和基于深度学习过程的分辨率控制。

此外，提供了根据本公开的显示装置及其控制方法，其中，基于编解码器信息来设置每个滤波器的参数，从而即使在根据编解码器类型、压缩率等反映图像压缩特性的同时，也可控制分辨率。

此外，提供了根据本公开的显示装置及其控制方法，其中，在执行用于图像质量增强的后处理中使用了未使用的滤波器，从而提高了未使用资源的资源利用率，并且具有增强图像的图像质量的效果。

虽然已经示出和描述了一些示例实施例，但是本领域的技术人员将认识到，在不背离本申请中提供的实施例的原理和精神的情况下，可以对这些示例性实施例进行改变，这些实施例的保护范围限定在所附权利要求及其等效形式中。