图像噪声检测方法、神经网络模型的训练方法及装置与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像噪声检测方法、神经网络模型的训练方法及装置。


背景技术：

2.随着数字多媒体技术的发展，为了提高数据传输速率和存储效率，图像压缩技术被广泛应用于数字图像的存储、传输和显示中。现有技术中压缩后的图像在显示时会出现压缩噪声，大大影响了显示设备的用户观感体验。传统图像压缩噪声的检测方法大多基于数学模型建模，该方法受限于噪声的复杂程度，只能针对简单的噪声进行检测。然而现实生活中图像压缩噪声比较复杂，图像中的压缩噪声不仅限于一种，因此基于数学模型建模的方法在现实应用中无法达到很好的检测效果。同时，数学模型建模只能针对图像中的一种噪声进行检测，并输出整张图像的噪声程度。然而现实生活中图像中包括多种噪声，多种噪声叠加后图像中的噪声较为复杂，基于数学模型建模的方法并不能对此种图像进行噪声检测。


技术实现要素：

3.本技术实施例提供了一种图像噪声检测方法、神经网络模型的训练方法及装置，用以解决传统图像噪声检测方法无法处理现实图像中存在的复杂噪声问题。
4.第一方面，本技术提供了一种神经网络模型的训练方法，包括：
5.获取训练样本集，所述训练样本集包括多个压缩噪声图像以及每个压缩噪声图像包括的多个子图像区域分别对应的压缩噪声程度；
6.将训练样本集包括的第一压缩噪声图像输入神经网络模型，以获得所述第一压缩图像包括的多个子图像区域分别对应的预测压缩噪声程度，第一压缩噪声图像为所述多个压缩噪声图像中的任一个；
7.根据所述训练样本集包括的所述多个子图像区域分别对应的压缩噪声程度与所述预测压缩噪声程度计算损失值；
8.根据所述损失值对所述神经网络模型的网络参数进行调整，以获得训练好的神经网络模型。
9.基于上述方案，可以利用训练好的神经网络模型对待检测图像进行图像噪声检测，进而获得待检测图像包括的多个子图像区域分别对应的压缩噪声程度。
10.一种可能的实现方式中，所述第一压缩噪声图像中的第一子图像区域是针对第一原始无噪声图像中第一子图像区域对应的子图像区域通过采用设定压缩参数的第一压缩算法进行压缩得到的，所述第一子图像区域的压缩噪声程度是基于设定压缩参数确定的；或者，所述第二压缩噪声图像中的第二子图像区域是针对第二原始无噪声图像中第二子图像区域对应的子图像区域连续采用多种压缩算法进行压缩得到的，其中所述第二压缩噪声图像为所述多个压缩噪声图像中的任一个压缩噪声图像，所述第二子图像区域的压缩噪声
程度是基于所述多种压缩算法分别对应的压缩程度进行加权得到的。
11.基于上述方案，对输入图像的不同子图像区域选取不同的压缩噪声程度，较大提升了数据的多样性，一张图中包含多种不同程度压缩噪声，可以很好的模拟现实图像中复杂的压缩噪声。同时整个过程不需要人为标注，节省了人力和时间。
12.一种可能的实现方式中，所述第一压缩图像包括n个子图像区域，n为正整数，所述神经网络模型包括编码器网络和全连接层，所述将训练样本集包括的第一压缩噪声图像输入所述神经网络模型，以获得所述第一压缩图像包括的多个子图像区域分别对应的预测压缩噪声程度，包括：通过所述编码器网络对所述n个子图像区域分别进行特征提取，以得到所述n个子图像区域分别对应的图像特征向量；通过所述全连接层基于所述n个子图像区域分别对应的图像特征向量确定所述n个子图像区域中的每子图像区域分别对应到多个压缩噪声程度的产生概率，每个子图像区域对应的压缩噪声程度为每个子图像区域对应到多个压缩噪声程度的产生概率中最大产生概率对应的压缩噪声程度。
13.一种可能的实现方式中，所述基于所述训练样本集包括的第一压缩噪声图像包括的多个子图像区域分别对应的压缩噪声程度与所述预测压缩噪声程度计算损失值，包括：分别对训练样本集中所述第一压缩噪声图像包括的n个子图像区域分别对应的压缩噪声程度，与根据所述神经网络模型确定的所述第一压缩噪声图像包括的n个子图像区域分别对应的压缩噪声程度进行比较得到n个比较结果；
14.根据所述n个比较结果确定n个子图像区域分别对应n个损失值；
15.对所述n个损失值进行加权得到的加权结果调整所述神经网络的网络参数；第k个损失值所采用的权重满足如下公式所示的条件：
16.wk＝1-(|p
′
(k)
|/max(|p
′
|)；
17.其中，wk表示第k个子图像区域对应的损失值所采用的权重，p
′
(k)
表示根据所述神经网络模型确定的所述第k个子图像区域对应的压缩噪声程度的产生概率，max(|p
′
|)表示n个子图像区域分别对应的压缩噪声程度的产生概率中的最大值。
18.基于上述方案，对每个子图像区域的压缩噪声程度预测结果和该子图像区域真实压缩噪声程度值计算交叉熵损失函数，将检测问题转化为分类问题，并用分类的经典损失函数来求解。整个图像的损失函数为所有子图像区域的损失函数加权之和，保证了对整个图像的压缩噪声检测学习。此外，该方法可以使网络不会过分关注于预测概率较大的子图像区域，可以促进对所有子图像区域的平等学习。
19.第二方面，本技术实施例提供了一种图像噪声检测方法，包括：
20.获取待检测图像，所述待检测图像包括多个子图像区域；对所述多个子图像区域分别进行特征提取，以得到所述多个子图像区域分别对应的图像特征向量；根据所述多个子图像区域分别对应的图像特征向量确定所述多个子图像区域分别对应的压缩噪声程度。
21.基于上述方案，可以对图像中的复杂噪声进行检测，而且可以给出图像中局部噪声的检测结果，进而提高了图像压缩噪声的检测精度。
22.一种可能的实现方式中，对所述多个子图像区域分别进行特征提取，包括：
23.通过神经网络模型对所述多个子图像区域分别进行特征提取；其中，所述神经网络模型是通过第一方面所述神经网络模型的训练方法获得的。
24.基于上述方案，可以通过神经网络模型对图像进行特征提取，具有更大的感受野。
25.一种可能的实现方式中，所述方法还包括：根据所述多个子图像区域分别对应的压缩噪声程度对所述待检测图像进行去噪处理。
26.基于上述方案，根据获得的局部压缩噪声程度对多个子图像区域进行去噪处理，可以提高去噪效果。
27.第三方面，本技术实施例提供了一种电子设备，所述电子设备包括：
28.通信接口，用于接收训练样本集；
29.处理器，用于从所述通信接口获取所述训练样本集，以执行第一方面以及第一方面中不同实现方式所述的方法。
30.第四方面，本技术实施例提供了一种芯片系统，包括存储器和处理器；所述处理器和所述存储器耦合；其中，所述存储器包括有程序指令，所述程序指令被所述处理器运行时，使得所述芯片系统执行第一方面、第二方面中任一项所述的方法。
31.第五方面，本技术实施例提供了一种显示设备，包括：
32.控制器，被配置为执行第二方面以及第二方面中不同实现方式所述的方法；
33.显示器，用于显示去除压缩噪声后的图像。
34.第六方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行第一方面以及第一方面中任一种可能的实现方式所述的方法。
35.另外，第三方面至第六方面中任一种实现方式所带来的技术效果可参见第一方面、第二方面以及第一方面、第二方面不同实现方式所带来的技术效果，此处不再赘述。
附图说明
36.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
37.图1为本技术实施例提供的一种显示设备的使用场景的示意图；
38.图2为本技术实施例提供的一种控制装置100的配置框图；
39.图3为本技术实施例提供的一种显示设备200的硬件配置框图；
40.图4为本技术实施例提供的一种终端设备的软件架构示意图；
41.图5a为本技术实施例提供的系统架构示意图；
42.图5b为本技术实施例提供的另一种系统架构示意图；
43.图6为本技术实施例提供的电子设备结构示意图；
44.图7为本技术实施例提供的一种图像噪声检测方法的流程示意图；
45.图8为本技术实施例提供的一种构建训练样本集的流程示意图；
46.图9为本技术实施例提供的一种原始无压缩图像的分割示意图；
47.图10为本技术实施例提供的另一种原始无压缩图像的分割示意图；
48.图11为本技术实施例提供的一种压缩噪声程度表的示意图；
49.图12为本技术实施例提供的另一种压缩噪声程度表的示意图；
50.图13为本技术实施例提供的一种压缩噪声图像的多个子图像区域分别对应的压
缩噪声程度示意图；
51.图14为本技术实施例提供的一种神经网络模型的训练流程示意图；
52.图15为本技术实施例提供的一种训练神经网络模型的流程图；
53.图16为本技术实施例提供的另一种训练神经网络模型的流程图；
54.图17为本技术实施例提供的另一种神经网络模型的训练流程示意图；
55.图18为本技术实施例提供的一种神经网络模型的结构示意图；
56.图19为本技术实施例提供的一种神经网络模型的输出示意图；
57.图20为本技术实施例提供的另一种神经网络模型的结构示意图。
具体实施方式
58.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
59.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
60.需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
61.下面对本技术实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本技术实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本技术实施例提供的技术方案。
62.本技术实施例提供图像噪声检测方法、神经网络模型的训练方法可以由执行设备实现。一些实施例中，执行设备可以是终端设备。终端设备可以是具有显示功能的显示设备。显示设备可以包括：智能电视、手机、平板电脑等。
63.如下以执行设备为显示设备为例来描述执行设备的结构以及应用场景。图1为实施例中显示设备的使用场景的示意图。如图1所示，显示设备200还可以与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作显示设备200。一种可能的示例中，可由服务器400来执行神经网络模型的训练方法，并提供给显示设备200，显示设备200来执行图像噪声检测方法。另一种可能的示例中，可由服务器400以外的其它的服务器来执行神经网络模型的训练方法，并提供给显示设备200。图像噪声检测方法可以由服务器400执行，也可以由显示设备200执行。
64.在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入
用户指令，来控制显示设备200。
65.在一些实施例中，智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑，ar/vr设备等中的任意一种。
66.在一些实施例中，也可以使用智能设备300以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。
67.在一些实施例中，也可以使用智能设备300和显示设备200进行数据的通信。
68.在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。
69.在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(lan)、无线局域网(wlan)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。
70.在一些实施例中，一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的，服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行，反之亦然。
71.图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起到用户与显示设备200之间交互中介作用。
72.在一些实施例中，通信接口130用于和外部通信，包含wifi芯片，蓝牙模块，nfc或可替代模块中的至少一种。
73.在一些实施例中，用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。
74.下面以显示设备200为例对实施例进行具体说明。应该理解的是，图3所示显示设备200仅是一个范例，并且显示设备200可以具有比图3中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
75.图3示出了根据示例性实施例中显示设备200的硬件配置框图。
76.在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
77.在一些实施例中控制器包括中央处理器，视频处理器，音频处理器，图形处理器，ram，rom，用于输入/输出的第一接口至第n接口。
78.在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控ui界面等。
79.在一些实施例中，显示器260可为液晶显示器、oled显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。
80.在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及epg数据信号。
81.在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。
82.在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器(图中未示出)，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。
83.在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口(hdmi)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(cvbs)、usb输入接口(usb)、rgb端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
84.在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
85.在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示ui对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
86.在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。
87.在一些实施例中控制器包括中央处理器(central processing unit，cpu)，视频处理器，音频处理器，图形处理器(graphics processing unit，gpu)，ram random access memory，ram)，rom(read-only memory，rom)，用于输入/输出的第一接口至第n接口，通信总线(bus)等中的至少一种。
88.cpu处理器是显示设备200的控制中心，包括系统级芯片soc，如图3所示，用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。cpu处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。
89.在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。
90.在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的
至少一种，可得到直接可在显示设备200上显示或播放的信号。
91.在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的gui信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出rgb数据信号。
92.在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理中的至少一种，得到可以在扬声器中播放的声音信号。
93.在一些实施例中，用户可在显示器260上显示的图形用户界面(gui)输入用户命令，则用户输入接口通过图形用户界面(gui)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
94.在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic user interface，gui)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素中的至少一种。
95.在一些实施例中，用户接口280，为可用于接收控制输入的接口(如：显示设备本体上的实体按键，或其他等)。
96.在一些实施例中，显示设备的系统可以包括内核(kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(ipc)。内核启动后，再加载shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。
97.参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(applications)层(简称“应用层”)，应用程序框架(application framework)层(简称“框架层”)，安卓运行时(android runtime)和系统库层(简称“系统运行库层”)，以及内核层。
98.在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。
99.框架层为应用程序层的应用程序提供应用编程接口(application programming interface，api)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过api接口，可在执行中访问系统中的资源和取得系统的服务。
100.如图4所示，本技术实施例中应用程序框架层包括管理器(managers)，内容提供者
(content provider)等，其中管理器包括以下模块中的至少一个：活动管理器(activity manager)用与和系统中正在运行的所有活动进行交互；位置管理器(location manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(package manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(notification manager)用于控制通知消息的显示和清除；窗口管理器(window manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
101.在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
102.在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的c/c++库以实现框架层要实现的功能。
103.在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、wifi驱动、usb驱动、hdmi驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。
104.本技术实施例中的显示设备200并不限定于智能电视，也可以为手机、平板电脑等电子设备。
105.另一些实施例中，执行设备可以是电子设备，电子设备可以由一个或者多个服务器来实现，服务器可以本地的服务器或者云服务器。参见图5a所示，服务器500可以通过实体服务器实现，也可以通过虚拟服务器实现。服务器可以通过单个服务器实现，可以通过多个服务器组成的服务器集群实现，可以通过单个服务器或者服务器集群来实现本技术提供的图像噪声检测方法或者神经网络模型的训练方法。图5a中以服务器500与终端设备600以及显示设备200相连为例。服务器500可以执行神经网络模型的训练方法。一些场景中，服务器500还可以接收终端设备600发送的图像压缩噪声检测任务，或者将图像噪声检测结果发送至终端设备600。另一些场景中，服务器500还可以接收显示设备200发送的图像噪声检测任务并执行图像噪声检测和去噪，或者将去除压缩噪声后的图像通过显示设备200显示出来。如图5b所示，以服务器500与显示设备200相连为例。服务器500可以执行神经网络模型的训练方法。一些场景中，服务器500可以接收显示设备发送的图像噪声检测任务，并根据图像噪声任务进行噪声检测。一种示例中，服务设备可以将噪声检测结果发送至显示设备，显示设备根据接收到的噪声检测结果进行去噪处理，并显示经过去噪处理后的图像。另一种示例中，服务器可以根据噪声检测结果对图像进行去噪，将去除压缩噪声后的图像发送给显示设备，以使显示设备200显示接收到的图像。
106.电子设备也可以是个人计算机、手持式或膝上型设备、移动设备(比如移动电话、平板电脑、个人数字助理等等。
107.作为一种举例，参见图6所示，电子设备可以包括处理器510、通信接口520。电子设备还可以包括存储器530。当然电子设备中还可以包括其它的组件，图6中未示出。
108.通信接口520用于与显示设备进行通信，用于接收显示设备发送的图像压缩噪声检测任务，或者向电子设备发送图像压缩噪声检测结果。
109.在本技术实施例中，处理器510可以是通用处理器、数字信号处理器、专用集成电
路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
110.处理器510是电子设备的控制中心，利用各种接口和路线连接电子设备的各个部分，通过运行或执行存储在存储器530内的软件程序/或模块，以及调用存储在存储器530内的数据，执行电子设备的各种功能和处理数据。可选地，处理器510可以包括一个或多个处理单元。处理器510，例如可以是处理器、微处理器、控制器等控制组件，例如可以是通用中央处理器(central processing unit，cpu)，通用处理器，数字信号处理(digital signal processing，dsp)，专用集成电路(application specific integrated circuits，asic)，现场可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。
111.存储器530可用于存储软件程序以及模块，处理器510通过运行存储在存储器530的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器530可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。存储器530作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器530可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(random access memory，ram)、静态随机访问存储器(static random access memory，sram)、可编程只读存储器(programmable read only memory，prom)、只读存储器(read only memory，rom)、带电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁性存储器、磁盘、光盘等等。存储器530是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本技术实施例中的存储器530还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
112.需要说明的是，上述图1-6所示的结构仅是一种示例，本发明实施例对此不做限定。
113.本技术实施例提供了一种图像噪声检测方法，图7示例性地示出了图像噪声检测方法的流程，该流程可由执行设备执行，该执行设备可以是图3所示的显示设备200，具体可以通过显示设备200中的控制器250执行图像噪声检测。或者，该执行设备可以是图6所示的电子设备，具体可以通过电子设备中的处理器510执行图像噪声检测。具体流程如下：
114.201，获取待检测图像。
115.一些实施例中，待检测图像可以包括多个子图像区域，每个子图像区域的大小一致。
116.202，对多个子图像区域分别进行特征提取获得多个子图像区域分别对应的图像特征向量。
117.一些实施例中，可以将多个子图像区域输入到神经网络模型中，通过神经网络模型对多个子图像区域分别进行特征提取。神经网络模型可以包括编码器层，通过编码器层对多个子图像区域分别进行特征提取，进而获得待检测图像中多个子图像区域分别对应的
图像特征向量。
118.203，根据多个子图像区域分别对应的图像特征向量确定多个子图像区域分别对应的压缩噪声程度。
119.一些实施例中，可以根据每个子图像区域对应的图像特征向量确定该子图像区域对应的压缩噪声程度，进而获得待检测图像中多个图像区域分别对应的压缩噪声程度。
120.一些实施例中，在对待检测图像进行压缩噪声程度检测之前，预先设定了压缩噪声程度的范围，压缩噪声程度范围可以人为设置，本技术对此不作具体限定。例如，可以将压缩噪声程度范围设置为0-s，即压缩噪声程度范围对应s+1个压缩噪声程度。神经网络模型还可以包括全连接层，全连接层可以根据多个子图像区域分别对应的图像特征向量确定每个子图像区域对应到多个压缩噪声程度的产生概率数组。每个子图像区域的压缩噪声程度为每个子图像区域对应到多个压缩噪声程度的产生概率中最大产生概率对应的压缩噪声程度。接着上述举例，当待检测图像包括n个子图像区域时，全连接层会输出n个产生概率数组，每个产生概率数组用于表示该数组对应的子图像区域对应到s+1个压缩噪声程度的产生概率。其中，每个子图像区域对应到s+1个压缩噪声程度的产生概率中最大产生概率对应的压缩噪声程度即为该子图像区域的压缩噪声程度。
121.一些实施例中，在获得待检测图像的多个子图像区域对应的多个压缩噪声程度后，可以根据多个子图像区域分别对应的压缩噪声程度对待检测图像进行去噪处理。具体地，待检测图像的多个子图像区域对应多个压缩噪声程度，可以根据不同的压缩噪声程度选取不同的去噪处理方法，通过不同的去噪处理方法对多个子图像区域分别进行处理，以达到精准去噪的效果。
122.通过上述神经网络模型，可以对图像中的复杂噪声进行检测，并且可以给出图像局部噪声的检测结果，进而提高了图像压缩噪声的检测精度。进一步地，局部噪声检测结果能够为去噪算法提供精准的噪声程度信息，可以针对局部噪声进行去噪处理，进而将去除压缩噪声后的图像显示在显示设备上。
123.如下针对上述提及的神经网络模型的训练流程进行说明。神经网络模型通过训练样本集训练得到。训练样本集包括多个压缩噪声图像以及多个压缩噪声图像中每个压缩噪声图像包括的多个子图像区域分别对应的压缩噪声程度，进而通过训练样本集对神经网络模型进行训练。在构建训练样本集时，可以对多个原始无噪声图像分别进行压缩处理，进而获得多个压缩噪声图像以及多个压缩噪声图像包括的多个子图像区域分别对应的压缩噪声程度，多个压缩噪声图像以及多个压缩噪声图像包括的多个子图像区域分别对应的压缩噪声程度构成训练样本集。可以理解的是，一个压缩噪声图像以及对应的压缩噪声程度为一个样本。如下以针对多个原始无噪声图像中的第一原始无噪声图像为例，对获取第一原始无噪声图像对应的多个具有不同压缩噪声程度的第一压缩噪声图像的流程进行描述，参见图8所示。
124.301，获取多个原始无噪声图像中第一原始无噪声图像，将第一原始无噪声图像分为多个子图像区域。
125.一些实施例中，获得第一原始无噪声图像后，可以将第一原始无噪声图像等比分为多个子图像区域。例如，可以将第一原始无噪声图像等比分为m
×
n个子图像区域i(i,j)，i∈[0,m),j∈[0,n)。作为一种举例，如图9所示，第一原始无噪声图像的分辨率为512
×
256，可以将第一原始无噪声图像等比分为64
×
32个子图像区域，每个子图像区域的大小为8
×
8，8＝512/64＝256/32，则每个子图像区域对应一个压缩噪声程度，即8
×
8子图像区域对应同一个压缩噪声程度。子图像区域的分辨率会影响最终噪声检测结果的分辨率，本技术实施例对将第一原始无噪声图像等比分为多个子图像区域的数量不作具体限定。例如，第一原始无噪声图像的分辨率为512
×
256，还可以将第一原始无噪声图像等比分为128
×
64个子图像区域，则每个子图像区域的大小为4
×
4，每个4
×
4大小的子图像区域对应一个压缩噪声程度，如图10所示。可以理解的是，第一原始无噪声图像等比分为多个子图像区域的数量越多，压缩噪声的检测结果越精确。
[0126]
302，确定第一原始无噪声图像中的多个子图像区域分别对应的压缩噪声程度。
[0127]
一些实施例中，可以对多个子图像区域分别选取对应的随机压缩噪声程度。一些场景中，当对所有子图像区域都随机选择完压缩噪声程度后，可以将多个子图像区域分别对应的多个压缩噪声程度以压缩噪声程度表的形式进行保存。例如，第一原始无噪声图像包括m
×
n个子图像区域，可以对m
×
n个子图像区域随机选取压缩噪声程度q，并将m
×
n个子图像区域分别对应的压缩噪声程度q保存在压缩噪声程度表q中，q中的每个元素代表了该子图像区域的压缩噪声程度，如图11所示。一些场景中，压缩噪声程度表可以以表格的形式进行保存，如图12所示。
[0128]
另一些实施例中，在选取随机压缩噪声程度时，可以根据预设的压缩噪声程度范围进行选取。例如，压缩噪声程度范围可以为0到10，0表示无压缩噪声，1代表压缩噪声程度最弱，10代表压缩噪声程度最强，则q可以选取0-10的压缩噪声程度。可以理解的是，图像压缩噪声程度范围还可以是其它范围，例如可以选取更大的压缩噪声程度范围，比如0-100，0-1000等等，本技术对此不作具体限定。
[0129]
一些实施例中，在对第一原始无噪声图像包括的多个子图像区域随机选取压缩噪声程度后，第一原始无噪声图像至少包括两个不同的压缩噪声程度。
[0130]
303，根据多个子图像区域分别对应的压缩噪声程度对多个子图像区域进行图像压缩，以获得第一压缩噪声图像。
[0131]
在一些实施例中，第一压缩噪声图像中的第一子图像区域是针对第一原始无噪声图像中第一子图像区域对应的子图像区域通过采用设定压缩算法进行压缩得到的，第一子图像区域对应的设定压缩算法是基于第一子图像区域对应的压缩噪声程度确定的。可以理解的是，当不同子图像区域对应的压缩噪声程度不同时，在对子图像区域进行压缩时采用的压缩算法不同。
[0132]
在另一些实施例中，第一压缩噪声图像中的第一子图像区域是针对第一原始无噪声图像中第一子图像区域对应的子图像区域通过采用设定压缩参数的第一压缩算法进行压缩得到的，第一子图像区域对应的设定压缩参数是基于第一子图像区域对应的压缩噪声程度确定的。例如，第一原始无噪声图像包括m
×
n个子图像区域，可以根据压缩噪声程度表q，选取每个子图像区域对应的压缩噪声程度值q(i,j)，i∈[0,m),j∈[0,n)，进而对每个子图像区域分别进行图像压缩。压缩噪声图像满足如下公式所示的条件：
[0133]
o(i,j)＝jpeg(i(i,j),q(i,j))；
[0134]
其中，i(i,j)表示第一原始无噪声图像中位置为(i,j)的子图像区域，q(i,j)表示压缩噪声程度表q中位置为(i,j)的压缩噪声程度，jpeg表示图像压缩算法，o(i,j)表示第
一压缩噪声图像中位置为(i,j)的子图像区域的压缩噪声图像。
[0135]
在又一些实施例中，在对原始无压缩图像进行压缩时，还可以采用多种压缩算法进行压缩获得压缩噪声图像。以第二原始无压缩图像对应的压缩后的第二压缩噪声图像为例，第二压缩噪声图像中的第二子图像区域是针对第二原始无噪声图像中的对应子图像区域连续采用多种压缩算法进行压缩得到的。第二子图像区域的压缩噪声程度是基于多种压缩算法分别对应的压缩程度进行加权得到的。第二压缩噪声图像满足如下公式所示的条件：
[0136]
o(i,j)＝α1*jpeg1(i(i,j),q(i,j))+α2*jpeg2(i(i,j),q(i,j))+
…
+αn*jpegn(i(i,j),q(i,j))
[0137]
其中，i(i,j)表示第二原始无噪声图像中位置为(i,j)的子图像区域，q(i,j)表示压缩噪声程度表q中位置为(i,j)的压缩噪声程度，i∈[0,m),j∈[0,n)，jpeg1
……
jpegn表示不同的图像压缩算法，o(i,j)第二压缩噪声图像中位置为(i,j)的子图像区域的压缩噪声图像，α1……
αn表示不同图像压缩算法分别对应的权重，且α1+α2+
…
+αn＝1。
[0138]
需要说明的是，至少有两个子图像区域采用不同的压缩算法集合。
[0139]
一些实施例中，原始无噪声图像包括的多个子图像区域对应的压缩噪声程度均为0，当确定每个子图像区域对应的压缩噪声程度后，可以根据压缩噪声程度对多个子图像区域分别进行压缩，以获得压缩噪声图像。例如，第一原始无噪声图像包括m
×
n个子图像区域，每个子图像区域对应的压缩噪声程度均为0。当确定每个子图像区域对应的压缩噪声后，对子图像区域进行压缩以获得第一压缩噪声图像。例如第一原始图像中的第一子图像区域对应的压缩噪声程度为2，则对第一个子图像区域进行压缩噪声程度为2的图像压缩；对第一原始无噪声图像中的第1行第2列的子图像区域对应的压缩噪声图像为7，则对第1行第2列的子图像区域进行压缩噪声程度为7的图像压缩。可以理解的是，根据多个子图像区域分别对应的压缩噪声程度进行图像压缩，进而获得第一压缩噪声图像，第一压缩噪声图像中每个子图像对应的压缩噪声程度如图13所示。
[0140]
通过上述方案，可以对原始无噪声图像包括的多个子图像区域分别进行不同压缩噪声程度上的图像压缩，提升了数据的多样性。同时，一张压缩噪声图像中包含多种不同程度的压缩噪声，可以更好的体现出显示图像中复杂的压缩噪声。此外，构建训练样本集的过程不需要人工标注，节省了人力和时间。
[0141]
一些实施例中，在获得训练样本集后，可以根据训练样本集对神经网络模型进行训练，训练过程如图14所示，包括：
[0142]
401，获取训练样本集。
[0143]
训练样本集中包括多个样本，每个样本包括一个压缩噪声图像以及该压缩噪声图像包括的多个子图像区域分别对应的压缩噪声程度。以训练样本集中的第一样本为例，通过第一样本中的第一压缩噪声图像以及第一压缩噪声图像包括的多个子图像区域分别对应的压缩噪声程度对神经网络模型进行训练，训练流程参见步骤402-404。
[0144]
402，将训练样本集包括的第一压缩噪声图像输入神经网络模型，以获得第一压缩图像包括的多个子图像区域分别对应的预测压缩噪声程度。
[0145]
一些实施例中，可以将第一压缩噪声图像输入到神经网络模型中进行特征提取，并输出第一压缩噪声图像包括的多个子图像区域中每个子图像区域分别对应到多个压缩
噪声程度的产生概率。其中，每个子图像区域对应的压缩噪声程度为每个子图像区域分别对应到多个压缩噪声程度的产生概率中最大产生概率对应的压缩噪声程度，根据神经网络模型确定的第一压缩噪声图像包括的多个子图像分别对应的压缩噪声程度可以用压缩噪声检测结果表示，如图15所示。以第一压缩图像包括n个子图像区域为例，可以将第一压缩噪声图像输入神经网络模型中，使得神经网络模型输出第一压缩噪声图像包括的n个子图像区域中第一子图像区域分别对应到多个压缩噪声程度的产生概率，第一子图像区域对应的压缩噪声程度为第一子图像区域对应到多个压缩噪声程度的产生概率中最大产生概率对应的压缩噪声程度。其中，第一子图像区域为n个子图像区域中的任一子图像区域，n为正整数。
[0146]
403，根据训练样本集包括的多个子图像区域分别对应的压缩噪声程度与预测压缩噪声程度计算损失值。
[0147]
一些实施例中，可以根据神经网络模型输出的第一压缩噪声图像的检测结果与第一压缩噪声图像包括的多个子图像区域分别对应的压缩噪声程度确定第一压缩噪声图像的损失值，如图15所示。以第一压缩噪声图像包括n个子图像区域为例，可以分别对第一压缩噪声图像包括的n个子图像区域分别对应的压缩噪声程度，与根据神经网络模型确定的第一压缩噪声图像包括的n个子图像区域分别对应的压缩噪声程度进行比较得到n个比较结果。之后，可以根据n个比较结果确定n个子图像区域分别对应n个损失值。进一步地，可以根据n个子图像区域分别对应n个损失值确定第一压缩噪声图像对应的损失值。
[0148]
404，根据损失值对神经网络模型的网络参数进行调整，以获得训练好的神经网络模型。
[0149]
一些实施例中，当损失值小于或等于设定值时，则保存网络参数，结束训练，如图15所示。如果损失值大于设定值时，则重复步骤402-404，直至损失值小于或等于设定值，保存训练好的神经网络模型的网络参数，结束训练，如图16所示。
[0150]
一些实施例中，在执行步骤401之前，还可以包括步骤401a，如图17所示，具体如下：
[0151]
401a，构建神经网络模型，并初始化神经网络模型的网络参数。
[0152]
一些实施例中，首先要构建神经网络模型，并初始化神经网络模型的网络参数。神经网络模型可用于提取图像特征。
[0153]
如下对本技术实施例中神经网络模型的结构进行描述。应理解的是，如下的神经网络模型的结构仅是一种示例，并不对神经网络模型的架构进行具体限定。一些实施例中，神经网络模型的网络结构可以包括编码器网络以及全连接层，如图18所示。通过编码器网络对待检测图像中的多个子图像区域分别进行特征提取，以得到多个子图像区域分别对应的图像特征向量。之后，可以通过全连接层根据多个子图像区域分别对应的图像特征向量确定多个子图像区域中每个子图像区域分别对应到多个压缩噪声程度的产生概率。例如，图像包括m
×
n个子图像区域，则全连接层会输出m
×
n个产生概率数组，每个数组用于表示该子图像区域对应到多个压缩噪声程度的产生概率。例如，压缩噪声程度范围为0-10，全连接层输出的位置为(i,j)的子图像区域对应到不同压缩噪声程度的产生概率数组可以表示为(0.02，0.05，0.69，0.06，0.02，0.04，0.03，0.02，0.01，0.04，0.02)，i∈[0,m),j∈[0,n)。其中，每个产生概率在数组中的索引值为该产生概率对应的压缩噪声程度值。例如，0.05在
数组中的索引为1，则1为产生概率0.05对应的压缩噪声程度(即0.05为压缩噪声程度为1的产生概率)。一些场景中，每个子图像区域对应的压缩噪声程度可以根据全连接层输出的产生概率数组确定。具体地，可以将产生概率数组中最大产生概率对应的压缩噪声程度作为该子图像区域对应的压缩噪声程度。接着上述举例，位置为(i,j)的子图像区域对应到多个压缩噪声程度的产生概率数组中最大产生概率为0.69，则将0.69对应的压缩噪声程度作为位置为(i,j)的子图像区域的压缩噪声程度，最大产生概率0.69在该产生概率数组中的索引为2，则2为产生概率0.69对应的压缩噪声程度，即位置为(i,j)的子图像区域的压缩噪声程度为2。进一步地，可以通过神经网络模型确定待检测图像包括的多个子图像区域对应的压缩噪声程度，并将压缩噪声程度以压缩噪声程度表的形式输出，参见图19。其中，图像压缩噪声程度表的形式可以参见图12。
[0154]
本技术实施例中可以采用损失函数计算损失值。
[0155]
一种可能的示例中，当压缩噪声图像包括m
×
n个子图像区域时，在计算压缩噪声程度的损失值时，损失值可以通过损失函数确定，该损失函数满足如下公式所示的条件：
[0156][0157]
其中，q
′
(i,j)
表示神经网络模型预测的位置为(i,j)的子图像区域的压缩噪声程度，预测的压缩噪声程度范围可以表示为0～10，0代表无压缩噪声，1表示压缩噪声程度最弱，10代表压缩噪声程度最强。q
(i,j)
表示位置为(i,j)的子图像区域真实图像压缩噪声程度，真实图像压缩噪声程度范围也可以表示为0～10，0代表无压缩噪声，1表示压缩噪声程度最弱，10代表压缩噪声程度最强。-q
(i,j)
*log(q
′
(i,j)
)表示位置为(i,j)的子图像区域压缩噪声检测结果的交叉熵损失函数，表示压缩噪声图像包括的多个子图像区域交叉熵函数的总和。
[0158]
基于上述方案，通过每个子图像区域的压缩噪声程度预测结果和该子图像区域真实压缩噪声程度值计算交叉熵损失函数，可以将检测问题转化为分类问题，并用分类的经典损失函数来求解。整个图像的损失函数为所有子图像区域的损失函数之和，保证了对整个图像的压缩噪声检测学习。
[0159]
另一种可能的示例中，压缩噪声图像的损失值可以通过对每个子图像区域的通过损失函数的损失值进行加权求和获得。例如，损失函数满足如下公式所示的条件：
[0160][0161]
其中，q
′
(i,j)
表示神经网络模型输出的位置为(i,j)的子图像区域的压缩噪声程度，q
(i,j)
表示位置为(i,j)的子图像区域真实图像压缩噪声程度，w
(i,j)
表示位置为(i,j)的子图像区域对应的损失值所采用的权重，-q
(i,j)
*log(q
′
(i,j)
)表示位置为(i,j)的子图像区域压缩噪声程度的交叉熵损失函数，表示所有子图像区域交叉熵函数的加权总和，压缩噪声图像包括m
×
n个子图像区域。
[0162]
示例性地，位置为(i,j)的子图像区域对应的损失值所采用的权重满足如下公式所示的条件：
[0163]w(i,j)
＝1-(|p
′
((i,j))
|/max(|p
′
|)；
[0164]
其中，w
(i,j)
表示位置为(i,j)的子图像区域对应的损失值所采用的权重，p
′
(i,j)
表示根据神经网络模型确定的位置为(i,j)的子图像区域对应的压缩噪声程度的产生概率，
max(|p
′
|)表示压缩噪声图像包括的m
×
n个子图像区域分别对应的压缩噪声程度的产生概率中的最大值。
[0165]
一些场景中，当压缩噪声图像包括n个子图像区域时，位置为(i,j)的子图像区域可以表示为第k个子图像区域，则损失函数还可以表示为可以表示为第k个子图像区域，则损失函数还可以表示为其中，第k个子图像区域对应的损失值采用的权重可以表示为wk＝1-(|p
′
(k)
|/max(|p
′
|)。
[0166]
通过上述公式，可以使神经网络模型不会过分关注于预测概率较大的子图像区域，可以促进对所有子图像区域的平等学习。
[0167]
另一些实施例中，神经网络模型的网络结构可以包括编码器网络以及解码器网络，如图20所示。编码器网络负责把待检测图像映射到高维的特征空间，在高维的特征空间获得多个子图像区域的图像特征向量。解码器负责将高维空间再映射回低维，即将高维的图像特征向量进行降维，获得低维的特征图像。作为一种举例，当待检测图像包括m
×
n个子图像区域时，可以设置解码器最后一层输出大小为[m，n]的二维特征图。之后，对解码器输出的二维特征图中的每个像素值基于压缩噪声程度范围进行归一化，以得到待检测图像中的每个子图像区域分别对应的压缩噪声程度。例如，压缩噪声程度范围可以为0-10，则对二维特征图中的每个像素值进行归一化到0-10，则每个像素值归一化后的结果可用于表示该子图像区域对应的压缩噪声程度。
[0168]
基于上述方案，可以更大程度的保留图像特征的结构信息，并通过上述神经网络模型直接获得待检测图像的压缩噪声程度。
[0169]
基于相同的技术构思，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行上述图像噪声检测方法、神经网络模型的训练方法的各个步骤。
[0170]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0171]
本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0172]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0173]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
[0174]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。