数字图像处理方法与流程

本发明涉及一种用于生成数字图像的数字图像处理方法，所述数字图像可用于训练机器学习系统、特别是神经网络学习系统。此外，本发明涉及一种用于由原始数字图像生成具有增加的分辨率的数字图像的数字图像处理方法。此外，本发明涉及一种计算机程序产品和一种被设置用于执行上述方法的设备。

背景技术：

1、通常，图像采集系统的图像分辨率存在限制，因为它们的技术组件存在各种制约。其中，限制是由于衍射(即当光通过有限的开口或孔时发生的光波的弯曲)、以及图像采集系统的光学镜头的实际技术限制。例如，光学镜头可能存在像差，记录光强度的传感器元件只能封装到一定密度，并且记录过程总是会在测量中引入噪声。这些制约共同限制了图像采集系统的分辨率，这导致其记录的图像中对象的精细细节丢失。

2、从低分辨率图像生成高分辨率图像在现有技术中是已知的。大多数方法旨在模拟适配于输入的低分辨率图像的细节和纹理，并生成逼真的高分辨率图像以实现此目标。大多数此类方法依赖于由成对的低分辨率图像和高分辨率图像组成的数据库。讨论该主题的科学出版文献有：william t freeman、thouis r jones和egon c pasztor在《ieee计算机图形与应用》22.2(2002)第56-65页发表的“example-based super-resolution”，以及hongchang、dit-yan yeung和yimin xiong在2004年ieee计算机协会计算机视觉和模式识别会议的论文集，2004.cvpr2004第1卷ieee2004，中发表的“super-resolution throughneighbor embedding”。

3、即使在提高计算机生成的数字图像的分辨率增加的质量方面取得了一些进展，增加用表现出上述制约的真实图像采集系统采集的数字图像的分辨率仍然是个问题，因为生成的数字图像通常看起来不自然。

技术实现思路

1、本发明的目的是找到提高分辨率增加的图像的质量的方法。

2、根据本发明的数字图像处理方法包括：提供原始数字图像、对原始数字图像进行图像处理以生成经图像处理的数字图像、降低经图像处理的数字图像的分辨率以生成起始数字图像，其中，原始数字图像和起始数字图像用于形成用来提高数字图像分辨率的机器学习系统的训练数据集，该机器学习系统特别是神经网络学习系统。

3、该图像处理的方法步骤用于模拟图像采集系统的上述制约。优选地，该图像处理包括改变原始数字图像。在进行图像处理后，将所得数字图像的分辨率降低，以形成包括原始数字图像和起始图像的训练数据集。

4、适宜地，机器学习系统使用人工智能例程，特别是提供用于增加数字图像的分辨率的人工智能例程。优选地，机器学习系统为深度学习系统，例如卷积神经网络系统。众所周知，卷积神经网络系统可应用于视觉图像分析。它们通常用于图像和视频识别、图像分类和医学图像分析等。此外，机器学习系统可以是深度神经网络系统、深度信念网络系统或递归神经网络系统。

5、适宜地，机器学习系统被适当地初始化或预训练以用于改变数字图像，特别是用于增加数字图像的分辨率。优选地，合适的人工智能初始化或训练例程用于初始化或预训练机器学习系统。示例为xintao wang、ke yu、shixiang wu、jinjin gu、yihao liu、chaodong、yu qiao和chen chang loy在欧洲计算机视觉会议施普林格2018第63-79页发表的“esrgan：enhanced super-resolution generative adversarial networks”中提出的残差套残差密集网络(rrdbnet)。但是，也可以使用其他合适的网络。

6、所提到的图像处理适宜地包括改变原始数字图像。在本发明的优选实施例中，该图像处理和/或该改变包括去噪和/或模糊。备选地或附加地，该图像处理可以包括改变数字图像的至少部分的强度、亮度和/或着色，改变至少个别像素的位置，改变至少这些像素中个别像素的表示的强度，晕化或去晕，和/或数字图像过滤，例如用于改变颜色、亮度和/或着色。

7、可选地，该方法包括初始图像处理步骤，包括使用3x3、5x5、7x7和/或9x9高斯模糊核和/或小波滤波器核和/或另一模糊滤波器核对原始图像进行初始模糊。附加地或备选地，初始图像处理步骤可以包括初始分辨率降低。如果原始图像是用光学图像采集设备采集的，则优选执行初始图像处理步骤。

8、适宜地，模糊对应于和/或等同于真实光学设备的模糊和/或从真实光学设备的模糊中得出，其中优选地测量真实光学设备的模糊。执行该步骤是为了模拟通常在光通过真实光学成像系统(例如光学镜头)时发生的模糊。优选地，为了执行模糊，使用真实光学设备的和/或表示真实光学设备的模糊的模糊核或/和点扩散函数。已经发现，使用真实光学设备的模糊导致生成特别适合机器学习系统的训练的起始图像。优选地使用光学测量设备来测量真实光学设备的这种模糊。

9、在本发明的另一个实施例中，使用不同的原始数字图像多次执行该方法以生成更大量的数字图像用于训练目的。

10、附加地或者在本发明的另一个实施例中，通过使用不同的图像处理来多次执行该方法以生成更大量的数字图像用于训练目的。

11、有利地，通过使用不同的原始数字图像和/或通过使用不同的图像处理，可以分别生成多个试验图像或成对的试验图像和原始图像。

12、在本发明的另一个实施例中，该方法使用不同的模糊、特别是模糊核或/和点扩散函数而多次执行，这些模糊对应于不同的真实光学设备和/或对应于不同的高斯滤波器，特别是9x9、7x7和/或5x5高斯滤波器。

13、适宜地，提供包括用于模糊图像处理的不同数据集的数据库，并且优选地随机地，不同的数据集用于模糊。

14、适宜地，数据集包括不同的模糊核和/或点扩散函数，特别是上述模糊核和/或点扩散函数。在本发明的特别优选的实施例中，不同的模糊包含在对应于不同的真实光学设备的数据集中，这些数据集优选地对应于市场上常用的光学设备。

15、适宜地，为了生成可用于训练的附加的起始数字图像，翻转经图像处理的、特别是经改变的数字图像，该翻转优选地在不同的方向上(例如水平和/或垂直)进行。

16、在本发明的特别优选的实施例中，真实光学设备是全光成像系统、特别是万花筒，优选地同时生成要采集的对象的多个图像。优选地，所述多个图像中的每一个图像是从不同的有利位置采集的。适宜地，使用模糊核和/或点扩散函数对每个生成的图像单独执行模糊。优选地，对于每个生成的图像，使用不同的模糊核和/或点扩散函数。

17、在本发明的优选实施例中，全光成像系统、特别是用于摄像机的全光成像系统具有多个成像装置，这些成像装置在光轴方向上连续布置并且包括：第一成像装置，其用于在中间图像平面中生成对象的真实中间图像；第二成像装置，其用于生成真实中间图像的至少一个虚镜像，该虚镜像布置在该中间图像平面中并偏离真实中间图像；以及第三成像装置，所述第三成像装置用于将真实中间图像和虚镜像共同成像为图像接收表面上的真实图像、即实像，该图像接收表面被布置在距中间图像平面一定轴向距离处。

18、万花筒优选地包括至少一对平面镜面，所述平面镜面彼此面对并间隔开距离。光路的至少一部分，优选光路的全部穿过镜面之间的空间。优选地，镜面彼此平行布置。万花筒可以具有两对或更多对镜子。成对的镜子可以形成横截面为多边形、优选为矩形的管。备选地，万花筒可以由具有多边形横截面的柱形玻璃棒形成，其具有侧表面和镜反射的前表面，以供光线的进出。玻璃棒的横截面优选为等腰三角形、矩形且尤其是正方形、正五边形、六边形、七边形或八边形。

19、适宜地，成像系统包括图像接收表面和用于处理借助于图像接收表面取得的真实图像的装置。优选地，图像接收表面具有至少一个图像接收传感器或由至少一个图像接收传感器形成。在本发明的优选实施例中，图像接收表面由单个图像接收传感器形成。图像接收传感器优选为ccd传感器或cmos传感器。

20、在本发明的优选实施例中，模糊(b)或这些模糊(b、b1、b2、…、bn)、特别是模糊的强度或类型在表示图像的图像平面中不同。

21、模糊(b)或这些模糊(b、b1、b2、…、bn)可以在表示图像的图像平面的至少一个方向上不相同。

22、在本发明的另一个实施例中，模糊核和/或点扩散函数模拟由全光成像系统(特别是万花筒)针对所述多个图像(特别是真实中间图像和所述至少一个虚镜像)中的每一个图像所造成的模糊，其中，用于所述多个图像中的每一个图像的模糊核和/或点扩散函数可以彼此不同。适宜地，模糊核和/或点扩散函数可以在表示图像的图像平面的至少一个方向上变化，优选地在所述多个图像的每一个图像内变化。优选地，使用光学测量设备测量由全光成像系统造成的模糊，并且基于测量结果确定模糊核和/或点扩散函数。

23、在本发明的另一个实施例中，所述多个图像、特别是真实中间图像和所述至少一个虚镜像被分开处理。适宜地，根据按照本发明的方法，将所述多个图像彼此分离并独立处理。优选地，针对所述多个图像中的每一个图像，特别是针对真实中间图像和每一个虚镜像，训练单独的机器学习系统。

24、在本发明的另一个实施例中，为了生成起始数字图像，在模糊之后执行对经图像处理的数字图像的分辨率的降低。优选地，降低分辨率使得所得分辨率对应于其分辨率将通过该过程增加的图像分辨率。适宜地，多次执行该方法以不同程度降低分辨率以生成不同的起始数字图像。不同的起始数字图像可用于机器学习系统的训练。

25、在本发明的另一个实施例中，图像数据格式、特别是原始数字图像和/或任何生成的数字图像、特别是起始数字图像的图像数据格式被改变，优选地改变成被设置为用于包括来自图像传感器的未处理的或最少处理的数据的图像数据格式，优选改变成raw图像格式。适宜地，图像数据格式从原始数字图像的图像数据格式起改变，原始数字图像优选地使用rgb颜色空间、特别是srgb。图像数据格式由如下图像数据格式改变得到，所述图像数据格式可以是tiff、jpeg、gif、bmp、png等。

26、优选地，图像数据格式在模糊之后和/或在分辨率降低之后被改变。

27、提供上述图像数据格式的改变是为了能够特别准确地模拟在数字图像装置中(例如在上述全光成像系统中)、在图像接收传感器中和/或在上述数据处理设备中采集和处理数字图像时通常发生的过程。

28、通常，raw传感器图像由摄像机图像信号处理器(isp)使用几个步骤进行转变，以获得显示就绪的srgb图像。例如，raw传感器图像经过伽马校正和去马赛克。去马赛克将单通道raw数据转换为三通道rgb数据。去马赛克步骤使噪声在空间和色度上相关。也可以可选地应用诸如色调映射、白平衡、颜色校正和/或压缩的其他处理步骤以最终到达显示就绪的srgb图像。所有这些步骤的综合效果是raw图像中存在的噪声分布在图像处理过程中发生了很大的转变。

29、在本发明的另一个实施例中，图像处理包括噪声注入。这种噪声注入优选地模拟通常在数字图像在其采集或/和其进一步处理过程中的电子处理期间发生的噪声注入。

30、在本发明的一个实施例中，用于对要注入到原始图像的噪声进行建模的噪声源被建模成，使得用于每个像素的噪声过程在统计上独立于相邻像素、特别是直接相邻的像素的噪声过程。备选地，可以对噪声源建模，使得用于每个像素的噪声过程在统计上依赖于相邻像素、特别是直接相邻的像素。

31、优选地，注入根据泊松-高斯噪声模型的噪声。备选地或附加地，可以注入根据针对特定图像数据处理设备、例如照片摄像机和/或视频摄像机机身、光电倍增管摄像机、光谱和/或多光谱摄像机和/或荧光摄像机而测量的噪声函数的噪声注入。优选地，使用噪声测量设备测量由图像数据处理设备引起的噪声注入，并且基于测量结果创建噪声函数。

32、通常降低图像质量并且要被模拟的噪声在为获得通常期望的图像而执行的处理的各个阶段生成并被转换。记录场景的图像的过程始于测量场景辐照度的传感器的感光点。感光点排列在构成整个传感器的二维网格中。每个感光点都会计算入射到其上的光子数。光子计数是经典的泊松过程，并且过程的不确定性会在图像中生成光子噪声。

33、因此，可以对由每个感光点计数的光子数进行建模作为泊松分布。泊松分布的概率质量函数优选由下式给出：

34、

35、其中n是感光点处的光子计数，并且λ是给出分布期望的分布参数。这等于入射到感光点上的实际光子数并因此与场景辐照度成正比。光子噪声量由泊松分布的方差给出。泊松分布具有其方差等于其期望值的特性。因此，光子噪声的数量也与场景辐照度成正比。光子噪声构成真实世界图像中噪声的信号相关部分。在主要使用cmos制造工艺制造的现代数码摄像机传感器中，光子噪声是限制性能的噪声分量。光子噪声分量优选地使用异方差高斯建模如下：

36、

37、光子计数存储为在传感器暴露的时间段期间在每个感光点处累积的电荷。最终，电荷被转换成电压、被放大、从传感器中读取、被数字化和/或存储在摄像机存储器中。此时的数据构成了raw传感器图像。与放大、读取和数字化相关的过程也会在数据中引入噪声。这种噪声通常统称为读取噪声。

38、适宜地，假设读取噪声与信号无关，并且因此可以建模为零均值高斯分布。优选地，对在raw图像的形成中的噪声使用的泊松-高斯模型由下式给出：

39、r＝x+n   (函数3)

40、其中r是噪声raw图像，x是干净图像，并且n是加性噪声。

41、优选地，假设所用模型中的噪声n遵循异方差高斯分布，即：

42、

43、则噪声σ2(r)的方差优选取决于场景的辐照度，这由下式给出：

44、σ2(r)＝ar+b   (函数5)

45、其中a和b分别是确定信号相关的光子噪声和信号无关的读取噪声的强度的参数。适宜地，a和b的值取决于多种因素，例如传感器的量子效率(其决定了传感器将入射光子转换为电荷的效率)、用于放大电压并由摄像机上的iso设置决定的模拟增益、总是存在于传感器中的基座电荷或基底电荷等。在本发明的优选实施例中，使用了根据foi等人的用于在raw图像的形成中的噪声的泊松-高斯模型，见alessandro foi、mej di trimeche、vladimir katkovnik和karen egiazarian在《ieee图像处理会刊》17.10(2008)第1737-1754页发表的“practical poissonian-gaussian noise modeling and fitting forsingle-image raw-data”。

46、优选地，为了更好地模拟在典型的图像数据处理期间发生的过程，在噪声注入之前，将数据格式改变成被提供用于包括未处理的或最少处理的数据的图像数据格式。

47、在本发明的另一实施例中，优选地在噪声注入之后，图像数据格式从/由来自图像传感器的被提供用于包括未处理或最少处理的数据的图像数据格式被改变，优选地从/由raw图像格式被改变。适宜地，图像数据格式被改变为原始数字图像的图像数据格式，原始数字图像优选地使用rgb颜色空间、特别是srgb。在本发明的特别优选的实施例中，所得数字图像被用作所提到的起始数字图像。如果将该处理应用于视频信号的帧，则优选的图像数据格式是ycbcr。

48、训练数据集优选地被提供用于训练机器学习系统以增加数字图像的分辨率，该机器学习系统特别是神经网络学习系统。

49、在本发明的优选实施例中，使用——优选地预训练的——用于生成试验图像的机器学习系统来增加起始图像的分辨率。在机器学习系统的训练过程中，将试验图像与原始图像进行比较，并使用人工智能训练例程对机器学习系统进行训练。

50、机器学习系统优选地通过处理形成概率加权关联的数字图像来训练，这些概率加权关联存储在系统的数据结构中。优选地通过确定生成的试验数字图像与原始数字图像之间的差异来进行训练。这种差异对应于误差。系统根据学习规则并使用该误差值来调整其加权关联。连续的调整将使神经网络生成与原始数字图像越来越相似的输出。

51、适宜地，通过最小化机器学习系统的输出与原始数字图像之间的损失来优化机器学习系统。该损失可以写成：

52、

53、其中g(xi)是机器学习系统的输出，并且y是原始图像。通过首先取得该损失相对于参数的梯度并且然后应用adam优化的随机梯度下降来更新网络参数。机器学习系统优选使用具有23个rrdb(残差套残差密集块)的rrdbnet网络(如上所述)进行预训练。该网络可以在适合于机器学习的程序库、例如程序库pytorch中实现。优选地，使用合适的优化器，例如adam优化器。

54、在本发明的特别优选的实施例中，在机器学习模型中引导该训练结果。

55、使用该训练方法和/或机器学习模型能够提供增强的计算机程序或机器学习系统以增加数字图像的分辨率。

56、根据本发明的方法在如下方面改进了机器学习系统的训练结果，即，从合成生成的数字图像或/和从用光学图像采集设备采集的数字图像开始增加用真实光学图像采集设备采集的图像的分辨率。

57、优选地，该方法用于处理单个图像，例如照片或/和计算机生成的图像，和/或图像序列，例如拍摄的、特别是通过视频记录或/和计算机生成的图像序列。

58、在本发明的另一个实施例中，使用已经被训练执行上述任意方法步骤的机器学习系统来增加用光学设备生成的数字图像的分辨率。

59、在本发明的另一个实施例中，上述计算机程序产品包括指令，当该程序由计算机执行时，该指令使计算机执行上述方法的步骤。

60、此外，本发明涉及一种用于提高数字图像分辨率的计算机程序产品，其包括指令，当该程序由计算机执行时，该指令使计算机使用已经被训练执行上面提到的任何方法步骤的机器学习系统来提高数字图像的分辨率。为真实光学设备(特别是全光设备)训练的(优选地针对特定光学设备而训练的)用于增加数字图像分辨率的计算机程序产品可以与所提到的真实光学设备一起提供。例如，它可以作为数据存储介质上的文件而提供，所述文件包括可以物理连接到光学设备的经训练的机器学习系统，或者它作为表示可以通过计算机网络(例如互联网)访问的数据集的信号序列而提供。可以想到在光学设备上，例如在镜头的外壳上，将链接关联到存储在计算机网络(特别是因特网)中的文件。

61、此外，本发明涉及一种传输计算机程序产品的数据载体信号。

62、在本发明的另一个实施例中，本发明涉及一种数字图像处理设备，包括用于执行上述方法的装置。适宜地，用于处理数字图像的设备由数据处理设备、特别是计算机构成，特别是设置为用于处理从图像采集传感器读取的数据。在本发明的一个实施例中，数据处理设备被布置在摄像机的外壳中，所述数据处理设备优选地形成成像系统的一部分或被布置为与成像系统一起使用。