高动态范围成像方法和装置与流程
本公开涉及计算机技术领域，具体而言，涉及高动态范围成像方法和装置。
背景技术：
随着计算机技术发展，计算机算力逐渐加强，机器学习、深度学习技术快速进步，计算机视觉相关技术逐渐应用到各个场景，例如手机相机的人脸检测、修图美图、夜间拍照等功能，无人驾驶中的行人检测、道路识别，移动支付与车站身份检测的人脸识别，或是机器人的同步定位与建图任务等。随着大数据、智能化时代的来临，越来越多的应用场景需要计算视觉技术的支持，海量的视频、图像数据亟待处理，更凸显底层视觉任务的重要意义。由此，底层图像处理技术的不可替代性及其对于更高语义层次任务的重要意义，受到社会广泛关注。高动态范围成像，作为计算摄像学的基础任务，其发展对于其他计算机视觉技术来说极其重要。
人类的眼睛能够看到的动态范围大概在10000：1的范围，但是普通相机的动态范围只能达到1000：1。因此拍摄单张照片所能覆盖的动态范围是极其有限的，为了使亮度高的信息得到正确曝光，采用过短的曝光时间会使得场景中亮度低的部分变得黑暗且产生噪声，反之，为了使亮度低的信息得到正确曝光，采用过长的曝光时间则会导致场景中亮度高的部分过曝而丢失细节。对于无论是手机用户还是数码相机用户，拍摄出过曝或欠曝的照片都会令拍照体验大打折扣，对于高层计算机视觉任务来说，ldr的图像会使得特征识别准确率下降，使得系统无法正常工作。因此，高动态范围成像的有效性以及稳定性将直接影响高层计算机视觉任务的效率。
经典的高动态范围成像主要通过拍摄一组不同曝光时长的图像，来估计出crf(cameraresponsefunction，相机响应函数)曲线，将像素值转换到线性空间，再通过赋予不同照片以不同的权重，加权计算得到每个像素点的辐照度值，从而得到一张hdr的图像，通过色调映射可以将高动态范围图像映射为8bitrgb图像用于显示。随着深度学习方法的发展，利用神经网络对隐式数据分布全面的建模能力来解决底层视觉问题逐渐成为近几年的主流方法，一系列设计网络结构的逆色调映射高动态范围成像方法应运而生。这些方法大多利用单张ldr图像经过训练过的神经网络来预测过曝或欠曝区域的信息，以得到hdr图像。相对于合成不同曝光时长的一组图像的传统方法，逆色调映射深度学习方法只需单张ldr的输入，从而避免了拍摄多张ldr图像过程中复杂的拍摄技巧和虚影的产生，且在性能上较传统的优化类逆色调映射方法表现出明显的优势，但由于没有额外的信息，会造成对过曝或欠曝区域的预测不准确，且深度学习方法对训练数据的依赖性使其在未被训练数据集包含的场景中测试时性能不够稳定。
不同于普通相机，神经形态相机具有捕捉hdr场景信息的能力，能够得到一张包含hdr信息的低分辨率灰度图。利用神经形态相机的这个特性，将神经形态相机输出的灰度图与普通相机拍摄的高分辨率彩色照片进行融合，可以得到包含hdr信息的高分辨率彩色图像。现有技术中，通常采用首先控制相机电子快门拍摄一组不同曝光时长的照片，利用这一组ldr图像计算出拍摄相机的响应函数曲线，再将每张ldr图像的像素值根据crf曲线转换到线性空间，赋予每张ldr图像以不同的权重，加权计算得到每个像素点的辐照度值，即可得到一张hdr图像。此外，如图1所示，现有技术中，还会应用深度学习的方法，将单张ldr图像输入卷积神经网络，学习过曝区域的细节重建，最后合成输出的重建图像与输入ldr图像来实现hdr成像。不同于前述现有技术中需要拍摄多张不同曝光时长的ldr图像来合成hdr图像，该技术只需单张ldr图像，输入到神经网络中预测过曝区域的细节信息。
但上述提到的两种现有技术都有各自的缺点：第一种现有技术需要拍摄多张不同曝光的ldr图像，对拍摄技巧要求较高，需要稳定相机，不能有晃动，场景中也不能有移动的物体，否则会导致最终的合成结果没有对齐或产生虚影，使重建结果质量大大降低；第二种现有技术虽然不需要拍摄多张照片来进行合成，只需要1张ldr图像，但是该方法只能预测过曝区域的信息，欠曝区域的信息无法预测。而且过曝区域信息的预测很大程度上依赖于网络的训练效果，根据网络的学习经验来预测，导致预测的结果与真实情况不符，能够重建的动态范围极其有限。
技术实现要素：
为了解决现有技术中的技术问题，本公开实施例提供了高动态范围成像方法和装置，能够避免由于在时间维度上跨度过大而导致的模糊或虚影问题。
第一方面，本公开实施例提供了高动态范围成像方法，所述方法包括：对包含神经形态相机与普通相机的混合相机系统进行搭建；通过搭建完成的所述混合相机系统中的普通相机拍摄的低动态范围图像与神经形态相机拍摄并重建的高动态范围灰度图输入至训练好的神经网络中完成融合成像操作。
第二方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的方法的步骤。
第三方面，本公开实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法的步骤。
第四方面，本公开实施例提供了高动态范围成像装置，所述装置包括：搭建模块，用于对包含神经形态相机与普通相机的混合相机系统进行搭建；融合成像模块，用于通过搭建完成的所述混合相机系统中的普通相机拍摄的低动态范围图像与神经形态相机拍摄并重建的高动态范围灰度图输入至训练好的神经网络中完成融合成像操作。
本发明提供的高动态范围成像方法和装置，对包含神经形态相机与普通相机的混合相机系统进行搭建；通过搭建完成的所述混合相机系统中的普通相机拍摄的低动态范围图像与神经形态相机拍摄并重建的高动态范围灰度图输入至训练好的神经网络中完成融合成像操作。该方法只需对场景拍摄一次，能够避免由于在时间维度上跨度过大而导致的模糊或虚影问题。引入神经形态相机，神经形态相机所能感受到的动态范围能够达到120db，可以提供比单张ldr图像高得多的动态范围信息。本专利搭建的混合相机系统能够同步捕捉ldr图像和hdr灰度图，通过融合两张图像来重构hdr图像；该方法成功融合神经形态相机和普通相机输出的图像，提出的神经网络架构拥有专门设计的网络模块，将二者在分辨率、动态范围以及色彩空间领域的差异进行弥补，融合为一张高动态范围、高分辨率的彩色图像。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍：
图1为现有技术系统框图；
图2为本发明一个实施例中的高动态范围成像方法的步骤流程示意图；
图3为本发明一个实施例中的高动态范围成像方法中的软硬件系统结构示意图；
图4为本发明一个实施例中的高动态范围成像方法中的混合相机系统结构示例图；
图5为本发明一个实施例中的高动态范围成像方法中的流程示例图；
图6为本发明一个实施例中的高动态范围成像方法中的网络结构示意图；
图7为本发明一个实施例中的高动态范围成像装置的结构示意图；
图8为本发明一个实施例中的高动态范围成像装置的硬件框图；
图9为本发明一个实施例中的计算机可读存储介质的示意图。
具体实施方式
下面结合附图和实施例对本申请进行进一步的详细介绍。
在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本公开的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征a、b、c，另一个实施例包含特征b、d，那么本申请也应视为包括含有a、b、c、d的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。
为了使本发明的目的、技术方案及优点更加清楚明白，以下通过实施例，并结合附图，对本发明高动态范围成像方法和装置的具体实施方式进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
首先，需要说明的是，高动态范围(highdynamicrange,hdr)成像技术能够使相机拍摄辐照度范围较大的场景，拍摄出的照片能够涵盖亮度高和亮度低的信息。本公开提出了神经形态相机融合普通相机来实现高动态范围成像的方法。神经形态相机具有不同于普通相机的独特性质，它们能够捕捉非常快速的移动，和高动态范围的场景。神经形态相机将高动态范围信息编码到一张灰度图，但是受限于神经形态相机的传感器，该灰度图分辨率较低且没有颜色信息，相比于普通相机拍摄的彩色高分辨率却是低动态范围照片，灰度图看起来不够赏心悦目。因此本公开提出专门的算法流程将神经形态相机拍摄的灰度图与普通相机拍摄的低动态范围图像进行融合，将二者在分辨率、色彩空间和动态范围三个领域的差异进行弥补，合成为一张高动态范围，高分辨率的彩色图像。
如图2所示，为一个实施例中的高动态范围成像方法的流程示意图，具体包括以下步骤：
步骤11，对包含神经形态相机与普通相机的混合相机系统进行搭建。搭建的混合相机系统如图3与图4所示。
具体的，对包含神经形态相机与普通相机的混合相机系统进行搭建包括：采用一部型号为pointgreychameleon3的普通rgb工业相机以及一部神经形态相机完成混合相机系统的搭建。此外，还需要说明的是，神经形态相机使用动态视觉传感器和仿视网膜采样模型分别进行测试，普通相机和神经形态相机使用相同的f/1.4镜头。通过一个分光镜将入射光线分为两束，同步进入两个相机传感器的视场。
需要说明的是，将神经形态相机为本公开涉及的高动态范围成像方法中采用的常规设备。当然，神经形态相机也可换成其他特殊类型相机，例如celex相机等，或其他可获得hdr信息的特殊设备。
步骤12，通过搭建完成的所述混合相机系统中的普通相机拍摄的低动态范围图像与神经形态相机拍摄并重建的高动态范围灰度图输入至训练好的神经网络中完成融合成像操作。
其中，神经形态相机拍摄并重建的高动态范围灰度图包括：对于dvs(dynamicvisionsensor，动态视觉传感器)，使用e2vid网络从事件数据中重建出包含高动态范围信息的灰度图，其中，灰度图的分辨率为240×180；对于fsm(fovea-likesamplemodel，仿视网膜采样模型)，使用滑动窗口的方法对脉冲数据进行积分得到包含高动态信息的灰度图，其中，灰度图的分辨率为400×250。
此外，所述训练好的神经网络包括：对训练数据进行合成操作并对合成后的数据通过神经网络进行训练。具体的，对训练数据进行合成操作包括：收集网上高动态范围数据集，并对所述高动态范围数据集进行划分为训练集与测试集；模拟数码相机拍摄流程，通过高动态范围图像生成低动态范围图像；合成神经形态相机提供的高动态范围灰度图与动态视觉传感器估计场景的梯度信息；计算色调映射过后的高动态范围图像的梯度信息；通过泊松算子通过梯度信息重建高动态范围图像灰度图。
换言之，收集网上hdr数据集，将其划分为训练集664张图像，和测试集70张图像；模拟数码相机拍摄流程，通过hdr图像生成ldr图像，首先将hdr图像的值归一化到[0,1]，对hdr图像的辐照度值随机乘以曝光时间t，高于1的值全部截取为1，模拟过度曝光的情况。然后从dorf中随机选取相机crf曲线应用到辐照度值，将应用crf的辐照度值量化到[0,255]并取整，得到8bit的ldr图像。
再次，合成神经形态相机提供的hdr灰度图，dvs估计场景的梯度信息，然后用事件数据来重建灰度图，所以为了模拟dvs计算灰度图的过程，首先计算色调映射过后的hdr图像的梯度信息，然后用泊松算子来通过梯度信息重建hdr灰度图。
此外，还需要说明的是，在训练之前，应用数据增强操作，将原始图像调整分辨率大小并随机截取为512×512像素的ldr图像，搭配256×256像素的对应位置的hdr灰度图，并且用随机概率旋转、镜面翻转等操作增加训练数据量。
进一步地，对合成后的数据通过神经网络进行训练具体包括：整个网络由两个子网络构成，分别是upsampling&luminancefusionnetwork，和chrominancecompensationnetwork，前者由ldr图像编码器、hdr灰度图编码器和解码器构成，用于融合ldr图像的y通道和hdr灰度图，后者用于进行颜色校正。需要说明的是，深度卷积网络模型为本公开涉及的高动态范围成像方法中的最优模型。当然，深度卷积网络模型结构也可以进行替换，换为其他的类似结构，例如将解码器模块的反卷积网络换为卷积+上采样的结构，或将色彩补偿的卷积网络换为u-net的结构等。
分别将ldr图像和hdr灰度图输入到相应的编码器网络中，其中ldr编码器为vgg-16网络，灰度图编码器为三层卷积网络。将输入张量放入玻璃几何信息预测模块的特征卷积层，提取得到高维特征表示张量，每一次卷积计算如下：
在灰度空间将网络预测的hy与真实的hdr图像的y通道
此外，还需要说明的是，通过搭建完成的所述混合相机系统中的普通相机拍摄的低动态范围图像与神经形态相机拍摄并重建的高动态范围灰度图输入至训练好的神经网络中完成融合成像操作包括：经过上采样亮度融合网络将低动态范围图像和高动态范围图像的灰度图在灰度空间进行融合；将低动态范围图像的u、v通道拼接到高动态范围图像的灰度图；经过色彩补偿网络进行颜色补偿，输出预设高分辨率彩色的高动态范围图像。
具体的，参照图5-6，本公开涉及的高动态范围成像方法主要由色彩空间转换、hdr灰度图上采样、灰度空间融合和色彩信息补偿4个步骤构成，每个步骤具体通过神经网络中相应设计的模块来实现。
第一，色彩空间转换：多数传统相机拍摄的照片是rgb通道的格式，每个通道用8bit的整数来表示。将非线性的像素值通过反相机响应函数crf-1转换到线性空间，将rgb色彩空间转换到yuv色彩空间，其中y通道代表灰度，与神经形态相机提供的hdr灰度图是在同一领域的，而u和v通道代表了颜色信息。
第二，hdr灰度图上采样：
xhr＝s(x)
受限于神经形态相机的传感器的大小，hdr灰度图的分辨率相比于ldr图像来说更低，因此需要对hdr灰度图进行上采样。x代表灰度图，s(·)代表上采样操作。网络中解码器采用反卷积网络，反卷积操作能够将上一个网络层的小的特征图信息散步到下一层更大的特征图中，从而实现对灰度图的可学习的上采样操作。
第三，灰度空间融合：
融合ldr图像的y通道和上采样过后的灰度图。针对ldr图像的灰度通道和hdr灰度图分别设计了两个编码器，编码器与解码器之间通过skip-connections进行连接，将二者的特征图拼接之后，使用1×1卷积核对特征图融合，使ldr图像中丰富的细节信息和hdr灰度图的高动态范围信息融合。在拼接特征图之前，应用注意力过滤器对ldr图像中过曝或欠曝的区域进行过滤，保留正常曝光的信息用于融合，得到高分辨率的hdr灰度图。
第四，色彩信息补偿：
h＝c(hy，iu，iv)
在步骤(1)中分离出的u、v分量包含色彩信息，需要将色彩信息补偿到步骤(3)得到的高分辨率的hdr灰度图上。将ldr图像的u、v通道拼接到高分辨率的hdr灰度图之后，由于二者存在动态范围的差异，u、v通道的像素值是8bit的整数，而y通道是高精度浮点数，因此使用一个由残差模块构成的色彩补偿网络，对图像的色彩进行校正，输出的图像再从yuv色彩空间转换为rgb色彩空间。
因此，整个实现过程可以看作是通过一个端到端的深度神经网络
在本实施例中，对包含神经形态相机与普通相机的混合相机系统进行搭建；通过搭建完成的所述混合相机系统中的普通相机拍摄的低动态范围图像与神经形态相机拍摄并重建的高动态范围灰度图输入至训练好的神经网络中完成融合成像操作。该方法通过单张ldr图像融合神经形态相机的输出使高动态范围成像的质量大大超越单张ldr图像的重建效果；使用深度学习的方法，针对ldr图像和hdr灰度图在每一个方面的差异单独设计网络模块，相比于非深度学习的融合方法，有效提高了融合图像的质量；与此同时，减少输入ldr图像数目，大大减小了数据获取的难度，不会造成模糊和虚影等问题，扩大了算法的应用范围。
基于同一发明构思，还提供了高动态范围成像装置。由于此装置解决问题的原理与前述高动态范围成像方法相似，因此，该装置的实施可以按照前述方法的具体步骤实现，重复之处不再赘述。
如图7所示，为一个实施例中的高动态范围成像装置的结构示意图。该高动态范围成像装置10包括：搭建模块100和融合成像模块200。
其中，搭建模块100用于对包含神经形态相机与普通相机的混合相机系统进行搭建；融合成像模块200用于通过搭建完成的所述混合相机系统中的普通相机拍摄的低动态范围图像与神经形态相机拍摄并重建的高动态范围灰度图输入至训练好的神经网络中完成融合成像操作。
图8是图示根据本公开的实施例的高动态范围成像装置的硬件框图。如图8所示，根据本公开实施例的高动态范围成像装置80包括存储器801和处理器802。高动态范围成像装置80中的各组件通过总线系统和/或其它形式的连接机构(未示出)互连。
存储器801用于存储非暂时性计算机可读指令。具体地，存储器801可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。
处理器802可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制高动态范围成像装置80中的其它组件以执行期望的功能。在本公开的一个实施例中，所述处理器802用于运行存储器801中存储的计算机可读指令，使得高动态范围成像装置80执行上述高动态范围成像方法。高动态范围成像装置与上述高动态范围成像方法描述的实施例相同，在此将省略其重复描述。
图9是图示根据本公开的实施例的计算机可读存储介质的示意图。如图9所示，根据本公开实施例的计算机可读存储介质900其上存储有非暂时性计算机可读指令901。当所述非暂时性计算机可读指令901由处理器运行时，执行参照上述描述的根据本公开实施例的高动态范围成像方法。
以上，根据本公开实施例的高动态范围成像方法和装置，以及计算机可读存储介质，能够避免由于在时间维度上跨度过大而导致的模糊或虚影问题的有益效果。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“a、b或c的至少一个”的列举意味着a或b或c，或ab或ac或bc，或abc(即a和b和c)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
- 还没有人留言评论。精彩留言会获得点赞！