一种基于机器学习的初始数据处理方法和系统与流程

本发明涉及数据处理领域，尤其是一种基于机器学习的初始数据处理方法和系统。

背景技术：

随着计算机视觉技术的快速发展，摄像头作为一种重要的感知手段，被广泛应用于安防、监控等领域。作为后端处理模块的输入端，摄像头成像质量的好坏至关重要。从传感器端获取初始数据之后，传统的处理流程是直接将初始数据送到isp(图像信号处理)模块,经过isp模块处理之后输出yuv或者rgb图像。该处理流程在正常环境下可以取得较好的效果，但是，在某些环境恶劣或极端条件下输出的图像效果不够理想，后端处理模块还需要增加特定模块来对信号单独进行处理。这类处理方法会带来一定的缺陷：一方面，不同的极端环境需要增加不同的特定处理模块，不具有通用性；另一方面，isp的处理会造成初始数据细节信息的丢失，在已经丢失输入信息的前提下特定处理模块无法做到最优。

技术实现要素：

本发明的发明目的在于：针对上述存在的问题，为了提高摄像头在极端环境下的成像效果，减少后端的处理模块，提出了一种新的isp处理方法，通过在获得的raw数据之后增加一个raw数据的处理模块，原始raw数据经过raw数据处理模块之后再送入isp模块。

本发明采用的技术方案如下：

一方面，本发明提供了一种基于机器学习的初始数据处理方法，用于针对极端环境进行原始场景数据恢复，包括以下具体步骤：

s1，采集若干场景数据，利用前端的传感器对场景数据进行采集，得到若干组场景数据对；所述数据对包括同一场景的高质量初始数据和低质量初始数据；

s2，利用采集的若干组场景数据对进行训练和构建机器学习模型；

s3，采集待处理的场景初始数据，利用前端传感器对待处理的恶劣或极端场景数据进行采集，得到该场景对应的待处理的低质量初始数据；

s4，将获取的低质量初始数据输入经过训练好的机器学习模型，通过模型处理后输出得到对应的高质量的场景数据；

s5，将得到的高质量初始数据进行isp图像处理，输出获得高质量的场景图像。

所述场景为恶劣或极端的自然场景，包括低照度场景、欠曝场景、过曝场景。

不同的极端场景对应的数据对采集方式不同；

对于低照度场景的数据对采集，采用短曝光+长曝光的方式：首先固定摄像头拍摄短曝光raw图像，然后保持摄像头不动，拍摄长曝光raw图像；

对于欠曝光场景的数据对采集：首先固定摄像头拍摄该场景正常光照条件下的raw图像，然后调节环境亮度，使场景中的目标物体处于欠曝光环境，并拍摄对应的raw图像；

对于过曝光场景的数据对采集，按照欠曝光场景数据对采集的方式进行数据对采集。

所述步骤s2中，由于每组数据对包含同一场景的效果较好的高质量初始数据和效果较差的低质量初始数据，将采集的初始数据对送入机器学习模型对学习模型进行训练，利用低质量初始数据和高质量初始数据之间的模型映射关系，得到训练好的机器学习模型。

所述机器学习模型为深度卷积神经网络的学习模型，所述深度卷积神经网络的网络参数与u-net保持一致。

另一方面，本发明还提供一种基于机器学习的初始数据处理系统，用于针对极端环境进行原始场景数据恢复，包括以下具体模块：

学习数据采集模块，用于采集若干场景数据，利用前端的传感器对场景数据进行采集，得到若干组场景数据对；所述数据对包括同一场景的高质量初始数据和低质量初始数据；

模型训练模块，用于利用采集的若干组场景数据对进行训练和构建机器学习模型；

待处理数据采集模块，用于采集待处理的场景初始数据，利用前端传感器对待处理的恶劣或极端场景数据进行采集，得到该场景对应的待处理的低质量初始数据；

数据恢复模块，用于将获取的低质量初始数据输入经过训练好的机器学习模型，通过模型处理后输出得到对应的高质量的场景数据；

图像处理模块，用于将恢复得到的高质量初始数据进行isp图像处理，输出获得高质量的场景图像。

所述场景为恶劣或极端的自然场景，包括低照度场景、欠曝场景、过曝场景。

不同的极端场景对应的数据对采集方式不同；

对于低照度场景的数据对采集，采用短曝光+长曝光的方式：首先固定摄像头拍摄短曝光raw图像，然后保持摄像头不动，拍摄长曝光raw图像；

对于欠曝光场景的数据对采集：首先固定摄像头拍摄该场景正常光照条件下的raw图像，然后调节环境亮度，使场景中的目标物体处于欠曝光环境，并拍摄对应的raw图像；

对于过曝光场景的数据对采集，按照欠曝光场景数据对采集的方式进行数据对采集。

在所述模型训练模块中，由于每组数据对包含同一场景的效果较好的高质量初始数据和效果较差的低质量初始数据，将采集的初始数据对送入机器学习模型对学习模型进行训练，利用低质量初始数据和高质量初始数据之间的模型映射关系，得到训练好的机器学习模型。

所述机器学习模型为深度卷积神经网络的学习模型，所述深度卷积神经网络的网络参数与u-net保持一致。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明提供的基于机器学习的初始数据处理方法，针对于不同的极端环境都具有较好的通用性，不需要增加不同的特定处理模块，适用各类数据处理

2、本发明提供的基于机器学习的初始数据处理方法，通过将初始数据做恢复处理，保留初始数据中的各种细节信息，并将保留细节信息的初始数据用于isp图像处理，得到高质量的输出图像。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是基于机器学习的初始数据处理流程图。

图2是低照度场景下的短曝光raw图。

图3是低照度场景下的长曝光raw图。

图4是输出的经过isp处理高质量的rgb图像。

具体实施方式

为了使本领域的人员更好地理解本发明的技术方案，下面结合本发明的附图，对本发明的技术方案进行清楚、完整的描述，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例，都应当属于本申请保护的范围。

实施例1

本实施例为一种基于机器学习的初始数据处理方法，针对低质量的场景图像，采用机器学习或深度学习的方式，从对应的raw图中恢复出高质量的场景数据，并用于后续的图像数据处理。该场景包括自然环境、人脸或其他场景。

如图1所示，该方法包括以下具体步骤：

s1，采集场景数据，利用前端的传感器对场景数据进行采集，得到若干组场景数据对，所述数据对包括同一场景的高质量初始数据和低质量初始数据；

由于本实施例提供的处理方法主要针对恶劣或极端的自然场景，主要考虑低照度、欠曝、过曝等情况，不同的极端场景对应的数据对采集方式不同。

对于低照度场景的数据对采集，采用短曝光+长曝光的方式：假设长曝光的图像为参考图像，短曝光图像为输入的待处理图像，具体采集方式是：首先固定摄像头，拍摄短曝光的raw图像，如图2所示，然后保持摄像头不动，拍摄长曝光raw图像，如图3所示；

对于欠曝光场景的数据对采集，首先固定摄像头，拍摄该场景正常光照条件下的raw图像，然后调节环境亮度，使场景中的目标物体处于欠曝光的情况，并拍摄对应的raw图像，拍摄过程中需要场景中物体保持静止状态；

对于过曝光场景的数据对采集，按照欠曝光场景数据采集的方式进行数据对采集。

在本实施例中上述原始场景数据是指原始的raw图像数据，即采集输出的数据为场景对应的raw数据。

s2，利用采集的若干组场景数据对进行训练和构建机器学习模型；

由于每组数据对包含同一场景的效果较好的高质量初始数据和效果较差的低质量初始数据，因此可以将这些初始数据对送入机器学习模型通过对学习模型的训练，利用低质量初始数据和高质量初始数据之间的模型映射关系，得到训练好的机器学习模型；

在机器学习中，深度学习是其中重要的一部分，在一个实施例中所述机器学习模型为深度卷积神经网络。由于卷积神经网络模型的设计需要遵循输入数据和输出数据分辨率大小、通道数、数据格式等一致的原则，只要满足该条件的深度神经网络都可以用于本实施例的处理方法，因此本实施例对此不做具体限定。

在一个实施例中可以选取u-net来设计卷积神经网络，网络设计详细参数与u-net保持一致。

s3，采集待处理的场景初始数据，利用前端传感器对待处理的恶劣或极端场景数据进行采集，得到该场景对应的待处理的低质量初始数据；

s4，将获取的低质量初始数据输入经过训练好的机器学习模型，通过模型处理后输出得到对应的高质量的场景数据；

s5，将得到的高质量初始数据进行isp图像处理，输出获得高质量的场景图像,如图4所示。

实施例2

本实施例为一种基于机器学习的初始数据处理系统，针对低质量的场景图像，利用机器学习模型或深度学习模型，从对应的低质量初始数据中恢复出高质量的场景图像。该系统包括以下具体处理模块：

学习数据采集模块，用于采集若干场景数据，利用前端的传感器对场景数据进行采集，得到若干组场景数据对，所述数据对包括同一场景的高质量初始数据和低质量初始数据；

由于本实施例提供的处理系统主要针对恶劣或极端的自然场景，主要考虑低照度、欠曝、过曝等情况，不同的极端场景对应的数据对采集方式不同。

对于低照度场景的数据对采集，采用短曝光+长曝光的方式：假设长曝光的图像为参考图像，短曝光图像为输入的待处理图像，具体采集方式是：首先固定摄像头，拍摄短曝光raw图像，然后保持摄像头不动，拍摄长曝光raw图像；

对于欠曝光场景的数据对采集，首先固定摄像头，拍摄该场景正常光照条件下的raw图像，然后调节环境亮度，使场景中的目标物体处于欠曝光的情况，并拍摄对应的raw图像，拍摄过程中需要场景中物体保持静止状态；

对于过曝光场景的数据对采集，按照欠曝光场景数据采集的方式进行数据对采集。

在本实施例中上述初始数据均是指初始的raw图像数据，即采集输出的数据为场景raw数据。

模型训练模块，用于利用采集的若干组场景数据对进行训练和构建机器学习模型；

由于每组数据对包含同一场景的效果较好的高质量初始数据和效果较差的低质量初始数据，因此可以将这些初始数据对送入机器学习模型通过对学习模型的训练，利用低质量初始数据和高质量初始数据之间的模型映射关系，得到训练好的机器学习模型；

在一个实施例中所述机器学习模型为深度卷积神经网络。由于卷积神经网络模型的设计需要遵循输入数据和输出数据分辨率大小、通道数、数据格式等一致的原则，只要满足该条件的深度神经网络都可以用于本实施例的处理方法，因此本实施例对此不做具体限定。

在一个实施例中可以选取u-net来设计卷积神经网络，网络设计详细参数与u-net保持一致。

待处理数据采集模块，用于采集待处理的场景初始数据，利用前端传感器对待处理的恶劣或极端场景数据进行采集，得到该场景对应的待处理的低质量初始数据；

数据恢复模块，用于待处理的低质量初始数据输入经过训练好的机器学习模型，通过模型处理后输出得到对应的高质量的场景数据；

图像处理模块，用于将恢复得到的高质量初始数据进行isp图像处理，输出获得高质量的场景图像。

本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。