用于调试图像信号处理器的方法、装置和系统与流程

1.本技术涉及图像处理技术领域，特别涉及用于调试图像信号处理器的方法、装置和系统。


背景技术：

2.由相机传感器(sensor)捕获的原始图像一般由图像信号处理器(isp)处理以生成最终图像。该处理可包含应用于所捕获图像的多个滤波器或处理块的操作，例如去噪或噪声滤波、边缘增强、色彩平衡、对比度、强度调整(例如变暗或变亮)、色调调整等等。
3.对于不同的sensor isp，镜头都需要进行isp调试或调优(tuning)。然而现有技术中常见的方式则是需要专业的人员进行人工调试，这需要花费大量的人工成本，且人工调试效率不高。


技术实现要素：

4.本技术提供了用于调试图像信号处理器的方法、系统和装置，其能够实现图像信号处理器的自动调试操作，无需人工参与，提高调试的效率，减少人工成本。
5.在第一方面，提供一种用于调试图像信号处理器的方法。所述方法包括：将由图像信号处理器生成的图像输入到人工智能模型；通过所述人工智能模型从所述图像中识别出目标区域图像；针对所述目标区域图像计算出目标参数；根据算出的所述目标参数和设置的目标标准参数生成用于所述图像信号处理器的调试参数；以及根据所述调试参数针对所述图像信号处理器进行自动调试操作。
6.在一些实施例中，将由图像信号处理器输出的图像输入到人工智能模型包括：将所述图像信号处理器输出的标准色卡图像和色阶卡图像输入到所述人工智能模型；通过所述人工智能模型从所述图像中识别出目标区域图像包括：通过所述人工智能模型识别出标准色卡和灰阶卡，并截取对应区域的图像；并且针对所述目标区域图像计算出目标参数包括：根据预设算法对所述目标区域图像进行计算得所述目标参数，所述目标参数包括colorcheck值、信噪比值、gamma值和动态范围值中的至少一个。
7.在一些实施例中，根据算出的所述目标参数和设置的目标标准参数生成用于所述图像信号处理器的调试参数包括：计算所述目标参数和所述目标标准参数的偏差值；以及通过标定算法根据所述偏差值生成所述调试参数。
8.在一些实施例中，根据所述调试参数针对所述图像信号处理器进行自动调试操作包括：根据所述调试参数生成用于所述图像信号处理器的iq文件，以运行所述iq文件。
9.在一些实施例中，所述方法还包括：判断所述自动调试操作后由所述图像信号处理器生成的图像是否满足预设条件；以及若不满足预设条件，则将所述自动调试操作后的图像重新输入到所述人工智能模型，以用于针对所述图像信号处理器进行所述自动调试操作。
10.在一些实施例中，所述方法还包括：训练所述人工智能模型，包括：制作待标注的
数据集；标注所述数据集；以及通过标注的所述数据集进行所述人工智能模型的训练。
11.在一些实施例中，制作待标注的数据集包括：在灯箱采集各个色温、各个亮度的标准色卡的视频数据，并进行标注和提取相应的特征点；以及在灯箱采集各个色温、各个亮度的灰阶卡的视频数据，并进行标注和提取相应的特征点；标注所述数据集包括：对采集好的数据进行标定，并且进行标注，所述标定包括对所述标准色卡和所述灰阶卡的位置进行标定；并且通过标注的所述数据集进行所述人工智能模型的训练包括：对标注好的所述数据集进行训练得所述人工智能模型，所述人工智能模型用于识别所述标准色卡和所述灰阶卡。
12.在第二方面，提供一种用于调试图像信号处理器的装置。所述装置包括：人工智能识别模块、画质评估模块、调试参数标定算法模块和生成iq文件模块；所述人工智能识别模块被配置为对目标图像进行识别得标准色卡和色阶卡图像，并将所述标准色卡和色阶卡图像发送至所述画质评估模块；所述画质评估模块被配置为针对所述标准色卡和色阶卡图像计算出目标参数，以计算出所述目标参数和目标标准参数的偏差值，并将所述偏差值发送至所述调试参数标定算法模块；所述调试参数标定算法模块被配置为根据所述偏差值计算出用于生成iq文件的参数；以及所述生成iq文件模块被配置为根据所述用于生成iq文件的参数生成针对所述图像信号处理器的iq文件。
13.在第三方面，提供一种用于调试图像信号处理器的系统。所述系统包括：灯箱，所述灯箱包括标准可调色温的光源，所述图像信号处理器针对所述灯箱生成图像；以及上述提及的用于调试图像信号处理器的装置。
14.在一些实施例中，所述灯箱设置有24标准色卡和色阶卡。
15.根据本公开的实施例，对于不同的sensor isp，通过训练好的人工智能模型，生成相应的图像信号处理器的调试参数，对图像信号处理器进行自动调试操作，提高自动调试的效率，减少人工成本。
16.上述发明内容相关记载仅是本技术技术方案的概述，为了让本领域普通技术人员能够更清楚地了解本技术的技术方案，进而可以依据说明书的文字及附图记载的内容予以实施，并且为了让本技术的上述目的及其它目的、特征和优点能够更易于理解，以下结合本技术的具体实施方式及附图进行说明。
附图说明
17.附图仅用于示出本技术具体实施方式以及其他相关内容的原理、实现方式、应用、特点以及效果等，并不能认为是对本技术的限制。在附图中：
18.图1是示出根据本公开的实施例用于调试图像信号处理器的方法的流程图；
19.图2是示出根据本公开的实施例训练人工智能模型的流程图；
20.图3是示出根据本公开的实施例训练人工智能模型的具体步骤的流程图；
21.图4是示出根据本公开的实施例用于调试图像信号处理器的装置的模块示意图；
22.图5是示出根据本公开的实施例用于调试图像信号处理器的系统的模块示意图；
23.图6是示出根据本公开的实施例用于调试图像信号处理器的装置的应用示意图；
24.图7是示出根据本公开的实施例色差示意图。
具体实施方式
25.为详细说明本技术可能的应用场景，技术原理，可实施的具体方案，能实现目的与效果等，以下结合所列举的具体实施例并配合附图详予说明。本文所记载的实施例仅用于更加清楚地说明本技术的技术方案，因此只作为示例，而不能以此来限制本技术的保护范围。
26.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中各个位置出现的“实施例”一词并不一定指代相同的实施例，亦不特别限定其与其它实施例之间的独立性或关联性。原则上，在本技术中，只要不存在技术矛盾或冲突，各实施例中所提到的各项技术特征均可以以任意方式进行组合，以形成相应的可实施的技术方案。
27.除非另有定义，本文所使用的技术术语的含义与本技术所属技术领域的技术人员通常理解的含义相同；本文中对相关术语的使用只是为了描述具体的实施例，而不是旨在限制本技术。
28.在本技术的描述中，用语“和/或”是一种用于描述对象之间逻辑关系的表述，表示可以存在三种关系，例如a和/或b，表示：存在a，存在b，以及同时存在a和b这三种情况。另外，本文中字符“/”一般表示前后关联对象是一种“或”的逻辑关系。
29.在本技术中，诸如“第一”和“第二”之类的用语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何实际的数量、主次或顺序等关系。
30.在没有更多限制的情况下，在本技术中，语句中所使用的“包括”、“包含”、“具有”或者其他类似的表述，意在涵盖非排他性的包含，这些表述并不排除在包括所述要素的过程、方法或者产品中还可以存在另外的要素，从而使得包括一系列要素的过程、方法或者产品中不仅可以包括那些限定的要素，而且还可以包括没有明确列出的其他要素，或者还包括为这种过程、方法或者产品所固有的要素。
31.在本技术中，“大于”、“小于”、“超过”等表述理解为不包括本数；“以上”、“以下”、“以内”等表述理解为包括本数。此外，在本技术实施例的描述中“多个”的含义是两个以上(包括两个)，与之类似的与“多”相关的表述亦做此类理解，例如“多组”、“多次”等，除非另有明确具体的限定。
32.如上述背景技术中所提及的对于不同的sensor isp，镜头都需要进行图像信号处理器调试，而现有技术中常见的方式则是需要专业的人员进行人工调试，这需要花费大量的人工成本，且人工调试效率不高。
33.故此本技术提供一种用于调试图像信号处理器的方案，可以取代人工调试操作，大大节约人工成本。
34.首先对本技术中会涉及到的一些名词做以下解释说明：
35.colorcheck(比色检验)值：主要包含了白平衡、饱和度；
36.snr(信噪比)值：主要用来测试图像噪声；
37.gamma(伽马)值：主要测试些对比度；
38.dr(动态范围)值：可变信号的最大值和最小值的比值；
39.isp(图像信号处理器)：主要用来对前端图像传感器输出信号处理的单元，以匹配
不同厂商的图像传感器。
40.下文中将参考示例性实施例并且结合附图详细描述根据本公开的实施例的具体实施方式。
41.图1是示出根据本公开的实施例的一种用于调试图像信号处理器的方法100的流程图。如图1所示，用于调试图像信号处理器的方法100包括步骤s101至步骤s105。
42.在步骤s101中，将由图像信号处理器生成的图像输入到人工智能模型。在一些实施例中，可以将所述图像信号处理器输出的标准色卡图像和色阶卡图像输入到所述人工智能模型。在一些实施例中，该方法100还可以包括训练该人工智能模型。
43.具体地，图2示出了根据本公开的实施例训练人工智能模型200的流程图。如图2所示，训练所述人工智能模型包括步骤s201至步骤s203。
44.在步骤s201中，制作待标注的数据集。
45.在步骤s202中，标注所述数据集。
46.在步骤s203中，通过标注的所述数据集进行所述人工智能模型的训练。
47.图3示出了根据本公开的实施例训练人工智能模型的具体步骤的流程图。如图3所示，其包括步骤s301至步骤s304。
48.在步骤s301中，在灯箱采集各个色温，各个亮度的标准色卡的视频数据，并进行标注和提取相应的特征点。
49.在步骤s302中，在灯箱采集各个色温，各个亮度的灰阶卡的视频数据，并进行标注提取相应的特征点。
50.在步骤s303中，对采集好的数据进行标定，并且进行标注，所述标定包括对所述标准色卡和所述灰阶卡的位置进行标定。
51.在步骤s304中，对标注好的所述数据集进行训练得所述人工智能模型，所述人工智能模型用于识别所述标准色卡和所述灰阶卡。
52.其中进行人工智能模型训练的目的是识别灯箱的图卡的位置、类别，因此不同isp可以用同一个模型。
53.在步骤s102中，通过所述人工智能模型从所述图像中识别出目标区域图像。在一些实施例中，可以通过所述人工智能模型识别出标准色卡和灰阶卡，并截取对应区域的图像。
54.接着在步骤s103中，针对所述目标区域图像计算出目标参数。在一些实施例中，为根据预设算法对所述目标区域图像进行计算得所述目标参数，所述目标参数包括colorcheck值、信噪比值、gamma值和动态范围值中的至少一个。主要为通过人工智能模型计算出awb、ccm的色偏值，同时计算出信噪比snr、动态范围dr值，还有gamma值。所述预设算法可以为现有技术中已知的算法。在一些实施例中，预设算法例如可详见链接：https://www.imatest.com/support/docs/。
55.计算出目标参数后，在步骤s104中，根据算出的所述目标参数和设置的目标标准参数生成用于所述图像信号处理器的调试参数。在一些实施例中，可以计算所述目标参数和所述目标标准参数的偏差值，以及通过标定算法根据所述偏差值生成所述调试参数。
56.设置的目标标准参数主要为设置colorcheck的目标值，snr的目标值，gamma的目标值，dr动态范围值。实际的应用场景中，可通过imatest测试工具测试出目标标准参数，其
中目标标准参数的范围可以根据每家公司的具体产品形态定义，对此不做限定。而后计算计算所述目标参数和所述目标标准参数的偏差值，通过标定算法调整awb,ccm,snr,dr的相关的参数。使得测试的数值接近目标标准参数值。在一些实施例中，所谓接近指的是测试的数值与目标标准参数值的误差在预设范围内，如：0.0001，当二者的误差在预设范围内时，则认为是符合要求，当二者的误差不在预设范围内时，则认为是不符合要求。如图7所示，正方形的是标准规定的理想值，圆形是实际测试出来的值，则圆形和正方形之间的欧式距离就是偏差的值，其中偏差的值越大说明颜色偏离越严重。
57.在步骤s105中，根据所述调试参数针对所述图像信号处理器进行自动调试操作。在一些实施例中，可以根据所述调试参数生成用于所述图像信号处理器的iq文件，以运行所述iq文件。
58.在一些实施例中，该方法100还包括：判断所述自动调试操作后由所述图像信号处理器生成的图像是否满足预设条件；以及若不满足预设条件，则将所述自动调试操作后的图像重新输入到所述人工智能模型，以用于针对所述图像信号处理器进行所述自动调试操作。即判断自动调试操作后的图像对应的目标参数与目标标准参数的数之差是否在预设范围内，若在预设范围内，则满足预设条件。若不满足预设条件，则说明调试的结果还未达到理想预期，则重复上述步骤，以获得新的调试参数用于再次进行自动调试操作，直至调试的结果达到理想预期。
59.根据本公开的实施例，对于不同的sensor isp，通过训练好的人工智能模型，生成相应的图像信号处理器的调试参数，对图像信号处理器进行自动调试操作，提高自动调试的效率，减少人工成本。实际应用中，如：通过调整色彩的ccm的矩阵，调整色彩与目标的偏差，生成对应的矩阵。
60.图4是示出根据本公开的实施例用于调试图像信号处理器的装置400的模块示意图。所述装置400包括：人工智能识别模块401、画质评估模块402、调试参数标定算法模块403和生成iq文件模块404。
61.所述人工智能识别模块401被配置为对目标图像进行识别得标准色卡和色阶卡图像，并将所述标准色卡和色阶卡图像发送至所述画质评估模块402。
62.所述画质评估模块402被配置为针对所述标准色卡和色阶卡图像计算出目标参数，以计算出所述目标参数和目标标准参数的偏差值，并将所述偏差值发送至所述调试参数标定算法模块403。
63.所述调试参数标定算法模块403被配置为根据所述偏差值计算出用于生成iq文件的参数。
64.所述生成iq文件模块404被配置为根据所述用于生成iq文件的参数生成针对所述图像信号处理器的iq文件。
65.通过以上装置400对于不同的sensor isp，通过训练好的人工智能模型401，生成相应的图像信号处理器的调试参数，对图像信号处理器进行自动调试操作，提高自动调试的效率，减少人工成本。
66.图5示出了根据本公开的实施例一种用于调试图像信号处理器的系统500的模块示意图。所述系统500包括：灯箱501，所述灯箱501包括标准可调色温的光源，所述图像信号处理器502针对所述灯箱501生成图像；以及上述提及的用于调试图像信号处理器的装置
503。
67.在一些实施例中，所述灯箱501设置有24标准色卡和色阶卡。
68.通过以上系统500，对于不同的sensor isp，通过训练好的人工智能模型，生成相应的图像信号处理器502的调试参数，对图像信号处理器502进行自动调试操作，提高自动调试的效率，减少人工成本。
69.图6是示出根据本公开的实施例用于调试图像信号处理器的装置400的应用示意图。如图6所示，装置400可从目标设备中获取到需要的图像，其中目标设备可以为灯箱。装置400中的各个模块按照如下编号的箭头所示地执行操作。
70.1、目标设备的调试标定模块从3aserver获取到灯箱的标准色卡，色阶卡的图像。
71.2、调试标定模块将图像发送给人工智能识别模块401，识别出标准色卡，色阶卡，截取相应区域的图像。
72.3、画质评估模块402收到色卡，和色阶卡图像数据后，进行colorcheck，snr的计算，计算出色彩的与target的偏移量，然后发送给调试参数标定算法模块403。
73.4、调试参数标定算法模块403根据偏移量，计算出可能的参数。然后生成iq文件模块404生成iq文件，将iq发送给3aserver.
74.5、3aserver根据最新的iq文件重新生成图像给调试标定模块。
75.6、如果未满足target的参数，就继续前述1至5步骤的循环。
76.最后需要说明的是，尽管在本技术的说明书文字及附图中已经对上述各实施例进行了描述，但并不能因此限制本技术的专利保护范围。凡是基于本技术的实质理念，利用本技术说明书文字及附图记载的内容所作的等效结构或等效流程替换或修改产生的技术方案，以及直接或间接地将以上实施例的技术方案实施于其他相关的技术领域等，均包括在本技术的专利保护范围之内。