模型训练方法、模型应用方法、模型训练装置及训练设备与流程

本申请属于图像处理，尤其涉及一种模型训练方法、模型应用方法、模型训练装置、训练设备及计算机可读存储介质。

背景技术：

1、视差估计，指的是基于双目摄像头所采集的左右图像的自然约束，对左右图像的图像视差进行估计的技术。通过视差估计所得的左右图像的视差图，可以推算出该左右图像所对应的真实空间中各物体的深度信息，从而帮助设备进行后续决策。

2、当前，高精度的视差估计模型的复杂度通常也较高，这导致这类视差估计模型对其应用设备的内存有着较高需求。对于算力较低的设备，例如嵌入式设备，这类视差估计模型会因设备的资源约束而导致实时性降低。也即，对于当前的视差估计模型而言，其难以在算力较低的设备上落地使用。

技术实现思路

1、本申请提供了一种模型训练方法、模型应用方法、模型训练装置、训练设备及计算机可读存储介质，可以获得能够在低算力设备上正常使用的高精度视差估计模型。

2、第一方面，本申请提供了一种模型训练方法，包括：

3、通过预设数据集对第一视差估计模型进行训练，得到已训练的第一视差估计模型；

4、基于已训练的第一视差估计模型进行至少两次知识蒸馏，得到已训练的第二视差估计模型，其中，第二视差估计模型的体量小于第一视差估计模型的体量，知识蒸馏包括基于特征的蒸馏及基于标签的蒸馏。

5、第二方面，本申请提供了一种模型应用方法，包括：

6、获取第一目标图像及第二目标图像，第一目标图像及第二目标图像由双目摄像头同时拍摄得到；

7、将第一目标图像及第二目标图像输入至已训练的目标视差估计模型，得到目标视差图，其中，目标视差估计模型通过如第一方面的模型训练方法得到；

8、基于双目摄像头的参数对目标视差图进行换算，得到目标深度图。

9、第三方面，本申请提供了一种模型训练装置，包括：

10、第一训练模块，用于通过预设数据集对第一视差估计模型进行训练，得到已训练的第一视差估计模型；

11、第二训练模块，用于基于已训练的第一视差估计模型进行至少两次知识蒸馏，得到已训练的第二视差估计模型，其中，第二视差估计模型的体量小于第一视差估计模型的体量，知识蒸馏包括基于特征的蒸馏及基于标签的蒸馏。

12、第四方面，本申请提供了一种训练设备，上述训练设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。

13、第五方面，本申请提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面或第二方面的方法的步骤。

14、第六方面，本申请提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面或第二方面的方法的步骤。

15、本申请与现有技术相比存在的有益效果是：首先，通过预设数据集对第一视差估计模型进行训练，得到已训练的第一视差估计模型。可以理解，已训练的第一视差估计模型本身拥有较高的精度，只是由于其复杂度较高，体量较大，而无法在低算力设备上应用。然后，基于已训练的第一视差估计模型进行至少两次知识蒸馏，得到已训练的第二视差估计模型，其中，第二视差估计模型的体量小于第一视差估计模型的体量，知识蒸馏包括基于特征的蒸馏及基于标签的蒸馏，由此使得所得的第二视差估计模型拥有与第一视差估计模型接近的精度，但复杂度能够大大降低，该第二视差估计模型即可在低算力设备上正常使用。

16、可以理解的是，上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

技术特征：

1.一种模型训练方法，其特征在于，包括：

2.如权利要求1所述的模型训练方法，其特征在于，所述基于所述已训练的第一视差估计模型进行至少两次知识蒸馏，得到已训练的第二视差估计模型，包括：

3.如权利要求2所述的模型训练方法，其特征在于，在所述得到已训练的学生模型之后，所述模型训练方法还包括：

4.如权利要求2所述的模型训练方法，其特征在于，所述蒸馏训练所采用的损失函数用于计算第一损失、第二损失及第三损失的和；

5.如权利要求2所述的模型训练方法，其特征在于，每个视差估计模型均包括：特征提取模块，视差构建模块及视差回归模块；

6.一种模型应用方法，其特征在于，所述模型应用方法包括：

7.如权利要求6所述的模型应用方法，其特征在于，所述基于所述双目摄像头的参数对所述目标视差图进行换算，得到目标深度图，包括：

8.一种模型训练装置，其特征在于，包括：

9.一种训练设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

技术总结
本申请公开了一种模型训练方法、模型应用方法、模型训练装置、训练设备及计算机可读存储介质。其中，该模型训练方法包括：通过预设数据集对第一视差估计模型进行训练，得到已训练的第一视差估计模型；基于所述已训练的第一视差估计模型进行至少两次知识蒸馏，得到已训练的第二视差估计模型，其中，所述第二视差估计模型的体量小于所述第一视差估计模型的体量，所述知识蒸馏包括基于特征的蒸馏及基于标签的蒸馏。通过本申请方案，可以获得能够在低算力设备上正常使用的高精度视差估计模型。

技术研发人员：潘柏宇,庞建新
受保护的技术使用者：深圳市优必选科技股份有限公司
技术研发日：
技术公布日：2024/1/14