车内图像的变换方法以及车辆与流程

本技术涉及计算机，并且更具体地，涉及车辆中一种车内图像的变换方法以及车辆。

背景技术：

1、随着车辆技术的发展，车辆中提供的交互功能越来越丰富，比如，一些车辆会提供手势交互的功能，用户在车辆内能够通过手势来控制车辆。

2、相关技术中，车辆中配置有红外(infrared，ir)摄像头来进行手势识别，也即是，红外摄像头能够拍摄灰度车内图像，对该灰度车内图像进行处理能够实现手势识别。

3、但是，红外摄像头拍摄的灰度车内图像由于颜色的问题难以应用在手势识别之外的场景，比如，该灰度车内图像就无法用于拍照以及视频通话等场景，导致红外摄像头的图像拍摄功能无法被充分利用，导致硬件资源浪费。

技术实现思路

1、本技术实施例提供了一种车内图像的变换方法以及车辆，能够充分利用红外摄像头的图像拍摄功能，提高硬件资源的利用率，技术方案如下。

2、一方面，提供了一种车内图像的变换方法，所述方法包括：

3、获取车辆的红外摄像头采集的灰度车内图像；

4、对所述灰度车内图像进行着色，得到所述灰度车内图像对应的彩色车内图像；

5、基于所述彩色车内图像和图像变换指令，生成所述灰度车内图像对应的目标车内图像，所述目标车内图像为按照所述图像变换指令进行图像变换得到的图像。

6、一方面，提供了一种车内图像的变换装置，所述装置包括：

7、图像获取模块，用于获取车辆的红外摄像头采集的灰度车内图像；

8、着色模块，用于对所述灰度车内图像进行着色，得到所述灰度车内图像对应的彩色车内图像；

9、图像生成模块，用于基于所述彩色车内图像和图像变换指令，生成所述灰度车内图像对应的目标车内图像，所述目标车内图像为按照所述图像变换指令进行图像变换得到的图像。

10、在一种可能的实施方式中，所述着色模块，用于对所述灰度车内图像中多个像素点进行特征提取，得到各个所述像素点的类型语义特征和颜色语义特征；基于各个所述像素点的类型语义特征和颜色语义特征，确定各个所述像素点的目标像素值，所述目标像素值包括红色通道值、绿色通道值和蓝色通道值；采用各个所述像素点的目标像素值更新所述灰度车内图像中对应像素点的像素值，得到所述彩色车内图像。

11、在一种可能的实施方式中，所述着色模块，用于对于所述多个像素点中的任一像素点，将所述像素点的类型语义特征和颜色语义特征进行拼接，得到所述像素点的像素点特征；对所述像素点的像素点特征进行三路独立的全连接和归一化，得到所述像素点的红色通道值、绿色通道值和蓝色通道值；将所述像素点的红色通道值、绿色通道值和蓝色通道值进行拼接，得到所述像素点的目标像素值。

12、在一种可能的实施方式中，所述图像生成模块，用于在所述图像变换指令指示将图像变换为目标图像风格的情况下，对所述彩色车内图像和所述图像变换指令对应的指令文本分别进行特征提取，得到所述彩色车内图像的彩色车内图像特征和所述指令文本的指令文本特征；基于所述彩色车内图像特征和所述指令文本特征，生成所述目标车内图像，所述目标车内图像的图像风格为所述目标图像风格。

13、在一种可能的实施方式中，所述图像生成模块，用于在所述图像变换指令指示将图像变换为目标图像风格的情况下，将所述彩色车内图像输入特征提取模型，通过所述特征提取模型对所述彩色车内图像进行多次卷积，得到所述彩色车内图像的彩色车内图像特征；基于注意力机制对所述指令文本进行编码，得到所述指令文本的指令文本特征。

14、在一种可能的实施方式中，所述图像生成模块，用于对所述彩色车内图像特征进行连续多轮加噪，得到所述彩色车内图像特征对应的第一加噪图像特征；将所述第一加噪图像特征和所述指令文本特征输入特征变换模型，通过特征变换模型，基于所述指令文本特征对所述第一加噪图像特征进行连续多轮去噪，得到所述第一加噪图像特征对应的第一去噪图像特征；对所述第一去噪图像特征进行解码，得到所述目标车内图像。

15、在一种可能的实施方式中，所述图像生成模块，用于将所述指令文本特征和所述第一加噪图像特征进行拼接，得到第一拼接图像特征；基于所述指令文本特征和注意力机制对所述第一拼接图像特征进行多轮下采样，得到所述第一拼接图像特征对应的第一目标下采样特征，在得到所述第一目标下采样特征之前，每轮下采样后得到的下采样特征会与所述指令文本特征拼接后再进行下一轮下采样；基于所述指令文本特征和注意力机制对所述第一目标下采样特征进行多轮上采样，得到所述第一目标下采样特征对应的第一去噪图像特征，在得到所述第一去噪图像特征之前，每轮上采样后得到的上采样特征会与所述指令文本特征拼接后再进行下一轮上采样。

16、在一种可能的实施方式中，所述装置还包括控制条件生成模块，用于获取所述目标图像风格对应的参考风格图像；对所述参考风格图像进行特征提取，得到所述参考风格图像的参考风格图像特征；基于所述参考风格图像特征和所述彩色车内图像特征，生成条件控制特征；

17、所述图像生成模块，用于基于所述条件控制特征、所述指令文本特征和注意力机制对所述第一目标下采样特征进行多轮上采样，得到所述第一目标下采样特征对应的第一去噪图像特征。

18、在一种可能的实施方式中，所述图像生成模块，用于在所述图像变换指令指示将图像变换为目标背景的情况下，对所述彩色车内图像进行背景消除，得到参考车内图像，所述参考车内图像为背景消除后的所述彩色车内图像；对所述参考车内图像和所述图像变换指令对应的指令文本分别进行特征提取，得到所述参考车内图像的参考车内图像特征和所述指令文本的指令文本特征；基于所述参考车内图像特征和指令文本特征，生成目标背景图像；将所述参考车内图像和所述目标背景图像进行融合，得到所述目标车内图像，所述目标车内图像为所述目标背景所对应的图像。

19、在一种可能的实施方式中，所述图像生成模块，用于对所述参考车内图像特征进行连续多轮加噪，得到所述参考车内图像特征对应的第二加噪图像特征；将所述第二加噪图像特征和所述指令文本特征输入特征变换模型，通过特征变换模型，基于所述指令文本特征对所述第二加噪图像特征进行连续多轮去噪，得到所述第二加噪图像特征对应的第二去噪图像特征；对所述第二去噪图像特征进行解码，得到所述目标背景图像。

20、在一种可能的实施方式中，所述图像生成模块，用于将所述指令文本特征和所述第二加噪图像特征进行拼接，得到第二拼接图像特征；基于所述指令文本特征和注意力机制对所述第二拼接图像特征进行多轮下采样，得到所述第二拼接图像特征对应的第二目标下采样特征，在得到所述第二目标下采样特征之前，每轮下采样后得到的下采样特征会与所述指令文本特征拼接后再进行下一轮下采样；基于所述指令文本特征和注意力机制对所述第二目标下采样特征进行多轮上采样，得到所述第二目标下采样特征对应的第二去噪图像特征，在得到所述第二去噪图像特征之前，每轮上采样后得到的上采样特征会与所述指令文本特征拼接后再进行下一轮上采样。

21、一方面，提供了一种车辆，所述车辆包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现所述车内图像的变换方法所执行的操作。

22、一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现所述车内图像的变换方法所执行的操作。

23、通过本技术实施例提供的技术方案，获取车辆的红外摄像头采集的灰度车内图像。对该灰度车内图像进行着色，得到该灰度车内图像对应的彩色车内图像，从而实现灰度车内图像的彩色化，提高灰度车内图像的适用范围。基于图像变换指令和该彩色车内图像，生成目标车内图像，从而利用红外摄像头就能够在一定程度上满足乘客的拍摄需求，提高硬件资源的利用率。