一种驾车环境目标查询方法、装置、电子设备及存储介质与流程

本技术涉及智能驾驶，具体涉及一种驾车环境目标查询方法、装置、电子设备及存储介质。

背景技术：

1、在驾车过程中，驾驶员或乘客常常需要了解或查询车辆周围物体是什么、车辆周围物体与车辆的距离等信息。目前，相关技术只能对车外物体或车外环境进行显示，不能根据驾驶员或乘客的需求向驾驶员或乘客反馈车外物体的信息查询结果。

2、例如，公开号为cn103496339b的中国发明专利《一种通过3d显示汽车全景的显示系统及其实现方法》，公开了一种通过3d显示汽车全景的显示系统，该系统在中控屏上对车外全景图像进行视觉3d展示。

3、又如，公开号cn116095298a的中国发明专利《车外场景显示方法、头戴显示设备、终端设备及存储介质》，公开了一种车外场景显示方法，该方法通过头戴显示设备展示车外的全景图像。

4、因此，亟需在驾车环境下为驾驶员或乘客提供车外物体或车外环境的信息查询功能，满足驾驶员或乘客的对于车外物体或车外环境进行信息查询需求，提升驾驶员或乘客的体验。

技术实现思路

1、鉴于以上所述现有技术的缺点，本发明提供一种驾车环境目标查询方法、装置、电子设备及存储介质，以解决上述技术问题。

2、本发明提供的驾车环境目标查询方法，所述方法包括：获取驾车过程中目标车辆外部环境信息、目标对象对目标车辆发出的第一指示信息；将所述目标车辆外部环境信息、所述第一指示信息输入至目标查询模型，输出驾车过程中与所述第一指示信息对应的目标查询结果，所述目标查询模型由样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息对预设目标查询模型进行训练得到。

3、于本发明的一实施例中，由样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息对预设目标查询模型进行训练，得到所述目标查询模型的过程包括：获取所述样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息，所述样本车辆和所述目标车辆为相同类型的车辆；在所述样本车辆外部环境信息包括图像信息和位置信息时，基于所述图像信息和位置信息，建立空间立体模型；通过所述第二指示信息从所述空间立体模型中确定样本区域图像；对所述样本区域图像进行文本标注，得到文本标注信息；通过所述样本区域图像和所述文本标注信息对所述预设目标查询模型进行训练，得到所述目标查询模型。

4、于本发明的一实施例中，若所述预设目标查询模型包括：预设卷积神经网络模型、预设循环神经网络模型、预设分类器模型，则通过所述样本区域图像和所述文本标注信息对所述预设目标查询模型进行训练，得到所述目标查询模型的过程包括：将所述样本区域图像输入所述预设卷积神经网络模型，得到区域图像特征向量；将文本标注信息输入所述预设循环神经网络模型，得到文本特征向量；通过所述区域图像特征向量和所述文本特征向量输入所述预设分类器模型，得到目标预测信息；以最小化所述目标预测信息与所述文本标注信息之间的误差为目标，对所述预设卷积神经网络模型的参数、预设循环神经网络模型的参数、预设分类器模型的参数进行更新，分别得到更新卷积神经网络模型、更新循环神经网络模型、更新分类器模型，将所述更新卷积神经网络模型、更新循环神经网络模型、更新分类器模型进行组合，得到更新目标查询模型；将所述样本区域图像和所述文本标注信息输入所述更新目标查询模型，重新得到目标预测信息，以及在重新得到的目标预测信息与文本标注信息之间的误差达到最小值时，将更新目标查询模型作为所述目标查询模型。

5、于本发明的一实施例中，通过所述第二指示信息从所述空间立体模型中确定样本区域图像的过程包括：以所述第二指示信息中的视线方向、手势方向和语音指示方向中的至少一种，确定查询方向；将所述空间立体模型中与所述查询方向对应的图像作为样本区域图像。

6、于本发明的一实施例中，在得到目标查询模型之后，所述方法包括：获取测试车辆外部环境信息、目标对象对测试车辆发出的第三指示信息；其中，所述测试车辆与所述样本车辆为相同类型的车辆；将所述测试车辆外部环境信息、第三指示信息输入所述目标查询模型，得到测试精度；若所述测试精度达到预设精度，判定所述目标查询模型符合要求；若所述测试精度未达到所述预设精度，基于所述测试精度的负值建立损失函数，以最小化所述损失函数为目标，重复对所述目标查询模型进行训练，直到所述损失函数达到最小值。

7、于本发明的一实施例中，若所述图像信息包括移动物体图像信息和固定物体图像信息，所述位置信息包括移动物体与样本车辆之间的第一相对位置信息、固定物体与样本车辆之间的第二相对位置信息，则基于所述图像信息和位置信息，建立空间立体模型的过程包括：将所述移动物体图像信息与所述第一相对位置信息相关联，得到移动物体图像信息与样本车辆的第三相对位置信息；将所述固定物体图像信息与所述第二相对位置信息相关联，得到固定物体图像信息与样本车辆的第四相对位置信息；基于所述第三相对位置信息、第四相对位置信息，将所述移动物体图像信息、固定物体图像信息叠加显示在预设显示屏上，得到所述空间立体模型。

8、于本发明的一实施例中，在得到目标查询结果之后，所述方法包括：若所述目标查询结果的数量小于或等于第一预设数量阈值，将所述目标查询结果作为输出查询结果；若所述目标查询结果的数量大于所述第一预设数量阈值，获取语音指示信息，通过所述语音指示信息继续对所述目标查询模型进行训练，重新得到目标查询模型，并将所述语音指示信息输入重新得到的目标查询模型，得到调整后的目标查询结果，直到调整后的目标查询结果的数量小于或等于所述第一预设数量阈值。

9、根据本发明实施例的一个方面，提供了一种驾车环境目标查询装置，所述装置包括：信息获取模块，用于获取驾车过程中目标车辆外部环境信息、目标对象对目标车辆发出的第一指示信息；结果查询模块，用于将所述目标车辆外部环境信息、所述第一指示信息输入至目标查询模型，输出驾车过程中与所述第一指示信息对应的目标查询结果，所述目标查询模型由样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息对预设目标查询模型进行训练得到。

10、根据本发明实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如上述所述的驾车环境目标查询方法。

11、根据本发明实施例的一个方面，提供了一种计算机存储介质，包括：其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行上述所述的驾车环境目标查询方法。

12、本发明的有益效果：本发明获取驾车过程中目标车辆外部环境信息、目标对象对目标车辆发出的第一指示信息，将目标车辆外部环境信息、第一指示信息输入至目标查询模型，输出驾车过程中与第一指示信息对应的目标查询结果，目标查询模型由样本车辆外部环境信息、目标对象对样本车辆发出的第二指示信息对预设目标查询模型进行训练得到，以上过程，不仅能为目标对象提供车外物体或车外环境的信息查询功能，满足目标对象的车外物体或车外环境的信息查询需求，提升目标对象的体验，而且通过目标查询模型为目标对象提供目标查询结果，提高了目标查询的准确性。

13、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。