车辆运行状态监测方法、系统、装置及存储介质与流程

1.本发明涉及车辆监测技术领域，尤其是一种车辆运行状态监测方法、系统、装置及存储介质。


背景技术：

2.随着汽车电气化的快速发展，制动失效、驱动电机失速的事件时有发生，事故后调查及追责难度较大，且目前车内各类监控设备与车机系统相互独立，仅仅只是将监控的数据进行留存，未进行资源整合用于实时的车辆异常判定，影响了用户的行车安全和驾驶体验。


技术实现要素：

3.本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
4.为此，本发明实施例的一个目的在于提供一种车辆运行状态监测方法，该方法可以实时判断车辆是否发生异常，保障了用户的行车安全，提高了用户的驾驶体验。
5.本发明实施例的另一个目的在于提供一种车辆运行状态监测系统。
6.为了达到上述技术目的，本发明实施例所采取的技术方案包括：
7.第一方面，本发明实施例提供了一种车辆运行状态监测方法，包括以下步骤：
8.获取目标车辆车内的全景影像信息，并获取驾驶员的脚部动作影像信息；
9.根据所述全景影像信息和所述脚部动作影像信息识别得到所述驾驶员的驾驶操作数据；
10.获取所述目标车辆的车机监控数据，根据所述车机监控数据和所述驾驶操作数据判断所述目标车辆是否发生异常；
11.当确定所述目标车辆发生异常，终止所述目标车辆的驱动信号，并上传报险信息。
12.进一步地，在本发明的一个实施例中，所述获取目标车辆车内的全景影像信息，并获取驾驶员的脚部动作影像信息这一步骤，其具体为：
13.通过全景摄像装置实时拍摄获取所述全景影像信息，并通过脚部摄像装置实时拍摄获取所述脚部动作影像信息；
14.其中，所述全景摄像装置安装在所述目标车辆的驾驶座上方，所述脚部摄像装置安装在所述目标车辆的驾驶座底部。
15.进一步地，在本发明的一个实施例中，所述根据所述全景影像信息和所述脚部动作影像信息识别得到所述驾驶员的驾驶操作数据这一步骤，其具体包括：
16.根据所述全景影像信息确定所述驾驶员的手部动作影像信息，并根据所述手部动作影像信息确定多个连续的手部动作图像帧，进而根据所述手部动作图像帧确定手部动作时序数据；
17.根据所述脚部动作影像信息确定多个连续的脚部动作图像帧，并根据所述脚部动作图像帧确定脚部动作时序数据；
18.将所述手部动作时序数据输入到预先训练好的手部驾驶操作识别模型，得到所述驾驶员的手部驾驶操作数据，将所述脚部动作时序数据输入到预先训练好的脚部驾驶操作识别模型，得到所述驾驶员的脚部驾驶操作数据；
19.根据所述手部驾驶操作数据和所述脚部驾驶操作数据确定所述驾驶操作数据。
20.进一步地，在本发明的一个实施例中，所述车辆运行状态监测方法还包括预先训练所述手部驾驶操作识别模型和所述脚部教书操作识别模型步骤，其具体包括：
21.获取第一训练样本和第二训练样本，所述第一训练样本为测试人员在试驾时的手部动作时序数据，所述第二训练样本为测试人员在试驾时的脚部动作时序数据；
22.对所述第一训练样本进行人工标注得到手部驾驶操作标签，并根据所述第一训练样本和对应的所述手部驾驶操作标签构建第一训练数据集；
23.对所述第二训练样本进行人工标注得到脚部驾驶操作标签，并根据所述第二训练样本和对应的所述脚部驾驶操作标签构建第二训练数据集；
24.将所述第一训练数据集输入到预先构建的第一长短期记忆神经网络进行训练，利用反向传播算法对所述第一长短期记忆神经网络的模型参数进行优化，得到训练好的手部驾驶操作识别模型；
25.将所述第二训练数据集输入到预先构建的第二长短期记忆神经网络进行训练，利用反向传播算法对所述第二长短期记忆神经网络的模型参数进行优化，得到训练好的脚部驾驶操作识别模型。
26.进一步地，在本发明的一个实施例中，所述获取所述目标车辆的车机监控数据，根据所述车机监控数据和所述驾驶操作数据判断所述目标车辆是否发生异常这一步骤，其具体包括：
27.通过车机监控系统获取所述车机监控数据，所述车机监控数据包括车辆驱动/制动状态、车辆转向状态以及车辆挡位状态；
28.将所述车机监控数据与所述驾驶操作数据进行比对，判断所述车机监控数据是否与所述驾驶操作数据相对应；
29.当所述车机监控数据与所述驾驶操作数据不对应，确定所述目标车辆发生异常，当所述车机监控数据与所述驾驶操作数据相对应，确定所述目标车辆未发生异常。
30.进一步地，在本发明的一个实施例中，所述当确定所述目标车辆发生异常，终止所述目标车辆的驱动信号，并上传报险信息这一步骤，其具体为：
31.当确定所述目标车辆发生异常，切断所述目标车辆的电机电源，并根据所述车机监控数据和所述驾驶操作数据生成报险信息，进而通过所述目标车辆的举证装置和所述驾驶员的用户终端上传所述报险信息。
32.进一步地，在本发明的一个实施例中，所述车辆运行状态监测方法还包括以下步骤：
33.通过所述车机监控数据确定数据交换瞬间流量和数据交换ip地址，根据所述数据交换瞬间流量和所述数据交换ip地址判断是否存在黑客入侵。
34.第二方面，本发明实施例提供了一种车辆运行状态监测系统，包括：
35.影像信息获取模块，用于获取目标车辆车内的全景影像信息，并获取驾驶员的脚部动作影像信息；
36.驾驶操作识别模块，用于根据所述全景影像信息和所述脚部动作影像信息识别得到所述驾驶员的驾驶操作数据；
37.车辆状态判断模块，用于获取所述目标车辆的车机监控数据，根据所述车机监控数据和所述驾驶操作数据判断所述目标车辆是否发生异常；
38.报险模块，用于当确定所述目标车辆发生异常，终止所述目标车辆的驱动信号，并上传报险信息。
39.第三方面，本发明实施例提供了一种车辆运行状态监测装置，包括：
40.至少一个处理器；
41.至少一个存储器，用于存储至少一个程序；
42.当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现上述的一种车辆运行状态监测方法。
43.第四方面，本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行上述的一种车辆运行状态监测方法。
44.本发明的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到：
45.本发明实施例获取目标车辆车内的全景影像信息和驾驶员的脚部动作影像信息，根据全景影像信息和脚部动作影像信息识别得到驾驶员的驾驶操作数据，然后获取目标车辆的车机监控数据，根据车机监控数据和驾驶操作数据判断目标车辆是否发生异常，当确定目标车辆发生异常，终止目标车辆的驱动信号，并上传报险信息。本发明实施例通过对车内的全景影像信息和驾驶员的脚部动作影像信息进行识别整合可以得到驾驶员的驾驶操作数据，根据驾驶操作数据和车机监控数据实时判断车辆是否发生异常，当车辆发生异常时可对车辆进行制动并自动上传报险信息，保障了用户的行车安全，提高了用户的驾驶体验。
附图说明
46.为了更清楚地说明本发明实施例中的技术方案，下面对本发明实施例中所需要使用的附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
47.图1为本发明实施例提供的一种车辆运行状态监测方法的步骤流程图；
48.图2为本发明实施例提供的长短期记忆神经网络重复单元的顺序结构示意图；
49.图3为本发明实施例提供的长短期记忆神经网络的门控制示意图；
50.图4为本发明实施例提供的一种车辆运行状态监测系统的结构框图；
51.图5为本发明实施例提供的一种车辆运行状态监测装置的结构框图。
具体实施方式
52.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附
图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
53.在本发明的描述中，多个的含义是两个或两个以上，如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。
54.参照图1，本发明实施例提供了一种车辆运行状态监测方法，具体包括以下步骤：
55.s101、获取目标车辆车内的全景影像信息，并获取驾驶员的脚部动作影像信息。
56.具体地，本发明实施例获取车内的全景影像信息和驾驶员的脚部动作影像信息以便于后续的驾驶操作识别，可以理解的是，全景影像信息中记录了驾驶员的手部操作，如转动方向盘、拨动变速杆等，脚部动作影像信息记录了驾驶员的脚部操作，如踩刹车、踩油门等。
57.进一步作为可选的实施方式，获取目标车辆车内的全景影像信息，并获取驾驶员的脚部动作影像信息这一步骤s101，其具体为：
58.通过全景摄像装置实时拍摄获取全景影像信息，并通过脚部摄像装置实时拍摄获取脚部动作影像信息；
59.其中，全景摄像装置安装在目标车辆的驾驶座上方，脚部摄像装置安装在目标车辆的驾驶座底部。
60.s102、根据全景影像信息和脚部动作影像信息识别得到驾驶员的驾驶操作数据。
61.具体地，全景影像信息中包括了驾驶员手部操作的连续图像帧，脚部动作影像信息中包括了驾驶员脚部动作的连续图像帧，通过对这些连续图像帧进行识别即可得到驾驶员的手部驾驶操作和脚部驾驶操作，从而可以整合得到完整的驾驶操作数据。步骤s102具体包括以下步骤：
62.s1021、根据全景影像信息确定驾驶员的手部动作影像信息，并根据手部动作影像信息确定多个连续的手部动作图像帧，进而根据手部动作图像帧确定手部动作时序数据；
63.s1022、根据脚部动作影像信息确定多个连续的脚部动作图像帧，并根据脚部动作图像帧确定脚部动作时序数据；
64.s1023、将手部动作时序数据输入到预先训练好的手部驾驶操作识别模型，得到驾驶员的手部驾驶操作数据，将脚部动作时序数据输入到预先训练好的脚部驾驶操作识别模型，得到驾驶员的脚部驾驶操作数据；
65.s1024、根据手部驾驶操作数据和脚部驾驶操作数据确定驾驶操作数据。
66.具体地，本发明实施例利用长短期记忆神经网络预先训练得到手部驾驶操作识别模型和脚部驾驶操作识别模型，手部操作识别模型可以根据手部动作时序数据中各个图像帧的图像特征的时序变化识别得到手部驾驶操作，脚部操作识别模型可以根据脚部动作时序数据中各个图像帧的图像特征的时序变化识别得到脚部驾驶操作。
67.进一步作为可选的实施方式，车辆运行状态监测方法还包括预先训练手部驾驶操作识别模型和脚部教书操作识别模型步骤，其具体包括：
68.a1、获取第一训练样本和第二训练样本，第一训练样本为测试人员在试驾时的手
部动作时序数据，第二训练样本为测试人员在试驾时的脚部动作时序数据；
69.a2、对第一训练样本进行人工标注得到手部驾驶操作标签，并根据第一训练样本和对应的手部驾驶操作标签构建第一训练数据集；
70.a3、对第二训练样本进行人工标注得到脚部驾驶操作标签，并根据第二训练样本和对应的脚部驾驶操作标签构建第二训练数据集；
71.a4、将第一训练数据集输入到预先构建的第一长短期记忆神经网络进行训练，利用反向传播算法对第一长短期记忆神经网络的模型参数进行优化，得到训练好的手部驾驶操作识别模型；
72.a5、将第二训练数据集输入到预先构建的第二长短期记忆神经网络进行训练，利用反向传播算法对第二长短期记忆神经网络的模型参数进行优化，得到训练好的脚部驾驶操作识别模型。
73.具体地，在构建训练数据集时，根据测试人员的实际驾驶操作来确定各个训练样本对应的驾驶操作标签，例如测试人员试驾时向左转动方向盘的手部动作，对应的手部动作时序数据的手部驾驶操作标签则可以为左转方向盘，又例如测试人员试驾时踩油门的脚部动作，对应的脚部动作时序数据的脚部驾驶操作标签则可以为踩油门，以此类推。
74.在一些可选的实施例中，可根据动作幅度的大小对标签进一步细化，如轻踩油门、重踩油门等等，本发明实施例在此不作赘述。
75.采集数量足够多、不同测试人员、不同驾驶操作的数据作为第一训练样本和第二训练样本，即可形成第一训练样本集和第二训练样本集。
76.下面对本发明实施例的长短期记忆神经网络以及模型训练的过程进行介绍说明。
77.长短期记忆神经网络(long short term memory network,lstm)是一种改进之后的循环神经网络，在lstm网络中，常规的神经元被存储单元替代，每个存储单元由输入门、输出门、单元状态等组成。
78.lstm网络重复单元的顺序结构如图2所示，在t时刻，lstm的输入有三个：当前时刻网络的输入值x
t
、上一时刻lstm的输出值x
t-1
、以及上一时刻的单元状态c
t-1
；lstm的输出有两个：当前时刻lstm输出值h
t
、和当前时刻的单元状态c
t
。
79.对于长期状态c的控制，采用三个门控制开关进行衡量，既要考虑前一存储单元的输出的影响，又要考虑当前输入值的影响，还要关注当前存储单元对后续传递的影响程度，因此，合理利用三个门控制开关成为信号传递和参数更新的重要环节。
80.在存储单元随着时间传递信息的过程中，使用三个控制开关来衡量状态单元c，具体分配方式如图3所示，第一个开关(左)，负责控制继续保存长期状态c，衡量上一存储单元对于当前存储单元的影响程度，决定着记忆经验对当前时间点的影响；第二个开关(下)，负责控制把即时状态输入到长期状态c，输入信号不必全部传入模型，仅仅把需要考虑的度量值传入即可；第三个开关(右)，负责控制是否把长期状态c作为当前的lstm的输出。值得一提的是，此处使用的门开关仅仅是其作用上的门定义，其值是0-1之间的向量值，被使用权值度量的方式进行运算，而不是单纯认定为0或1的门开关。
81.门开关实际上就是一层全连接层，输入是一个向量，输出是一个0到1之间的实数向量。使用时将门开关的输出向量按各个元素乘以需要控制的向量作为输出向量。门的输出是0到1之间的实数向量，当门输出为0时，任何向量与之相乘都会得到0向量，相当于什么
都不能通过；输出为1时，任何向量与之相乘都不会有任何改变，相当于什么都可以通过。sigmoid函数实现输出量的归一化操作，使输出值为0-1之间的概率值。
82.本发明实施例将测试人员的手部动作时序数据/脚部动作时序数据作为lstm模型的输入数据，对网络进行训练，该过程可以对数据进行逐层特征学习和映射，然后将深层次的时频特征信号特征送入softmax分类器进行训练，接着利用训练得到的权值对lstm进行初始化，利用反向传播算法对构建的lstm网络模型进行权值优化，使lstm网络模型收敛达到全局最优，最终达到人脸转向识别的目的。
83.进一步作为可选的实施方式，长短期记忆神经网络的模型参数包括遗忘门权重矩阵、输入门权重矩阵、输出门权重矩阵、单元状态权重矩阵、遗忘门偏置项、输入门偏置项、输出门偏置项以及单元状态偏置项，利用反向传播算法对长短期记忆神经网络的模型参数进行优化这一步骤，其具体包括：
84.b1、前向计算各个存储单元的遗忘门、输入门、输出门以及单元状态；
85.b2、根据遗忘门、输入门、输出门以及单元状态反向计算各个存储单元的误差项值；
86.b3、根据误差项值确定遗忘门权重矩阵的第一梯度、输入门权重矩阵的第二梯度、输出门权重矩阵的第三梯度以及单元状态权重矩阵的第四梯度；
87.b4、对第一梯度、第二梯度、第三梯度以及第四梯度进行梯度更新，从而对遗忘门权重矩阵、输入门权重矩阵、输出门权重矩阵、单元状态权重矩阵、遗忘门偏置项、输入门偏置项、输出门偏置项以及单元状态偏置项进行优化。
88.具体地，在构建长短期记忆神经网络时，除了需要确定初始的模型参数，还需要确定遗忘门函数、输入门函数、输出门函数以及单元状态函数。
89.遗忘门函数为：
90.f
t
＝σ(wf[h
t-1
,x
t
]+bf)
[0091]
其中，f
t
表示遗忘门，wf表示遗忘门权重矩阵，[h
t-1
,x
t
]表示上一层输出与当前层输入作为整体的输入信号，bf表示遗忘门偏置项，σ表示sigmoid函数；
[0092]
输入门函数为：
[0093]
i t
＝σ(wi[h
t-1
,x
t
]+bi)
[0094]
其中，i
t
表示输入门，wi表示输入门权重矩阵，[h
t-1
，x
t
]表示上一层输出与当前层输入作为整体的输入信号，bi表示输入门偏置项，σ表示sigmoid函数；
[0095]
输出门函数为：
[0096]ot
＝σ(wo.[h
t-1
，x
t
]+bo)
[0097]
其中，o
t
表示输出门，wo表示输出门权重矩阵，[h
t-1
，x
t
]表示上一层输出与当前层输入作为整体的输入信号，bo表示输出门偏置项，σ表示sigmoid函数；
[0098]
单元状态函数为：
[0099]ct
＝f
t
*c
t-1
+i
t
*c
′
t
[0100]c′
t
＝tanh(wc.[h
t-1
，x
t
]+bc)
[0101]
其中，c
t
表示当前时刻单元状态，f
t
表示遗忘门，c
t-1
表示上一时刻单元状态，i
t
表示输入门，c
′
t
表示当前输入的单元状态，tanh表示tanh函数，wc表示单元状态权重矩阵，[h
t-1
，x
t
]表示上一层输出与当前层输入作为整体的输入信号，bc表示单元状态偏置项。
[0102]
前向传递过程中，通过控制相邻存储单元之间的门控制开关来控制信号的传递过程，主要可分为三个门类，具体如下：
[0103]
1)遗忘门(forget gate)：决定上一时刻的单元状态c
t-1
有多少信息量仍保留到当前时刻c
t
中。实现数据的记忆更新。
[0104]
2)输入门(input gate)：决定当前时刻网络的输入x
t
有多少保存到单元状态c
t
，实现输入数据的筛选，起到减少数据输入的目的。
[0105]
3)输出门(output gate)：控制单元状态c
t
有多少输出到lstm的当前输出值h
t
，减少数据输出。
[0106]
遗忘门可以保存很久以前的信息，通过σ函数实现输出值的归一化，将原有信息的影响作为重要参考量决定当前值的传播过程，起到记忆更新的目的。
[0107]
输入门可以对当前输入数据进行筛选，可以避免当前无关紧要的内容进入存储单元中。
[0108]
根据上一次的输出和本次输入来计算当前输入的单元状态；当前时刻的单元状态c
t
的计算：由上一次的单元状态c
t-1
按元素乘以遗忘门f
t
，再用当前输入的单元状态c
t
按元素乘以输入门i
t
，再将两个积加和：这样，就可以把当前的记忆c
t
和长期的记忆c
t-1
组合在一起，形成了新的单元状态c
t
。由于遗忘门的控制，它可以保存很久很久之前的信息，由于输入门的控制，它又可以避免当前无关紧要的内容进入存储单元。
[0109]
输出门主要作用是控制长期记忆对当前输出的影响。输出门的输出值h
t
如下：
[0110]ht
＝o
t
*tanh(c
t
)
[0111]
和bp神经网络类似，lstm网络反向更新主要可分为三步：确定参量、计算误差、梯度更新。
[0112]
1)确定参量：前向计算每个存储单元的输出值，一共有4个变量(f
t
、i
t
、c
′
t
、o
t
)，计算方法如前述具体公式所示。
[0113]
2)误差计算：反向计算每个存储单元的误差项值。与rnn一样，lstm误差项的反向传播也是包括两个方向：一个是沿时间的反向传播，即从当前t时刻开始，计算每个时刻的误差项；一个是将误差项向上一层传播。
[0114]
3)梯度更新：根据相应的误差项，计算每个权重的梯度。
[0115][0116]
σ
′
(z)＝y(1-y)
[0117]
门开关的激活函数定义为sigmoid函数，输出的激活函数为tanh函数，导数分别为：
[0118][0119]
tanh
′
(z)＝1-y2[0120]
网络优化的目标是要学习8组参数，包括遗忘门的权重矩阵和偏置项，输入门的权重矩阵和偏置项，输出门的权重矩阵和偏置项，单元状态的权重矩阵和偏置项。
[0121]
权重矩阵w都是由两个矩阵拼接而成，两部分在反向传播中使用不同的公式，在后
续的推导中，权重矩阵也要被写为分开的两个矩阵[w
fh
，w
fx
]。
[0122]
误差项沿时间的反向传递中，计算出t-1时刻的误差项如下：
[0123][0124]
利用h
t
和c
t
的定义，和全导数公式，可以得到将误差项向前传递到任意k时刻的公式：
[0125][0126]
梯度更新如下表1所示。
[0127][0128]
表1
[0129]
本发明实施例采用反向传播算法对长短期记忆神经网络的模型参数进行优化更新，迭代几轮即可得到训练好的手部驾驶操作识别模型/脚部驾驶操作识别模型。具体的迭代轮数可以预先设定，或者在测试集达到精度要求时认为训练完成。
[0130]
对于待识别的手部操作时序数据和脚部操作时序数据，分别将其输入到训练好的手部驾驶操作识别模型和脚部驾驶操作识别模型，即可得到驾驶员各个时刻的手部驾驶操作数据和脚部驾驶操作数据，通过整合即可得到驾驶员完整的驾驶操作数据。
[0131]
s103、获取目标车辆的车机监控数据，根据车机监控数据和驾驶操作数据判断目标车辆是否发生异常。
[0132]
具体地，车机监控数据可通过车机监控系统获取，主要包括车辆驱动/制动状态、车辆转向状态、车辆挡位状态等，而驾驶操作数据中包括了驾驶员对刹车、油门、方向盘以及变速杆的操作数据，将驾驶操作数据与车辆的各个状态参数进行比对，即可确定目标车辆是否发生异常。步骤s103具体包括以下步骤：
[0133]
s1031、通过车机监控系统获取车机监控数据，车机监控数据包括车辆驱动/制动状态、车辆转向状态以及车辆挡位状态；
[0134]
s1032、将车机监控数据与驾驶操作数据进行比对，判断车机监控数据是否与驾驶操作数据相对应；
[0135]
s1033、当车机监控数据与驾驶操作数据不对应，确定目标车辆发生异常，当车机监控数据与驾驶操作数据相对应，确定目标车辆未发生异常。
[0136]
具体地，当车辆驱动/制动状态为驱动状态且对应时刻的驾驶操作数据为踩油门时，即表示两者相对应，同样地，当车辆转向状态为左转且对应时刻的驾驶操作数据为左转方向盘时，即表示两者相对应，当车辆档位状态为p挡且对应时刻的驾驶操作数据为拨动变速杆至p挡时，即表示两者相对应。
[0137]
当车机监控数据与驾驶操作数据不对应时，表示目标车辆的存在异常，如失速、制动异常等。
[0138]
s104、当确定目标车辆发生异常，终止目标车辆的驱动信号，并上传报险信息。
[0139]
进一步作为可选的实施方式，当确定目标车辆发生异常，终止目标车辆的驱动信号，并上传报险信息这一步骤s104，其具体为：
[0140]
当确定目标车辆发生异常，切断目标车辆的电机电源，并根据车机监控数据和驾驶操作数据生成报险信息，进而通过目标车辆的举证装置和驾驶员的用户终端上传报险信息。
[0141]
具体地，当确定目标车辆发生异常，可自动切断目标车辆的电机电源，也可以发出警报由驾驶员手动切断目标车辆的电机电源；可根据车机监控数据与驾驶操作数据的对比结果生成相应报险信息，同时通过目标车辆的雷达探测装置和无人机摄像装置等获取举证信息，然后经由驾驶员的用户终端上传至保险公司和交通部门。
[0142]
此外，获取的全景影像信息、脚部动作影像信息以及车机监控数据均需要上传到云端5后续追溯查询。同时，手部驾驶操作和脚部驾驶操作的识别以及驾驶操作数据与车机监控数据的比对可在云端进行，减少车机端的运算负载；车机系统通过数据交换将全景影像信息、脚部动作影像信息以及车机监控数据上传到云端设备。
[0143]
进一步作为可选的实施方式，车辆运行状态监测方法还包括以下步骤：
[0144]
通过车机监控数据确定数据交换瞬间流量和数据交换ip地址，根据数据交换瞬间流量和数据交换ip地址判断是否存在黑客入侵。
[0145]
具体地，根据数据交换瞬间流量和数据交换ip地址可以判断车机系统是否被入侵，如非车主主动下载时数据交换瞬间流量骤升，或数据交换ip地址并非车主指定的网络地址，则表示车机系统可能被入侵，导致车辆异常，此时可将数据交换瞬间流量和数据交换ip地址作为举证信息用于报险。
[0146]
以上对本发明实施例的方法步骤进行了说明。可以理解的是，本发明实施例通过对车内的全景影像信息和驾驶员的脚部动作影像信息进行识别整合可以得到驾驶员的驾驶操作数据，根据驾驶操作数据和车机监控数据实时判断车辆是否发生异常，当车辆发生异常时可对车辆进行制动并自动上传报险信息，保障了用户的行车安全，提高了用户的驾驶体验。
[0147]
参照图4，本发明实施例提供了一种车辆运行状态监测系统，包括：
[0148]
影像信息获取模块，用于获取目标车辆车内的全景影像信息，并获取驾驶员的脚部动作影像信息；
[0149]
驾驶操作识别模块，用于根据全景影像信息和脚部动作影像信息识别得到驾驶员的驾驶操作数据；
[0150]
车辆状态判断模块，用于获取目标车辆的车机监控数据，根据车机监控数据和驾驶操作数据判断目标车辆是否发生异常；
[0151]
报险模块，用于当确定目标车辆发生异常，终止目标车辆的驱动信号，并上传报险信息。
[0152]
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0153]
参照图5，本发明实施例提供了一种车辆运行状态监测装置，包括：
[0154]
至少一个处理器；
[0155]
至少一个存储器，用于存储至少一个程序；
[0156]
当上述至少一个程序被上述至少一个处理器执行时，使得上述至少一个处理器实现上述的一种车辆运行状态监测方法。
[0157]
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0158]
本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，该处理器可执行的程序在由处理器执行时用于执行上述一种车辆运行状态监测方法。
[0159]
本发明实施例的一种计算机可读存储介质，可执行本发明方法实施例所提供的一种车辆运行状态监测方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
[0160]
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
[0161]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或上述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
[0162]
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，上述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特
定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
[0163]
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0164]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
[0165]
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印上述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得上述程序，然后将其存储在计算机存储器中。
[0166]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0167]
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
[0168]
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
[0169]
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。